已合并
docs(rl): 新增 TorchTitan-NPU 强化学习中阶课程 #789
zhoujian创建于 8月21日
docs(rl): 新增 TorchTitan-NPU 强化学习中阶课程 #789
已合并
Pull Request已成功合入, 合并人@CANN-robot
（感谢 zhoujian 的贡献）
atomgit-bot
8月21日 评论：
8月21日 评论：
变更摘要
本 PR 为 tutorials/rl_training_pipeline/ 新增 Qwen3-1.7B Wordle 强化学习中阶课程（第 5～8 章），核心内容是：在保持 GRPO、vLLM rollout、六轮 Agent Loop、奖励函数及训练数据语义不变的前提下，将 Actor 与 Reference Model 的训练后端从 FSDP 切换为 TorchTitan-NPU，并通过配套章节练习、参考答案、课程插图与 PPT 形成完整教学内容。课程以文档与 Notebook 形式呈现，无新增可执行代码逻辑，属于内容优化型变更。
主要改动
- 新增第 5 章「训练后端切换」：在
05_training_backend/下新增章节介绍、切换原理与练习 Notebook，讲解切换边界（模型/GRPO/vLLM/AgentLoop/奖励保持不变，Actor/Ref 后端变化）、FSDP 配置到actor.torchtitan.*、ref.torchtitan.*的映射，并梳理从 Verl 到 TorchTitan Engine 的调用链，包括get_per_tensor_param()、StateDictAdapter参数名转换与 DTensor 物化、以及update_weights()将 Actor 权重同步给 vLLM 的流程。 - 新增第 6 章「TorchTitan-NPU 核心特性」：在
06_torchtitan_npu_features/下新增四个 Notebook，介绍 DeviceMesh 上的两卡 FSDP2（data_parallel_shard_size=2、context_parallel_size=1）、param_offload/optimizer_offload、reshard_after_forward=always、TND 变长注意力（attn_type=varlen、sparse_mode=7、VarlenMetadata边界元数据）、NPU converter 对npu_rms_norm/npu_rope的替换，以及上下文并行（CP/TP/PP/EP）在长序列场景的扩展条件。 - 新增第 7 章「三步训练实践」：在
07_torchtitan_wordle_training/下新增环境准备（独立 uv 0.12.0 环境、setup_backend.sh安装脚本、ATB--cxx_abi=1）、DRY_RUN 配置确认（核对model_engine=torchtitan、FSDP2 拓扑、TND 与 GRPO/vLLM/Wordle 语义）、以及以TOTAL_TRAINING_STEPS=3、SAVE_FREQ=-1、TEST_FREQ=-1运行完整训练链路的实践 Notebook。 - 新增第 8 章「总结与常见问题」：在
08_validation_and_troubleshooting/下新增切换过程六步总结、常见问题排查表，并给出初阶 FSDP、FSDP2+TND、TND+CP2 三条路径的对比测试数据（Actor 每 token 耗时与单步耗时），同时说明性能对比需固定单一变量并增加预热与重复次数。 - 配套物料更新：新增
slides/01_rl_training_pipeline.pptx课程插图（PPT），各章节均包含课后练习 Notebook 及answer/参考答案文件，练习答案通过读取对应*_answer.txt文件的方式展示。
不准确？
atomgit-bot
8月21日 评论：
8月21日 评论：
8月21日 添加了label：cann-cla/yes
CANN-robot
8月21日 评论：
8月21日 评论：
此处折叠了72条消息 查看更多
9月14日 添加了label：approved
fuyangchenghu
9月14日 评论：
9月14日 评论：
/lgtm
9月14日 添加了label：lgtm
9月14日 合入了pull request
描述
新增 Qwen3-1.7B Wordle 强化学习中阶课程。在保持 GRPO、vLLM rollout、六轮 Agent Loop、奖励函数及训练数据语义不变的前提下，将 Actor 与 Reference Model 的训练后端由 FSDP 切换为 TorchTitan-NPU，并介绍可用于后续训练优化的核心能力。
课程包含：
关联的 Issue
无。
测试
文档更新
新增
tutorials/rl_training_pipeline/中阶课程第 5～8 章，并同步课程 README、公共图片和 PPT。类型标签
其他信息
cann-recipes-train/llm_rl/qwen3_wordle/torchtitan_backend/配套训练代码，该部分将通过独立 PR 提交到cann-recipes-train。