Star74

Star74

文件	最后提交记录	最后更新时间
EPLB.md	master readme文档修改 Co-authored-by: xiazhahe<nieshiyu1@huawei.com> # message auto-generated for no-merge-commit merge: !710 merge master into master master readme文档修改 Created-by: xiazhahe Commit-by: xiazhahe Merged-by: ascend-robot Description: master readme文档修改 See merge request: Ascend/MindSpeed-RL!710	10 个月前
README.md	doc: add npu feature readme Co-authored-by: zjchenn<zjchenn@gmail.com> # message auto-generated for no-merge-commit merge: !805 merge fix/add-feature-doc-2.3.0 into 2.3.0 doc: add npu feature readme Created-by: zjchenn Commit-by: zjchenn Merged-by: ascend-robot Description: doc: add npu feature readme See merge request: Ascend/MindSpeed-RL!805	9 个月前
context_parallel.md	升级LLM分支到2.3.0 Co-authored-by: wangshuyang31<wangshuyang8@huawei.com> # message auto-generated for no-merge-commit merge: !850 merge 2.3.0 into 2.3.0 升级LLM分支到2.3.0 Created-by: wangshuyang31 Commit-by: wangshuyang31 Merged-by: ascend-robot Description: 升级LLM分支到2.3.0 并解决bug - DAPO qwen25-32b 长跑精度不上升的问题同步MASTER分支中 https://gitcode.com/Ascend/MindSpeed-RL/pull/780 的修改。验证结果： https://wiki.huawei.com/domains/64729/wiki/101438/WIKI202512179455316 https://wiki.huawei.com/domains/64729/wiki/101438/WIKI202512179454678 https://wiki.huawei.com/domains/64729/wiki/101438/WIKI202512179456584 See merge request: Ascend/MindSpeed-RL!850	9 个月前
data_module_design.md	master readme文档修改 Co-authored-by: xiazhahe<nieshiyu1@huawei.com> # message auto-generated for no-merge-commit merge: !710 merge master into master master readme文档修改 Created-by: xiazhahe Commit-by: xiazhahe Merged-by: ascend-robot Description: master readme文档修改 See merge request: Ascend/MindSpeed-RL!710	10 个月前
deterministic_computation.md	完善确定性计算文档说明 2.3.0 Co-authored-by: Hcm03<chengminhua1@huawei.com> # message auto-generated for no-merge-commit merge: !775 merge 2.3.0 into 2.3.0 完善确定性计算文档说明 2.3.0 Created-by: Hcm03 Commit-by: Hcm03 Merged-by: ascend-robot Description: 完善确定性计算文档说明 2.3.0 See merge request: Ascend/MindSpeed-RL!775	9 个月前
grpo_yaml.md	master readme文档修改 Co-authored-by: xiazhahe<nieshiyu1@huawei.com> # message auto-generated for no-merge-commit merge: !710 merge master into master master readme文档修改 Created-by: xiazhahe Commit-by: xiazhahe Merged-by: ascend-robot Description: master readme文档修改 See merge request: Ascend/MindSpeed-RL!710	10 个月前
integrated_worker.md	master readme文档修改 Co-authored-by: xiazhahe<nieshiyu1@huawei.com> # message auto-generated for no-merge-commit merge: !710 merge master into master master readme文档修改 Created-by: xiazhahe Commit-by: xiazhahe Merged-by: ascend-robot Description: master readme文档修改 See merge request: Ascend/MindSpeed-RL!710	10 个月前
logging_wandb_tensorboard.md	!558 fix dpo Merge pull request !558 from yanzhixiao/fix-dpo	1 年前
msprobe.md	约束click版本，切仓后资料更新 Co-authored-by: Hcm03<chengminhua1@huawei.com> # message auto-generated for no-merge-commit merge: merge master into master 约束click版本，切仓后资料更新 Created-by: Hcm03 Commit-by: Hcm03 Merged-by: ascend-robot Description: 约束click版本切仓后资料更新 See merge request: Ascend/MindSpeed-RL!633	11 个月前
partial_rollout.md	2.3.0 update docs - vpp and partial rollout issue Co-authored-by: wangshuyang31<wangshuyang8@huawei.com> # message auto-generated for no-merge-commit merge: !804 merge 2.3.0 into 2.3.0 2.3.0 update docs - vpp and partial rollout issue Created-by: wangshuyang31 Commit-by: wangshuyang31 Merged-by: ascend-robot Description: 2.3.0 update docs - vpp and partial rollout issue See merge request: Ascend/MindSpeed-RL!804	9 个月前
ppo_yaml.md	master readme文档修改 Co-authored-by: xiazhahe<nieshiyu1@huawei.com> # message auto-generated for no-merge-commit merge: !710 merge master into master master readme文档修改 Created-by: xiazhahe Commit-by: xiazhahe Merged-by: ascend-robot Description: master readme文档修改 See merge request: Ascend/MindSpeed-RL!710	10 个月前
profiler.md	【2.3.0】mindspeed-rl profiler support multi-stage && add ppo model doc Co-authored-by: xieanran<694099604@qq.com> # message auto-generated for no-merge-commit merge: !801 merge 2.3.0 into 2.3.0 【2.3.0】mindspeed-rl profiler support multi-stage && add ppo model doc Created-by: SoraAzzz Commit-by: xieanran Merged-by: ascend-robot Description: mindspeed-rl profiler support multi-stage && add ppo model doc See merge request: Ascend/MindSpeed-RL!801	9 个月前
remove_padding.md	升级LLM分支到2.3.0 Co-authored-by: wangshuyang31<wangshuyang8@huawei.com> # message auto-generated for no-merge-commit merge: !850 merge 2.3.0 into 2.3.0 升级LLM分支到2.3.0 Created-by: wangshuyang31 Commit-by: wangshuyang31 Merged-by: ascend-robot Description: 升级LLM分支到2.3.0 并解决bug - DAPO qwen25-32b 长跑精度不上升的问题同步MASTER分支中 https://gitcode.com/Ascend/MindSpeed-RL/pull/780 的修改。验证结果： https://wiki.huawei.com/domains/64729/wiki/101438/WIKI202512179455316 https://wiki.huawei.com/domains/64729/wiki/101438/WIKI202512179454678 https://wiki.huawei.com/domains/64729/wiki/101438/WIKI202512179456584 See merge request: Ascend/MindSpeed-RL!850	9 个月前
resharding.md	master readme文档修改 Co-authored-by: xiazhahe<nieshiyu1@huawei.com> # message auto-generated for no-merge-commit merge: !710 merge master into master master readme文档修改 Created-by: xiazhahe Commit-by: xiazhahe Merged-by: ascend-robot Description: master readme文档修改 See merge request: Ascend/MindSpeed-RL!710	10 个月前

MindSpeed-RL 特性文档

本文档汇总了 MindSpeed-RL 支持的核心特性，涵盖训练加速、推理加速、强化学习调度及基础功能四个方面。

1. 训练加速特性

本部分包含在模型训练（Actor/Critic Update）阶段，针对显存优化、通信优化及计算加速的特性。

特性名称	简介	发布状态	文档链接
optimizer/grad offload	支持将优化器状态和梯度卸载至 CPU，降低训练显存占用。	preview	/
Swap optimizer	支持优化器状态在设备与主机内存间交换，进一步优化显存峰值。	preview	/
Ulysses CP	Ulysses Context Parallel，针对长序列训练的上下文并行优化方案。	preview	doc
BF16参数副本复用	复用 BF16 参数副本，减少内存冗余占用。	preview	/
重计算	通用重计算策略，通过以计算换显存的方式支持更大模型训练。	preview	/
激活函数重计算	针对 GeLU/SwiGLU 等激活函数的特定重计算优化。	preview	/
Norm 重计算	针对 LayerNorm/RMSNorm 的重计算优化。	preview	/

2. 推理加速特性

本部分包含在生成（Rollout/Make Experience）阶段，基于 vLLM 或其他推理后端的性能优化特性。

特性名称	简介	发布状态	文档链接
推理图模式（torchair/Aclgraph）	利用 torchair/Aclgraph 将推理过程编译为静态图执行，提升推理性能。	preview	/
cudagraph_mode: FULL_DECODE_ONLY	在解码阶段启用 CUDA Graph（全图模式），减少 Kernel 启动开销。	preview	/
vLLM Prefix cache	复用 vLLM 的 Prefix KV Cache，加速多轮对话或共享前缀场景的推理。	preview	/
chunked prefill	支持分块预填充（Chunked Prefill），优化长 Prompt 下的首字延迟和吞吐平衡。	preview	/
dynamic batch size	支持动态 Batch Size 调度，提高推理时的计算资源利用率。	preview	/
remove padding	移除输入序列中的 Padding，减少无效计算。	preview	doc
swap attention	支持 Attention KV Cache 的 Swap 机制，处理超长上下文显存不足的情况。	preview	/
推理大EP	支持推理阶段的大规模专家并行（Expert Parallel），适配 MoE 模型推理。	preview	/

3. 强化学习框架调度特性

本部分涉及强化学习算法（如 PPO/GRPO）流程中的数据流转、任务编排及特定策略支持。

特性名称	简介	发布状态	文档链接
Partial rollout	支持部分采样（Partial Rollout），允许在生成部分数据后即开始训练，优化流水线效率。	preview	doc
Task Queue	内部任务队列管理，用于异步调度推理与训练任务，提升系统并发能力。	preview	/

4. 基础功能特性

MindSpeed-RL 支持的基础模型并行策略、环境配置及调试功能。

特性名称	简介	发布状态	文档链接
并行策略	包含基础并行策略集：TP (Tensor Parallel), PP (Pipeline Parallel), DP (Data Parallel), SP (Sequence Parallel), DDP, CP（ring）, swap-optimizer。	release	/
VPP/DPP	支持交错式流水线并行（Interleaved Pipeline Parallelism），减少流水线气泡。	release	/
moe-hierarchical-alltoallv	针对 MoE 模型的分层 AllToAllV 通信优化，提升大规模集群下的通信效率。	preview	/
确定性计算	支持开启确定性计算模式，确保训练结果的可复现性，便于对齐与调试。	preview	doc
AIV环境变量	提供 AIV (Ascend Inference Virtualization) 相关环境变量配置说明，用于调优底层推理行为。	preview	/