已合并
refactor: modify default qwen3.5 mocre config #2879
gaojie创建于 7月24日
refactor: modify default qwen3.5 mocre config #2879
已合并
Pull Request已成功合入, 合并人@ascend-robot
（感谢 gaojie 的贡献）
atomgit-bot
7月24日 评论：
7月24日 评论：
变更摘要
该 PR 主要调整了 Qwen3.5 MoE 模型的默认并行与训练配置，将专家模型并行度从 4 提升至 8（形成 TP2EP8 配置），同时启用了全量激活重计算、增加了数据加载工作线程数，并移除了未使用的工具（tools）配置段。
主要改动
- 专家模型并行度调整：将
gpt_args和model.text_decoder两处的expert_model_parallel_size从4改为8，使默认并行策略变为 TP2EP8。 - 激活重计算启用：将
recompute_num_layers从0改为40，启用全部 40 层的激活重计算，以在full粒度和block方法下减少显存占用。 - 数据加载器并行度提升：将
num_workers从0改为8，增加数据加载的并行处理能力。 - 移除工具配置段：删除了整个
tools配置块，包括profile（静态性能分析）和memory_profile（内存快照）相关参数。
不准确？
atomgit-bot
7月24日 评论：
7月24日 评论：
7月24日 添加了label：ascend-cla/yes
ascend-robot
7月24日 评论：
7月24日 评论：
ascend-robot
7月24日 评论：
7月24日 评论：
Thanks for your pull-request.
The full list of commands accepted by me can be found at here。
You can get sig-info at here
PR Approval Progress
✅ Congratulations! All modules have met the lgtm and approve requirements.
Module Approval Details
| module | lgtm status | approve status |
|---|---|---|
| repo-Ascend/MindSpeed-MM | ✅ 王海涛, wanglikai1019, ye_qm (3/2) | ✅ 王海涛 (1/1) |
💡 Tip:
- Committer can comment
/approveor/lgtm- Commenting
/approveimplies both code review (lgtm) and intent to merge (approve)
CLA Signature Pass
gaojie_, thanks for your pull request. All authors of the commits have signed the CLA. 👍
gaojie
7月24日 评论：
7月24日 评论：
compile
7月24日 添加了label：ci-pipeline-running
ascend-robot
7月24日 评论：
7月24日 评论：
ascend docs pipeline is running...
7月24日 添加了label：docs-ci-pipeline-running
ascend-robot
7月24日 评论：
7月24日 评论：
ascend docs pipeline is running...
ascend-robot
7月24日 评论：
7月24日 评论：
✅ 跳过 docs ci 检查，没有需要检查的文档文件
ascend-robot
7月24日 评论：
7月24日 评论：
✅ 跳过 docs ci 检查，没有需要检查的文档文件
7月24日 删除了label：docs-ci-pipeline-running
7月24日 添加了label：docs-ci-pipeline-success
7月24日 删除了label：ci-pipeline-running
7月24日 添加了label：ci-pipeline-failed
ascend-robot
7月24日 评论：
7月24日 评论：
流水线 PR-pipeline_MindSpeed-MM#4294 [ commitID：cd81caa6 ] 运行失败
>>>代码风格自动修复执行失败，具体请查看日志，不影响流水线执行及PR合入
| 阶段 | 任务名 | 状态 | 详情 |
|---|---|---|---|
| 编译构建 | Build | 🕚 | >>> |
| 恶意代码检查 | Antipoison | ✅ | >>> |
| 编码安全与规范检查 | Only_doc_commit | ✅ | >>> |
| codeCheck_pre-commit | ✅ | >>> | |
| pre-commit | ❌ | >>> | |
| 开源片段检查 | SCA | ✅ | >>> |
| 开发者测试 | UT | 🕚 | >>> |
| ST | 🕚 | >>> | |
| 流水线 | PR-pipeline_MindSpeed-MM | ❌ | >>> |
- compile : 运行流水线
- retry : 重试流水线所有失败子任务
- retry <任务名> : 仅重试指定失败子任务
- stop : 停止流水线
7月24日 预合并成功（commit_id: 3fb4cc465025eef93f2c54f9b96c3c9477d4c96e）
7月24日 预合并成功（commit_id: a9f19d01228017f6d274c9a5f207981a480b03f8）
7月24日 删除了label：ci-pipeline-failed
7月24日 添加了label：stat/needs-squash
gaojie
7月24日 评论：
7月24日 评论：
compile
7月24日 添加了label：ci-pipeline-running
ascend-robot
7月24日 评论：
7月24日 评论：
ascend docs pipeline is running...
7月24日 删除了label：docs-ci-pipeline-success
7月24日 添加了label：docs-ci-pipeline-running
ascend-robot
7月24日 评论：
7月24日 评论：
ascend docs pipeline is running...
ascend-robot
7月24日 评论：
7月24日 评论：
✅ 跳过 docs ci 检查，没有需要检查的文档文件
7月24日 删除了label：docs-ci-pipeline-running
7月24日 添加了label：docs-ci-pipeline-success
ascend-robot
7月24日 评论：
7月24日 评论：
✅ 跳过 docs ci 检查，没有需要检查的文档文件
7月24日 删除了label：ci-pipeline-running
7月24日 添加了label：ci-pipeline-passed
ascend-robot
7月24日 评论：
7月24日 评论：
流水线 PR-pipeline_MindSpeed-MM#4296 [ commitID：fff8c1f6 ] 已完成
>>>代码风格自动修复执行成功（无修复内容）
| 阶段 | 任务名 | 状态 | 详情 |
|---|---|---|---|
| 编译构建 | Build | ✅ | >>> |
| 恶意代码检查 | Antipoison | ✅ | >>> |
| 编码安全与规范检查 | Only_doc_commit | ✅ | >>> |
| codeCheck_pre-commit | ✅ | >>> | |
| pre-commit | ✅ | >>> | |
| 开源片段检查 | SCA | ✅ | >>> |
| 开发者测试 | UT | ✅ | >>> |
| ST | ✅ | >>> | |
| 流水线 | PR-pipeline_MindSpeed-MM | ✅ | >>> |
- compile : 运行流水线
- retry : 重试流水线所有失败子任务
- retry <任务名> : 仅重试指定失败子任务
- stop : 停止流水线
LKONE
7月24日 评论：
7月24日 评论：
/lgtm
7月24日 添加了label：lgtm
7月24日 添加了label：approved
7月24日 合入了pull request
What this PR does / why we need it?
修改qwen3.5 mocre 默认并行配置为TP2EP8
Does this PR introduce any user-facing change?
Please describe whether the PR will result in any user-facing usage changes. If there is related documentation, please specify its path.
How was this patch tested?
Please explain how to verify the correctness and effectiveness of this feature, as well as its usage constraints and limitations.