已合并
提交PP自动并行算法的代码实现 #516
AtomGit-Bot创建于 2024年7月8日
提交PP自动并行算法的代码实现 #516
已合并
从refs/pull/516/head合入到master
Pull Request已成功合入, 合并人@
（感谢 AtomGit-Bot 的贡献）2024年7月8日 指派了 王姜奔 参与评审
2024年7月8日 指派了测试人王姜奔
2024年7月8日 添加了
ascend-cla/no
标签
2024年7月8日 推送了代码
2024年7月8日 强制推送 了代码
此处折叠了69条消息 查看更多
atlasaccount1
2024年7月10日 评论：
2024年7月10日 评论：
✅ 流水线任务触发成功，正在执行，请稍候。 任务链接[3acb411f1cfc420a85997e992e20baa6]
atlasaccount1
2024年7月10日 评论：
2024年7月10日 评论：
SCA扫描: success
| # | check type | result | report |
|---|---|---|---|
| 1 | sca | success | >>> |
atlasaccount1
2024年7月10日 评论：
2024年7月10日 评论：
防投毒扫描: pass
| # | check type | result | report |
|---|---|---|---|
| 1 | anti poison | pass | >>> |
atlasaccount1
2024年7月10日 评论：
2024年7月10日 评论：
静态检查: pass
| # | check type | result | report |
|---|---|---|---|
| 1 | codecheck | pass | >>> |
作者：颜颂鹏、刘林峰、何祉翰、周豁之、周维、张梦阳
算法说明：本算法通过在线建模搜索的方式自动构建出PP自动并行性能优化方案。
详细文档说明：https://gitee.com/ascend/MindSpeed/blob/273433cf2efdc5045077cec24e52b43f3ac818c3/docs/features/automated-pipeline.md
使用说明：
仅适用于开启PP并行的场景（--pipeline-model-parallel-size >= 2）
在启动脚本中添加参数--automated-pipeline-perf启动性能优化模块。
收益说明：
PP自动并行性能优化模块收益：LLaMA2-7B，LLaMA-13B，LLaMA3-8B等使用流水线并行PP配置训练的模型，叠加本算法后平均性能提升7.6%，精度无损。
精度对齐情况：
llama2-7B前800步精度对齐情况