[Bug]: DSA存在复杂重排导致运行失败-mindformers-AtomGit

已关闭

[Bug]: DSA存在复杂重排导致运行失败 #2234

wei_zhuoyi创建于 4月17日关闭于 6月18日

4月17日创建

[x] 1. 我已经搜索过相关问题，但没有得到预期的帮助.

[x] 2. 最新版本中该错误尚未修复.

[x] 3. 请注意，如果您提交的Bug描述缺少相应的环境信息和最小可复现的demo，我们将很难复现和解决该问题，从而降低收到反馈的可能性，甚至该问题将被关闭.

大规模并行时触发自动插入的复杂重排
并行配置：128卡,dp2tp4pp2cp8

一阶段框架取值出错导致重排reshape输入节点取错

Thanks for contributing 🎉!

4月17日添加了label：bug

4月17日添加了label：bug

4月17日关联分支由 [] 改变为 [master]

4月17日问题后端类型由 [] 改变为 [Ascend]

4月17日关联组件由 [] 改变为 [B-SIG-MindFormers-Train]

4月17日修改标题为 “[Bug]: DSA存在复杂重排导致运行失败”，原标题为“[Bug]: DSA大规模并行配置下存在复杂重排导致transpose失败”

4月17日修改了issue 的描述

6月18日将 wei_zhuoyi 设为负责人

6月18日 issue状态由 TODO 改变为 ACCEPTED

6月18日 issue状态由 ACCEPTED 改变为 WIP

6月18日 issue状态由 WIP 改变为 VALIDATION

6月18日 issue状态由 VALIDATION 改变为 DONE

6月18日关闭了 issue

6月29日评论：

Appearance & Root Cause
问题：大规模并行时触发自动插入的复杂重排
根因：
1、 mindspore自动插入重排

Fix Solution
1、修复可能触发重排的节点

Self-test Report & DT Review
小规模并行下有些重排问题未暴露，因此使用dp2tp4pp2cp8进行dryrun存图验证
一阶段：
消除重排前

消除重排后

二阶段：
消除重排前

消除重排后

精度对比：
一阶段

二阶段

常规mla无变化

是否需要补充 ST/UT：否如果选择否，请补充理由
原因：非基本功能问题

Introduction Analysis
引入类型：历史遗留问题
问题是否偶现：否