Star78
108
代码
代码
Issues22
Pull Requests47
项目讨论
Wiki
分析
Star78
108
已合并
【r1.9.0-beta1】【bugfix】dsa消重排 #8196
wei_zhuoyi创建于 4月15日
【r1.9.0-beta1】【bugfix】dsa消重排 #8196
已合并
wei_zhuoyi创建于 4月15日
从wei_zhuoyi/mindformersdsa_redistribution合入到mindspore/mindformersr1.9.0-beta1
W
wei_zhuoyi成员
4月15日

Fixes #2234

修改描述 (Description)

消除大规模并行时框架自动插入的重排
规避跨子图直接reshape时错误的重排（TND排布一阶段）

修改类型 (Type of Change)

测试结果 (Test Results)

小规模并行下有些重排问题未暴露，因此使用dp2tp4pp2cp8进行dryrun存图验证
一阶段：
消除重排前
image.png
image.png
消除重排后
image.png
image.png

二阶段：
消除重排前
image.png
image.png
消除重排后
image.png
image.png

精度对比：
一阶段
redist1.JPG
二阶段
redist2.JPG
常规mla无变化
mla.JPG

检查清单 (Checklist)

likedislike
Pull Request已成功合入, 合并人@MindSpore-Bot
（感谢 wei_zhuoyi 的贡献）
Wwei_zhuoyi成员
4月15日 创建了 pull request，commit 8da8ad3d
MindSpore-BotMindSpore-Bot成员
4月15日 添加了label：mindspore-cla/yes
Wwei_zhuoyi成员
4月15日 预合并成功（commit_id: d276494d6e4157f90249187e656d2ce018377d22）
Wwei_zhuoyi成员
4月15日 强制推送  1 个提交:c98f5e88-redistribution
Wwei_zhuoyi成员
4月15日 预合并成功（commit_id: 7387c69d0994f3e8d683dc3fd7242c55a368f816）
此处折叠了187条消息 查看更多
MindSpore-BotMindSpore-Bot成员
4月22日 合入了pull request，合并节点 SHA：c71a80226932d56b252164a37c01af565308057c
L
Lin-Bert成员
4月22日 评论：

/lgtm
/approve

likedislike
MindSpore-Bot
MindSpore-Bot成员
4月22日 评论：

Review Code Feedback

  • The label lgtm-lin-bert was added to this pull request. It means that Lin-Bert reviewed the code changes. 👋
Tips
  • If this pull request is not merged while all conditions are met, comment /check-pr to try again. 😄
likedislike
MindSpore-Bot
MindSpore-Bot成员
4月22日 评论：

Review Code Feedback

  • The label approved was added to this pull request. It means that Lin-Bert reviewed the code changes. 👋
Tips
  • If this pull request is not merged while all conditions are met, comment /check-pr to try again. 😄
likedislike
MindSpore-BotMindSpore-Bot成员
4月22日 添加了label：lgtm-lin-bert