Star74
105
代码
代码
Issues233
Pull Requests84
项目讨论
Wiki
分析
Star74
105
已合并
【r1.9.0-beta1】【bugfix】增加softmax_out排布转换，以支持dsa一阶段tnd排布使用FA的tnd排布 #8288
wei_zhuoyi创建于 5月22日
【r1.9.0-beta1】【bugfix】增加softmax_out排布转换，以支持dsa一阶段tnd排布使用FA的tnd排布 #8288
已合并
wei_zhuoyi创建于 5月22日
从wei_zhuoyi/mindformersdsa1_fix_test合入到mindspore/mindformersr1.9.0-beta1
W
wei_zhuoyi成员
5月22日

Fixes #2290

修改描述 (Description)

此前dsa一阶段+tnd需要用到FA的softmax_max和softmax_sum输出，但FA输出的softmax_max和softmax_sum排布不符合实际需要，只能通过使用bsnd排布fa+临时生成eodmask规避
softmax.jpg
现增加转换softmax_out排布的组件实现，以实现tnd下各算子输入排布统一

修改类型 (Type of Change)

测试结果 (Test Results)

新旧实现对比，8层网络，使用纯pp并行
dsa1tnd.JPG
新实现泛化，纯pp与dp=tp=cp=pp=2
dsa1tnd-泛化.JPG

检查清单 (Checklist)

likedislike
Pull Request已成功合入, 合并人@MindSpore-Bot
（感谢 wei_zhuoyi 的贡献）
Wwei_zhuoyi成员
5月22日 创建了 pull request，commit 7c180cf0
MindSpore-BotMindSpore-Bot成员
5月22日 添加了label：mindspore-cla/yes
Wwei_zhuoyi成员
5月22日 修改了pull request 的描述
Wwei_zhuoyi成员
5月22日 预合并成功（commit_id: f4537aad6a811f73271a57671af062818837a799）
Wwei_zhuoyi成员
5月22日 强制推送  1 个提交:bb26038e-dsa1 tnd fix
此处折叠了54条消息 查看更多
MindSpore-Bot
MindSpore-Bot成员
5月26日 评论：

Review Code Feedback

  • The label lgtm-hss-shuai, approved was added to this pull request. It means that hss-shuai reviewed the code changes. 👋
Tips
  • If this pull request is not merged while all conditions are met, comment /check-pr to try again. 😄
likedislike
N
niujunhao成员
5月27日 评论：

/lgtm

likedislike
MindSpore-BotMindSpore-Bot成员
5月27日 添加了label：lgtm-alpha-junh
MindSpore-Bot
MindSpore-Bot成员
5月27日 评论：

Review Code Feedback

  • The label lgtm-alpha-junh was added to this pull request. It means that alpha-junh reviewed the code changes. 👋
Tips
  • If this pull request is not merged while all conditions are met, comment /check-pr to try again. 😄
likedislike
MindSpore-BotMindSpore-Bot成员
5月27日 合入了pull request，合并节点 SHA：86c9fef224d85846f7488fbca2b01c6c2c712a35