moe unpermute optim and update moe readme-MindSpeed-AtomGit

已合并

moe unpermute optim and update moe readme #559

jializheng创建于 2024年7月18日从refs/pull/559/head 合入到 master

moe unpermute optim and update moe readme #559

已合并

jializheng创建于 2024年7月18日

从refs/pull/559/head合入到master

2024年7月18日

moe unpermute optim and update moe readme

[test]
grok-1 with 2 layers
average elapsed time per iteration (ms): 1230.04 --> 1219.37（0.86%）

（感谢 jializheng 的贡献）

2024年7月18日指派了测试人王姜奔

2024年7月18日指派了王姜奔参与评审

2024年7月18日添加了   ascend-cla/yes 标签

2024年7月19日更新了说明

2024年7月19日取消草稿设置

此处折叠了50条消息查看更多

bingobb成员2024年7月22日进行代码检视1

README.md

bingobb2024年7月22日评论：

efficient-moe-megatron-moe.md 这个文件是不是删掉，里面的内容跟添加的有冗余

2024年7月22日评论：

/lgtm

2024年7月22日添加了   lgtm 标签

2024年8月5日评论：

建议对permute和unpermute加UT

aijgnem12024年8月5日进行代码检视1

mindspeed/core/transformer/moe/moe_utils.py

21+ restore_shape: torch.Size = None,

22+):

23+ if padded_mode:

24+ return unpermute_with_padded_tokens(

aijgnem12024年8月5日评论：

这里unpermute_with_padded_tokens没有定义