已合并
[pytorch][feature]integrate moe merge process into FSDP2 training #4250
JZY_SC30创建于 2月27日
[pytorch][feature]integrate moe merge process into FSDP2 training #4250
已合并
Pull Request已成功合入, 合并人@ascend-robot
（感谢 JZY_SC30 的贡献）
AtlasAccount
2月27日 评论：
2月27日 评论：
ascend-robot
2月27日 评论：
2月27日 评论：
Thanks for your pull-request.
The full list of commands accepted by me can be found at here。
You can get sig-info at here
PR Approval Progress
✅ Congratulations! All modules have met the lgtm and approve requirements.
Module Approval Details
| module | lgtm status | approve status |
|---|---|---|
| repo-Ascend/MindSpeed-LLM | ✅ guozhihua2, tichang, cjy840282 (3/2) | ✅ guozhihua2 (1/1) |
💡 Tip:
- Committer can comment
/approveor/lgtm- Commenting
/approveimplies both code review (lgtm) and intent to merge (approve)
2月27日 添加了label：ascend-cla/yes
此处折叠了108条消息 查看更多
guozhihua2
3月3日 评论：
3月3日 评论：
/approve
3月3日 添加了label：approved
ascend-robot
3月3日 评论：
3月3日 评论：
Review Guide
This pull-request passes review.
Committers who wrote a comment of /approve are: guozhihua2.
Reviewers who wrote a comment of /lgtm are: guozhihua2, tichang, cjy840282.
3月3日 合入了pull request
当前MOE模型在FSDP2后端开启gmm特性时训练需进行一次权重转换再进行训练，
将权重转换合并入moe模型FSDP2训练流程中，实现一键拉起一体化训练。