已合并
feat: FSDP2 online dynamic weight conversion support #4597
feat: FSDP2 online dynamic weight conversion support #4597
已合并
iansheng创建于 6月15日
iansheng成员
6月15日

What this PR does / why we need it?

fsdp moe模型训练支持gmm权重在线转换,在线转换框架支持扩展

Does this PR introduce any user-facing change?

易用性提升,省去fsdp moe模型跑之前离线转换步骤

How was this patch tested?

image.png

v4离线转换对比v5在线转换误差为0.000023

likedislike
Pull Request已成功合入, 合并人@ascend-robot
(感谢 iansheng 的贡献)
Iiansheng成员
6月15日 创建了 pull request,commit 56e6b9cd
ascend-robotascend-robot成员
6月15日 添加了label:stat/needs-squash
ascend-robotascend-robot成员
6月15日 添加了label:ascend-cla/yes
ascend-robot
ascend-robot成员
6月15日 评论:

Thanks for your pull-request.
The full list of commands accepted by me can be found at here
You can get sig-info at here


PR Approval Progress

Congratulations! All modules have met the lgtm and approve requirements.

Module Approval Details

module lgtm status approve status
docs HANHU1CHEN, 丁子霖 (2/2) 丁子霖 (1/1)
repo-Ascend/MindSpeed-LLM 丁子霖, HANHU1CHEN (2/2) 丁子霖 (1/1)

💡 Tip:

  • Committer can comment /approve or /lgtm
  • Commenting /approve implies both code review (lgtm) and intent to merge (approve)

CLA Signature Pass

iansheng, thanks for your pull request. All authors of the commits have signed the CLA. 👍

likedislike
ascend-robot
ascend-robot成员
6月15日 评论:

Ascend docs pipeline is running...

likedislike
ascend-robotascend-robot成员
6月15日 添加了label:docs-ci-pipeline-running
ascend-robot
ascend-robot成员
6月15日 评论:

✅ 文档门禁通过!

检查项 检查结果 详情
markdownlint ✅ 已通过 查看详情
link-validity-check ✅ 已通过 查看详情
resource-existence-check ✅ 已通过 查看详情
tag-closed-check ✅ 已通过 查看详情
likedislike
ascend-robotascend-robot成员
6月15日 删除了label:docs-ci-pipeline-running
ascend-robotascend-robot成员
6月15日 添加了label:docs-ci-pipeline-success
Iiansheng成员
6月15日 update merge request[project id: 7623105, iid: 4597, commit_id: 9613564fb15aca2d5506c24190ed1b6c22afd1d0] virtual merging success
Iiansheng成员
6月15日 推送  1 个提交:cb019535-transformer version compatible
Iiansheng成员
6月15日 update merge request[project id: 7623105, iid: 4597, commit_id: ffcb685d9c3409f27738fbc6cfe33155ca467f47] virtual merging success
AtlasAccountAtlasAccount成员
6月15日 添加了label:ci-pipeline-failed
ascend-robot
ascend-robot成员
6月15日 评论:

Ascend docs pipeline is running...

likedislike
ascend-robotascend-robot成员
6月15日 删除了label:docs-ci-pipeline-success
ascend-robotascend-robot成员
6月15日 添加了label:docs-ci-pipeline-running
ascend-robot
ascend-robot成员
6月15日 评论:

✅ 文档门禁通过!

检查项 检查结果 详情
markdownlint ✅ 已通过 查看详情
link-validity-check ✅ 已通过 查看详情
resource-existence-check ✅ 已通过 查看详情
tag-closed-check ✅ 已通过 查看详情
likedislike
ascend-robotascend-robot成员
6月15日 删除了label:docs-ci-pipeline-running
此处折叠了5条事件消息 查看更多
AtlasAccountAtlasAccount成员
6月15日 添加了label:ci-pipeline-failed
ascend-robot
ascend-robot成员
6月15日 评论:

Ascend docs pipeline is running...

likedislike
ascend-robotascend-robot成员
6月15日 删除了label:docs-ci-pipeline-success
ascend-robotascend-robot成员
6月15日 添加了label:docs-ci-pipeline-running
ascend-robot
ascend-robot成员
6月15日 评论:

✅ 文档门禁通过!

检查项 检查结果 详情
markdownlint ✅ 已通过 查看详情
link-validity-check ✅ 已通过 查看详情
resource-existence-check ✅ 已通过 查看详情
tag-closed-check ✅ 已通过 查看详情
likedislike
ascend-robotascend-robot成员
6月15日 删除了label:docs-ci-pipeline-running
ascend-robotascend-robot成员
6月15日 添加了label:docs-ci-pipeline-success
iansheng成员
6月15日 评论:

compile

likedislike
ascend-robotascend-robot成员
6月15日 删除了label:ci-pipeline-failed
ascend-robotascend-robot成员
6月15日 添加了label:ci-pipeline-running
AtlasAccount
AtlasAccount成员
6月15日 评论:

已进入队列,请勿重复触发

likedislike
ascend-robot
ascend-robot成员
6月15日 评论:

Ascend docs pipeline is running...

likedislike
ascend-robotascend-robot成员
6月15日 删除了label:docs-ci-pipeline-success
ascend-robotascend-robot成员
6月15日 添加了label:docs-ci-pipeline-running
ascend-robot
ascend-robot成员
6月15日 评论:

✅ 文档门禁通过!

检查项 检查结果 详情
markdownlint ✅ 已通过 查看详情
link-validity-check ✅ 已通过 查看详情
resource-existence-check ✅ 已通过 查看详情
tag-closed-check ✅ 已通过 查看详情
likedislike
ascend-robotascend-robot成员
6月15日 删除了label:docs-ci-pipeline-running
ascend-robotascend-robot成员
6月15日 添加了label:docs-ci-pipeline-success
ascend-robotascend-robot成员
6月15日 删除了label:ci-pipeline-running
ascend-robotascend-robot成员
6月15日 添加了label:ci-pipeline-passed
ascend-robot
ascend-robot成员
6月15日 评论:
流水线 PR-pipeline_MindSpeed-LLM#4209 已完成
>>>代码风格自动修复执行成功(无修复内容)
阶段 任务名 状态 详情
恶意代码检查 Antipoison >>>
编码安全与规范检查 Only_doc_commit >>>
CodeCheck >>>
CodeCheck-pre-commit >>>
开源片段检查 SCA >>>
开发者测试 UT_PY310 >>>
UT_PY38 🛑 >>>
流水线 PR-pipeline_MindSpeed-LLM >>>
此流水线已支持下列评论快捷指令,仅PR创建者评论有效
  • compile : 运行流水线
likedislike
HANHU1CHEN成员
6月15日 评论:

/lgtm

likedislike
丁子叉成员
6月16日 评论:

/approve

likedislike
ascend-robotascend-robot成员
6月16日 添加了label:approvedlgtm
ascend-robotascend-robot成员
6月16日 合入了pull request