已合并
refactor fsdp patch and add torch_npu.distributed.fsdp.fully_shard #32148
refactor fsdp patch and add torch_npu.distributed.fsdp.fully_shard #32148
已合并
jizewei创建于 3月21日
jizewei
3月21日

【合入来源】

如有社区issue,请关联issue链接
请勿携带内部流程信息(需求链接、问题单、内部issue等)

【修改方案】

请描述修改内容的具体实现,涉及哪些组件之间进行交互,可以用1、2、3、...进行罗列
如果是需求或者重构类的PR,需要补充详细设计文档(说明上下游组件关系、时序图、类图、DFX能力等内容)

fsdp patch整理:

  1. 基本功能类patch:保证FSDP2在npu可运行,始终替换
  2. 性能增强类patch:提升FSDP2显存、性能,按需替换,将脚本中的torch.distributed.fsdp.fully_shard改为torch_npu.distributed.fsdp.fully_shard启用

新增torch_npu.distributed.fsdp.fully_shard接口,签名与原生接口一致:

  1. 首次调用时,替换增强类patch
  2. 透传参数调用原生fully_shard

【资料变更】

请确认是否涉及资料变更。如涉及,需要在PR中体现,并简要说明修改内容。如不涉及,需填写“不涉及”

【接口变更】

请确认是否涉及跨代码仓或者客户面可见的接口变更。如涉及,需要详细说明接口以及对应的变更内容,同时需要在资料中体现。如不涉及,需填写“不涉及”

新接口训练拉起正常
image.png

【功能验证】

说明测试场景,测试方法。如果本次测试方式与常规单元测试不同,请详细说明您的测试步骤
新增/变更内容是否已新增/适配UT测试用例看护,并补充测试自验证截图

【CheckList】

PR提交人对以下CheckList自检项进行全量自检,自检通过或不涉及,均修改 [ ] 为 [x]

likedislike
Pull Request已成功合入, 合并人@ascend-robot
(感谢 jizewei 的贡献)
Jjizewei
3月21日 创建了 pull request,commit a51a84ab
ascend-robot
ascend-robot成员
3月21日 评论:

Thanks for your pull-request.
The full list of commands accepted by me can be found at here
You can get sig-info at here


PR Approval Progress

Congratulations! All modules have met the lgtm and approve requirements.

Module Approval Details

module lgtm status approve status
test renyujin, kisnwang (2/2) renyujin (1/1)
torch_npu/distributed renyujin, kisnwang (2/2) renyujin (1/1)

💡 Tip:

  • Committer can comment /approve or /lgtm
  • Commenting /approve implies both code review (lgtm) and intent to merge (approve)

CLA Signature Pass

jizewei, thanks for your pull request. All authors of the commits have signed the CLA. 👍

likedislike
ascend-robotascend-robot成员
3月21日 添加了label:ascend-cla/yes
jizewei
3月21日 评论:

compile

likedislike
此处折叠了65条消息 查看更多
Jjizewei
3月26日 修改了pull request 的描述
renyujin成员
3月26日 评论:

/lgtm
/approve

likedislike
ascend-robotascend-robot成员
3月26日 添加了label:approvedlgtm
ascend-robot
ascend-robot成员
3月26日 评论:

Review Guide

This pull-request passes review.
Committers who wrote a comment of /approve are: renyujin.
Reviewers who wrote a comment of /lgtm are: renyujin, kisnwang.

likedislike
ascend-robotascend-robot成员
3月26日 合入了pull request