v2.7.1

ascend-robotrefactor fsdp patch and add torch_npu.distributed.fsdp.fully_shard

75494032创建于 3月26日历史提交

文件	最后提交记录	最后更新时间
__init__.py	refactor fsdp patch and add torch_npu.distributed.fsdp.fully_shard Co-authored-by: jizewei<jizewei@huawei.com> # message auto-generated for no-merge-commit merge: !32151 merge v2.7.1_fsdp_patch into v2.7.1 refactor fsdp patch and add torch_npu.distributed.fsdp.fully_shard Created-by: jizewei Commit-by: jizewei Merged-by: ascend-robot Description: <!-- PR描述模板更新日期：20260203 --> # 【合入来源】 > <font color="red">**如有社区issue，请关联issue链接**</font>\ > <font color="red">**请勿携带内部流程信息（需求链接、问题单、内部issue等）**</font> - [ ] 需求 - [x] 问题单 - [ ] issue/工单 - [ ] 重构优化 - [ ] 资料更新 # 【修改方案】 > 请描述修改内容的具体实现，涉及哪些组件之间进行交互，可以用1、2、3、...进行罗列\ > 如果是需求或者重构类的PR，需要补充详细设计文档（说明上下游组件关系、时序图、类图、DFX能力等内容） fsdp patch整理： 1. 基本功能类patch：保证FSDP2在npu可运行，始终替换 2. 性能增强类patch：提升FSDP2显存、性能，按需替换，将脚本中的torch.distributed.fsdp.fully_shard改为torch_npu.distributed.fsdp.fully_shard启用 新增torch_npu.distributed.fsdp.fully_shard接口，签名与原生接口一致： 1. 首次调用时，替换增强类patch 2. 透传参数调用原生fully_shard # 【资料变更】 > 请确认是否涉及资料变更。如涉及，需要在PR中体现，并简要说明修改内容。如不涉及，需填写“不涉及” # 【接口变更】 > 请确认是否涉及跨代码仓或者客户面可见的接口变更。如涉及，需要详细说明接口以及对应的变更内容，同时需要在资料中体现。如不涉及，需填写“不涉及” # 【功能验证】 > 说明测试场景，测试方法。如果本次测试方式与常规单元测试不同，请详细说明您的测试步骤\ > 新增/变更内容是否已新增/适配UT测试用例看护，并补充测试自验证截图 新接口训练拉起正常  # 【CheckList】 > PR提交人对以下CheckList自检项进行全量自检，自检通过或不涉及，均修改 [ ] 为 [x] - [ ] 代码注释完备，正确记录错误日志 - [ ] 代码实现进行了返回值、空指针等校验 - [ ] PR标题正确使用类型标签，如：feat、fix、refactor、docs、test等 - [ ] PR持续集成流水线（CI）执行通过，代码检查无异常 See merge request: Ascend/pytorch!32151	2 个月前
_add_fsdp_patch.py	refactor fsdp patch and add torch_npu.distributed.fsdp.fully_shard Co-authored-by: jizewei<jizewei@huawei.com> # message auto-generated for no-merge-commit merge: !32151 merge v2.7.1_fsdp_patch into v2.7.1 refactor fsdp patch and add torch_npu.distributed.fsdp.fully_shard Created-by: jizewei Commit-by: jizewei Merged-by: ascend-robot Description: <!-- PR描述模板更新日期：20260203 --> # 【合入来源】 > <font color="red">**如有社区issue，请关联issue链接**</font>\ > <font color="red">**请勿携带内部流程信息（需求链接、问题单、内部issue等）**</font> - [ ] 需求 - [x] 问题单 - [ ] issue/工单 - [ ] 重构优化 - [ ] 资料更新 # 【修改方案】 > 请描述修改内容的具体实现，涉及哪些组件之间进行交互，可以用1、2、3、...进行罗列\ > 如果是需求或者重构类的PR，需要补充详细设计文档（说明上下游组件关系、时序图、类图、DFX能力等内容） fsdp patch整理： 1. 基本功能类patch：保证FSDP2在npu可运行，始终替换 2. 性能增强类patch：提升FSDP2显存、性能，按需替换，将脚本中的torch.distributed.fsdp.fully_shard改为torch_npu.distributed.fsdp.fully_shard启用 新增torch_npu.distributed.fsdp.fully_shard接口，签名与原生接口一致： 1. 首次调用时，替换增强类patch 2. 透传参数调用原生fully_shard # 【资料变更】 > 请确认是否涉及资料变更。如涉及，需要在PR中体现，并简要说明修改内容。如不涉及，需填写“不涉及” # 【接口变更】 > 请确认是否涉及跨代码仓或者客户面可见的接口变更。如涉及，需要详细说明接口以及对应的变更内容，同时需要在资料中体现。如不涉及，需填写“不涉及” # 【功能验证】 > 说明测试场景，测试方法。如果本次测试方式与常规单元测试不同，请详细说明您的测试步骤\ > 新增/变更内容是否已新增/适配UT测试用例看护，并补充测试自验证截图 新接口训练拉起正常  # 【CheckList】 > PR提交人对以下CheckList自检项进行全量自检，自检通过或不涉及，均修改 [ ] 为 [x] - [ ] 代码注释完备，正确记录错误日志 - [ ] 代码实现进行了返回值、空指针等校验 - [ ] PR标题正确使用类型标签，如：feat、fix、refactor、docs、test等 - [ ] PR持续集成流水线（CI）执行通过，代码检查无异常 See merge request: Ascend/pytorch!32151	2 个月前
_fsdp_collectives.py	!22802 add fsdp patch for foreach_copy and finalize_backward Merge pull request !22802 from zhangqiongwen/v2.7.1_foreach_copy_patch	10 个月前