文件最后提交记录最后更新时间
[feature]分布式支持context parallel Co-authored-by: TrHan<hantianrui1@huawei.com> # message auto-generated for no-merge-commit merge: !35927 merge pr_cp_2.7.1_0516 into v2.7.1 [feature]分布式支持context parallel Created-by: TrHan Commit-by: TrHan Merged-by: ascend-robot Description: <!-- PR描述模板更新日期:20260203 --> # 【合入来源】 > <font color="red">**如有社区issue,请关联issue链接**</font>\ > <font color="red">**请勿携带内部流程信息(需求链接、问题单、内部issue等)**</font> - [x] 需求 - [ ] 问题单 - [ ] issue/工单 - [ ] 重构优化 - [ ] 资料更新 [#2029](https://gitcode.com/Ascend/pytorch/issues/2029) # 【修改方案】 > 请描述修改内容的具体实现,涉及哪些组件之间进行交互,可以用1、2、3、...进行罗列\ > 如果是需求或者重构类的PR,需要补充详细设计文档(说明上下游组件关系、时序图、类图、DFX能力等内容) 参考原生torch cp实现方案,注册shard seq dim的策略,通过monkey patch将sdpa+DTensor的dispatch换成cp的dispatch,从而触发ring attention流程 详细方案见issue # 【资料变更】 > 请确认是否涉及资料变更。如涉及,需要在PR中体现,并简要说明修改内容。如不涉及,需填写“不涉及” 涉及,docs/zh/native_apis/pytorch_2-7-1/torch-distributed-tensor.md # 【接口变更】 > 请确认是否涉及跨代码仓或者客户面可见的接口变更。如涉及,需要详细说明接口以及对应的变更内容,同时需要在资料中体现。如不涉及,需填写“不涉及” 涉及新增接口,docs/zh/native_apis/pytorch_2-7-1/torch-distributed-tensor.md # 【功能验证】 > 说明测试场景,测试方法。如果本次测试方式与常规单元测试不同,请详细说明您的测试步骤\ > 新增/变更内容是否已新增/适配UT测试用例看护,并补充测试自验证截图 围绕ring attention,对如下参数矩阵进行交叉验证 ![image.png](https://raw.gitcode.com/user-images/assets/7404318/1e24ea90-28fc-4d24-9b2f-71c54bcf8247/image.png 'image.png') 用例执行结果: ![image.png](https://raw.gitcode.com/user-images/assets/7404318/0916cd7a-20a3-4b33-9d83-bde13fb7b3fc/image.png 'image.png') # 【CheckList】 > PR提交人对以下CheckList自检项进行全量自检,自检通过或不涉及,均修改 [ ] 为 [x] - [x] 代码注释完备,正确记录错误日志 - [x] 代码实现进行了返回值、空指针等校验 - [x] PR标题正确使用类型标签,如:feat、fix、refactor、docs、test等 - [x] PR持续集成流水线(CI)执行通过,代码检查无异常 See merge request: Ascend/pytorch!3592712 天前
[feature]分布式支持context parallel Co-authored-by: TrHan<hantianrui1@huawei.com> # message auto-generated for no-merge-commit merge: !35927 merge pr_cp_2.7.1_0516 into v2.7.1 [feature]分布式支持context parallel Created-by: TrHan Commit-by: TrHan Merged-by: ascend-robot Description: <!-- PR描述模板更新日期:20260203 --> # 【合入来源】 > <font color="red">**如有社区issue,请关联issue链接**</font>\ > <font color="red">**请勿携带内部流程信息(需求链接、问题单、内部issue等)**</font> - [x] 需求 - [ ] 问题单 - [ ] issue/工单 - [ ] 重构优化 - [ ] 资料更新 [#2029](https://gitcode.com/Ascend/pytorch/issues/2029) # 【修改方案】 > 请描述修改内容的具体实现,涉及哪些组件之间进行交互,可以用1、2、3、...进行罗列\ > 如果是需求或者重构类的PR,需要补充详细设计文档(说明上下游组件关系、时序图、类图、DFX能力等内容) 参考原生torch cp实现方案,注册shard seq dim的策略,通过monkey patch将sdpa+DTensor的dispatch换成cp的dispatch,从而触发ring attention流程 详细方案见issue # 【资料变更】 > 请确认是否涉及资料变更。如涉及,需要在PR中体现,并简要说明修改内容。如不涉及,需填写“不涉及” 涉及,docs/zh/native_apis/pytorch_2-7-1/torch-distributed-tensor.md # 【接口变更】 > 请确认是否涉及跨代码仓或者客户面可见的接口变更。如涉及,需要详细说明接口以及对应的变更内容,同时需要在资料中体现。如不涉及,需填写“不涉及” 涉及新增接口,docs/zh/native_apis/pytorch_2-7-1/torch-distributed-tensor.md # 【功能验证】 > 说明测试场景,测试方法。如果本次测试方式与常规单元测试不同,请详细说明您的测试步骤\ > 新增/变更内容是否已新增/适配UT测试用例看护,并补充测试自验证截图 围绕ring attention,对如下参数矩阵进行交叉验证 ![image.png](https://raw.gitcode.com/user-images/assets/7404318/1e24ea90-28fc-4d24-9b2f-71c54bcf8247/image.png 'image.png') 用例执行结果: ![image.png](https://raw.gitcode.com/user-images/assets/7404318/0916cd7a-20a3-4b33-9d83-bde13fb7b3fc/image.png 'image.png') # 【CheckList】 > PR提交人对以下CheckList自检项进行全量自检,自检通过或不涉及,均修改 [ ] 为 [x] - [x] 代码注释完备,正确记录错误日志 - [x] 代码实现进行了返回值、空指针等校验 - [x] PR标题正确使用类型标签,如:feat、fix、refactor、docs、test等 - [x] PR持续集成流水线(CI)执行通过,代码检查无异常 See merge request: Ascend/pytorch!3592712 天前