| [feature]分布式支持context parallel
Co-authored-by: TrHan<hantianrui1@huawei.com>
# message auto-generated for no-merge-commit merge:
!35927 merge pr_cp_2.7.1_0516 into v2.7.1
[feature]分布式支持context parallel
Created-by: TrHan
Commit-by: TrHan
Merged-by: ascend-robot
Description: <!--
PR描述模板更新日期:20260203
-->
# 【合入来源】
> <font color="red">**如有社区issue,请关联issue链接**</font>\
> <font color="red">**请勿携带内部流程信息(需求链接、问题单、内部issue等)**</font>
- [x] 需求
- [ ] 问题单
- [ ] issue/工单
- [ ] 重构优化
- [ ] 资料更新
[#2029](https://gitcode.com/Ascend/pytorch/issues/2029)
# 【修改方案】
> 请描述修改内容的具体实现,涉及哪些组件之间进行交互,可以用1、2、3、...进行罗列\
> 如果是需求或者重构类的PR,需要补充详细设计文档(说明上下游组件关系、时序图、类图、DFX能力等内容)
参考原生torch cp实现方案,注册shard seq dim的策略,通过monkey patch将sdpa+DTensor的dispatch换成cp的dispatch,从而触发ring attention流程
详细方案见issue
# 【资料变更】
> 请确认是否涉及资料变更。如涉及,需要在PR中体现,并简要说明修改内容。如不涉及,需填写“不涉及”
涉及,docs/zh/native_apis/pytorch_2-7-1/torch-distributed-tensor.md
# 【接口变更】
> 请确认是否涉及跨代码仓或者客户面可见的接口变更。如涉及,需要详细说明接口以及对应的变更内容,同时需要在资料中体现。如不涉及,需填写“不涉及”
涉及新增接口,docs/zh/native_apis/pytorch_2-7-1/torch-distributed-tensor.md
# 【功能验证】
> 说明测试场景,测试方法。如果本次测试方式与常规单元测试不同,请详细说明您的测试步骤\
> 新增/变更内容是否已新增/适配UT测试用例看护,并补充测试自验证截图
围绕ring attention,对如下参数矩阵进行交叉验证

用例执行结果:

# 【CheckList】
> PR提交人对以下CheckList自检项进行全量自检,自检通过或不涉及,均修改 [ ] 为 [x]
- [x] 代码注释完备,正确记录错误日志
- [x] 代码实现进行了返回值、空指针等校验
- [x] PR标题正确使用类型标签,如:feat、fix、refactor、docs、test等
- [x] PR持续集成流水线(CI)执行通过,代码检查无异常
See merge request: Ascend/pytorch!35927 | 12 天前 |