/label add good-first-issue
认领这个任务
欢迎认领任务，请参考https://gitcode.com/Ascend/MindSpeed/issues/153 社区任务池明确该任务的：
- 完成的截止日期
- 开发进展反馈
- 微信答疑群
- 任务交付注意事项
等信息。如果您同时认领了多项任务，但无法都能进行投入，可以在部分任务中回复退出.
麻烦您加入到对应微信群，群备注名修改为"社区任务+您的gitcode账号", 后续有相关消息和问题都可以在微信群咨询答疑。 等您加入到微信群后，我这边会在社区任务池里面登记任务责任人。
认领这个任务
认领这个任务
认领这个任务
认领这个任务
认领这个任务
感谢您此前对该任务的关注与支持！
由于上一位认领者暂未继续推进该任务，目前该任务已重新开放。根据此前的候选顺序，我们希望优先邀请您参与该任务。
如您目前仍有意愿认领，请在5个工作日内回复确认，并简要说明预计开始时间或初步推进计划。确认后，我们将为您保留任务，并提供必要的背景资料和支持。
如您近期时间安排不便，也请直接告知，我们将继续顺延联系其他候选贡献者，不会影响您后续参与其他社区任务。
再次感谢您对昇腾开源社区的关注，期待与您合作！
认领这个任务
感谢您此前对该任务的关注与支持！
由于上一位认领者暂未继续推进该任务，目前该任务已重新开放。根据此前的候选顺序，我们希望优先邀请您参与该任务。
如您目前仍有意愿认领，请在5个工作日内回复确认，并简要说明预计开始时间或初步推进计划。确认后，我们将为您保留任务，并提供必要的背景资料和支持。
如您近期时间安排不便，也请直接告知，我们将继续顺延联系其他候选贡献者，不会影响您后续参与其他社区任务。
再次感谢您对昇腾开源社区的关注，期待与您合作！
@Liz_
确认领取
开始时间：7.18
初步推进计划：了解SBH格式下负载均衡的KVAllGather-CP方案 -> 设计TND数据格式下负载均衡的KVAllGather-CP方案 -> 完成基础功能开发 -> 适配MHA、GQA、MLA三种attention结构
7.22进展：已了解SBH格式下负载均衡的KVAllGather-CP方案
7.26进展：代码开发中
8.3进展：代码验证中
8.9进展：已提交代码 https://gitcode.com/Ascend/MindSpeed/pull/3820
任务描述
（1）基于MindSpeed开放仓库的SBH格式下负载均衡的KVAllGather-CP方案，补齐TND数据格式下负载均衡的KVAllGather-CP功能，支持MHA、GQA、MLA三种attention结构，SBH格式参考代码可见https://gitcode.com/Ascend/MindSpeed/blob/master/mindspeed/te/pytorch/attention/dot_product_attention/kvallgather_context_parallel.py
（2）适配产品：800T A2、800T A3
验收标准
一、任务交付件
本期任务为基于MindSpeed开放仓库代码进行功能扩展，请合入开发代码。主要开发点如下：
（1） 数据切分开发
（2） attention结构适配
二、验收标准：
1）性能目标：开关CP特性，性能劣化 < 50%;
2）精度目标：开关CP特性，2000 步 loss 结果 平均相对误差<=2%，挑战1%；
3）显存目标：开关CP特性，显存减少 > 10%;
4）实践文档：
特性说明与开发文档1篇
5）任务完成标准
本次任务完成标准为：
精度/性能/显存（根据实际要求）达标，PR完成合入，实践文档提交到仓库issue。
PR 合入
本地完成测试验证后，向MindSpeed的main分支发起PR。
对接人
待补充
欢迎加入社区，感谢您对社区的贡献 🎉!