Closed
【开源实习】HyperParallel支持多模态Encoder-CP/DP并行 #2093
yang-yucheng03Add on May 22Closed at Sep 7
May 22 Added label: intern
May 22 Modify description of issue
MindSpore-Bot
May 22 Comments：
May 22 Comments：
@zhuolin-2026 , 感谢您认领此任务, 请及时跟导师沟通, 导师审核通过后才能承担此任务, 否则任务无效.
May 22 Added label: intern-task-assign
chenlan114514
May 22 Comments：
May 22 Comments：
/intern-assign
MindSpore-Bot
May 22 Comments：
May 22 Comments：
@zhufu-2026 , 您无法认领此任务, 已被他人认领.
lishanni
May 25 Comments：
May 25 Comments：
/intern-approve
MindSpore-Bot
May 25 Comments：
May 25 Comments：
@lishanni513_admin1 , 已报名认证过的导师, 才能审核任务, 谢谢!
lishanni
May 25 Comments：
May 25 Comments：
/intern-approve
MindSpore-Bot
May 25 Comments：
May 25 Comments：
@lishanni513_admin1 , 已报名认证过的导师, 才能审核任务, 谢谢!
lishanni
May 28 Comments：
May 28 Comments：
/intern-approve
MindSpore-Bot
May 28 Comments：
May 28 Comments：
@zhuolin-2026 , 恭喜您已成功领取该任务, 请及时处理任务. 认领任务>导师审核认领资格>处理任务>提交任务>导师审核>pr合入>获得积分.
May 28 Added label: intern-task-assigned; Removed label: intern-task-assign
yide12
Sep 7 Comments：
Sep 7 Comments：
/intern-done
Sep 7 Close issue
MindSpore-Bot
Sep 7 Comments：
Sep 7 Comments：
@zhuolin-2026 , 恭喜您提交的任务成果已通过导师审核, 已获得 20 积分, 谢谢您的参与.
Sep 7 changed custom state from TODO to DONE
【任务分值】 20分
【背景描述】
多模态训练中Encoder与Decoder并行策略常不同，需支持Encoder侧独立DP/CP路径，降低接入复杂度。
【需求描述】
业界现状：长序列视觉/视频Encoder常用Ulysses/Ring/Hybrid CP以降低注意力内存与通信暴露。
当前实现：hyper-parallel已有FSDP、CP实现，但主要围绕LLM attention模式。
开发建议：由于声明式并行架构，理应天然支持Encoder与LLM独立配置，但需要实际模型配置设计和实测验证。
【参考资料】
开发建议：由于声明式并行架构，理应天然支持Encoder与LLM独立配置，但需要实际模型配置设计和实测验证。
【验收标准】
实现Encoder-CP、DP配置与主流程验证；提供精度对齐与性能对比；补充样例、测试用例及使用文档。
【任务技术要求】
【任务提交仓】
https://gitcode.com/mindspore/hyper-parallel.git
【导师邮箱】
李老师：lishanni@huawei.com
认领任务请先发送简历邮件给任务导师