已关闭
【开源实习】HyperParallel支持多模态Encoder-CP/DP并行 #2093
yang-yucheng03创建于 5月22日关闭于 9月7日
5月22日 添加了label：intern
5月22日 修改了issue 的描述
MindSpore-Bot
5月22日 评论：
5月22日 评论：
@zhuolin-2026 , 感谢您认领此任务, 请及时跟导师沟通, 导师审核通过后才能承担此任务, 否则任务无效.
5月22日 添加了label：intern-task-assign
chenlan114514
5月22日 评论：
5月22日 评论：
/intern-assign
MindSpore-Bot
5月22日 评论：
5月22日 评论：
@zhufu-2026 , 您无法认领此任务, 已被他人认领.
lishanni
5月25日 评论：
5月25日 评论：
/intern-approve
MindSpore-Bot
5月25日 评论：
5月25日 评论：
@lishanni513_admin1 , 已报名认证过的导师, 才能审核任务, 谢谢!
lishanni
5月25日 评论：
5月25日 评论：
/intern-approve
MindSpore-Bot
5月25日 评论：
5月25日 评论：
@lishanni513_admin1 , 已报名认证过的导师, 才能审核任务, 谢谢!
lishanni
5月28日 评论：
5月28日 评论：
/intern-approve
MindSpore-Bot
5月28日 评论：
5月28日 评论：
@zhuolin-2026 , 恭喜您已成功领取该任务, 请及时处理任务. 认领任务>导师审核认领资格>处理任务>提交任务>导师审核>pr合入>获得积分.
5月28日 添加了label：intern-task-assigned；删除了label：intern-task-assign
yide12
9月7日 评论：
9月7日 评论：
/intern-done
9月7日 关闭了 issue
MindSpore-Bot
9月7日 评论：
9月7日 评论：
@zhuolin-2026 , 恭喜您提交的任务成果已通过导师审核, 已获得 20 积分, 谢谢您的参与.
9月7日 issue状态由 TODO 改变为 DONE
【任务分值】 20分
【背景描述】
多模态训练中Encoder与Decoder并行策略常不同，需支持Encoder侧独立DP/CP路径，降低接入复杂度。
【需求描述】
业界现状：长序列视觉/视频Encoder常用Ulysses/Ring/Hybrid CP以降低注意力内存与通信暴露。
当前实现：hyper-parallel已有FSDP、CP实现，但主要围绕LLM attention模式。
开发建议：由于声明式并行架构，理应天然支持Encoder与LLM独立配置，但需要实际模型配置设计和实测验证。
【参考资料】
开发建议：由于声明式并行架构，理应天然支持Encoder与LLM独立配置，但需要实际模型配置设计和实测验证。
【验收标准】
实现Encoder-CP、DP配置与主流程验证；提供精度对齐与性能对比；补充样例、测试用例及使用文档。
【任务技术要求】
【任务提交仓】
https://gitcode.com/mindspore/hyper-parallel.git
【导师邮箱】
李老师：lishanni@huawei.com
认领任务请先发送简历邮件给任务导师