已关闭
【开源实习】HyperParallel支持LLM推理Generate流程 #2101
yang-yucheng03创建于 5月22日关闭于 6月29日
5月22日 添加了label：intern
5月22日 修改了issue 的描述
Moy
5月22日 评论：
5月22日 评论：
/intern-assign
MindSpore-Bot
5月22日 评论：
5月22日 评论：
@xuxinkun_2026 , 感谢您认领此任务, 请及时跟导师沟通, 导师审核通过后才能承担此任务, 否则任务无效.
5月22日 添加了label：intern-task-assign
阿苏
5月29日 评论：
5月29日 评论：
/intern-approve
MindSpore-Bot
5月29日 评论：
5月29日 评论：
@xuxinkun_2026 , 恭喜您已成功领取该任务, 请及时处理任务. 认领任务>导师审核认领资格>处理任务>提交任务>导师审核>pr合入>获得积分.
5月29日 添加了label：intern-task-assigned；删除了label：intern-task-assign
6月22日 关联了pull request：Feat: HyperParallel支持LLM推理Generate流程 #2101
Moy
6月29日 评论：
6月29日 评论：
/intern-completed
6月29日 添加了label：intern-task-rewiew；删除了label：intern-task-assigned
MindSpore-Bot
6月29日 评论：
6月29日 评论：
@xuxinkun_2026 , 请关注您提交的pr审核进度, 跟进相关负责人审核, pr合入后可获得积分. 注: 提交pr时, 请务必在pr描述里添加此issue编号(#issue编号), 谢谢!
Moy
6月29日 评论：
6月29日 评论：
阿苏
6月29日 评论：
6月29日 评论：
/intern-completed
MindSpore-Bot
6月29日 评论：
6月29日 评论：
阿苏
6月29日 评论：
6月29日 评论：
/intern-done
6月29日 关闭了 issue
MindSpore-Bot
6月29日 评论：
6月29日 评论：
@xuxinkun_2026 , 恭喜您提交的任务成果已通过导师审核, 已获得 40 积分, 谢谢您的参与.
6月29日 issue状态由 TODO 改变为 DONE
【任务分值】 40分
【背景描述】
当前重点偏训练，需补齐Generate推理流程以支持训推一体与RL相关场景。
【需求描述】
业界现状：推理生成通常分prefill+decode两阶段，核心是KV Cache管理、并行下logits一致性与采样策略。
当前实现：仓库能力重心仍在训练，generate流程缺少官方端到端链路。
开发建议：先实现greedy/top-k最小generate闭环（含KV cache），再补batch decode与性能优化；明确训练态与推理态API边界。
参考路径：core/tensor_parallel、core/context_parallel、integration/llamafactory（导出/加载路径可复用）。
【参考资料】
开发建议：先实现greedy/top-k最小generate闭环（含KV cache），再补batch decode与性能优化；明确训练态与推理态API边界。
【验收标准】
实现基础generate流程（prefill+decode）；支持至少1个模型可用；补功能测试与性能基线。
【任务技术要求】
【PR提交地址】
https://gitcode.com/mindspore/hyper-parallel.git
master分支
【导师邮箱】
苏老师：suteng@huawei.com
认领同学请先发简历邮件给导师，谢谢合作