已关闭
[RFC]: 模型输入异步拷贝 #470
GengChao创建于  6月26日关闭于  7月14日
GengChao
GengChao成员
6月26日 创建

在您提交issue前,请确认以下信息:

背景信息

目标是解决多输入/大输入场景下输入准备串行化带来的端到端延迟。

需求来源

自发

价值/作用

设计方案

输入拆成按消费时机的 copy group。
让后续输入 H2D 尽量被模型前序 compute 覆盖。

roadmap

doing

[~] 2026/7 支持静态shape流程

规划中

[ ] 支持动态shape流程

[ ] 支持多流下的特性使能

感谢您的贡献 🎉!

likedislike
GengChaoGengChao成员
6月26日 将 kobemini 设为负责人
此处折叠了19条事件消息 查看更多
GengChaoGengChao成员
7月21日 删除了label:resolved
GengChao
GengChao成员
9月18日 评论:

挪到Q4交付

likedislike