目标是解决多输入/大输入场景下输入准备串行化带来的端到端延迟。
自发
输入拆成按消费时机的 copy group。 让后续输入 H2D 尽量被模型前序 compute 覆盖。
[~] 2026/7 支持静态shape流程
[ ] 支持动态shape流程
[ ] 支持多流下的特性使能
感谢您的贡献 🎉!
挪到Q4交付
在您提交issue前,请确认以下信息:
背景信息
目标是解决多输入/大输入场景下输入准备串行化带来的端到端延迟。
需求来源
自发
价值/作用
设计方案
输入拆成按消费时机的 copy group。
让后续输入 H2D 尽量被模型前序 compute 覆盖。
roadmap
doing
[~] 2026/7 支持静态shape流程
规划中
[ ] 支持动态shape流程
[ ] 支持多流下的特性使能
感谢您的贡献 🎉!