Thanks for sending an requirement! Please fill in the following template to help quickly solve your problem.
提供获取模型中Stream信息/获取Stream中任务信息及任务类型能力,供SuperKernel调用后支撑算子融合。
Runtime
通过支撑SuperKernel获取模型Stream和任务信息,完成算子融合,仅需一次调度即可完成多个kernel执行,大幅提升性能。
1.通过传入的模型实例mdl,遍历获取其中的Stream,并返回handle。 2.通过传入的模型流,遍历获取其中的任务,并返回handle。 3.通过传入的任务handle,分析下发任务类型并返回。
/assign @chingbb
This issue is already assigned to chingbb. Please do not assign repeatedly.
/close
Thanks for sending an requirement! Please fill in the following template to help quickly solve your problem.
Backgroud(背景信息)
提供获取模型中Stream信息/获取Stream中任务信息及任务类型能力,供SuperKernel调用后支撑算子融合。
Origin(信息来源)
Runtime
Benefit / Necessity (价值/作用)
通过支撑SuperKernel获取模型Stream和任务信息,完成算子融合,仅需一次调度即可完成多个kernel执行,大幅提升性能。
Design(设计方案)
1.通过传入的模型实例mdl,遍历获取其中的Stream,并返回handle。
2.通过传入的模型流,遍历获取其中的任务,并返回handle。
3.通过传入的任务handle,分析下发任务类型并返回。