Thanks for sending an requirement! Please fill in the following template to help quickly solve your problem.
当前GE的图下沉场景里,GE是固定按照一个下沉stream只能下发2K个任务,超过2K个任务后就得向Runtime再新申请一个stream再通过条件算子进行级联,浪费了RTSQ的规格。
runtime
充分利用RTSQ的规格,提高资源利用率
Runtime先缓存SQE内容到host内存,然后在loadComplete时确定stream的最终SQE数,再申请合适的device内存作为device SQ内存。
/assign @sgd
This issue can not be assigned to sgd. Please try to assign to the repository members.
/assign @sgd 您好,后续自提的issue,请及时分配给自己,并跟踪闭环,感谢!
Thanks for sending an requirement! Please fill in the following template to help quickly solve your problem.
Backgroud(背景信息)
当前GE的图下沉场景里,GE是固定按照一个下沉stream只能下发2K个任务,超过2K个任务后就得向Runtime再新申请一个stream再通过条件算子进行级联,浪费了RTSQ的规格。
Origin(信息来源)
runtime
Benefit / Necessity (价值/作用)
充分利用RTSQ的规格,提高资源利用率
Design(设计方案)
Runtime先缓存SQE内容到host内存,然后在loadComplete时确定stream的最终SQE数,再申请合适的device内存作为device SQ内存。