已关闭
[Requirement|需求建议]: ApplyTopKTopPWithSorted性能优化 #4823
Nice try创建于 8月15日关闭于 8月17日
8月15日 添加了label:requirement
8月15日 关联了pull request:perf(apply_top_k_top_p_with_sorted): ApplyTopKTopPWithSorted性能优化
8月15日 修改了issue 的描述
8月15日 将 Nice_try 设为负责人
8月17日 关闭了 issue
8月17日 添加了label:resolved
Thanks for sending an requirement! Please fill in the following template to help quickly solve your problem.
Backgroud(背景信息)
当前仓内ApplyTopKTopPWithSorted采用标量离散搬运,scalar运算耗时极大。
Benefit / Necessity (价值/作用)
减少该算子运行耗时。
Design(设计方案)
透传logits输入,向量化实现计算搬运。