Closed
[Requirement|需求建议]: 对齐DeepSelect的topk接口功能,重写tbe topk #4833
nextyaleAdd on 4 days agoClosed at 4 days ago
4 days ago Added label: requirement
4 days ago Modify description of issue
4 days ago Associated pull request
4 days ago Assign nextyale as responsible person
4 days ago Close issue
4 days ago changed custom state from 待办的 to 已完成
一、背景信息(必填)
模型中的 TopK 场景需要区间选择、灵活输出和长轴小 K 优化。新增独立 SelectTopK 算子及 ACLNN 接口,补齐这些能力,并使用 AscendC 实现通用排序与选择算法,保持既有 TopK 接口兼容。
二、价值/作用(必填)
降低长轴小 K、短轴多行等场景的选择开销;提供逐行区间、单/双输出、索引偏移及填充能力,减少业务侧额外处理。
三、设计方案(必填)
3.1 使能方式
通过
aclnnSelectTopKGetWorkspaceSize查询工作区,再调用aclnnSelectTopK执行;框架可基于该接口适配。3.2 总体设计
支持最大/最小 K、按值排序或无序输出、广播/逐行 begin/end 区间,以及仅值、仅索引或双输出。有效元素不足 K 时填充;索引偏移仅作用于有效原轴索引。
3.2.1 算子支持的数据类型
输入及值输出支持 BF16、FP16、FP32;索引支持 INT32、INT64;可选区间端点使用 INT32。
3.2.2 Host 侧设计
根据轴长、K、行数、布局和区间信息选择算法、分核/分块策略,计算 UB 与工作区资源。L2 负责输入准备、索引转换及输出恢复,满足门控时复用 Topk/RadixTopK,并按需使用 SortWithIndex 完成有序输出。
3.2.3 Kernel 侧设计
以行排序、核内/跨核归并和区间归并为通用路径,针对长轴小 K、短轴、Top1、全量输出等场景优化。采用 11 个完整入口及对应 tiling key,具体容量和调度策略通过 tiling 参数表达,复用公共搬运、排序和输出逻辑。
3.3 支持硬件
A2、A3 共用 arch22 实现;当前设备验证以 A2 为主,A3 真机验证待补充。
💡 备注
实现 PR:!7557。Radix/SortWithIndex 分流需配套依赖后专项验证;既有 TopKV2 实现保持不变。