Closed
[Requirement|需求建议]: 对齐DeepSelect的topk接口功能,重写tbe topk #4833
nextyaleAdd on  4 days agoClosed at  4 days ago
nextyale
nextyaleCollaborators
4 days ago Create

一、背景信息(必填)

模型中的 TopK 场景需要区间选择、灵活输出和长轴小 K 优化。新增独立 SelectTopK 算子及 ACLNN 接口,补齐这些能力,并使用 AscendC 实现通用排序与选择算法,保持既有 TopK 接口兼容。

二、价值/作用(必填)

降低长轴小 K、短轴多行等场景的选择开销;提供逐行区间、单/双输出、索引偏移及填充能力,减少业务侧额外处理。

三、设计方案(必填)

3.1 使能方式

通过 aclnnSelectTopKGetWorkspaceSize 查询工作区,再调用 aclnnSelectTopK 执行;框架可基于该接口适配。

3.2 总体设计

支持最大/最小 K、按值排序或无序输出、广播/逐行 begin/end 区间,以及仅值、仅索引或双输出。有效元素不足 K 时填充;索引偏移仅作用于有效原轴索引。

3.2.1 算子支持的数据类型

输入及值输出支持 BF16、FP16、FP32;索引支持 INT32、INT64;可选区间端点使用 INT32。

3.2.2 Host 侧设计

根据轴长、K、行数、布局和区间信息选择算法、分核/分块策略,计算 UB 与工作区资源。L2 负责输入准备、索引转换及输出恢复,满足门控时复用 Topk/RadixTopK,并按需使用 SortWithIndex 完成有序输出。

3.2.3 Kernel 侧设计

以行排序、核内/跨核归并和区间归并为通用路径,针对长轴小 K、短轴、Top1、全量输出等场景优化。采用 11 个完整入口及对应 tiling key,具体容量和调度策略通过 tiling 参数表达,复用公共搬运、排序和输出逻辑。

3.3 支持硬件

A2、A3 共用 arch22 实现;当前设备验证以 A2 为主,A3 真机验证待补充。

💡 备注

实现 PR:!7557。Radix/SortWithIndex 分流需配套依赖后专项验证;既有 TopKV2 实现保持不变。

likedislike
nextyalenextyaleCollaborators
4 days ago Added label: requirement
nextyalenextyaleCollaborators
4 days ago Modify description of issue
nextyalenextyaleCollaborators
4 days ago Associated pull request
陈思陈思Collaborators
4 days ago Assign nextyale as responsible person
CANN-robotCANN-robotCollaborators
4 days ago Close issue
CANN-robotCANN-robotCollaborators
4 days ago changed custom state from 待办的 to 已完成