| Files | Last commit | Last update |
|---|---|---|
TopkV2算子代码优化 Co-authored-by: caoyan_huawei<caoyan11@huawei.com> # message auto-generated for no-merge-commit merge: !5979 merge cy_br_923_youhua into master TopkV2算子代码优化 Created-by: caoyan_huawei Commit-by: caoyan_huawei Merged-by: cann-robot Description: ## 描述 本次改动主要围绕TopkV2算子的代码优化。针对 math/top_k_v2/op_host/arch35/top_k_v2_tiling_base.h 中 TopKV2 算子 tiling 相关辅助函数的声明进行代码整理,主要工作是统一并规范函数形参的命名风格,使参数名更简洁且语义更明确。改动仅涉及函数声明的形参名,未改变函数签名中的类型、返回值和调用契约,属于不影响外部行为的可读性优化。对应的9.2.0分支相关PR如下,全量全等同步。 1. https://gitcode.com/cann/ops-math/pull/6015 2. https://gitcode.com/cann/ops-math/pull/6036 ## 关联的Issue https://gitcode.com/cann/ops-math/issues/3345 ## 测试 二级冒烟,ST测试通过 ## 文档更新 不涉及 ## 类型标签 <!-- [x] 表示选中 --> - [ ] Bug修复 - [ ] 新特性 - [ ] 性能优化 - [ ] 文档更新 - [x] 其他,请描述: See merge request: cann/ops-math!5979 | 1 month ago | |
TopkV2算子编译时长优化 Co-authored-by: caoyan_huawei<caoyan11@huawei.com> # message auto-generated for no-merge-commit merge: !6919 merge cy_topk_compile_1031 into master TopkV2算子编译时长优化 Created-by: caoyan_huawei Commit-by: caoyan_huawei Merged-by: cann-robot Description: 变更摘要 本 PR 旨在优化 TopkV2 算子在 arch35 平台上的编译时长。核心思路是把原本在单次编译中展开的、按 N/K 全量递归模板实例化的标量选择分发,改为按 N 区间拆分到多个独立的 CANN 编译单元(tiling key),并把多处递归模板展开改写为 std::index_sequence 配合折叠表达式实现;同时把标量 N 维度的分发职责从 kernel 侧运行时判断前移到 host tiling 与 tiling key 注册。 主要改动 1. 标量 N 区间新增独立 tiling key:在 top_k_constant_var_simd.h 中新增 TOPK_GM_SCALAR_KEY_BASE(1000000)以及 TOPK_GM_SCALAR_N3_10_KEY、TOPK_GM_SCALAR_N11_18_KEY、TOPK_GM_SCALAR_N19_26_KEY、TOPK_GM_SCALAR_N27_32_KEY 与 TOPK_GM_SCALAR_N_PER_KEY(8),将 N 的取值域按每 8 个一组切分,使每个区间成为独立编译单元。 2. Host 侧 tiling key 计算:top_k_v2_tiling_arch35.cpp 的 TryTopKSmallAxisSort 改为按 lastAxis 计算 scalarKey 并传入 FillTopKDirectTiling,替代原先的 dataTypeKey,由 host 决定走哪个 N 区间 key。 3. Kernel 入口按 tiling key 分发 N 组:top_k_v2_apt.cpp 为四个 scalar 区间 key 注册 TILING_KEY_IS 与 KERNEL_TASK_TYPE(..., KERNEL_TYPE_MIX_AIV_1_0),并新增 GenerateTopKScalarGroup / TryGenerateTopKScalarN,从 TILING_KEY_VAR 反推 firstN 与 countN,在组内按 lastAxisNum 匹配后调用 DispatchTopKSimtGmScalarK。 4. 标量选择分发改为非递归展开:top_k_small_k_simt_gm_select.h 删除 DispatchTopKSimtGmScalarSelect / DispatchTopKSimtGmScalarK 的二分递归模板与 TryRunTopKSimtGmScalarSelect 运行时提前返回逻辑,改为按给定 N 用 std::make_index_sequence 展开 K 候选项,并以 || 折叠短路命中。 5. 排序与宽度/阈值分发改用折叠表达式:TopKSimtGmSortCandidates 拆出 TopKSimtGmExchangeCandidates 与 TopKSimtGmSortCandidateSteps,静态形状走 #pragma unroll 循环、非静态走索引序列折叠;DispatchTopKSimtGmWidth 与 DispatchTopKThresholdSimtGm 也由递归实例化改为 TryLaunchTopKSimtGmWidth / TryLaunchTopKThresholdSimtGm 的折叠表达式遍历。 6. Bitonic 路径的编译期裁剪:generateOpObject 中的 TOPK_DIRECT_MODE 分支被包进 if constexpr (!IS_BITONIC_SORT),避免 Bitonic 排序实例化时同时编译 direct GM 路径。 ## 关联的Issue <!-- 如果这个PR是为了解决特定的Issue,请在这里提供Issue链接。--> <!-- 如果这个PR是为了解决特定的问题单,请在这里描述问题单单号。--> ## 测试 <!--描述进行了哪些测试来验证你的改动。包括但不限于二级冒烟、算子泛化等。--> ## 文档更新 <!--如果这个PR包含文档的更新,请在这里指出。例如:更新了README.md文件。--> ## 类型标签 <!-- [x] 表示选中 --> - [ ] Bug修复 - [ ] 新特性 - [ ] 性能优化 - [ ] 文档更新 - [ ] 其他,请描述: See merge request: cann/ops-math!6919 | 16 days ago | |
TopkV2算子支持小k场景下的双调排序 Co-authored-by: caoyan_huawei<caoyan11@huawei.com> # message auto-generated for no-merge-commit merge: !4683 merge cy_br_gpu_index_814 into master TopkV2算子支持小k场景下的双调排序 Created-by: caoyan_huawei Commit-by: caoyan_huawei Merged-by: cann-robot Description: # 主要描述 TopKV2算子在小k情况下支持双调排序算法。本次修改引入了 sortPolicy(排序策略)字段,并新增 top_k_small_size_sort.h 实现 Bitonic Small TopK 路径,在sorted=true且小 k 值(2 ≤ k ≤ 32)场景下使用双调排序(Bitonic Sort)网络对 TopK 候选结果做最终结果输出。 ## 关联的Issue https://gitcode.com/cann/ops-math/issues/2898 ## 测试 UT,ST,二级冒烟测试 ## 文档更新 <!--如果这个PR包含文档的更新,请在这里指出。例如:更新了README.md文件。--> ## 类型标签 <!-- [x] 表示选中 --> - [ ] Bug修复 - [x] 新特性 - [ ] 性能优化 - [ ] 文档更新 - [ ] 其他,请描述: See merge request: cann/ops-math!4683 | 2 months ago | |
TopkV2算子bitonic算法性能优化 Co-authored-by: caoyan_huawei<caoyan11@huawei.com> Co-authored-by: zhanghedong<zhanghedong@huawei.com> # message auto-generated for no-merge-commit merge: !6320 merge feat/topk-bitonic-perf-optimize into master TopkV2算子bitonic算法性能优化 Created-by: zhanghedong Commit-by: caoyan_huawei;zhanghedong Merged-by: cann-robot Description: 本 PR 围绕 RegBase(arch35)下 TopK / Sort 的小轴与宽整型场景进行选择策略与内核路径优化。在 Tiling 侧新增 SMALL_AXIS_DIRECT_MODE 分支并重写 TryTopKSmallAxisSort 的路由判定,放宽小轴阈值并按数据类型、innerSize、lastAxis、kValue 等条件细分路由;在内核侧新增基于寄存器直写的小轴 SIMT GM 选择内核 top_k_small_k_simt_gm_select.h 与 UB radix 选择内核 top_k_small_k_ub_radix_select.h,共享常量与 Host/Kernel 代价契约统一收敛至 top_k_constant_var_simd.h,并为 64 位整型的 Bitonic 排序接入小 k 阈值选择快路径;同时调整多处核数分配以避免空闲核与重复同步,并更新公版用例与 topk 的 AiCore 选择逻辑。 ## 主要改动 - **新增小轴 SIMT GM 直读直写内核路径**: 新增 SMALL_AXIS_DIRECT_MODE = 11 常量与 top_k_small_k_simt_gm_select.h(含 RunTopKSmallKSimtGmSelect、TopKSimtGmScalarRows、TopKThresholdSimtGm、TopKSimtGmWarpRows 等,并按职责拆分 Load/Collect/Search/Store 辅助函数),top_k_v2_apt.cpp 按 modeType == TOPK_DIRECT_MODE 直接调用该内核。 - **新增 UB radix 选择内核并接入单块模板**: top_k_small_k_ub_radix_select.h(原 input-select)提供两遍直方图阈值选择、候选收集及 B8/B16/B32/B64 的 SIMD/SIMT 变体;radix_sort_top_k_single_block.h 依 keyParams5 标志切换行距与双缓冲布局,通过 RunTopKSmallKUbRadixSelect 接入并支持 Prefetch 预取流水。 - **宽整型阈值选择快路径**: radix_sort_top_k_inter_core_template_optimization.h 在 IS_BITONIC_SORT 且 T 为 64 位整型、topkValueInput_ <= 32 时调用所属模板内的 TopKUbThresholdSelect,后者通过共享缓冲区报告是否走窄区间选择,否则回退原有 radix 选择。 - **重写小轴排序路由判定**: TryTopKSmallAxisSort 将小轴上限从 SMALL_AXIS_THRESHOLD 提升为 8192,新增标量选择直达、三类 input-select 让路、Direct 轴支持与最小行数判定,命中时写入 SMALL_AXIS_DIRECT_MODE 相关 tiling 字段,并对跨步浮点小 k 场景保留回落逻辑。 - **核数分配与并行度调整**: sort_tiling_arch35.cpp 对 DT_FLOAT 且 lastAxis 在 4~8、unsortedDim >= 2048 的场景收紧 maxCoreNum 以保留每核行数;TileModeSmallSize 将 maxCoreNum 限制为 unsortedDimNum;TopKV2Tiling 针对 int8/uint8 尾轴及 int64/uint64 多核优化模式调整 lastDimNeedCore、unsortedDimParallel、sortLoopTimes。 - **常量归并与检视意见修复**: 响应检视意见移除 top_k_small_axis_direct_config.h、top_k_input_select_config.h、top_k_threshold_select_ub.h,常量与 UB 预算函数并入 top_k_constant_var_simd.h 并由 Host 侧共享;公共 tiling 辅助函数下沉 top_k_v2_tiling_base.cpp;VF 循环边界按 SIMD 约束在 VF 外预计算。 - **AiCore 选择逻辑与公版用例更新**: topk.cpp 删除 DT_INT64 基于 size/轴长的 AiCPU 回退判断,RegBase 支持的 dtype 统一走 AiCore;golden.py 降低 _CUDA_SMALL_TOPK_PER_ROW_MAX 至 128,新增 aclnnTopk 映射及 signed_zero_values、_integer_full_range、_integer_extremes 等测试构造逻辑;本仓库 ST 精简为 4 条代表性冒烟用例,全量用例由独立仓库看护。 ## 关联的Issue https://gitcode.com/cann/ops-math/issues/4139 ## 测试 全量ST,二级冒烟测试通过 ## 类型标签 <!-- [x] 表示选中 --> - [ ] Bug修复 - [ ] 新特性 - [x] 性能优化 - [ ] 文档更新 - [ ] 其他,请描述: See merge request: cann/ops-math!6320 | 20 days ago | |
TopkV2算子bitonic算法性能优化 Co-authored-by: caoyan_huawei<caoyan11@huawei.com> Co-authored-by: zhanghedong<zhanghedong@huawei.com> # message auto-generated for no-merge-commit merge: !6320 merge feat/topk-bitonic-perf-optimize into master TopkV2算子bitonic算法性能优化 Created-by: zhanghedong Commit-by: caoyan_huawei;zhanghedong Merged-by: cann-robot Description: 本 PR 围绕 RegBase(arch35)下 TopK / Sort 的小轴与宽整型场景进行选择策略与内核路径优化。在 Tiling 侧新增 SMALL_AXIS_DIRECT_MODE 分支并重写 TryTopKSmallAxisSort 的路由判定,放宽小轴阈值并按数据类型、innerSize、lastAxis、kValue 等条件细分路由;在内核侧新增基于寄存器直写的小轴 SIMT GM 选择内核 top_k_small_k_simt_gm_select.h 与 UB radix 选择内核 top_k_small_k_ub_radix_select.h,共享常量与 Host/Kernel 代价契约统一收敛至 top_k_constant_var_simd.h,并为 64 位整型的 Bitonic 排序接入小 k 阈值选择快路径;同时调整多处核数分配以避免空闲核与重复同步,并更新公版用例与 topk 的 AiCore 选择逻辑。 ## 主要改动 - **新增小轴 SIMT GM 直读直写内核路径**: 新增 SMALL_AXIS_DIRECT_MODE = 11 常量与 top_k_small_k_simt_gm_select.h(含 RunTopKSmallKSimtGmSelect、TopKSimtGmScalarRows、TopKThresholdSimtGm、TopKSimtGmWarpRows 等,并按职责拆分 Load/Collect/Search/Store 辅助函数),top_k_v2_apt.cpp 按 modeType == TOPK_DIRECT_MODE 直接调用该内核。 - **新增 UB radix 选择内核并接入单块模板**: top_k_small_k_ub_radix_select.h(原 input-select)提供两遍直方图阈值选择、候选收集及 B8/B16/B32/B64 的 SIMD/SIMT 变体;radix_sort_top_k_single_block.h 依 keyParams5 标志切换行距与双缓冲布局,通过 RunTopKSmallKUbRadixSelect 接入并支持 Prefetch 预取流水。 - **宽整型阈值选择快路径**: radix_sort_top_k_inter_core_template_optimization.h 在 IS_BITONIC_SORT 且 T 为 64 位整型、topkValueInput_ <= 32 时调用所属模板内的 TopKUbThresholdSelect,后者通过共享缓冲区报告是否走窄区间选择,否则回退原有 radix 选择。 - **重写小轴排序路由判定**: TryTopKSmallAxisSort 将小轴上限从 SMALL_AXIS_THRESHOLD 提升为 8192,新增标量选择直达、三类 input-select 让路、Direct 轴支持与最小行数判定,命中时写入 SMALL_AXIS_DIRECT_MODE 相关 tiling 字段,并对跨步浮点小 k 场景保留回落逻辑。 - **核数分配与并行度调整**: sort_tiling_arch35.cpp 对 DT_FLOAT 且 lastAxis 在 4~8、unsortedDim >= 2048 的场景收紧 maxCoreNum 以保留每核行数;TileModeSmallSize 将 maxCoreNum 限制为 unsortedDimNum;TopKV2Tiling 针对 int8/uint8 尾轴及 int64/uint64 多核优化模式调整 lastDimNeedCore、unsortedDimParallel、sortLoopTimes。 - **常量归并与检视意见修复**: 响应检视意见移除 top_k_small_axis_direct_config.h、top_k_input_select_config.h、top_k_threshold_select_ub.h,常量与 UB 预算函数并入 top_k_constant_var_simd.h 并由 Host 侧共享;公共 tiling 辅助函数下沉 top_k_v2_tiling_base.cpp;VF 循环边界按 SIMD 约束在 VF 外预计算。 - **AiCore 选择逻辑与公版用例更新**: topk.cpp 删除 DT_INT64 基于 size/轴长的 AiCPU 回退判断,RegBase 支持的 dtype 统一走 AiCore;golden.py 降低 _CUDA_SMALL_TOPK_PER_ROW_MAX 至 128,新增 aclnnTopk 映射及 signed_zero_values、_integer_full_range、_integer_extremes 等测试构造逻辑;本仓库 ST 精简为 4 条代表性冒烟用例,全量用例由独立仓库看护。 ## 关联的Issue https://gitcode.com/cann/ops-math/issues/4139 ## 测试 全量ST,二级冒烟测试通过 ## 类型标签 <!-- [x] 表示选中 --> - [ ] Bug修复 - [ ] 新特性 - [x] 性能优化 - [ ] 文档更新 - [ ] 其他,请描述: See merge request: cann/ops-math!6320 | 20 days ago |
| Files | Last commit | Last update |
|---|---|---|
| 1 month ago | ||
| 16 days ago | ||
| 2 months ago | ||
| 20 days ago | ||
| 20 days ago |