| Files | Last commit | Last update |
|---|---|---|
feat: RadixTopK 新增 int64 索引变体并修复 largest 场景 NaN 与 WS 同步问题 Co-authored-by: Nice_try<zhangzhiwei108@huawei.com> # message auto-generated for no-merge-commit merge: !6335 merge RadixTopKInt64Nan into master feat: RadixTopK 新增 int64 索引变体并修复 largest 场景 NaN 与 WS 同步问题 Created-by: Nice_try Commit-by: Nice_try Merged-by: cann-robot Description: ## 描述 本次改动为 RadixTopK 算子新增 int64 索引变体 RadixTopKWsI64,使排序轴长度 sortLen 超过 int32 上限(2^31-1)的超大 shape 场景可正常执行;同时修复 largest=true 场景下 ±NaN 的计数/提取口径不一致缺陷,以及 WS 变体在多轮归约、多块搬运中的同步问题。 ### 改动原因 - 原实现受 int32 值域限制:sortLen 超过 int32 上限时索引值域与跨核计数会溢出,IsRadixTopKSupport 直接判不支持,算子无法处理超大 shape。 - largest=true 时 NaN 在直方图(key 域)与提取掩码(x > b)两处口径不一致:−NaN 被计入配额但 x > b 对其恒为 false,导致槽位被背景元素顶替(被顶替槽数恰等于注入的 NaN 数)。 - WS 变体在跨核归约与多块 tileHist 搬运处缺必要同步,超大 shape 下出现 tile 级 ±1 配额错位。 ### 改动方法 **host 侧** - radix_top_k_tiling.cpp/.h:新增 isInt64Shape_(sortLen > INT32_SORT_LEN_MAX=2^31-1);新增 CalcInt64TilingParams(int64 输出索引使 UB 开销系数由 16 提到 20);GetTilingKey 增加第 4 个模板参数 isInt64Shape(追加在最高位,原有 3 参数 key 编码不变);int64 变体强制 needWorkspace=true 并复用 large shape 的 workspace 布局;新增防御性校验(indices 输出必须 int64、kValue 与 per-core 元素数不超 int32 上限)。 - radix_top_k_binary.json(ascend910b / ascend910_93):新增 RadixTopK_x_{bfloat16,float16}_indices_int64_k_int32 两个编译配置。 - topk.cpp(op_api):IsRadixTopKSupport 增加 indicesDType 入参,sortLen > int32 上限时要求 indices 为 int64 且 k > 0;TopkCommon 在超大 shape 且 indices 为 int64 时按 int64 分配输出索引。 **kernel 侧** - radix_top_k.cpp:kernel 模板新增 isInt64Shape 参数并路由到 RadixTopKWsI64。 - 新增 radix_top_k_ws_i64.h:RadixTopKWsI64 继承 RadixTopKWs,完整复用其 WS 搬运与同步结构,仅把触及 int64 值域的部分改为标量 int64 实现——跨核 globalHist 归约、边界查找、边界计数跨核前缀和;索引输出在 int32 域压缩 tile 内索引,再逐元素加 int64 tileOffset 后向扩展写入,代价 O(kValue)。per-core 直方图/tileTopK/coreTopK 等 int32 安全域保持不变。 - radix_top_k_common.h:NegateDataForLargest 重命名为 CanonicalizeDataForLargest,不再取反,改为把 ±NaN 规范化为同一个正 NaN(降序改由 key 域取补承担);TwiddleInB16 对 largest=false 在末尾做键域取补;SubTopKAndCopyOut 在 largest=true 且非 EQ 时改用 NOT(LE) 掩码,使 NaN 与 key 域配额口径一致,并对非 EQ 通过按 tile 配额封顶避免越界写。 - radix_top_k_ws.h:私有成员访问级别改为 protected 供 i64 子类复用;SubProcess 增加 SyncAll,保证快核下一轮 CopyOut2Ws 覆盖前所有核已完成 CopyInGlobalHist 读取。 - radix_top_k_ws_utils.h:CopyTileHistInWs 多块循环迭代间补 MTE3ToMTE2Sync,避免 GM→UB 覆盖尚未搬走的头部数据。 - radix_top_k_ub.h / radix_top_k_ws.h:HandleLastRoundBoundary 补同步说明并统一 SToVSync 口径。 - radix_top_k_tiling_key.h / radix_top_k_struct.h:模板参数声明新增 isInt64Shape、注释对齐。 ## 关联的Issue - https://gitcode.com/cann/ops-math/issues/3564 ## 测试 - op_kernel UT 链接桩同步更新模板参数(isInt64Shape=false)。 - fp16 / bf16 ±NaN 边界:largest=true/false 两个方向与 torch 语义逐项比对(±NaN、±Inf、±0、次正规码),修正后 NaN 入选与配额统计一致。 - 超大 shape(sortLen > int32 上限):以 K=240000 等 i64 场景验证 tile 级配额正确、int64 索引输出正确。 ## 文档更新 无 ## 类型标签 - [x] 新特性 - [x] Bug修复 See merge request: cann/ops-math!6335 | 1 month ago | |
fix(radix_top_k): 修复 WS 变体 V→MTE3 同步缺失与 CreateVecIndex4TopK 越界,统一跨核前缀和累加为 int64 Co-authored-by: Nice_try<zhangzhiwei108@huawei.com> # message auto-generated for no-merge-commit merge: !6396 merge addut into master fix(radix_top_k): 修复 WS 变体 V→MTE3 同步缺失与 CreateVecIndex4TopK 越界,统一跨核前缀和累加为 int64 Created-by: Nice_try Commit-by: Nice_try Merged-by: cann-robot Description: ## 描述 <!--在这里详细描述你的改动,包括改动的原因和所采取的方法。--> ### 改动原因 RadixTopK 在 int64 大 shape(sortLen 超 int32 上限)与 WS 变体路径上存在三处缺陷,且 host UT 的 tiling key 期望值只编码 3 位,int64 主路径恒测不到: 1. WS 变体同步缺失: Add 在 V 流水线写 tileTopK,紧接着 MTE3 读同一块 UB;PipeBarrier<PIPE_V> 只保证 V 流水线内部顺序,SToMTE3Sync 只覆盖 S→MTE3,两者都管不到 V→MTE3,MTE3 可能读到 Add 之前的旧值,导致该段 k 配额错乱。同文件 AddTileHist2TileTopKInWs 对同样的 Add→CopyOut 序列用的是 VToMTE3Sync。 2. 索引序列越界:i64 变体的多段 regime 会命中 tileNum_ > MAX_TILE_NUM_IN_UB,此时 CreateVecIndex4TopK 中的无符号相减会下溢成巨大值,再被 tileLen_ 兜住,最终 GetWithOffset(maxIndexLen, tileNumAlign_ * 4) 的偏移会写出 6144 元素 buffer。 3. 跨核前缀和累加溢出:前驱 core 边界 bin 累计元素数总量可达 sortLen > 2^31,UB 变体用 int32 累加(cumSumValuePrev / remainCoreBoundaryNum)存在溢出风险;同时 WS 变体维护了一份只差累加器类型的 ComputeCumSumPrevI64。 4. UT 覆盖缺口:ComputeExpectedTilingKey 只编码 sorted/largest/isLargeShape 3 位,未编码 isInt64Shape(bit3),int64 主路径(sortLen > 2^31)恒测不到。 ### 改动方法 1. op_kernel/radix_top_k_ws.h - HandleLastRoundBoundary 中 Add→CopyTileTopKUb2Ws 的同步由 SToMTE3Sync() 改为 VToMTE3Sync(),与同文件 AddTileHist2TileTopKInWs 口径一致; - CreateVecIndex4TopK 增加前置防御:tileNumAlign_ >= MAX_TILE_NUM_IN_UB 时直接 return 0,下游走「现算索引」分支,与 maxIndexLen==0 的既有兜底行为一致; - 删除 ComputeCumSumPrevI64,改用基类 ComputeCumSumPrev(出参已是 int64),消除 UB/WS 两份仅差累加器类型的实现。 2. op_kernel/radix_top_k_common.h:ComputeCumSumPrev 出参由 int32_t& 改为 int64_t&(每 core 边界 bin 计数 < 2^31,int64 累加对 int32 形状同样安全);IsNaNValue 的 float 位模式读取由指针 reinterpret 改为 union,规避浮点相等/自比较类告警;补充提取相与计数相 NaN 规范化口径不对称的说明。 3. op_kernel/radix_top_k_ub.h:cumSumValuePrev / remainCoreBoundaryNum 改为 int64,回写 tileTopK 时显式 static_cast<int32_t>(per-core 配额 < 该 tile 边界 bin 计数 < 2^31,int32 通道安全)。 4. op_host/radix_top_k_tiling.cpp:新增 static_assert(LARGE_SORT_LEN < INT32_SORT_LEN_MAX),把「isInt64Shape_ 蕴含 isLargeShape_」钉死,避免后续调大 LARGE_SORT_LEN 时 i64 分支被漏掉;needWorkspace / GetWorkspaceSize 两处 || isInt64Shape_ 补充防御性冗余注释。 5. tests/ut/op_host/test_radix_top_k_tiling.cpp:ComputeExpectedTilingKey 补齐第 4 位 isInt64Shape(与 GET_TPL_TILING_KEY(sorted, largest, isLargeShape, isInt64Shape) 一一对应,此前 int64 主路径恒测不到);新增两条用例:i64_shape_tiling_key_bit3(sortLen=2^31 ⇒ bit3+bit2、indices int64、必须申请 workspace)、i64_shape_reject_int32_indices(sortLen > 2^31 且 indices int32 必须 tiling 失败);MakeRadixTopKTilingContext 支持指定输出 indices dtype。 6. math/radix_top_k/README.md:约束说明由「无」改为「本算子为选取类实现,输出为选中元素在排序轴上的索引序,不保证有序」。 7. math/topk/op_api/topk.cpp:补充 int64 大 shape 分支拦截条件的注释(说明放掉 k 比例门限与 MIN_K 门限、且 int64 索引无法通过 GatherElementsV2 补有序性的原因),不改变逻辑。 ## 关联的Issue <!-- 如果这个PR是为了解决特定的Issue,请在这里提供Issue链接。--> <!-- 如果这个PR是为了解决特定的问题单,请在这里描述问题单单号。--> - #3604 https://gitcode.com/cann/ops-math/issues/3604 ## 测试 <!--描述进行了哪些测试来验证你的改动。包括但不限于二级冒烟、算子泛化等。--> - 本次提交包含 host UT 变更(math/radix_top_k/tests/ut/op_host/test_radix_top_k_tiling.cpp):修正 tiling key 期望值编码并新增 int64 主路径两条用例;本地未执行,预期由 CI 运行。 - kernel 侧改动(VToMTE3Sync、CreateVecIndex4TopK 防御、int64 累加)建议结合 RadixTopK int64 大 shape 场景回归验证(实施类用例未包含在本次提交内)。 ## 文档更新 <!--如果这个PR包含文档的更新,请在这里指出。例如:更新了README.md文件。--> 更新 math/radix_top_k/README.md 约束说明(补充输出无序约束);另含 op_host/op_kernel 注释更新,不涉及其他文档。 ## 类型标签 <!-- [x] 表示选中 --> - [x] Bug修复 - [ ] 新特性 - [ ] 性能优化 - [ ] 文档更新 - [ ] 其他,请描述: See merge request: cann/ops-math!6396 | 1 month ago | |
feat: RadixTopK 新增 int64 索引变体并修复 largest 场景 NaN 与 WS 同步问题 Co-authored-by: Nice_try<zhangzhiwei108@huawei.com> # message auto-generated for no-merge-commit merge: !6335 merge RadixTopKInt64Nan into master feat: RadixTopK 新增 int64 索引变体并修复 largest 场景 NaN 与 WS 同步问题 Created-by: Nice_try Commit-by: Nice_try Merged-by: cann-robot Description: ## 描述 本次改动为 RadixTopK 算子新增 int64 索引变体 RadixTopKWsI64,使排序轴长度 sortLen 超过 int32 上限(2^31-1)的超大 shape 场景可正常执行;同时修复 largest=true 场景下 ±NaN 的计数/提取口径不一致缺陷,以及 WS 变体在多轮归约、多块搬运中的同步问题。 ### 改动原因 - 原实现受 int32 值域限制:sortLen 超过 int32 上限时索引值域与跨核计数会溢出,IsRadixTopKSupport 直接判不支持,算子无法处理超大 shape。 - largest=true 时 NaN 在直方图(key 域)与提取掩码(x > b)两处口径不一致:−NaN 被计入配额但 x > b 对其恒为 false,导致槽位被背景元素顶替(被顶替槽数恰等于注入的 NaN 数)。 - WS 变体在跨核归约与多块 tileHist 搬运处缺必要同步,超大 shape 下出现 tile 级 ±1 配额错位。 ### 改动方法 **host 侧** - radix_top_k_tiling.cpp/.h:新增 isInt64Shape_(sortLen > INT32_SORT_LEN_MAX=2^31-1);新增 CalcInt64TilingParams(int64 输出索引使 UB 开销系数由 16 提到 20);GetTilingKey 增加第 4 个模板参数 isInt64Shape(追加在最高位,原有 3 参数 key 编码不变);int64 变体强制 needWorkspace=true 并复用 large shape 的 workspace 布局;新增防御性校验(indices 输出必须 int64、kValue 与 per-core 元素数不超 int32 上限)。 - radix_top_k_binary.json(ascend910b / ascend910_93):新增 RadixTopK_x_{bfloat16,float16}_indices_int64_k_int32 两个编译配置。 - topk.cpp(op_api):IsRadixTopKSupport 增加 indicesDType 入参,sortLen > int32 上限时要求 indices 为 int64 且 k > 0;TopkCommon 在超大 shape 且 indices 为 int64 时按 int64 分配输出索引。 **kernel 侧** - radix_top_k.cpp:kernel 模板新增 isInt64Shape 参数并路由到 RadixTopKWsI64。 - 新增 radix_top_k_ws_i64.h:RadixTopKWsI64 继承 RadixTopKWs,完整复用其 WS 搬运与同步结构,仅把触及 int64 值域的部分改为标量 int64 实现——跨核 globalHist 归约、边界查找、边界计数跨核前缀和;索引输出在 int32 域压缩 tile 内索引,再逐元素加 int64 tileOffset 后向扩展写入,代价 O(kValue)。per-core 直方图/tileTopK/coreTopK 等 int32 安全域保持不变。 - radix_top_k_common.h:NegateDataForLargest 重命名为 CanonicalizeDataForLargest,不再取反,改为把 ±NaN 规范化为同一个正 NaN(降序改由 key 域取补承担);TwiddleInB16 对 largest=false 在末尾做键域取补;SubTopKAndCopyOut 在 largest=true 且非 EQ 时改用 NOT(LE) 掩码,使 NaN 与 key 域配额口径一致,并对非 EQ 通过按 tile 配额封顶避免越界写。 - radix_top_k_ws.h:私有成员访问级别改为 protected 供 i64 子类复用;SubProcess 增加 SyncAll,保证快核下一轮 CopyOut2Ws 覆盖前所有核已完成 CopyInGlobalHist 读取。 - radix_top_k_ws_utils.h:CopyTileHistInWs 多块循环迭代间补 MTE3ToMTE2Sync,避免 GM→UB 覆盖尚未搬走的头部数据。 - radix_top_k_ub.h / radix_top_k_ws.h:HandleLastRoundBoundary 补同步说明并统一 SToVSync 口径。 - radix_top_k_tiling_key.h / radix_top_k_struct.h:模板参数声明新增 isInt64Shape、注释对齐。 ## 关联的Issue - https://gitcode.com/cann/ops-math/issues/3564 ## 测试 - op_kernel UT 链接桩同步更新模板参数(isInt64Shape=false)。 - fp16 / bf16 ±NaN 边界:largest=true/false 两个方向与 torch 语义逐项比对(±NaN、±Inf、±0、次正规码),修正后 NaN 入选与配额统计一致。 - 超大 shape(sortLen > int32 上限):以 K=240000 等 i64 场景验证 tile 级配额正确、int64 索引输出正确。 ## 文档更新 无 ## 类型标签 - [x] 新特性 - [x] Bug修复 See merge request: cann/ops-math!6335 | 1 month ago | |
feat: RadixTopK 新增 int64 索引变体并修复 largest 场景 NaN 与 WS 同步问题 Co-authored-by: Nice_try<zhangzhiwei108@huawei.com> # message auto-generated for no-merge-commit merge: !6335 merge RadixTopKInt64Nan into master feat: RadixTopK 新增 int64 索引变体并修复 largest 场景 NaN 与 WS 同步问题 Created-by: Nice_try Commit-by: Nice_try Merged-by: cann-robot Description: ## 描述 本次改动为 RadixTopK 算子新增 int64 索引变体 RadixTopKWsI64,使排序轴长度 sortLen 超过 int32 上限(2^31-1)的超大 shape 场景可正常执行;同时修复 largest=true 场景下 ±NaN 的计数/提取口径不一致缺陷,以及 WS 变体在多轮归约、多块搬运中的同步问题。 ### 改动原因 - 原实现受 int32 值域限制:sortLen 超过 int32 上限时索引值域与跨核计数会溢出,IsRadixTopKSupport 直接判不支持,算子无法处理超大 shape。 - largest=true 时 NaN 在直方图(key 域)与提取掩码(x > b)两处口径不一致:−NaN 被计入配额但 x > b 对其恒为 false,导致槽位被背景元素顶替(被顶替槽数恰等于注入的 NaN 数)。 - WS 变体在跨核归约与多块 tileHist 搬运处缺必要同步,超大 shape 下出现 tile 级 ±1 配额错位。 ### 改动方法 **host 侧** - radix_top_k_tiling.cpp/.h:新增 isInt64Shape_(sortLen > INT32_SORT_LEN_MAX=2^31-1);新增 CalcInt64TilingParams(int64 输出索引使 UB 开销系数由 16 提到 20);GetTilingKey 增加第 4 个模板参数 isInt64Shape(追加在最高位,原有 3 参数 key 编码不变);int64 变体强制 needWorkspace=true 并复用 large shape 的 workspace 布局;新增防御性校验(indices 输出必须 int64、kValue 与 per-core 元素数不超 int32 上限)。 - radix_top_k_binary.json(ascend910b / ascend910_93):新增 RadixTopK_x_{bfloat16,float16}_indices_int64_k_int32 两个编译配置。 - topk.cpp(op_api):IsRadixTopKSupport 增加 indicesDType 入参,sortLen > int32 上限时要求 indices 为 int64 且 k > 0;TopkCommon 在超大 shape 且 indices 为 int64 时按 int64 分配输出索引。 **kernel 侧** - radix_top_k.cpp:kernel 模板新增 isInt64Shape 参数并路由到 RadixTopKWsI64。 - 新增 radix_top_k_ws_i64.h:RadixTopKWsI64 继承 RadixTopKWs,完整复用其 WS 搬运与同步结构,仅把触及 int64 值域的部分改为标量 int64 实现——跨核 globalHist 归约、边界查找、边界计数跨核前缀和;索引输出在 int32 域压缩 tile 内索引,再逐元素加 int64 tileOffset 后向扩展写入,代价 O(kValue)。per-core 直方图/tileTopK/coreTopK 等 int32 安全域保持不变。 - radix_top_k_common.h:NegateDataForLargest 重命名为 CanonicalizeDataForLargest,不再取反,改为把 ±NaN 规范化为同一个正 NaN(降序改由 key 域取补承担);TwiddleInB16 对 largest=false 在末尾做键域取补;SubTopKAndCopyOut 在 largest=true 且非 EQ 时改用 NOT(LE) 掩码,使 NaN 与 key 域配额口径一致,并对非 EQ 通过按 tile 配额封顶避免越界写。 - radix_top_k_ws.h:私有成员访问级别改为 protected 供 i64 子类复用;SubProcess 增加 SyncAll,保证快核下一轮 CopyOut2Ws 覆盖前所有核已完成 CopyInGlobalHist 读取。 - radix_top_k_ws_utils.h:CopyTileHistInWs 多块循环迭代间补 MTE3ToMTE2Sync,避免 GM→UB 覆盖尚未搬走的头部数据。 - radix_top_k_ub.h / radix_top_k_ws.h:HandleLastRoundBoundary 补同步说明并统一 SToVSync 口径。 - radix_top_k_tiling_key.h / radix_top_k_struct.h:模板参数声明新增 isInt64Shape、注释对齐。 ## 关联的Issue - https://gitcode.com/cann/ops-math/issues/3564 ## 测试 - op_kernel UT 链接桩同步更新模板参数(isInt64Shape=false)。 - fp16 / bf16 ±NaN 边界:largest=true/false 两个方向与 torch 语义逐项比对(±NaN、±Inf、±0、次正规码),修正后 NaN 入选与配额统计一致。 - 超大 shape(sortLen > int32 上限):以 K=240000 等 i64 场景验证 tile 级配额正确、int64 索引输出正确。 ## 文档更新 无 ## 类型标签 - [x] 新特性 - [x] Bug修复 See merge request: cann/ops-math!6335 | 1 month ago | |
fix(radix_top_k): 修复 WS 变体 V→MTE3 同步缺失与 CreateVecIndex4TopK 越界,统一跨核前缀和累加为 int64 Co-authored-by: Nice_try<zhangzhiwei108@huawei.com> # message auto-generated for no-merge-commit merge: !6396 merge addut into master fix(radix_top_k): 修复 WS 变体 V→MTE3 同步缺失与 CreateVecIndex4TopK 越界,统一跨核前缀和累加为 int64 Created-by: Nice_try Commit-by: Nice_try Merged-by: cann-robot Description: ## 描述 <!--在这里详细描述你的改动,包括改动的原因和所采取的方法。--> ### 改动原因 RadixTopK 在 int64 大 shape(sortLen 超 int32 上限)与 WS 变体路径上存在三处缺陷,且 host UT 的 tiling key 期望值只编码 3 位,int64 主路径恒测不到: 1. WS 变体同步缺失: Add 在 V 流水线写 tileTopK,紧接着 MTE3 读同一块 UB;PipeBarrier<PIPE_V> 只保证 V 流水线内部顺序,SToMTE3Sync 只覆盖 S→MTE3,两者都管不到 V→MTE3,MTE3 可能读到 Add 之前的旧值,导致该段 k 配额错乱。同文件 AddTileHist2TileTopKInWs 对同样的 Add→CopyOut 序列用的是 VToMTE3Sync。 2. 索引序列越界:i64 变体的多段 regime 会命中 tileNum_ > MAX_TILE_NUM_IN_UB,此时 CreateVecIndex4TopK 中的无符号相减会下溢成巨大值,再被 tileLen_ 兜住,最终 GetWithOffset(maxIndexLen, tileNumAlign_ * 4) 的偏移会写出 6144 元素 buffer。 3. 跨核前缀和累加溢出:前驱 core 边界 bin 累计元素数总量可达 sortLen > 2^31,UB 变体用 int32 累加(cumSumValuePrev / remainCoreBoundaryNum)存在溢出风险;同时 WS 变体维护了一份只差累加器类型的 ComputeCumSumPrevI64。 4. UT 覆盖缺口:ComputeExpectedTilingKey 只编码 sorted/largest/isLargeShape 3 位,未编码 isInt64Shape(bit3),int64 主路径(sortLen > 2^31)恒测不到。 ### 改动方法 1. op_kernel/radix_top_k_ws.h - HandleLastRoundBoundary 中 Add→CopyTileTopKUb2Ws 的同步由 SToMTE3Sync() 改为 VToMTE3Sync(),与同文件 AddTileHist2TileTopKInWs 口径一致; - CreateVecIndex4TopK 增加前置防御:tileNumAlign_ >= MAX_TILE_NUM_IN_UB 时直接 return 0,下游走「现算索引」分支,与 maxIndexLen==0 的既有兜底行为一致; - 删除 ComputeCumSumPrevI64,改用基类 ComputeCumSumPrev(出参已是 int64),消除 UB/WS 两份仅差累加器类型的实现。 2. op_kernel/radix_top_k_common.h:ComputeCumSumPrev 出参由 int32_t& 改为 int64_t&(每 core 边界 bin 计数 < 2^31,int64 累加对 int32 形状同样安全);IsNaNValue 的 float 位模式读取由指针 reinterpret 改为 union,规避浮点相等/自比较类告警;补充提取相与计数相 NaN 规范化口径不对称的说明。 3. op_kernel/radix_top_k_ub.h:cumSumValuePrev / remainCoreBoundaryNum 改为 int64,回写 tileTopK 时显式 static_cast<int32_t>(per-core 配额 < 该 tile 边界 bin 计数 < 2^31,int32 通道安全)。 4. op_host/radix_top_k_tiling.cpp:新增 static_assert(LARGE_SORT_LEN < INT32_SORT_LEN_MAX),把「isInt64Shape_ 蕴含 isLargeShape_」钉死,避免后续调大 LARGE_SORT_LEN 时 i64 分支被漏掉;needWorkspace / GetWorkspaceSize 两处 || isInt64Shape_ 补充防御性冗余注释。 5. tests/ut/op_host/test_radix_top_k_tiling.cpp:ComputeExpectedTilingKey 补齐第 4 位 isInt64Shape(与 GET_TPL_TILING_KEY(sorted, largest, isLargeShape, isInt64Shape) 一一对应,此前 int64 主路径恒测不到);新增两条用例:i64_shape_tiling_key_bit3(sortLen=2^31 ⇒ bit3+bit2、indices int64、必须申请 workspace)、i64_shape_reject_int32_indices(sortLen > 2^31 且 indices int32 必须 tiling 失败);MakeRadixTopKTilingContext 支持指定输出 indices dtype。 6. math/radix_top_k/README.md:约束说明由「无」改为「本算子为选取类实现,输出为选中元素在排序轴上的索引序,不保证有序」。 7. math/topk/op_api/topk.cpp:补充 int64 大 shape 分支拦截条件的注释(说明放掉 k 比例门限与 MIN_K 门限、且 int64 索引无法通过 GatherElementsV2 补有序性的原因),不改变逻辑。 ## 关联的Issue <!-- 如果这个PR是为了解决特定的Issue,请在这里提供Issue链接。--> <!-- 如果这个PR是为了解决特定的问题单,请在这里描述问题单单号。--> - #3604 https://gitcode.com/cann/ops-math/issues/3604 ## 测试 <!--描述进行了哪些测试来验证你的改动。包括但不限于二级冒烟、算子泛化等。--> - 本次提交包含 host UT 变更(math/radix_top_k/tests/ut/op_host/test_radix_top_k_tiling.cpp):修正 tiling key 期望值编码并新增 int64 主路径两条用例;本地未执行,预期由 CI 运行。 - kernel 侧改动(VToMTE3Sync、CreateVecIndex4TopK 防御、int64 累加)建议结合 RadixTopK int64 大 shape 场景回归验证(实施类用例未包含在本次提交内)。 ## 文档更新 <!--如果这个PR包含文档的更新,请在这里指出。例如:更新了README.md文件。--> 更新 math/radix_top_k/README.md 约束说明(补充输出无序约束);另含 op_host/op_kernel 注释更新,不涉及其他文档。 ## 类型标签 <!-- [x] 表示选中 --> - [x] Bug修复 - [ ] 新特性 - [ ] 性能优化 - [ ] 文档更新 - [ ] 其他,请描述: See merge request: cann/ops-math!6396 | 1 month ago | |
修复RadixTopK同步错误并预留AscendC API所需workspace Co-authored-by: huang-wei-chen<chenhuangwei1@huawei.com> # message auto-generated for no-merge-commit merge: !4871 merge radix_top_k_sync_error into master 修复RadixTopK同步错误并预留AscendC API所需workspace Created-by: huang-wei-chen Commit-by: huang-wei-chen Merged-by: cann-robot Description: ## 描述 <!--在这里详细描述你的改动,包括改动的原因和所采取的方法。--> 修复RadixTopK同步缺失导致批跑精度问题。 修复RadixTopK未预留AscendC API所需workspace导致写越界精度错误。 ## 关联的Issue <!-- 如果这个PR是为了解决特定的Issue,请在这里提供Issue链接。--> <!-- 如果这个PR是为了解决特定的问题单,请在这里描述问题单单号。--> 关联Issue [#2757](https://gitcode.com/cann/ops-math/issues/2757) 关联Issue [#3007](https://gitcode.com/cann/ops-math/issues/3007) ## 测试 <!--描述进行了哪些测试来验证你的改动。包括但不限于二级冒烟、算子泛化等。--> 单算子脚本测试精度正确,ATK泛化精度通过 ## 文档更新 <!--如果这个PR包含文档的更新,请在这里指出。例如:更新了README.md文件。--> NA ## 类型标签 <!-- [x] 表示选中 --> - [x] Bug修复 - [ ] 新特性 - [ ] 性能优化 - [ ] 文档更新 - [ ] 其他,请描述: See merge request: cann/ops-math!4871 | 2 months ago | |
fix(radix_top_k): 修复 WS 变体 V→MTE3 同步缺失与 CreateVecIndex4TopK 越界,统一跨核前缀和累加为 int64 Co-authored-by: Nice_try<zhangzhiwei108@huawei.com> # message auto-generated for no-merge-commit merge: !6396 merge addut into master fix(radix_top_k): 修复 WS 变体 V→MTE3 同步缺失与 CreateVecIndex4TopK 越界,统一跨核前缀和累加为 int64 Created-by: Nice_try Commit-by: Nice_try Merged-by: cann-robot Description: ## 描述 <!--在这里详细描述你的改动,包括改动的原因和所采取的方法。--> ### 改动原因 RadixTopK 在 int64 大 shape(sortLen 超 int32 上限)与 WS 变体路径上存在三处缺陷,且 host UT 的 tiling key 期望值只编码 3 位,int64 主路径恒测不到: 1. WS 变体同步缺失: Add 在 V 流水线写 tileTopK,紧接着 MTE3 读同一块 UB;PipeBarrier<PIPE_V> 只保证 V 流水线内部顺序,SToMTE3Sync 只覆盖 S→MTE3,两者都管不到 V→MTE3,MTE3 可能读到 Add 之前的旧值,导致该段 k 配额错乱。同文件 AddTileHist2TileTopKInWs 对同样的 Add→CopyOut 序列用的是 VToMTE3Sync。 2. 索引序列越界:i64 变体的多段 regime 会命中 tileNum_ > MAX_TILE_NUM_IN_UB,此时 CreateVecIndex4TopK 中的无符号相减会下溢成巨大值,再被 tileLen_ 兜住,最终 GetWithOffset(maxIndexLen, tileNumAlign_ * 4) 的偏移会写出 6144 元素 buffer。 3. 跨核前缀和累加溢出:前驱 core 边界 bin 累计元素数总量可达 sortLen > 2^31,UB 变体用 int32 累加(cumSumValuePrev / remainCoreBoundaryNum)存在溢出风险;同时 WS 变体维护了一份只差累加器类型的 ComputeCumSumPrevI64。 4. UT 覆盖缺口:ComputeExpectedTilingKey 只编码 sorted/largest/isLargeShape 3 位,未编码 isInt64Shape(bit3),int64 主路径(sortLen > 2^31)恒测不到。 ### 改动方法 1. op_kernel/radix_top_k_ws.h - HandleLastRoundBoundary 中 Add→CopyTileTopKUb2Ws 的同步由 SToMTE3Sync() 改为 VToMTE3Sync(),与同文件 AddTileHist2TileTopKInWs 口径一致; - CreateVecIndex4TopK 增加前置防御:tileNumAlign_ >= MAX_TILE_NUM_IN_UB 时直接 return 0,下游走「现算索引」分支,与 maxIndexLen==0 的既有兜底行为一致; - 删除 ComputeCumSumPrevI64,改用基类 ComputeCumSumPrev(出参已是 int64),消除 UB/WS 两份仅差累加器类型的实现。 2. op_kernel/radix_top_k_common.h:ComputeCumSumPrev 出参由 int32_t& 改为 int64_t&(每 core 边界 bin 计数 < 2^31,int64 累加对 int32 形状同样安全);IsNaNValue 的 float 位模式读取由指针 reinterpret 改为 union,规避浮点相等/自比较类告警;补充提取相与计数相 NaN 规范化口径不对称的说明。 3. op_kernel/radix_top_k_ub.h:cumSumValuePrev / remainCoreBoundaryNum 改为 int64,回写 tileTopK 时显式 static_cast<int32_t>(per-core 配额 < 该 tile 边界 bin 计数 < 2^31,int32 通道安全)。 4. op_host/radix_top_k_tiling.cpp:新增 static_assert(LARGE_SORT_LEN < INT32_SORT_LEN_MAX),把「isInt64Shape_ 蕴含 isLargeShape_」钉死,避免后续调大 LARGE_SORT_LEN 时 i64 分支被漏掉;needWorkspace / GetWorkspaceSize 两处 || isInt64Shape_ 补充防御性冗余注释。 5. tests/ut/op_host/test_radix_top_k_tiling.cpp:ComputeExpectedTilingKey 补齐第 4 位 isInt64Shape(与 GET_TPL_TILING_KEY(sorted, largest, isLargeShape, isInt64Shape) 一一对应,此前 int64 主路径恒测不到);新增两条用例:i64_shape_tiling_key_bit3(sortLen=2^31 ⇒ bit3+bit2、indices int64、必须申请 workspace)、i64_shape_reject_int32_indices(sortLen > 2^31 且 indices int32 必须 tiling 失败);MakeRadixTopKTilingContext 支持指定输出 indices dtype。 6. math/radix_top_k/README.md:约束说明由「无」改为「本算子为选取类实现,输出为选中元素在排序轴上的索引序,不保证有序」。 7. math/topk/op_api/topk.cpp:补充 int64 大 shape 分支拦截条件的注释(说明放掉 k 比例门限与 MIN_K 门限、且 int64 索引无法通过 GatherElementsV2 补有序性的原因),不改变逻辑。 ## 关联的Issue <!-- 如果这个PR是为了解决特定的Issue,请在这里提供Issue链接。--> <!-- 如果这个PR是为了解决特定的问题单,请在这里描述问题单单号。--> - #3604 https://gitcode.com/cann/ops-math/issues/3604 ## 测试 <!--描述进行了哪些测试来验证你的改动。包括但不限于二级冒烟、算子泛化等。--> - 本次提交包含 host UT 变更(math/radix_top_k/tests/ut/op_host/test_radix_top_k_tiling.cpp):修正 tiling key 期望值编码并新增 int64 主路径两条用例;本地未执行,预期由 CI 运行。 - kernel 侧改动(VToMTE3Sync、CreateVecIndex4TopK 防御、int64 累加)建议结合 RadixTopK int64 大 shape 场景回归验证(实施类用例未包含在本次提交内)。 ## 文档更新 <!--如果这个PR包含文档的更新,请在这里指出。例如:更新了README.md文件。--> 更新 math/radix_top_k/README.md 约束说明(补充输出无序约束);另含 op_host/op_kernel 注释更新,不涉及其他文档。 ## 类型标签 <!-- [x] 表示选中 --> - [x] Bug修复 - [ ] 新特性 - [ ] 性能优化 - [ ] 文档更新 - [ ] 其他,请描述: See merge request: cann/ops-math!6396 | 1 month ago | |
feat: RadixTopK 新增 int64 索引变体并修复 largest 场景 NaN 与 WS 同步问题 Co-authored-by: Nice_try<zhangzhiwei108@huawei.com> # message auto-generated for no-merge-commit merge: !6335 merge RadixTopKInt64Nan into master feat: RadixTopK 新增 int64 索引变体并修复 largest 场景 NaN 与 WS 同步问题 Created-by: Nice_try Commit-by: Nice_try Merged-by: cann-robot Description: ## 描述 本次改动为 RadixTopK 算子新增 int64 索引变体 RadixTopKWsI64,使排序轴长度 sortLen 超过 int32 上限(2^31-1)的超大 shape 场景可正常执行;同时修复 largest=true 场景下 ±NaN 的计数/提取口径不一致缺陷,以及 WS 变体在多轮归约、多块搬运中的同步问题。 ### 改动原因 - 原实现受 int32 值域限制:sortLen 超过 int32 上限时索引值域与跨核计数会溢出,IsRadixTopKSupport 直接判不支持,算子无法处理超大 shape。 - largest=true 时 NaN 在直方图(key 域)与提取掩码(x > b)两处口径不一致:−NaN 被计入配额但 x > b 对其恒为 false,导致槽位被背景元素顶替(被顶替槽数恰等于注入的 NaN 数)。 - WS 变体在跨核归约与多块 tileHist 搬运处缺必要同步,超大 shape 下出现 tile 级 ±1 配额错位。 ### 改动方法 **host 侧** - radix_top_k_tiling.cpp/.h:新增 isInt64Shape_(sortLen > INT32_SORT_LEN_MAX=2^31-1);新增 CalcInt64TilingParams(int64 输出索引使 UB 开销系数由 16 提到 20);GetTilingKey 增加第 4 个模板参数 isInt64Shape(追加在最高位,原有 3 参数 key 编码不变);int64 变体强制 needWorkspace=true 并复用 large shape 的 workspace 布局;新增防御性校验(indices 输出必须 int64、kValue 与 per-core 元素数不超 int32 上限)。 - radix_top_k_binary.json(ascend910b / ascend910_93):新增 RadixTopK_x_{bfloat16,float16}_indices_int64_k_int32 两个编译配置。 - topk.cpp(op_api):IsRadixTopKSupport 增加 indicesDType 入参,sortLen > int32 上限时要求 indices 为 int64 且 k > 0;TopkCommon 在超大 shape 且 indices 为 int64 时按 int64 分配输出索引。 **kernel 侧** - radix_top_k.cpp:kernel 模板新增 isInt64Shape 参数并路由到 RadixTopKWsI64。 - 新增 radix_top_k_ws_i64.h:RadixTopKWsI64 继承 RadixTopKWs,完整复用其 WS 搬运与同步结构,仅把触及 int64 值域的部分改为标量 int64 实现——跨核 globalHist 归约、边界查找、边界计数跨核前缀和;索引输出在 int32 域压缩 tile 内索引,再逐元素加 int64 tileOffset 后向扩展写入,代价 O(kValue)。per-core 直方图/tileTopK/coreTopK 等 int32 安全域保持不变。 - radix_top_k_common.h:NegateDataForLargest 重命名为 CanonicalizeDataForLargest,不再取反,改为把 ±NaN 规范化为同一个正 NaN(降序改由 key 域取补承担);TwiddleInB16 对 largest=false 在末尾做键域取补;SubTopKAndCopyOut 在 largest=true 且非 EQ 时改用 NOT(LE) 掩码,使 NaN 与 key 域配额口径一致,并对非 EQ 通过按 tile 配额封顶避免越界写。 - radix_top_k_ws.h:私有成员访问级别改为 protected 供 i64 子类复用;SubProcess 增加 SyncAll,保证快核下一轮 CopyOut2Ws 覆盖前所有核已完成 CopyInGlobalHist 读取。 - radix_top_k_ws_utils.h:CopyTileHistInWs 多块循环迭代间补 MTE3ToMTE2Sync,避免 GM→UB 覆盖尚未搬走的头部数据。 - radix_top_k_ub.h / radix_top_k_ws.h:HandleLastRoundBoundary 补同步说明并统一 SToVSync 口径。 - radix_top_k_tiling_key.h / radix_top_k_struct.h:模板参数声明新增 isInt64Shape、注释对齐。 ## 关联的Issue - https://gitcode.com/cann/ops-math/issues/3564 ## 测试 - op_kernel UT 链接桩同步更新模板参数(isInt64Shape=false)。 - fp16 / bf16 ±NaN 边界:largest=true/false 两个方向与 torch 语义逐项比对(±NaN、±Inf、±0、次正规码),修正后 NaN 入选与配额统计一致。 - 超大 shape(sortLen > int32 上限):以 K=240000 等 i64 场景验证 tile 级配额正确、int64 索引输出正确。 ## 文档更新 无 ## 类型标签 - [x] 新特性 - [x] Bug修复 See merge request: cann/ops-math!6335 | 1 month ago | |
feat: RadixTopK 新增 int64 索引变体并修复 largest 场景 NaN 与 WS 同步问题 Co-authored-by: Nice_try<zhangzhiwei108@huawei.com> # message auto-generated for no-merge-commit merge: !6335 merge RadixTopKInt64Nan into master feat: RadixTopK 新增 int64 索引变体并修复 largest 场景 NaN 与 WS 同步问题 Created-by: Nice_try Commit-by: Nice_try Merged-by: cann-robot Description: ## 描述 本次改动为 RadixTopK 算子新增 int64 索引变体 RadixTopKWsI64,使排序轴长度 sortLen 超过 int32 上限(2^31-1)的超大 shape 场景可正常执行;同时修复 largest=true 场景下 ±NaN 的计数/提取口径不一致缺陷,以及 WS 变体在多轮归约、多块搬运中的同步问题。 ### 改动原因 - 原实现受 int32 值域限制:sortLen 超过 int32 上限时索引值域与跨核计数会溢出,IsRadixTopKSupport 直接判不支持,算子无法处理超大 shape。 - largest=true 时 NaN 在直方图(key 域)与提取掩码(x > b)两处口径不一致:−NaN 被计入配额但 x > b 对其恒为 false,导致槽位被背景元素顶替(被顶替槽数恰等于注入的 NaN 数)。 - WS 变体在跨核归约与多块 tileHist 搬运处缺必要同步,超大 shape 下出现 tile 级 ±1 配额错位。 ### 改动方法 **host 侧** - radix_top_k_tiling.cpp/.h:新增 isInt64Shape_(sortLen > INT32_SORT_LEN_MAX=2^31-1);新增 CalcInt64TilingParams(int64 输出索引使 UB 开销系数由 16 提到 20);GetTilingKey 增加第 4 个模板参数 isInt64Shape(追加在最高位,原有 3 参数 key 编码不变);int64 变体强制 needWorkspace=true 并复用 large shape 的 workspace 布局;新增防御性校验(indices 输出必须 int64、kValue 与 per-core 元素数不超 int32 上限)。 - radix_top_k_binary.json(ascend910b / ascend910_93):新增 RadixTopK_x_{bfloat16,float16}_indices_int64_k_int32 两个编译配置。 - topk.cpp(op_api):IsRadixTopKSupport 增加 indicesDType 入参,sortLen > int32 上限时要求 indices 为 int64 且 k > 0;TopkCommon 在超大 shape 且 indices 为 int64 时按 int64 分配输出索引。 **kernel 侧** - radix_top_k.cpp:kernel 模板新增 isInt64Shape 参数并路由到 RadixTopKWsI64。 - 新增 radix_top_k_ws_i64.h:RadixTopKWsI64 继承 RadixTopKWs,完整复用其 WS 搬运与同步结构,仅把触及 int64 值域的部分改为标量 int64 实现——跨核 globalHist 归约、边界查找、边界计数跨核前缀和;索引输出在 int32 域压缩 tile 内索引,再逐元素加 int64 tileOffset 后向扩展写入,代价 O(kValue)。per-core 直方图/tileTopK/coreTopK 等 int32 安全域保持不变。 - radix_top_k_common.h:NegateDataForLargest 重命名为 CanonicalizeDataForLargest,不再取反,改为把 ±NaN 规范化为同一个正 NaN(降序改由 key 域取补承担);TwiddleInB16 对 largest=false 在末尾做键域取补;SubTopKAndCopyOut 在 largest=true 且非 EQ 时改用 NOT(LE) 掩码,使 NaN 与 key 域配额口径一致,并对非 EQ 通过按 tile 配额封顶避免越界写。 - radix_top_k_ws.h:私有成员访问级别改为 protected 供 i64 子类复用;SubProcess 增加 SyncAll,保证快核下一轮 CopyOut2Ws 覆盖前所有核已完成 CopyInGlobalHist 读取。 - radix_top_k_ws_utils.h:CopyTileHistInWs 多块循环迭代间补 MTE3ToMTE2Sync,避免 GM→UB 覆盖尚未搬走的头部数据。 - radix_top_k_ub.h / radix_top_k_ws.h:HandleLastRoundBoundary 补同步说明并统一 SToVSync 口径。 - radix_top_k_tiling_key.h / radix_top_k_struct.h:模板参数声明新增 isInt64Shape、注释对齐。 ## 关联的Issue - https://gitcode.com/cann/ops-math/issues/3564 ## 测试 - op_kernel UT 链接桩同步更新模板参数(isInt64Shape=false)。 - fp16 / bf16 ±NaN 边界:largest=true/false 两个方向与 torch 语义逐项比对(±NaN、±Inf、±0、次正规码),修正后 NaN 入选与配额统计一致。 - 超大 shape(sortLen > int32 上限):以 K=240000 等 i64 场景验证 tile 级配额正确、int64 索引输出正确。 ## 文档更新 无 ## 类型标签 - [x] 新特性 - [x] Bug修复 See merge request: cann/ops-math!6335 | 1 month ago |
| Files | Last commit | Last update |
|---|---|---|
| 1 month ago | ||
| 1 month ago | ||
| 1 month ago | ||
| 1 month ago | ||
| 1 month ago | ||
| 2 months ago | ||
| 1 month ago | ||
| 1 month ago | ||
| 1 month ago |