| Files | Last commit | Last update |
|---|---|---|
feat: RadixTopK 新增 int64 索引变体并修复 largest 场景 NaN 与 WS 同步问题 Co-authored-by: Nice_try<zhangzhiwei108@huawei.com> # message auto-generated for no-merge-commit merge: !6335 merge RadixTopKInt64Nan into master feat: RadixTopK 新增 int64 索引变体并修复 largest 场景 NaN 与 WS 同步问题 Created-by: Nice_try Commit-by: Nice_try Merged-by: cann-robot Description: ## 描述 本次改动为 RadixTopK 算子新增 int64 索引变体 RadixTopKWsI64,使排序轴长度 sortLen 超过 int32 上限(2^31-1)的超大 shape 场景可正常执行;同时修复 largest=true 场景下 ±NaN 的计数/提取口径不一致缺陷,以及 WS 变体在多轮归约、多块搬运中的同步问题。 ### 改动原因 - 原实现受 int32 值域限制:sortLen 超过 int32 上限时索引值域与跨核计数会溢出,IsRadixTopKSupport 直接判不支持,算子无法处理超大 shape。 - largest=true 时 NaN 在直方图(key 域)与提取掩码(x > b)两处口径不一致:−NaN 被计入配额但 x > b 对其恒为 false,导致槽位被背景元素顶替(被顶替槽数恰等于注入的 NaN 数)。 - WS 变体在跨核归约与多块 tileHist 搬运处缺必要同步,超大 shape 下出现 tile 级 ±1 配额错位。 ### 改动方法 **host 侧** - radix_top_k_tiling.cpp/.h:新增 isInt64Shape_(sortLen > INT32_SORT_LEN_MAX=2^31-1);新增 CalcInt64TilingParams(int64 输出索引使 UB 开销系数由 16 提到 20);GetTilingKey 增加第 4 个模板参数 isInt64Shape(追加在最高位,原有 3 参数 key 编码不变);int64 变体强制 needWorkspace=true 并复用 large shape 的 workspace 布局;新增防御性校验(indices 输出必须 int64、kValue 与 per-core 元素数不超 int32 上限)。 - radix_top_k_binary.json(ascend910b / ascend910_93):新增 RadixTopK_x_{bfloat16,float16}_indices_int64_k_int32 两个编译配置。 - topk.cpp(op_api):IsRadixTopKSupport 增加 indicesDType 入参,sortLen > int32 上限时要求 indices 为 int64 且 k > 0;TopkCommon 在超大 shape 且 indices 为 int64 时按 int64 分配输出索引。 **kernel 侧** - radix_top_k.cpp:kernel 模板新增 isInt64Shape 参数并路由到 RadixTopKWsI64。 - 新增 radix_top_k_ws_i64.h:RadixTopKWsI64 继承 RadixTopKWs,完整复用其 WS 搬运与同步结构,仅把触及 int64 值域的部分改为标量 int64 实现——跨核 globalHist 归约、边界查找、边界计数跨核前缀和;索引输出在 int32 域压缩 tile 内索引,再逐元素加 int64 tileOffset 后向扩展写入,代价 O(kValue)。per-core 直方图/tileTopK/coreTopK 等 int32 安全域保持不变。 - radix_top_k_common.h:NegateDataForLargest 重命名为 CanonicalizeDataForLargest,不再取反,改为把 ±NaN 规范化为同一个正 NaN(降序改由 key 域取补承担);TwiddleInB16 对 largest=false 在末尾做键域取补;SubTopKAndCopyOut 在 largest=true 且非 EQ 时改用 NOT(LE) 掩码,使 NaN 与 key 域配额口径一致,并对非 EQ 通过按 tile 配额封顶避免越界写。 - radix_top_k_ws.h:私有成员访问级别改为 protected 供 i64 子类复用;SubProcess 增加 SyncAll,保证快核下一轮 CopyOut2Ws 覆盖前所有核已完成 CopyInGlobalHist 读取。 - radix_top_k_ws_utils.h:CopyTileHistInWs 多块循环迭代间补 MTE3ToMTE2Sync,避免 GM→UB 覆盖尚未搬走的头部数据。 - radix_top_k_ub.h / radix_top_k_ws.h:HandleLastRoundBoundary 补同步说明并统一 SToVSync 口径。 - radix_top_k_tiling_key.h / radix_top_k_struct.h:模板参数声明新增 isInt64Shape、注释对齐。 ## 关联的Issue - https://gitcode.com/cann/ops-math/issues/3564 ## 测试 - op_kernel UT 链接桩同步更新模板参数(isInt64Shape=false)。 - fp16 / bf16 ±NaN 边界:largest=true/false 两个方向与 torch 语义逐项比对(±NaN、±Inf、±0、次正规码),修正后 NaN 入选与配额统计一致。 - 超大 shape(sortLen > int32 上限):以 K=240000 等 i64 场景验证 tile 级配额正确、int64 索引输出正确。 ## 文档更新 无 ## 类型标签 - [x] 新特性 - [x] Bug修复 See merge request: cann/ops-math!6335 | 1 month ago | |
新增RadixTopK算子实现 Co-authored-by: huang-wei-chen<chenhuangwei1@huawei.com> # message auto-generated for no-merge-commit merge: !3183 merge radix_top_k into master 新增RadixTopK算子实现 Created-by: huang-wei-chen Commit-by: huang-wei-chen Merged-by: cann-robot Description: ## 描述 <!--在这里详细描述你的改动,包括改动的原因和所采取的方法。--> 长序列TopK内存优化 x(1, 617025600), k=3179520,以该case为例,算子额外申请内存变化:18G→144M ## 关联的Issue <!-- 如果这个PR是为了解决特定的Issue,请在这里提供Issue链接。--> <!-- 如果这个PR是为了解决特定的问题单,请在这里描述问题单单号。--> [#1905](https://gitcode.com/cann/ops-math/issues/1905) ## 测试 <!--描述进行了哪些测试来验证你的改动。包括但不限于二级冒烟、算子泛化等。--> 500+用例精度通过 简单测试脚本如下: python import torch, torch_npu batch_list = [1, 2, 3, 4, 5, 6, 7, 8] for batch in batch_list: x = torch.randn(batch, 617025600, dtype=torch.bfloat16) values_npu, indices_npu = torch.topk(x.npu(), k=3179520, sorted=True, largest=True) values_cpu, indices_cpu = torch.topk(x, k=3179520, sorted=True, largest=True) values_match = torch.equal(values_npu.cpu(), values_cpu) print(f"batch={batch}: values_match={values_match}") ## 文档更新 <!--如果这个PR包含文档的更新,请在这里指出。例如:更新了README.md文件。--> ## 类型标签 <!-- [x] 表示选中 --> - [ ] Bug修复 - [x] 新特性 - [x] 性能优化 - [ ] 文档更新 - [ ] 其他,请描述: See merge request: cann/ops-math!3183 | 5 months ago | |
fix: 修复代码规范问题,统一函数参数名并移除冗余头文件 Co-authored-by: xiafengkou<luojiangtao4@huawei.com> # message auto-generated for no-merge-commit merge: !5130 merge master into master fix: 修复代码规范问题,统一函数参数名并移除冗余头文件 Created-by: xiafengkou Commit-by: xiafengkou Merged-by: cann-robot Description: ## 描述 本 PR 针对代码规范问题进行修复。具体修复内容: - **G.FUN.02(声明与定义参数名一致)**: - reduce_min.cpp:ReduceMin 定义中参数名 dim 统一为 dims(与 reduce_min.h 声明一致),函数体内引用同步更新。 - aclnn_batch_norm_stats.cpp:aclnnBatchNormStatsGetWorkspaceSize 定义中参数名 meanOut/invstdOut 统一为 mean/invstd(与 aclnn_batch_norm_stats.h 声明一致),函数体内 DFX 日志、参数校验、空张量处理、结果拷贝等引用同步更新。 - **G.INC.02(禁止包含用不到的头文件)**:radix_top_k_def.cpp 移除冗余的 #include <cstdint>(文件未使用该头文件中的类型)。 ## 关联的Issue 无。 ## 测试 - 均为**非功能性修改**,不改变原有代码逻辑、算子功能与接口调用方式 ## 文档更新 无。 ## 类型标签 - [ ] Bug修复 - [ ] 新特性 - [ ] 性能优化 - [ ] 文档更新 - [x] 其他,请描述:代码规范修复 See merge request: cann/ops-math!5130 | 2 months ago | |
fix: E*9****内部错误码整改为正式语义码并保留内部异常EZ9999上报 Co-authored-by: chenyifeng<chenyifeng27@h-partners.com> # message auto-generated for no-merge-commit merge: !6606 merge fix_errorNum_1021 into master fix: E*9****内部错误码整改为正式语义码并保留内部异常EZ9999上报 Created-by: chen_0715 Commit-by: chenyifeng Merged-by: cann-robot Description: ## 描述 <!--在这里详细描述你的改动,包括改动的原因和所采取的方法。--> 本次 PR 整改以下 43 个算子中非法使用的内部错误码(E*9****),使其符合错误码使用规范: - cholesky / complex / cross / cummax / cummin / cumprod / get_shape / histogram_v2 / is_finite / is_inf - kl_div_v2 / lin_space / log_add_exp / non_finite_check / pdist / polar / pows / radix_top_k - reduce_log_sum / reduce_log_sum_exp / reduce_max / reduce_mean / reduce_mean_with_count / reduce_min - reduce_nansum / reduce_std_with_mean / rfft1_d / search_sorted / signbit / sin / sinc / sinkhorn / topk - affine_grid / amp_update_scale / angle_v2 / arg_max_v2 / arg_min / arg_min_with_value / atan2 / bessel_i1e / cdist_grad - conversion/tril 改动原因:上述算子 op_host / op_api / op_graph 源码中存在裸 OP_LOGE (EZ9999 兜底上报)、 OP_CHECK_NULL_WITH_CONTEXT / OP_CHECK_NOTNULL (EZ9999 上报)等不符合错误码使用规范的上报路径,需按失败原因分类整改为正式语义码或内部透传。 采取的方法: - op_host 参数/输入校验类(shape / dtype / format / attr 值域等)裸 OP_LOGE → 正式语义宏(EZ0004 / EZ0008–EZ0038) - op_host 内部 API 失败类(平台能力查询、tiling API 失败等)→ OP_LOGE_WITHOUT_REPORT 透传,去掉 EZ9999 上报、保留日志 - OP_CHECK_NULL_WITH_CONTEXT (EZ9999)→ 显式空指针检查 + 正式码宏 - op_api OP_CHECK_NOTNULL (EZ9999)→ 显式检查 + OP_LOGE_WITHOUT_REPORT(ACLNN_ERR_INNER_NULLPTR) + 返回公共错误码 - op_api OP_LOGE(ACLNN_ERR_INNER_* / RUNTIME_ERROR) (561xxx / 361xxx)→ OP_LOGE_WITHOUT_REPORT ;正式参数码 ACLNN_ERR_PARAM_* (161xxx)保留 - 删除 CREATE_EXECUTOR 之后不可达的空指针死检查( CHECK_RET(executor.get()!=nullptr, ACLNN_ERR_INNER_CREATE_EXECUTOR) ,40 处) - op_graph(histogram_v2 / reduce_mean 融合 pass)E9 上报 → 正式码或透传 ## 关联的Issue <!-- 如果这个PR是为了解决特定的Issue,请在这里提供Issue链接。--> <!-- 如果这个PR是为了解决特定的问题单,请在这里描述问题单单号。--> https://gitcode.com/cann/ops-math/issues/3977 ## 测试 <!--描述进行了哪些测试来验证你的改动。包括但不限于二级冒烟、算子泛化等。--> - 43 算子 op_host / op_api / op_graph 全量编译通过,exit 0(910b + 950/arch35) - 本地增加ut测试130 用例全量通过(910b 83 + 950 47),日志级验证触发 78 次正式 EZ 错误码上报,覆盖 14 个正式错误码 - 原版 math_op_host_ut 300 用例全量通过,无回归 - 静态复扫:范围内 E*9**** 正式上报清零(残留均为 CHECK_RET 返回公共码 / 动态 return 等允许项) - 附:适配 CANN 9.3.0 atvoss 库 tiling key 编码变化,更新 reduce_max / reduce_mean_with_count 测试的 9 处 expectedTilingKey (官方 master 在 9.3.0 下同样失败,非本 PR 引入) ## 文档更新 <!--如果这个PR包含文档的更新,请在这里指出。例如:更新了README.md文件。--> ## 类型标签 <!-- [x] 表示选中 --> - [x] Bug修复 - [ ] 新特性 - [ ] 性能优化 - [ ] 文档更新 - [ ] 其他,请描述: See merge request: cann/ops-math!6606 | 25 days ago | |
feat: RadixTopK 新增 int64 索引变体并修复 largest 场景 NaN 与 WS 同步问题 Co-authored-by: Nice_try<zhangzhiwei108@huawei.com> # message auto-generated for no-merge-commit merge: !6335 merge RadixTopKInt64Nan into master feat: RadixTopK 新增 int64 索引变体并修复 largest 场景 NaN 与 WS 同步问题 Created-by: Nice_try Commit-by: Nice_try Merged-by: cann-robot Description: ## 描述 本次改动为 RadixTopK 算子新增 int64 索引变体 RadixTopKWsI64,使排序轴长度 sortLen 超过 int32 上限(2^31-1)的超大 shape 场景可正常执行;同时修复 largest=true 场景下 ±NaN 的计数/提取口径不一致缺陷,以及 WS 变体在多轮归约、多块搬运中的同步问题。 ### 改动原因 - 原实现受 int32 值域限制:sortLen 超过 int32 上限时索引值域与跨核计数会溢出,IsRadixTopKSupport 直接判不支持,算子无法处理超大 shape。 - largest=true 时 NaN 在直方图(key 域)与提取掩码(x > b)两处口径不一致:−NaN 被计入配额但 x > b 对其恒为 false,导致槽位被背景元素顶替(被顶替槽数恰等于注入的 NaN 数)。 - WS 变体在跨核归约与多块 tileHist 搬运处缺必要同步,超大 shape 下出现 tile 级 ±1 配额错位。 ### 改动方法 **host 侧** - radix_top_k_tiling.cpp/.h:新增 isInt64Shape_(sortLen > INT32_SORT_LEN_MAX=2^31-1);新增 CalcInt64TilingParams(int64 输出索引使 UB 开销系数由 16 提到 20);GetTilingKey 增加第 4 个模板参数 isInt64Shape(追加在最高位,原有 3 参数 key 编码不变);int64 变体强制 needWorkspace=true 并复用 large shape 的 workspace 布局;新增防御性校验(indices 输出必须 int64、kValue 与 per-core 元素数不超 int32 上限)。 - radix_top_k_binary.json(ascend910b / ascend910_93):新增 RadixTopK_x_{bfloat16,float16}_indices_int64_k_int32 两个编译配置。 - topk.cpp(op_api):IsRadixTopKSupport 增加 indicesDType 入参,sortLen > int32 上限时要求 indices 为 int64 且 k > 0;TopkCommon 在超大 shape 且 indices 为 int64 时按 int64 分配输出索引。 **kernel 侧** - radix_top_k.cpp:kernel 模板新增 isInt64Shape 参数并路由到 RadixTopKWsI64。 - 新增 radix_top_k_ws_i64.h:RadixTopKWsI64 继承 RadixTopKWs,完整复用其 WS 搬运与同步结构,仅把触及 int64 值域的部分改为标量 int64 实现——跨核 globalHist 归约、边界查找、边界计数跨核前缀和;索引输出在 int32 域压缩 tile 内索引,再逐元素加 int64 tileOffset 后向扩展写入,代价 O(kValue)。per-core 直方图/tileTopK/coreTopK 等 int32 安全域保持不变。 - radix_top_k_common.h:NegateDataForLargest 重命名为 CanonicalizeDataForLargest,不再取反,改为把 ±NaN 规范化为同一个正 NaN(降序改由 key 域取补承担);TwiddleInB16 对 largest=false 在末尾做键域取补;SubTopKAndCopyOut 在 largest=true 且非 EQ 时改用 NOT(LE) 掩码,使 NaN 与 key 域配额口径一致,并对非 EQ 通过按 tile 配额封顶避免越界写。 - radix_top_k_ws.h:私有成员访问级别改为 protected 供 i64 子类复用;SubProcess 增加 SyncAll,保证快核下一轮 CopyOut2Ws 覆盖前所有核已完成 CopyInGlobalHist 读取。 - radix_top_k_ws_utils.h:CopyTileHistInWs 多块循环迭代间补 MTE3ToMTE2Sync,避免 GM→UB 覆盖尚未搬走的头部数据。 - radix_top_k_ub.h / radix_top_k_ws.h:HandleLastRoundBoundary 补同步说明并统一 SToVSync 口径。 - radix_top_k_tiling_key.h / radix_top_k_struct.h:模板参数声明新增 isInt64Shape、注释对齐。 ## 关联的Issue - https://gitcode.com/cann/ops-math/issues/3564 ## 测试 - op_kernel UT 链接桩同步更新模板参数(isInt64Shape=false)。 - fp16 / bf16 ±NaN 边界:largest=true/false 两个方向与 torch 语义逐项比对(±NaN、±Inf、±0、次正规码),修正后 NaN 入选与配额统计一致。 - 超大 shape(sortLen > int32 上限):以 K=240000 等 i64 场景验证 tile 级配额正确、int64 索引输出正确。 ## 文档更新 无 ## 类型标签 - [x] 新特性 - [x] Bug修复 See merge request: cann/ops-math!6335 | 1 month ago |
| Files | Last commit | Last update |
|---|---|---|
| 1 month ago | ||
| 5 months ago | ||
| 2 months ago | ||
| 25 days ago | ||
| 1 month ago |