本项目是CANN提供的神经网络类计算算子库，实现网络在NPU上加速计算。
| 文件 | 最后提交记录 | 最后更新时间 |
|---|---|---|
编译任务机器规格调整以及冒烟脚本调整 Co-authored-by: chenyajie<chenyajie6@huawei.com> # message auto-generated for no-merge-commit merge: !8787 merge master into master 编译任务机器规格调整以及冒烟脚本调整 Created-by: yajie_caroline Commit-by: chenyajie Merged-by: cann-robot Description: ## 描述 <!--在这里详细描述你的改动，包括改动的原因和所采取的方法。--> ## 关联的Issue <!-- 如果这个PR是为了解决特定的Issue，请在这里提供Issue链接。例如：关联Issue #000--> ## 测试 <!--描述进行了哪些测试来验证你的改动。--> ## 文档更新 <!--如果这个PR包含文档的更新，请在这里指出。例如：更新了README.md文件。--> ## 类型标签 <!-- [x] 表示选中 --> - [ ] Bug修复 - [ ] 新特性 - [ ] 性能优化 - [ ] 文档更新 - [ ] 其他，请描述： ## AI/Agent生成声明 <!-- [x] 表示选中 --> - [ ] AI辅助编写 See merge request: cann/ops-nn!8787 | 10 天前 | |
处理PTA 2.14.0版本，SwigluGroup和SwigluGroupQuant算子自动反向兼容性问题。 Co-authored-by: liuhongpeng<liuhongpeng2@h-partners.com> # message auto-generated for no-merge-commit merge: !9328 merge sgqg into master 处理PTA 2.14.0版本，SwigluGroup和SwigluGroupQuant算子自动反向兼容性问题。 Created-by: liu_hp711 Commit-by: liuhongpeng Merged-by: cann-robot Description: ## 描述 <!--在这里详细描述你的改动，包括改动的原因和所采取的方法。--> 处理PTA 2.14.0版本，SwigluGroup和SwigluGroupQuant算子自动反向问题。TORCH在2.14.0版本时对autograd的函数返回值存在强校验，返回值的个数必须等于前向算子输入tensor的个数。 ## 关联的Issue <!-- 如果这个PR是为了解决特定的Issue，请在这里提供Issue链接。例如：关联Issue #000--> https://gitcode.com/cann/ops-nn/issues/5240 ## 测试 <!--描述进行了哪些测试来验证你的改动。--> 使用torch 2.14.0/2.7.1同时验证自动反向脚本OK。冒烟OK. ## 文档更新 <!--如果这个PR包含文档的更新，请在这里指出。例如：更新了README.md文件。--> ## 类型标签 <!-- [x] 表示选中 --> - [x] Bug修复 - [ ] 新特性 - [ ] 性能优化 - [ ] 文档更新 - [ ] 其他，请描述： ## AI/Agent生成声明 <!-- [x] 表示选中 --> - [ ] AI辅助编写 See merge request: cann/ops-nn!9328 | 3 天前 | |
fix: gawk残留解析 Co-authored-by: cong-jiyu<congjiyu@h-partners.com> # message auto-generated for no-merge-commit merge: !9421 merge master into master fix: gawk残留解析 Created-by: cong-jiyu Commit-by: cong-jiyu Merged-by: cann-robot Description: ## 描述 该 PR 主要修复构建脚本中残留的 gawk 解析逻辑：将 scripts/util/gen_compile_option.sh 中依赖 gawk match() 数组捕获提取 compile_options 的写法替换为 grep + sed 管道，去除对 gawk 的运行时依赖；同时清理了多个 binary 构建脚本中的日志拼写错误（如 excute → execute、Invaild → Invalid）、尾随空白，并移除了 cmake/gen_ops_info.cmake 中的调试日志输出。 主要改动 - 去除 gawk 依赖的解析替换：在 scripts/util/gen_compile_option.sh 中，将提取 "compile_options" JSON 内容的 awk match() 实现改为 grep -oE '"compile_options"[[:space:]]*:[[:space:]]*\{[^}]*\}' 配合 sed 去除前缀，实现同等解析效果且不再需要 gawk。 - 统一脚本日志中的拼写错误：在 build_binary_opc.sh、build_binary_opc_gen_task.sh、gen_opcinfo_for_socversion.sh、gen_opinfo_json_from_ini.sh、build_binary_op_exe_task_out.sh、build_binary_gen_opc_info.sh 等脚本中将 excute 统一更正为 execute，并在 gen_compile_option.sh 中将 Invaild 更正为 Invalid。 - 移除调试日志输出：在 cmake/gen_ops_info.cmake 中删除 message(STATUS "_ASCENDC_ENV_VAR: ${_ASCENDC_ENV_VAR}") 调试打印。 - 清理格式与尾随空白：对多个 shell 脚本的许可证注释行尾空格及空行缩进进行了清理，无业务逻辑影响。 ## 关联的Issue [#5296](https://gitcode.com/cann/ops-nn/issues/5296) ## 测试 编译ascend350包，检测是否无报错 ## 文档更新 <!--如果这个PR包含文档的更新，请在这里指出。例如：更新了README.md文件。--> ## 类型标签 <!-- [x] 表示选中 --> - [x] Bug修复 - [ ] 新特性 - [ ] 性能优化 - [x] 文档更新 - [ ] 其他，请描述： ## AI/Agent生成声明 <!-- [x] 表示选中 --> - [ ] AI辅助编写 See merge request: cann/ops-nn!9421 | 3 天前 | |
修复mamtul类算子原型宏隔离问题 Co-authored-by: jgx12<jingaoxiang@huawei.com> # message auto-generated for no-merge-commit merge: !9438 merge matmul_yuan into master 修复mamtul类算子原型宏隔离问题 Created-by: jgx12 Commit-by: jgx12 Merged-by: cann-robot Description: ## 描述 <!--在这里详细描述你的改动，包括改动的原因和所采取的方法。--> 在 common/inc/op_graph/op_nn_proto_extend.h 中为三个 matmul 类算子的原型注册添加条件编译宏防护，避免这些算子定义在多次包含或与外部定义冲突时出现重复注册问题。改动方式一致：将算子原有的注释文档移到宏防护之外（注释内容本身未变），将 REG_OP 注册体包裹在 #ifndef/#define/#endif 宏防护中 ## 关联的Issue <!-- 如果这个PR是为了解决特定的Issue，请在这里提供Issue链接。例如：关联Issue #000--> https://gitcode.com/cann/ops-nn/issues/5263 ## 测试 <!--描述进行了哪些测试来验证你的改动。--> 无 ## 文档更新 <!--如果这个PR包含文档的更新，请在这里指出。例如：更新了README.md文件。--> 无 ## 类型标签 <!-- [x] 表示选中 --> - [x] Bug修复 - [ ] 新特性 - [ ] 性能优化 - [ ] 文档更新 - [ ] 其他，请描述： ## AI/Agent生成声明 <!-- [x] 表示选中 --> - [x] AI辅助编写 See merge request: cann/ops-nn!9438 | 3 天前 | |
fix(npu_alloc_float_status): 修复geir示例构图问题 Co-authored-by: qq_52056150<24171214023@stu.xidian.edu.cn> # message auto-generated for no-merge-commit merge: !9187 merge fix_npu_alloc_float_status_geir into master fix(npu_alloc_float_status): 修复geir示例构图问题 Created-by: wkkk0528 Commit-by: qq_52056150 Merged-by: cann-robot Description: ## 描述 修复 NPUAllocFloatStatus 算子 geir 示例（test_geir_npu_alloc_float_status.cpp）的构图问题： 1. 移除当前 CANN 头文件布局中不存在的 experiment_ops.h 引用（编译 fatal error） 2. 适配无输入算子的 GE IR 构图：Graph::SetInputs 不允许空 inputs，且与图输入不连通的节点会在建图时被裁剪，导致算子节点丢失、RunGraph 返回 0 个输出。增加 op::Data 占位输入并通过 AddControlInput 控制边将算子挂载到图上，构图改为 SetInputs().SetOutputs() 链式调用 ## 关联的issue https://gitcode.com/cann/ops-nn/issues/5179 ## 测试 已通过冒烟测试和example编译测试 ## 文档更新 无 ## 类型标签 - [x] Bug修复 - [ ] 新特性 - [ ] 性能优化 - [ ] 文档更新 - [ ] 其他，请描述 See merge request: cann/ops-nn!9187 | 4 天前 | |
test avg | 3 天前 | |
fix(arch35): 修复 ArgMaxGrad inner>1 时 UB 地址非对齐崩溃, 并完成 4 算子检视意见整改 Co-authored-by: tangpingchuan<tangpingchuan@huawei.com> # message auto-generated for no-merge-commit merge: !9460 merge fix/code-check-4ops-v2 into master fix(arch35): 修复 ArgMaxGrad inner>1 时 UB 地址非对齐崩溃, 并完成 4 算子检视意见整改 Created-by: zl_hw Commit-by: tangpingchuan Merged-by: cann-robot Description: ## 描述 本 PR 覆盖 ArgMaxGrad / ChamferDistance / SoftmaxFocalLoss / SoftmaxFocalLossGrad 四个算子的 arch35(Ascend950PR) 交付整改, 其中包含一处真机实测出的内核崩溃缺陷修复。 ### 1. ArgMaxGrad: 修复 inner>1 时 UB 地址非对齐导致的 aivec 崩溃(核心缺陷) **现象**: kernel 泛化 1224 例中 102 例 NO_OUTPUT, 设备侧 plog 报 errcode:(340) The address for VEC to access UB is not aligned, subErrType: 0x4。 **根因**: 多行合并路径下 GenAssist() 逐行写 assist: cpp AscendC::Duplicate(assistL[r * inner_], kStart + r, inner_); // 目的地址 = r * inner_ * sizeof(int32_t) 字节 inner_(被选轴之后所有维的乘积)不是 8 的整数倍时, 该地址不落在 32B 边界, 触发 VEC 访问 UB 非对齐。 inner_ == 1 时走 CreateVecIndex、偏移恒为 0, 故只在 inner_ > 1 暴露; 而 inner_ > 1 是 dimension 不指向最后一维时的常态(泛化用例集中占 62%)。 **修复**: 多行合并只在 assist 行跨度 32B 对齐时启用, 否则退回单行路径(偏移恒为 0, 天然对齐): cpp const bool assistRowAligned = ((inner_ * sizeof(int32_t)) % BLOCK_SIZE == 0); rowsPerChunk_ = (assistRowAligned && rowElems_ > 0 && rowElems_ <= chunkAlign) ? (chunkAlign / rowElems_) : 1; 对齐的形状仍走合并路径、性能不变; 不对齐的形状退回单行路径, 功能正确优先。 ### 2. ArgMaxGrad: UB buffer 大小改由 host 一次算准, 内核不再二次对齐 原实现由内核对 host 下发的 colsPerChunk 再做一次 CeilAlign, 并自行乘 sizeof(T) 推算各 buffer 字节数 —— 内核实际占用会偏离 host 的 UB 预算。现改为: - host 依 UB 容量与向量寄存器宽度算出 tBufBytes / i32BufBytes / maskBufBytes / selBufBytes 并下发; - host 增加 UB 总量自检, 超限直接 tiling 失败, 不让内核去踩; - 内核 InitBuffer 全部透传, 零算术。 ### 3. ArgMaxGrad: 交付对象更正为不带 D 的 ArgMaxGrad(对齐 A2 原型) 目录、文件名、原型、def、tiling、kernel、UT、用例集整体由 arg_max_grad_d 改名为 arg_max_grad, 并同步 classify_rule.yaml 与 docs/zh/op_list.md 中对 D 版的引用。assist 输入改为内核自生成。 ### 4. ChamferDistance: ReduceMin 结果的两处还原(真机实测缺陷) - NaN 下标语义: ReduceMin 被段内 NaN 污染后给回的不是首个 NaN 的下标, 与 torch.min 不一致, 改为自行扫出首个 NaN(仅 NaN 分支进入, 不影响热路径); - +inf 被截断成 FLT_MAX: ReduceMin 内部累加器初值为 FLT_MAX, Min(FLT_MAX, +inf) 仍为 FLT_MAX, 导致整段距离为 +inf 时输出 3.4028235e38; 竞品(torch / pytorch3d)与 A2 在同一输入下 均给 +inf。 ### 5. SoftmaxFocalLoss / SoftmaxFocalLossGrad: 检视意见整改 arch35 tiling、原型头、def 按检视意见整改, 补充 op_host UT。 另修复 SoftmaxFocalLossGrad 的 golden: 内核 ParseReduction 先 tolower 再比对(对齐 A2 的 reduction.lower()), 而 golden 原按字面比较 reduction == "mean", 导致 reduction='MEAN' 时 内核缩放了 1/numel 而 golden 未缩放, 判定假红。 ### 6. 判据分档 三个 loss 算子的 tests/assets/golden.py 移除 Spec.tolerance 中钉死的 standard 声明。 TTK 默认即按输出逐个路由判据(浮点走 stat_rel_err 的 CANN 标准阈值, 整数走 binary_equal); 在 kernel spec 上声明 cross_check 会让 kernel 泛化档也去做三方比对, 既把泛化绑上远端环境, 也会在内核未真正执行时用三方结果掩盖失败。三方比对归 invoke 通路档, 由命令行 --compare cross_check 指定, 不写进插件。ArgMaxGrad 的 binary_equal 声明保留: 纯选择算子输出为原值散射, 逐位相等是 其正确语义, 非默认路由可推导。 ## 关联的Issue 关联Issue #5310 ## 测试 真机验证环境: Ascend950PR, CANN 9.1.0 / 9.2.0, TTK kernel 通路(-d=false -b=release, 测部署 binary)。 | 算子 | kernel 泛化 | 说明 | |---|---|---| | ArgMaxGrad | **1224 / 1224 PASS** | 修复前同一用例集 102 例 NO_OUTPUT(errcode 340) | | ChamferDistance | 1323 / 1323 PASS | 含新补的 36 例极值域用例(值域 ±2e19, 专测 inf 截断) | | SoftmaxFocalLoss | 1198 / 1198 PASS | — | | SoftmaxFocalLossGrad | 1120 PASS + 9 例判据争议 | 9 例最差元素绝对误差为 fp16 1 ULP(5.96e-08), 属 stat_rel_err 在次正规数上的相对误差放大 | 补充说明: - 上述结果均为**真上设备执行**并完成 golden 比对(结果 CSV 的 precision_metrics 含 standard/mere/mare); 不使用 --no-prof(该开关只准备数据不执行内核, 结果全为 SUPPRESSED 却报 PASS)。 - ArgMaxGrad 空张量 16 例(空 outer / 空 D / 空 inner / 全空 × 4 dtype)单独验证通过, 输出形状与输入 一致、0 元素、与 golden 一致。 - ArgMaxGrad host UT 23/23 通过。 ## 文档更新 更新了 index/arg_max_grad/README.md、loss/chamfer_distance/README.md、 loss/softmax_focal_loss/README.md、loss/softmax_focal_loss_grad/README.md, 以及 classify_rule.yaml 与 docs/zh/op_list.md 中对 ArgMaxGradD 的引用。 ## 类型标签 <!-- [x] 表示选中 --> - [x] Bug修复 - [ ] 新特性 - [ ] 性能优化 - [x] 文档更新 - [ ] 其他，请描述： ## AI/Agent生成声明 <!-- [x] 表示选中 --> - [x] AI辅助编写 See merge request: cann/ops-nn!9460 | 3 天前 | |
modify examples/fast_kernel_launch_example/README.md Co-authored-by: yolic<chenyuning1@huawei.com> # message auto-generated for no-merge-commit merge: !9440 merge 0828_torch_readme into master modify examples/fast_kernel_launch_example/README.md Created-by: yolic Commit-by: yolic Merged-by: cann-robot Description: ## 描述 <!--在这里详细描述你的改动，包括改动的原因和所采取的方法。--> 修改 examples/fast_kernel_launch_example/README.md，新增soc说明 ## 关联的Issue <!-- 如果这个PR是为了解决特定的Issue，请在这里提供Issue链接。例如：关联Issue #000--> 关联Issue [#5302](https://gitcode.com/cann/ops-nn/issues/5302) ## 测试 <!--描述进行了哪些测试来验证你的改动。--> ## 文档更新 <!--如果这个PR包含文档的更新，请在这里指出。例如：更新了README.md文件。--> 更新了 examples/fast_kernel_launch_example/README.md ## 类型标签 <!-- [x] 表示选中 --> - [ ] Bug修复 - [ ] 新特性 - [ ] 性能优化 - [x] 文档更新 - [ ] 其他，请描述： ## AI/Agent生成声明 <!-- [x] 表示选中 --> - [ ] AI辅助编写 See merge request: cann/ops-nn!9440 | 4 天前 | |
md大模型检测低错修复 Co-authored-by: gitcode-chenjiao<chenjiao31@huawei.com> # message auto-generated for no-merge-commit merge: !9420 merge master into master md大模型检测低错修复 Created-by: gitcode-chenjiao Commit-by: gitcode-chenjiao Merged-by: cann-robot Description: ## 描述 <!--在这里详细描述你的改动，包括改动的原因和所采取的方法。--> md aidd大模型检测低错修复 ## 关联的Issue <!-- 如果这个PR是为了解决特定的Issue，请在这里提供Issue链接。例如：关联Issue #000--> https://gitcode.com/cann/ops-nn/issues/5254 ## 测试 <!--描述进行了哪些测试来验证你的改动。--> ok ## 文档更新 <!--如果这个PR包含文档的更新，请在这里指出。例如：更新了README.md文件。--> acl*.md ## 类型标签 <!-- [x] 表示选中 --> - [ ] Bug修复 - [ ] 新特性 - [ ] 性能优化 - [x] 文档更新 - [ ] 其他，请描述： ## AI/Agent生成声明 <!-- [x] 表示选中 --> - [ ] AI辅助编写 See merge request: cann/ops-nn!9420 | 4 天前 | |
fix(foreach_neg/dequant_swiglu_quant): 修复数组越界与动态量化除零缺陷 (#5019 #5020 #5011 #5012) Co-authored-by: east_yang<yangdong48@huawei.com> # message auto-generated for no-merge-commit merge: !9481 merge fix/issue-5019-5020-5011-5012 into master fix(foreach_neg/dequant_swiglu_quant): 修复数组越界与动态量化除零缺陷 (#5019 #5020 #5011 #5012) Created-by: east_yang Commit-by: east_yang Merged-by: cann-robot Description: ## 修复内容 本PR修复缺陷分析报告中的4个确认成立的缺陷: ### 1. foreach_neg host侧数组越界写 (#5019) foreach_neg_tiling.cpp 中 tensorNum 来自外部输入无上限校验, >256 时越界写 ForeachNegTilingData::tensorElements[256]。新增 MAX_TENSOR_NUM_FOREACH_NEG = 256 上限校验(对齐同仓 foreach_add_list 等算子写法)。 ### 2. foreach_neg kernel侧数组越界读 (#5020) foreach_neg_simt.h 中 tensorCount 未校验即作为循环上界读 GM。host侧修复后理论上不可达, 作为纵深防御在 kernel 侧 clamp 到 256。 ### 3. DequantSwigluQuant 动态量化除零 (#5011, #5012) 动态量化路径 DynamicCompute/BaseCompute2 中 scale = 1/value, 当某行 SwiGLU 输出全零(如 INT32量化输入为0、silu大负值饱和、padding token零填充行、MoE空路由行)时 value=0 → scale=inf → Muls 产生 0*inf=NaN, 量化输出被静默污染。增加零值防护: scale = (value == 0.0f) ? 1.0f : (1.0f / value)。 ## 验证 - ophost UT: 77/77 PASSED - ascend950 全量编译(ophost库+kernel binary): 0 error - host修复编入验证: .o 中含校验日志字符串 - kernel修复编入验证: md5对比实验确认clamp已编入 - pre-commit(OAT/clang-format/codespell等): 全部通过 Closes #5019 Closes #5020 Closes #5011 Closes #5012 See merge request: cann/ops-nn!9481 | 3 天前 | |
MicroAPI namespace to Reg for arch35 kernels Co-authored-by: gcw_DS4cmz2b<1312925094@qq.com> # message auto-generated for no-merge-commit merge: !9267 merge rename into master MicroAPI namespace to Reg for arch35 kernels Created-by: gcw_DS4cmz2b Commit-by: gcw_DS4cmz2b Merged-by: cann-robot Description: ## 描述 修改了index,activation,matmul,conv,foreach,optim,experimental,vfusion,hash这几个文件夹内的命名空间，将MicroAPI-->Reg ## 关联的Issue [多个文件夹内的算子命名空间使用的MicroAPI，应改为Reg](https://gitcode.com/cann/ops-nn/issues/5218) ## 测试 验证方法 严格按四步流程，逐算子验证： 1. Step 1：编译原始代码，保存 baseline binary .o 文件 MD5 2. Step 2：执行 MicroAPI → Reg 替换 3. Step 3：编译替换后代码，保存 after binary .o 文件 MD5 4. Step 4：对比 A_before.md5 与 B_after.md5 平台：ascend950，编译参数：--soc=ascend950 --ops=<op> -j16 验证替换前后 binary 产物 MD5 完全一致。 冒烟，代码审查均通过 ## 文档更新 <!--如果这个PR包含文档的更新，请在这里指出。例如：更新了README.md文件。--> ## 类型标签 <!-- [x] 表示选中 --> - [ ] Bug修复 - [x] 新特性 - [ ] 性能优化 - [ ] 文档更新 - [ ] 其他，请描述： ## AI/Agent生成声明 <!-- [x] 表示选中 --> - [ ] AI辅助编写 See merge request: cann/ops-nn!9267 | 5 天前 | |
inplace_index_add_with_sorted算子负载均衡模板支持 Co-authored-by: liaohuming<liaohuming@huawei.com> # message auto-generated for no-merge-commit merge: !8291 merge addwithsorted into master inplace_index_add_with_sorted算子负载均衡模板支持 Created-by: steppecat Commit-by: liaohuming Merged-by: cann-robot Description: ## 描述 <!--在这里详细描述你的改动，包括改动的原因和所采取的方法。--> 原方案对于index高度一致的场景会出现大量的核空转，导致性能劣化，新模板属于负载均衡模板，重复的索引也可以在多个核上进行处理，最后通过全核同步和workSpace来保证确定性。 ## 关联的Issue <!-- 如果这个PR是为了解决特定的Issue，请在这里提供Issue链接。例如：关联Issue #000--> https://gitcode.com/cann/ops-nn/issues/5249 ## 测试 <!--描述进行了哪些测试来验证你的改动。--> ## 文档更新 <!--如果这个PR包含文档的更新，请在这里指出。例如：更新了README.md文件。--> ## 类型标签 <!-- [x] 表示选中 --> - [ ] Bug修复 - [x] 新特性 - [ ] 性能优化 - [ ] 文档更新 - [ ] 其他，请描述： ## AI/Agent生成声明 <!-- [x] 表示选中 --> - [ ] AI辅助编写 See merge request: cann/ops-nn!8291 | 3 天前 | |
fix(arch35): 修复 ArgMaxGrad inner>1 时 UB 地址非对齐崩溃, 并完成 4 算子检视意见整改 Co-authored-by: tangpingchuan<tangpingchuan@huawei.com> # message auto-generated for no-merge-commit merge: !9460 merge fix/code-check-4ops-v2 into master fix(arch35): 修复 ArgMaxGrad inner>1 时 UB 地址非对齐崩溃, 并完成 4 算子检视意见整改 Created-by: zl_hw Commit-by: tangpingchuan Merged-by: cann-robot Description: ## 描述 本 PR 覆盖 ArgMaxGrad / ChamferDistance / SoftmaxFocalLoss / SoftmaxFocalLossGrad 四个算子的 arch35(Ascend950PR) 交付整改, 其中包含一处真机实测出的内核崩溃缺陷修复。 ### 1. ArgMaxGrad: 修复 inner>1 时 UB 地址非对齐导致的 aivec 崩溃(核心缺陷) **现象**: kernel 泛化 1224 例中 102 例 NO_OUTPUT, 设备侧 plog 报 errcode:(340) The address for VEC to access UB is not aligned, subErrType: 0x4。 **根因**: 多行合并路径下 GenAssist() 逐行写 assist: cpp AscendC::Duplicate(assistL[r * inner_], kStart + r, inner_); // 目的地址 = r * inner_ * sizeof(int32_t) 字节 inner_(被选轴之后所有维的乘积)不是 8 的整数倍时, 该地址不落在 32B 边界, 触发 VEC 访问 UB 非对齐。 inner_ == 1 时走 CreateVecIndex、偏移恒为 0, 故只在 inner_ > 1 暴露; 而 inner_ > 1 是 dimension 不指向最后一维时的常态(泛化用例集中占 62%)。 **修复**: 多行合并只在 assist 行跨度 32B 对齐时启用, 否则退回单行路径(偏移恒为 0, 天然对齐): cpp const bool assistRowAligned = ((inner_ * sizeof(int32_t)) % BLOCK_SIZE == 0); rowsPerChunk_ = (assistRowAligned && rowElems_ > 0 && rowElems_ <= chunkAlign) ? (chunkAlign / rowElems_) : 1; 对齐的形状仍走合并路径、性能不变; 不对齐的形状退回单行路径, 功能正确优先。 ### 2. ArgMaxGrad: UB buffer 大小改由 host 一次算准, 内核不再二次对齐 原实现由内核对 host 下发的 colsPerChunk 再做一次 CeilAlign, 并自行乘 sizeof(T) 推算各 buffer 字节数 —— 内核实际占用会偏离 host 的 UB 预算。现改为: - host 依 UB 容量与向量寄存器宽度算出 tBufBytes / i32BufBytes / maskBufBytes / selBufBytes 并下发; - host 增加 UB 总量自检, 超限直接 tiling 失败, 不让内核去踩; - 内核 InitBuffer 全部透传, 零算术。 ### 3. ArgMaxGrad: 交付对象更正为不带 D 的 ArgMaxGrad(对齐 A2 原型) 目录、文件名、原型、def、tiling、kernel、UT、用例集整体由 arg_max_grad_d 改名为 arg_max_grad, 并同步 classify_rule.yaml 与 docs/zh/op_list.md 中对 D 版的引用。assist 输入改为内核自生成。 ### 4. ChamferDistance: ReduceMin 结果的两处还原(真机实测缺陷) - NaN 下标语义: ReduceMin 被段内 NaN 污染后给回的不是首个 NaN 的下标, 与 torch.min 不一致, 改为自行扫出首个 NaN(仅 NaN 分支进入, 不影响热路径); - +inf 被截断成 FLT_MAX: ReduceMin 内部累加器初值为 FLT_MAX, Min(FLT_MAX, +inf) 仍为 FLT_MAX, 导致整段距离为 +inf 时输出 3.4028235e38; 竞品(torch / pytorch3d)与 A2 在同一输入下 均给 +inf。 ### 5. SoftmaxFocalLoss / SoftmaxFocalLossGrad: 检视意见整改 arch35 tiling、原型头、def 按检视意见整改, 补充 op_host UT。 另修复 SoftmaxFocalLossGrad 的 golden: 内核 ParseReduction 先 tolower 再比对(对齐 A2 的 reduction.lower()), 而 golden 原按字面比较 reduction == "mean", 导致 reduction='MEAN' 时 内核缩放了 1/numel 而 golden 未缩放, 判定假红。 ### 6. 判据分档 三个 loss 算子的 tests/assets/golden.py 移除 Spec.tolerance 中钉死的 standard 声明。 TTK 默认即按输出逐个路由判据(浮点走 stat_rel_err 的 CANN 标准阈值, 整数走 binary_equal); 在 kernel spec 上声明 cross_check 会让 kernel 泛化档也去做三方比对, 既把泛化绑上远端环境, 也会在内核未真正执行时用三方结果掩盖失败。三方比对归 invoke 通路档, 由命令行 --compare cross_check 指定, 不写进插件。ArgMaxGrad 的 binary_equal 声明保留: 纯选择算子输出为原值散射, 逐位相等是 其正确语义, 非默认路由可推导。 ## 关联的Issue 关联Issue #5310 ## 测试 真机验证环境: Ascend950PR, CANN 9.1.0 / 9.2.0, TTK kernel 通路(-d=false -b=release, 测部署 binary)。 | 算子 | kernel 泛化 | 说明 | |---|---|---| | ArgMaxGrad | **1224 / 1224 PASS** | 修复前同一用例集 102 例 NO_OUTPUT(errcode 340) | | ChamferDistance | 1323 / 1323 PASS | 含新补的 36 例极值域用例(值域 ±2e19, 专测 inf 截断) | | SoftmaxFocalLoss | 1198 / 1198 PASS | — | | SoftmaxFocalLossGrad | 1120 PASS + 9 例判据争议 | 9 例最差元素绝对误差为 fp16 1 ULP(5.96e-08), 属 stat_rel_err 在次正规数上的相对误差放大 | 补充说明: - 上述结果均为**真上设备执行**并完成 golden 比对(结果 CSV 的 precision_metrics 含 standard/mere/mare); 不使用 --no-prof(该开关只准备数据不执行内核, 结果全为 SUPPRESSED 却报 PASS)。 - ArgMaxGrad 空张量 16 例(空 outer / 空 D / 空 inner / 全空 × 4 dtype)单独验证通过, 输出形状与输入 一致、0 元素、与 golden 一致。 - ArgMaxGrad host UT 23/23 通过。 ## 文档更新 更新了 index/arg_max_grad/README.md、loss/chamfer_distance/README.md、 loss/softmax_focal_loss/README.md、loss/softmax_focal_loss_grad/README.md, 以及 classify_rule.yaml 与 docs/zh/op_list.md 中对 ArgMaxGradD 的引用。 ## 类型标签 <!-- [x] 表示选中 --> - [x] Bug修复 - [ ] 新特性 - [ ] 性能优化 - [x] 文档更新 - [ ] 其他，请描述： ## AI/Agent生成声明 <!-- [x] 表示选中 --> - [x] AI辅助编写 See merge request: cann/ops-nn!9460 | 3 天前 | |
test avg | 3 天前 | |
add_rms_norm_dynamic_mx_quant算子新增可选输入x3及torch extension适配 Co-authored-by: wangqi_ai<wangqi195@hisilicon.com> # message auto-generated for no-merge-commit merge: !8520 merge feat/add_rms_norm_dynamic_mx_quant_x0 into master add_rms_norm_dynamic_mx_quant算子新增可选输入x3及torch extension适配 Created-by: wangqi_ai Commit-by: wangqi_ai Merged-by: cann-robot Description: ## 描述 为 add_rms_norm_dynamic_mx_quant 算子新增可选输入 x3，支持 x = (x3+x1)+x2 三路残差加法融合。x3 位于 beta 之后（输入索引 4），dtype 为 {FLOAT16, BFLOAT16}。当 x3 缺省时算子行为与 V1 完全一致；当 x3 传入时，计算公式变为 x = (x3+x1)+x2，加法顺序匹配残差加法语义。 同时新增 aclnnAddRmsNormDynamicMxQuantV2 两段式 API，将 FP8/FP4 分离 kernel 统一为模板类，修复 SPLIT_R pipeline race，并补充全量泛化测试。 torch_extension 层接口从算子私有目录迁移至 nn 仓公共目录并更名为 add_rms_norm_dynamic_quant（去掉 mx，为后续多量化类型统一接口预留）；ST 用例 CSV 按 TTK 规范迁入 tests/st/arch35/。 ### 改动原因 大模型推理场景中，RmsNorm 前的 Add 常需融合三路输入（残差 x3 + x1 + x2）。原算子仅支持两路（x1+x2），上层需额外调用一次 torch.add 再传入算子，引入一次额外的 GM 搬入搬出。本 MR 将三路加法融合进 kernel 内部，在 fp32 域完成累加，减少一次 kernel launch 和数据搬运。 ### 改动方法 **1. proto/def — 新增 x3 可选输入** - add_rms_norm_dynamic_mx_quant_proto.h: 在 beta 之后新增 .OPTIONAL_INPUT(x3, ...)，dtype {DT_FLOAT16, DT_BF16} - add_rms_norm_dynamic_mx_quant_def.cpp: x3 声明为 OPTIONAL，tilingKey 增加 HAS_X3 维度 - add_rms_norm_dynamic_mx_quant_binary.json: 二进制配置新增 x3 输入绑定 **2. op_api — V2 两段式 API** - 新增 aclnnAddRmsNormDynamicMxQuantV2GetWorkspaceSize / aclnnAddRmsNormDynamicMxQuantV2 - 抽取 GetWorkspaceSizeImpl 共享逻辑：V1 传 x3=nullptr，V2 透传 x3 - CheckNotNull 不校验 x3（nullptr 合法，等价 V1）；tiling 层 CheckX3Input() 校验 x3 存在时 shape/dtype 必须与 x1 一致 **3. tiling — HAS_X3 编译期模板参数 + GE const-compile fallback** - HAS_X3 作为编译期模板参数（非 tiling data 运行时字段），编译器消除所有 x3 运行时分支 - HAS_X3=false 变体保留用于二进制向后兼容（V1 API 复用原二进制） - tilingKey 从 5 → 10 variant（COMPUTE_MODE × Y_DATA_TYPE × HAS_X3） - 抽取 PostTilingImpl + GetTilingKeyCommon 到基类（DRY） - tiling_reduce_empty_arch35.cpp: 补充 perCorePerLoopElements < ubAlignElems 的 FloorAlign 归零 fallback 处理 - **GE const-compile fallback**（移植自 add_layer_norm_quant 模式）：CompileInfo 新增 4 字段 isRegbase/vRegSize/ubBlockSize/sysWorkspaceSize，TilingPrepare 预存；CanUseRegbase/GetPlatformInfo/GetWorkspaceSize 在 platformInfo==null（GE 编译期）时从 CompileInfo 读取，解决 PreSmoke ATK const-compile 失败 **4. kernel — 统一 FP8/FP4 + 修复 SPLIT_R race** - 统一 kernel：将 4 个分离类合并为 2 个统一类，通过 IsFP4Type<T_Y> type trait 编译期推导 FP8/FP4 分支，if constexpr 消除运行时开销。净减约 916 行重复代码 - 删除死代码：移除未调用的 MxQuantDeletePadData - 修复 SPLIT_R MTE2→V pipeline race：Phase1 写 x_out 到 GM（MTE3），Phase2 读回（MTE2）。替换粗粒度 PipeBarrier 为精确的 MTE3_MTE2 + MTE2_V event flag - 修复加法顺序：(x3+x1)+x2，匹配残差加法语义 **5. torch_extension — 迁移公共目录 + 接口更名** - 代码从算子私有目录 norm/add_rms_norm_dynamic_mx_quant/torch_extension/ 迁移至 nn 仓公共目录 torch_extension/cann_ops_nn/ops/norm/add_rms_norm_dynamic_quant/，便于后续多个量化场景算子共用该 torch 接口 - torch API 更名为 add_rms_norm_dynamic_quant（去掉 mx，为后续扩展其他量化类型的统一接口预留；底层 aclnn API 名 aclnnAddRmsNormDynamicMxQuantV2 与 GE 算子名 AddRmsNormDynamicMxQuant 保持不变） - csrc/add_rms_norm_dynamic_quant.cpp: C++ binding（始终走 V2 API，x3 为 None 时传 nullptr 等价 V1） - add_rms_norm_dynamic_quant.py: Python wrapper（schema/meta/PrivateUse1，meta 校验 FP4 scale_alg==0 与 C++ 一致） - graph_convert_add_rms_norm_dynamic_quant.py: torchair dynamo GE 图转换，含 FP4 打包后处理（Reshape→Bitcast→Reshape 链将 GE 层未打包 FP4 输出转为 torch 层 uint8 打包） **6. ST 用例规范化（TTK 目录与命名约定）** - 用例 CSV 从 tests/assets/ 迁移至 tests/st/arch35/，按 TTK 规范命名：ttk_kernel/ttk_aclnn/ttk_e2e/ttk_geir_add_rms_norm_dynamic_mx_quant_st.csv，CI（ops_st_test.sh）可自动发现执行 - golden.py 适配新版 TTK：删除手写 FrameworkApiInfoKeeper.register() 参数注册（签名改由算子自带 schema 自动解析），__spec__ 注册 4 段名 torch.ops.cann_ops_nn.add_rms_norm_dynamic_quant - golden 新增 pre_compare 钩子：将 NPU 侧 uint8 打包 FP4 输出解包为 float4，使比对走 requant 判据 - 修复 golden bf16 输入静默提升为 fp32 的问题（位保留 view 转换），消除 SPLIT_R 边界场景 mxscale 1-bit 级偏差 **7. 文档** - 新增 aclnnAddRmsNormDynamicMxQuantV2.md，格式对齐 V1 文档 - README 更新 torch_extension 调用说明（包名 cann_ops_nn、接口名、新代码路径） ## 测试 ### 精度验证（TTK 框架，Ascend950PR，上机实测） - Kernel 模式：105/105 PASS（10 tilingKey variant × 边界场景，86 条含 x3） - ACLNN 模式：105/105 PASS（V1 + V2 API × 全 dstType/scaleAlg/roundMode 组合，105 条含 x3/V2） - E2E 模式（torch extension 标准包 cann_ops_nn，接口名 add_rms_norm_dynamic_quant）：41/41 PASS（V1/V2 × FP8_E4M3/E5M2/FP4_E2M1/E1M2 × SPLIT_R 边界/bfloat16/beta=None/1D-4D，4 输出 y/x/mxscale/rstd 全比对） - GEIR 模式：18 条用例 - golden.py 合并 e2e spec（__spec__ + torch<->numpy 适配），--plugin tests 一条参数通吃 kernel/aclnn/e2e 三模式 ### torch_extension 套件（pytest，上机实测） - 104 passed, 0 skipped：全 tilingKey 变体、图模式（torchair + torch.compile）、FP4/FP8、fp16/bf16、SPLIT_R 性能基准 - FP4 性能用例改为偶数 R 参数化收集（替代运行时 skip，报告无跳过项） ### 端到端上机验证（Ascend950PR + CANN 9.2.0） - CMake 裁剪单算子 + build.sh --pkg --soc=ascend950 --vendor_name=custom_nn 整包编译，run 包安装后 torch.ops.cann_ops_nn.add_rms_norm_dynamic_quant JIT 编译执行通过 - 冒烟数值验证：rstd 误差 5.96e-08、x_out 达 fp16 精度上限、FP4 打包输出 shape/dtype 正确 ### UT（CMake 编译） - test_aclnn_add_rms_norm_dynamic_mx_quant.cpp: 17 个 TEST_F - test_add_rms_norm_dynamic_mx_quant_tiling.cpp: 33 个 TEST_F（新增 tiling_prepare_stores_const_compile_fields 验证 TilingPrepare 预存 GE const-compile fallback 字段；同步 UT 镜像 CompileInfo 至 6 字段，修复 OOB 越界读；更正 7 个 tiling-key 期望值，**全量 45 UT PASS**） - test_add_rms_norm_dynamic_mx_quant_apt.cpp: 5 个 TEST_F ### 代码质量 - golden.py monkey-patch 加版本锁 assert（上游 dynamic_mx_quant golden API 变更时 fail-fast） - pre-commit 全部通过（clang-format / ruff-check / ruff-format / codespell） ## 文档更新 - 新增 docs/aclnnAddRmsNormDynamicMxQuantV2.md - 更新 docs/zh/menu_aclnn_api.md、docs/zh/op_api_list.md - 更新 README.md ## 关联的Issue - #4693（需求：新增可选输入 x3） - #4939（需求：torch extension 适配） ## 类型标签 - [ ] Bug修复 - [x] 新特性 - [x] 性能优化 - [x] 文档更新 - [ ] 其他，请描述： ## AI/Agent生成声明 - [x] AI辅助编写 See merge request: cann/ops-nn!8520 | 3 天前 | |
feat: modify readme product support Co-authored-by: Miao_Haifeng<miaohaifeng@huawei.com> # message auto-generated for no-merge-commit merge: !9457 merge mhf into master feat: modify readme product support Created-by: Almost_CANN Commit-by: Miao_Haifeng Merged-by: cann-robot Description: ## 描述 <!--在这里详细描述你的改动，包括改动的原因和所采取的方法。--> LarsV2Update算子补充产品支持情况 ## 关联的Issue <!-- 如果这个PR是为了解决特定的Issue，请在这里提供Issue链接。例如：关联Issue #000--> ## 测试 <!--描述进行了哪些测试来验证你的改动。--> NA ## 文档更新 <!--如果这个PR包含文档的更新，请在这里指出。例如：更新了README.md文件。--> READEME.MD ## 类型标签 <!-- [x] 表示选中 --> - [ ] Bug修复 - [ ] 新特性 - [ ] 性能优化 - [x] 文档更新 - [ ] 其他，请描述： ## AI/Agent生成声明 <!-- [x] 表示选中 --> - [ ] AI辅助编写 See merge request: cann/ops-nn!9457 | 4 天前 | |
test avg | 3 天前 | |
fix(foreach_neg/dequant_swiglu_quant): 修复数组越界与动态量化除零缺陷 (#5019 #5020 #5011 #5012) Co-authored-by: east_yang<yangdong48@huawei.com> # message auto-generated for no-merge-commit merge: !9481 merge fix/issue-5019-5020-5011-5012 into master fix(foreach_neg/dequant_swiglu_quant): 修复数组越界与动态量化除零缺陷 (#5019 #5020 #5011 #5012) Created-by: east_yang Commit-by: east_yang Merged-by: cann-robot Description: ## 修复内容 本PR修复缺陷分析报告中的4个确认成立的缺陷: ### 1. foreach_neg host侧数组越界写 (#5019) foreach_neg_tiling.cpp 中 tensorNum 来自外部输入无上限校验, >256 时越界写 ForeachNegTilingData::tensorElements[256]。新增 MAX_TENSOR_NUM_FOREACH_NEG = 256 上限校验(对齐同仓 foreach_add_list 等算子写法)。 ### 2. foreach_neg kernel侧数组越界读 (#5020) foreach_neg_simt.h 中 tensorCount 未校验即作为循环上界读 GM。host侧修复后理论上不可达, 作为纵深防御在 kernel 侧 clamp 到 256。 ### 3. DequantSwigluQuant 动态量化除零 (#5011, #5012) 动态量化路径 DynamicCompute/BaseCompute2 中 scale = 1/value, 当某行 SwiGLU 输出全零(如 INT32量化输入为0、silu大负值饱和、padding token零填充行、MoE空路由行)时 value=0 → scale=inf → Muls 产生 0*inf=NaN, 量化输出被静默污染。增加零值防护: scale = (value == 0.0f) ? 1.0f : (1.0f / value)。 ## 验证 - ophost UT: 77/77 PASSED - ascend950 全量编译(ophost库+kernel binary): 0 error - host修复编入验证: .o 中含校验日志字符串 - kernel修复编入验证: md5对比实验确认clamp已编入 - pre-commit(OAT/clang-format/codespell等): 全部通过 Closes #5019 Closes #5020 Closes #5011 Closes #5012 See merge request: cann/ops-nn!9481 | 3 天前 | |
gru_grad支持不定长&超大函数清理 Co-authored-by: sakuraqqz<furao15@h-partners.com> # message auto-generated for no-merge-commit merge: !9340 merge master into master gru_grad支持不定长&超大函数清理 Created-by: sakuraqqz Commit-by: sakuraqqz Merged-by: cann-robot Description: ## 描述 <!--在这里详细描述你的改动，包括改动的原因和所采取的方法。--> 1.gru_grad支持不定长，补充接口完整性。 2.清理 超大函数与超大头文件。 ## 关联的Issue <!-- 如果这个PR是为了解决特定的Issue，请在这里提供Issue链接。例如：关联Issue #000--> https://gitcode.com/cann/ops-nn/issues/5275 ## 测试 <!--描述进行了哪些测试来验证你的改动。-->  未通过用例已经复检，为计算误差。 ## 文档更新 <!--如果这个PR包含文档的更新，请在这里指出。例如：更新了README.md文件。--> rnn/gru_grad/docs/aclnnGRUBackward.md ## 类型标签 <!-- [x] 表示选中 --> - [ ] Bug修复 - [x] 新特性 - [ ] 性能优化 - [ ] 文档更新 - [ ] 其他，请描述： ## AI/Agent生成声明 <!-- [x] 表示选中 --> - [ ] AI辅助编写 See merge request: cann/ops-nn!9340 | 4 天前 | |
fix: gawk残留解析 Co-authored-by: cong-jiyu<congjiyu@h-partners.com> # message auto-generated for no-merge-commit merge: !9421 merge master into master fix: gawk残留解析 Created-by: cong-jiyu Commit-by: cong-jiyu Merged-by: cann-robot Description: ## 描述 该 PR 主要修复构建脚本中残留的 gawk 解析逻辑：将 scripts/util/gen_compile_option.sh 中依赖 gawk match() 数组捕获提取 compile_options 的写法替换为 grep + sed 管道，去除对 gawk 的运行时依赖；同时清理了多个 binary 构建脚本中的日志拼写错误（如 excute → execute、Invaild → Invalid）、尾随空白，并移除了 cmake/gen_ops_info.cmake 中的调试日志输出。 主要改动 - 去除 gawk 依赖的解析替换：在 scripts/util/gen_compile_option.sh 中，将提取 "compile_options" JSON 内容的 awk match() 实现改为 grep -oE '"compile_options"[[:space:]]*:[[:space:]]*\{[^}]*\}' 配合 sed 去除前缀，实现同等解析效果且不再需要 gawk。 - 统一脚本日志中的拼写错误：在 build_binary_opc.sh、build_binary_opc_gen_task.sh、gen_opcinfo_for_socversion.sh、gen_opinfo_json_from_ini.sh、build_binary_op_exe_task_out.sh、build_binary_gen_opc_info.sh 等脚本中将 excute 统一更正为 execute，并在 gen_compile_option.sh 中将 Invaild 更正为 Invalid。 - 移除调试日志输出：在 cmake/gen_ops_info.cmake 中删除 message(STATUS "_ASCENDC_ENV_VAR: ${_ASCENDC_ENV_VAR}") 调试打印。 - 清理格式与尾随空白：对多个 shell 脚本的许可证注释行尾空格及空行缩进进行了清理，无业务逻辑影响。 ## 关联的Issue [#5296](https://gitcode.com/cann/ops-nn/issues/5296) ## 测试 编译ascend350包，检测是否无报错 ## 文档更新 <!--如果这个PR包含文档的更新，请在这里指出。例如：更新了README.md文件。--> ## 类型标签 <!-- [x] 表示选中 --> - [x] Bug修复 - [ ] 新特性 - [ ] 性能优化 - [x] 文档更新 - [ ] 其他，请描述： ## AI/Agent生成声明 <!-- [x] 表示选中 --> - [ ] AI辅助编写 See merge request: cann/ops-nn!9421 | 3 天前 | |
add ut example Co-authored-by: zhangquanxin<zhangquanxin7@h-partners.com> # message auto-generated for no-merge-commit merge: !9308 merge conver_percent into master add ut example Created-by: zhangquanxin Commit-by: zhangquanxin Merged-by: cann-robot Description: ## 描述 <!--在这里详细描述你的改动，包括改动的原因和所采取的方法。--> 该 PR（add ut example）主要是为算子 tiling 逻辑补充/扩展单元测试示例，未涉及生产代码改动。其一，在 quant_batch_matmul_v4 的 per-group basic API tiling 测试 test_quant_batch_matmul_v4_pergroup_basic_api_tiling.cpp 中引入 variant 参数化机制，将原先写死的 transA、transB、groupSize、各输入/输出 dtype、x1Format、hasBias 等改为可配置，从而覆盖多种非法参数与边界场景；其二，重写 weight_quant_batch_matmul_v2 的 iterbatch tiling 测试 test_weight_quant_batch_matmul_v2_iterbatch_tiling.cpp，支持解析 enableUncache 与独立的权重 batch 维度，并新增 ASW（L2 uncache）与广播相关用例，扩大对 SetDisableL2cache、CalL1Tiling/GetBroadCastInfo 等分支的覆盖。 ## 关联的Issue <!-- 如果这个PR是为了解决特定的Issue，请在这里提供Issue链接。例如：关联Issue #000--> issue https://gitcode.com/cann/ops-nn/issues/5266 ## 测试 <!--描述进行了哪些测试来验证你的改动。--> ut测试 ## 文档更新 <!--如果这个PR包含文档的更新，请在这里指出。例如：更新了README.md文件。--> 无 ## 类型标签 <!-- [x] 表示选中 --> - [ ] Bug修复 - [x] 新特性 - [ ] 性能优化 - [ ] 文档更新 - [ ] 其他，请描述： ## AI/Agent生成声明 <!-- [x] 表示选中 --> - [x] AI辅助编写 See merge request: cann/ops-nn!9308 | 3 天前 | |
add_rms_norm_dynamic_mx_quant算子新增可选输入x3及torch extension适配 Co-authored-by: wangqi_ai<wangqi195@hisilicon.com> # message auto-generated for no-merge-commit merge: !8520 merge feat/add_rms_norm_dynamic_mx_quant_x0 into master add_rms_norm_dynamic_mx_quant算子新增可选输入x3及torch extension适配 Created-by: wangqi_ai Commit-by: wangqi_ai Merged-by: cann-robot Description: ## 描述 为 add_rms_norm_dynamic_mx_quant 算子新增可选输入 x3，支持 x = (x3+x1)+x2 三路残差加法融合。x3 位于 beta 之后（输入索引 4），dtype 为 {FLOAT16, BFLOAT16}。当 x3 缺省时算子行为与 V1 完全一致；当 x3 传入时，计算公式变为 x = (x3+x1)+x2，加法顺序匹配残差加法语义。 同时新增 aclnnAddRmsNormDynamicMxQuantV2 两段式 API，将 FP8/FP4 分离 kernel 统一为模板类，修复 SPLIT_R pipeline race，并补充全量泛化测试。 torch_extension 层接口从算子私有目录迁移至 nn 仓公共目录并更名为 add_rms_norm_dynamic_quant（去掉 mx，为后续多量化类型统一接口预留）；ST 用例 CSV 按 TTK 规范迁入 tests/st/arch35/。 ### 改动原因 大模型推理场景中，RmsNorm 前的 Add 常需融合三路输入（残差 x3 + x1 + x2）。原算子仅支持两路（x1+x2），上层需额外调用一次 torch.add 再传入算子，引入一次额外的 GM 搬入搬出。本 MR 将三路加法融合进 kernel 内部，在 fp32 域完成累加，减少一次 kernel launch 和数据搬运。 ### 改动方法 **1. proto/def — 新增 x3 可选输入** - add_rms_norm_dynamic_mx_quant_proto.h: 在 beta 之后新增 .OPTIONAL_INPUT(x3, ...)，dtype {DT_FLOAT16, DT_BF16} - add_rms_norm_dynamic_mx_quant_def.cpp: x3 声明为 OPTIONAL，tilingKey 增加 HAS_X3 维度 - add_rms_norm_dynamic_mx_quant_binary.json: 二进制配置新增 x3 输入绑定 **2. op_api — V2 两段式 API** - 新增 aclnnAddRmsNormDynamicMxQuantV2GetWorkspaceSize / aclnnAddRmsNormDynamicMxQuantV2 - 抽取 GetWorkspaceSizeImpl 共享逻辑：V1 传 x3=nullptr，V2 透传 x3 - CheckNotNull 不校验 x3（nullptr 合法，等价 V1）；tiling 层 CheckX3Input() 校验 x3 存在时 shape/dtype 必须与 x1 一致 **3. tiling — HAS_X3 编译期模板参数 + GE const-compile fallback** - HAS_X3 作为编译期模板参数（非 tiling data 运行时字段），编译器消除所有 x3 运行时分支 - HAS_X3=false 变体保留用于二进制向后兼容（V1 API 复用原二进制） - tilingKey 从 5 → 10 variant（COMPUTE_MODE × Y_DATA_TYPE × HAS_X3） - 抽取 PostTilingImpl + GetTilingKeyCommon 到基类（DRY） - tiling_reduce_empty_arch35.cpp: 补充 perCorePerLoopElements < ubAlignElems 的 FloorAlign 归零 fallback 处理 - **GE const-compile fallback**（移植自 add_layer_norm_quant 模式）：CompileInfo 新增 4 字段 isRegbase/vRegSize/ubBlockSize/sysWorkspaceSize，TilingPrepare 预存；CanUseRegbase/GetPlatformInfo/GetWorkspaceSize 在 platformInfo==null（GE 编译期）时从 CompileInfo 读取，解决 PreSmoke ATK const-compile 失败 **4. kernel — 统一 FP8/FP4 + 修复 SPLIT_R race** - 统一 kernel：将 4 个分离类合并为 2 个统一类，通过 IsFP4Type<T_Y> type trait 编译期推导 FP8/FP4 分支，if constexpr 消除运行时开销。净减约 916 行重复代码 - 删除死代码：移除未调用的 MxQuantDeletePadData - 修复 SPLIT_R MTE2→V pipeline race：Phase1 写 x_out 到 GM（MTE3），Phase2 读回（MTE2）。替换粗粒度 PipeBarrier 为精确的 MTE3_MTE2 + MTE2_V event flag - 修复加法顺序：(x3+x1)+x2，匹配残差加法语义 **5. torch_extension — 迁移公共目录 + 接口更名** - 代码从算子私有目录 norm/add_rms_norm_dynamic_mx_quant/torch_extension/ 迁移至 nn 仓公共目录 torch_extension/cann_ops_nn/ops/norm/add_rms_norm_dynamic_quant/，便于后续多个量化场景算子共用该 torch 接口 - torch API 更名为 add_rms_norm_dynamic_quant（去掉 mx，为后续扩展其他量化类型的统一接口预留；底层 aclnn API 名 aclnnAddRmsNormDynamicMxQuantV2 与 GE 算子名 AddRmsNormDynamicMxQuant 保持不变） - csrc/add_rms_norm_dynamic_quant.cpp: C++ binding（始终走 V2 API，x3 为 None 时传 nullptr 等价 V1） - add_rms_norm_dynamic_quant.py: Python wrapper（schema/meta/PrivateUse1，meta 校验 FP4 scale_alg==0 与 C++ 一致） - graph_convert_add_rms_norm_dynamic_quant.py: torchair dynamo GE 图转换，含 FP4 打包后处理（Reshape→Bitcast→Reshape 链将 GE 层未打包 FP4 输出转为 torch 层 uint8 打包） **6. ST 用例规范化（TTK 目录与命名约定）** - 用例 CSV 从 tests/assets/ 迁移至 tests/st/arch35/，按 TTK 规范命名：ttk_kernel/ttk_aclnn/ttk_e2e/ttk_geir_add_rms_norm_dynamic_mx_quant_st.csv，CI（ops_st_test.sh）可自动发现执行 - golden.py 适配新版 TTK：删除手写 FrameworkApiInfoKeeper.register() 参数注册（签名改由算子自带 schema 自动解析），__spec__ 注册 4 段名 torch.ops.cann_ops_nn.add_rms_norm_dynamic_quant - golden 新增 pre_compare 钩子：将 NPU 侧 uint8 打包 FP4 输出解包为 float4，使比对走 requant 判据 - 修复 golden bf16 输入静默提升为 fp32 的问题（位保留 view 转换），消除 SPLIT_R 边界场景 mxscale 1-bit 级偏差 **7. 文档** - 新增 aclnnAddRmsNormDynamicMxQuantV2.md，格式对齐 V1 文档 - README 更新 torch_extension 调用说明（包名 cann_ops_nn、接口名、新代码路径） ## 测试 ### 精度验证（TTK 框架，Ascend950PR，上机实测） - Kernel 模式：105/105 PASS（10 tilingKey variant × 边界场景，86 条含 x3） - ACLNN 模式：105/105 PASS（V1 + V2 API × 全 dstType/scaleAlg/roundMode 组合，105 条含 x3/V2） - E2E 模式（torch extension 标准包 cann_ops_nn，接口名 add_rms_norm_dynamic_quant）：41/41 PASS（V1/V2 × FP8_E4M3/E5M2/FP4_E2M1/E1M2 × SPLIT_R 边界/bfloat16/beta=None/1D-4D，4 输出 y/x/mxscale/rstd 全比对） - GEIR 模式：18 条用例 - golden.py 合并 e2e spec（__spec__ + torch<->numpy 适配），--plugin tests 一条参数通吃 kernel/aclnn/e2e 三模式 ### torch_extension 套件（pytest，上机实测） - 104 passed, 0 skipped：全 tilingKey 变体、图模式（torchair + torch.compile）、FP4/FP8、fp16/bf16、SPLIT_R 性能基准 - FP4 性能用例改为偶数 R 参数化收集（替代运行时 skip，报告无跳过项） ### 端到端上机验证（Ascend950PR + CANN 9.2.0） - CMake 裁剪单算子 + build.sh --pkg --soc=ascend950 --vendor_name=custom_nn 整包编译，run 包安装后 torch.ops.cann_ops_nn.add_rms_norm_dynamic_quant JIT 编译执行通过 - 冒烟数值验证：rstd 误差 5.96e-08、x_out 达 fp16 精度上限、FP4 打包输出 shape/dtype 正确 ### UT（CMake 编译） - test_aclnn_add_rms_norm_dynamic_mx_quant.cpp: 17 个 TEST_F - test_add_rms_norm_dynamic_mx_quant_tiling.cpp: 33 个 TEST_F（新增 tiling_prepare_stores_const_compile_fields 验证 TilingPrepare 预存 GE const-compile fallback 字段；同步 UT 镜像 CompileInfo 至 6 字段，修复 OOB 越界读；更正 7 个 tiling-key 期望值，**全量 45 UT PASS**） - test_add_rms_norm_dynamic_mx_quant_apt.cpp: 5 个 TEST_F ### 代码质量 - golden.py monkey-patch 加版本锁 assert（上游 dynamic_mx_quant golden API 变更时 fail-fast） - pre-commit 全部通过（clang-format / ruff-check / ruff-format / codespell） ## 文档更新 - 新增 docs/aclnnAddRmsNormDynamicMxQuantV2.md - 更新 docs/zh/menu_aclnn_api.md、docs/zh/op_api_list.md - 更新 README.md ## 关联的Issue - #4693（需求：新增可选输入 x3） - #4939（需求：torch extension 适配） ## 类型标签 - [ ] Bug修复 - [x] 新特性 - [x] 性能优化 - [x] 文档更新 - [ ] 其他，请描述： ## AI/Agent生成声明 - [x] AI辅助编写 See merge request: cann/ops-nn!8520 | 3 天前 | |
md大模型检测低错修复 Co-authored-by: gitcode-chenjiao<chenjiao31@huawei.com> # message auto-generated for no-merge-commit merge: !9420 merge master into master md大模型检测低错修复 Created-by: gitcode-chenjiao Commit-by: gitcode-chenjiao Merged-by: cann-robot Description: ## 描述 <!--在这里详细描述你的改动，包括改动的原因和所采取的方法。--> md aidd大模型检测低错修复 ## 关联的Issue <!-- 如果这个PR是为了解决特定的Issue，请在这里提供Issue链接。例如：关联Issue #000--> https://gitcode.com/cann/ops-nn/issues/5254 ## 测试 <!--描述进行了哪些测试来验证你的改动。--> ok ## 文档更新 <!--如果这个PR包含文档的更新，请在这里指出。例如：更新了README.md文件。--> acl*.md ## 类型标签 <!-- [x] 表示选中 --> - [ ] Bug修复 - [ ] 新特性 - [ ] 性能优化 - [x] 文档更新 - [ ] 其他，请描述： ## AI/Agent生成声明 <!-- [x] 表示选中 --> - [ ] AI辅助编写 See merge request: cann/ops-nn!9420 | 4 天前 | |
修改matmul 算子atoll 异常反馈判断 Co-authored-by: chenqi317<chenqi317@huawei.com> # message auto-generated for no-merge-commit merge: !7083 merge master into master 修改matmul 算子atoll 异常反馈判断 Created-by: chenqi317 Commit-by: chenqi317 Merged-by: cann-robot Description: ## 描述 <!--在这里详细描述你的改动，包括改动的原因和所采取的方法。--> 修改matmul 算子atoll 异常反馈判断，异常时返回默认值 ## 关联的Issue <!-- 如果这个PR是为了解决特定的Issue，请在这里提供Issue链接。例如：关联Issue #000--> https://gitcode.com/cann/ops-nn/issues/3882 ## 测试 <!--描述进行了哪些测试来验证你的改动。--> ## 文档更新 <!--如果这个PR包含文档的更新，请在这里指出。例如：更新了README.md文件。--> ## 类型标签 <!-- [x] 表示选中 --> - [x] Bug修复 - [ ] 新特性 - [ ] 性能优化 - [ ] 文档更新 - [ ] 其他，请描述： ## AI/Agent生成声明 <!-- [x] 表示选中 --> - [ ] AI辅助编写 See merge request: cann/ops-nn!7083 | 1 个月前 | |
动态库解耦 Co-authored-by: 18811725231<yangdi52@huawei.com> # message auto-generated for no-merge-commit merge: !8927 merge master into master 动态库解耦 Created-by: yang-di52 Commit-by: 18811725231 Merged-by: cann-robot Description: ## 描述 本 PR 旨在将算子侧代码与 legacy 动态库（libophost_comm_legacy.so）解耦：LegacyCommonMgr 新增 isSupported_ 支持位与 IsSupport() 接口，依据编译宏 ASCEND_COMPUTE_UNIT 判断当前 SoC 版本是否属于受支持集合 SUPPORTED_VERS（ascend910b、ascend910_93、ascend310p、ascend310b、ascend910），仅受支持时才 dlopen 加载 legacy 库；各 legacy 封装接口在不受支持时提前短路返回，matmul 系列算子的 tiling 流程同步改为容忍 legacy 能力缺失而不再硬失败，并配套调整 CMake 编译宏与 UT 测试。 ## 关联的Issue [5093](https://gitcode.com/cann/ops-nn/issues/5093) ## 测试 <!--描述进行了哪些测试来验证你的改动。--> ## 文档更新 <!--如果这个PR包含文档的更新，请在这里指出。例如：更新了README.md文件。--> ## 类型标签 <!-- [x] 表示选中 --> - [ ] Bug修复 - [x] 新特性 - [ ] 性能优化 - [ ] 文档更新 - [ ] 其他，请描述： ## AI/Agent生成声明 <!-- [x] 表示选中 --> - [ ] AI辅助编写 See merge request: cann/ops-nn!8927 | 7 天前 | |
aclnnQuantMatmulWeightNz 补充WeightQuantPreProcess接口aclnn资料 Co-authored-by: renzetao<renzetao2@huawei.com> # message auto-generated for no-merge-commit merge: !8866 merge data_revise into master aclnnQuantMatmulWeightNz 补充WeightQuantPreProcess接口aclnn资料 Created-by: renzetao Commit-by: renzetao Merged-by: cann-robot Description: ## 描述 <!--在这里详细描述你的改动，包括改动的原因和所采取的方法。--> aclnnQuantMatmulWeightNz补充weightQuantPreProcess的调用example ## 关联的Issue <!-- 如果这个PR是为了解决特定的Issue，请在这里提供Issue链接。例如：关联Issue #000--> [#4898](https://gitcode.com/cann/ops-nn/issues/4898) ## 测试 <!--描述进行了哪些测试来验证你的改动。--> bash build.sh --run_example 测试通过 ## 文档更新 <!--如果这个PR包含文档的更新，请在这里指出。例如：更新了README.md文件。--> aclnnQuantMatmulWeightNz.md ## 类型标签 <!-- [x] 表示选中 --> - [ ] Bug修复 - [ ] 新特性 - [ ] 性能优化 - [x] 文档更新 - [ ] 其他，请描述： ## AI/Agent生成声明 <!-- [x] 表示选中 --> - [x] AI辅助编写 See merge request: cann/ops-nn!8866 | 13 天前 | |
fix: Modify the AIDD docs issue Co-authored-by: zwj223<zhangwenjing55@h-partners.com> # message auto-generated for no-merge-commit merge: !8149 merge master into master fix: Modify the AIDD docs issue Created-by: zwj223 Commit-by: zwj223 Merged-by: cann-robot Description: ## 描述 修改AIDD扫描的核心资料问题 <!--在这里详细描述你的改动，包括改动的原因和所采取的方法。--> ## 关联的Issue <!-- 如果这个PR是为了解决特定的Issue，请在这里提供Issue链接。例如：关联Issue #000--> [#3939](https://gitcode.com/cann/ops-nn/issues/3939) ## 文档更新 <!--如果这个PR包含文档的更新，请在这里指出。例如：更新了README.md文件。--> ## 类型标签 <!-- [x] 表示选中 --> - [ ] Bug修复 - [ ] 新特性 - [ ] 性能优化 - [x] 文档更新 - [ ] 其他，请描述： ## AI/Agent生成声明 <!-- [x] 表示选中 --> - [ ] AI辅助编写 See merge request: cann/ops-nn!8149 | 29 天前 | |
fix: migrate simple onnx parse params plugins Co-authored-by: clinglai0517<laichangling@huawei.com> # message auto-generated for no-merge-commit merge: !9161 merge onnx-fix-0825 into master fix: migrate simple onnx parse params plugins Created-by: clinglai0517 Commit-by: clinglai0517 Merged-by: cann-robot Description: ## 描述 将一批 ONNX 插件的参数解析接口从 ParseParamsFn 迁移到 ParseParamsByOperatorFn，实现onnx插件和protobuf的解耦 涉及算子： - Mish - FastGelu - Size - Elu - LeakyRelu - HardMax 【实现说明】 - 无属性或仅默认属性的算子，直接切换新注册接口。 - 对 Elu、LeakyRelu、HardMax，从 ge::Operator 的 attribute JSON 中解析 ONNX 属性。 - 保留旧逻辑中的默认值行为。 - 对缺失或非数组形式的 attribute JSON 增加保护，避免无属性场景误返回 FAILED。 ## 关联的Issue Issue #5115 ## 测试 onnx插件ut编译、执行通过 ## 文档更新 不涉及 ## 类型标签 <!-- [x] 表示选中 --> - [ ] Bug修复 - [x] 新特性 - [ ] 性能优化 - [ ] 文档更新 - [ ] 其他，请描述： ## AI/Agent生成声明 <!-- [x] 表示选中 --> - [x] AI辅助编写 See merge request: cann/ops-nn!9161 | 6 天前 | |
产品文档中png文件改为英文名 Co-authored-by: gitcode-chenjiao<chenjiao31@huawei.com> # message auto-generated for no-merge-commit merge: !8300 merge master into master 产品文档中png文件改为英文名 Created-by: gitcode-chenjiao Commit-by: gitcode-chenjiao Merged-by: cann-robot Description: ## 描述 <!--在这里详细描述你的改动，包括改动的原因和所采取的方法。--> 产品文档中的png图片名由中文改为英文 ## 关联的Issue <!-- 如果这个PR是为了解决特定的Issue，请在这里提供Issue链接。--> <!-- 如果这个PR是为了解决特定的问题单，请在这里描述问题单单号。--> [#4260](https://gitcode.com/cann/ops-nn/issues/4260) ## 测试 <!--描述进行了哪些测试来验证你的改动。包括但不限于二级冒烟、算子泛化等。--> NA ## 文档更新 <!--如果这个PR包含文档的更新，请在这里指出。例如：更新了README.md文件。--> png和相关的link md ## 类型标签 <!-- [x] 表示选中 --> - [ ] Bug修复 - [ ] 新特性 - [ ] 性能优化 - [x ] 文档更新 - [ ] 其他，请描述： ## AI/Agent生成声明 <!-- [x] 表示选中 --> - [ ] AI辅助编写 See merge request: cann/ops-nn!8300 | 27 天前 | |
init | 10 个月前 | |
add hard_sigmoid for ascend950 Co-authored-by: tianyu52<tianyu52@huawei.com> # message auto-generated for no-merge-commit merge: !7874 merge master into master add hard_sigmoid for ascend950 Created-by: tianyu52 Commit-by: tianyu52 Merged-by: cann-robot Description: ## 描述 <!--在这里详细描述你的改动，包括改动的原因和所采取的方法。--> add hard_sigmoid for ascend950 hard_sigmoid适配950 ## 关联的Issue <!-- 如果这个PR是为了解决特定的Issue，请在这里提供Issue链接。例如：关联Issue #000--> ## 测试 <!--描述进行了哪些测试来验证你的改动。--> UT/ST pass ; ops-test-kit 测试900+ 用例pass ## 文档更新 <!--如果这个PR包含文档的更新，请在这里指出。例如：更新了README.md文件。--> activation/hard_sigmoid/README.md activation/hard_sigmoid/docs/aclnnHardsigmoid&aclnnInplaceHardsigmoid.md docs/zh/op_api_list.md docs/zh/op_api_list.md ## 类型标签 <!-- [x] 表示选中 --> - [ ] Bug修复 - [x] 新特性 - [ ] 性能优化 - [x] 文档更新 - [ ] 其他，请描述： ## AI/Agent生成声明 <!-- [x] 表示选中 --> - [x] AI辅助编写 See merge request: cann/ops-nn!7874 | 1 个月前 | |
cannsim改名为npusim Co-authored-by: liangbinglong<liangbinglong@huawei.com> # message auto-generated for no-merge-commit merge: !8349 merge master into master cannsim改名为npusim Created-by: liangbinglong Commit-by: liangbinglong Merged-by: cann-robot Description: ## 描述 经TSC评审，cannsim工具正式更名为npusim，相关命令行、资料同步刷新，cannsim作为别名兼容一段时间，需要尽快切换 ## 关联的Issue NA ## 测试 使用最新链接版本测试，相关命令行已经全部更名为npusim ## 文档更新 更新doc下面的调优部分文件 ## 类型标签 <!-- [x] 表示选中 --> - [ ] Bug修复 - [ ] 新特性 - [ ] 性能优化 - [x] 文档更新 - [ ] 其他，请描述： ## AI/Agent生成声明 <!-- [x] 表示选中 --> - [ ] AI辅助编写 See merge request: cann/ops-nn!8349 | 25 天前 | |
fix: Modify the AIDD docs issue Co-authored-by: zwj223<zhangwenjing55@h-partners.com> # message auto-generated for no-merge-commit merge: !8149 merge master into master fix: Modify the AIDD docs issue Created-by: zwj223 Commit-by: zwj223 Merged-by: cann-robot Description: ## 描述 修改AIDD扫描的核心资料问题 <!--在这里详细描述你的改动，包括改动的原因和所采取的方法。--> ## 关联的Issue <!-- 如果这个PR是为了解决特定的Issue，请在这里提供Issue链接。例如：关联Issue #000--> [#3939](https://gitcode.com/cann/ops-nn/issues/3939) ## 文档更新 <!--如果这个PR包含文档的更新，请在这里指出。例如：更新了README.md文件。--> ## 类型标签 <!-- [x] 表示选中 --> - [ ] Bug修复 - [ ] 新特性 - [ ] 性能优化 - [x] 文档更新 - [ ] 其他，请描述： ## AI/Agent生成声明 <!-- [x] 表示选中 --> - [ ] AI辅助编写 See merge request: cann/ops-nn!8149 | 29 天前 | |
fix Third_Party_Open_Source_Software_List.yaml Co-authored-by: liuyufan0725<liuyufan9@huawei.com> # message auto-generated for no-merge-commit merge: !1879 merge fix_yaml into master fix Third_Party_Open_Source_Software_List.yaml Created-by: liuyufan0725 Commit-by: liuyufan0725 Merged-by: cann-robot Description: ## 描述 <!--在这里详细描述你的改动，包括改动的原因和所采取的方法。--> 更新三方依赖清单Third_Party_Open_Source_Software_List.yaml 1、增加protobuf 2、将nlohmann/json修改为json ## 关联的Issue <!-- 如果这个PR是为了解决特定的Issue，请在这里提供Issue链接。例如：关联Issue #000--> 关联Issue [#1042](https://gitcode.com/cann/ops-nn/issues/1042) ## 测试 <!--描述进行了哪些测试来验证你的改动。--> 不涉及 ## 文档更新 <!--如果这个PR包含文档的更新，请在这里指出。例如：更新了README.md文件。--> 更新了Third_Party_Open_Source_Software_List.yaml ## 类型标签 <!-- [x] 表示选中 --> - [ ] Bug修复 - [ ] 新特性 - [ ] 性能优化 - [x] 文档更新 - [ ] 其他，请描述： See merge request: cann/ops-nn!1879 | 6 个月前 | |
【描 述】 eigen update to 5.0.0 Co-authored-by: j00427146<jialimin1@huawei.com> # message auto-generated for no-merge-commit merge: !1152 merge master into master 【描 述】 eigen update to 5.0.0 Created-by: jialimin1 Commit-by: j00427146 Merged-by: cann-robot Description: ## 描述 现开源软件eigen 3.4.0 EOM，Eigen 从3.4.0版本升级到5.0.0，解决生命周期问题。 ## 关联的Issue <!-- 如果这个PR是为了解决特定的Issue，请在这里提供Issue链接。例如：关联Issue #000--> <!-- 如果这个PR是为了解决特定的问题单，请在这里描述问题单单号。--> https://gitcode.com/cann/ops-nn/issues/975 https://gitcode.com/cann/ops-nn/issues/389 ## 测试   ## 文档更新 SECURITY.md ## 类型标签 <!-- [x] 表示选中 --> - [ ] Bug修复 - [ ] 新特性 - [ ] 性能优化 - [ ] 文档更新 - [x] 其他，请描述：Update Eigen to 5.0.0 See merge request: cann/ops-nn!1152 | 6 个月前 | |
fix(build): 修复run_example默认模式判断libascendcl.so时[ ]缺空格导致错误链接-lacl_rt的问题 Co-authored-by: xuejinghui<xuejinghui@huawei.com> # message auto-generated for no-merge-commit merge: !9181 merge index_example into master fix(build): 修复run_example默认模式判断libascendcl.so时[ ]缺空格导致错误链接-lacl_rt的问题 Created-by: xuejinghui Commit-by: xuejinghui Merged-by: cann-robot Description: ## 描述 修复run_example默认模式判断libascendcl.so时[ ]缺空格导致错误链接-lacl_rt的问题 <!--在这里详细描述你的改动，包括改动的原因和所采取的方法。--> ## 关联的Issue https://gitcode.com/cann/ops-nn/issues/5128 <!-- 如果这个PR是为了解决特定的Issue，请在这里提供Issue链接。例如：关联Issue #000--> ## 测试 <!--描述进行了哪些测试来验证你的改动。--> ## 文档更新 <!--如果这个PR包含文档的更新，请在这里指出。例如：更新了README.md文件。--> ## 类型标签 <!-- [x] 表示选中 --> - [x] Bug修复 - [ ] 新特性 - [ ] 性能优化 - [ ] 文档更新 - [ ] 其他，请描述： ## AI/Agent生成声明 <!-- [x] 表示选中 --> - [x] AI辅助编写 See merge request: cann/ops-nn!9181 | 7 天前 | |
Conv:PadConv2dFusionPass开源 Co-authored-by: weijian317<gaoweijian1@huawei.com> # message auto-generated for no-merge-commit merge: !9076 merge iter into master Conv:PadConv2dFusionPass开源 Created-by: weijian317 Commit-by: weijian317 Merged-by: cann-robot Description: ## 描述 1、PadConv2dFusionPass融合pass开源实现 2、解除融合pass头文件的覆盖率收集 <!--在这里详细描述你的改动，包括改动的原因和所采取的方法。--> ## 关联的Issue <!-- 如果这个PR是为了解决特定的Issue，请在这里提供Issue链接。例如：关联Issue #000--> [#5320](https://gitcode.com/cann/ops-nn/issues/5320) ## 测试 <!--描述进行了哪些测试来验证你的改动。--> ut覆盖，相关场景端到端验证 ## 文档更新 <!--如果这个PR包含文档的更新，请在这里指出。例如：更新了README.md文件。--> ## 类型标签 <!-- [x] 表示选中 --> - [ ] Bug修复 - [x] 新特性 - [ ] 性能优化 - [ ] 文档更新 - [ ] 其他，请描述： ## AI/Agent生成声明 <!-- [x] 表示选中 --> - [x] AI辅助编写 See merge request: cann/ops-nn!9076 | 3 天前 | |
fix: Modify the AIDD docs issue Co-authored-by: zwj223<zhangwenjing55@h-partners.com> # message auto-generated for no-merge-commit merge: !8149 merge master into master fix: Modify the AIDD docs issue Created-by: zwj223 Commit-by: zwj223 Merged-by: cann-robot Description: ## 描述 修改AIDD扫描的核心资料问题 <!--在这里详细描述你的改动，包括改动的原因和所采取的方法。--> ## 关联的Issue <!-- 如果这个PR是为了解决特定的Issue，请在这里提供Issue链接。例如：关联Issue #000--> [#3939](https://gitcode.com/cann/ops-nn/issues/3939) ## 文档更新 <!--如果这个PR包含文档的更新，请在这里指出。例如：更新了README.md文件。--> ## 类型标签 <!-- [x] 表示选中 --> - [ ] Bug修复 - [ ] 新特性 - [ ] 性能优化 - [x] 文档更新 - [ ] 其他，请描述： ## AI/Agent生成声明 <!-- [x] 表示选中 --> - [ ] AI辅助编写 See merge request: cann/ops-nn!8149 | 29 天前 | |
调整nn仓第三方依赖 Co-authored-by: yang-di52<yangdi52@huawei.com> # message auto-generated for no-merge-commit merge: !7845 merge pr_6933 into master 调整nn仓第三方依赖 Created-by: yang-di52 Commit-by: yang-di52 Merged-by: cann-robot Description: ## 描述 1. 文档声称 install_deps.sh 可一键安装所有列出的基础依赖（"上述依赖可通过项目脚本一键安装"），但实际脚本仅安装了 GCC、CMake、pigz、dos2unix、patch，未安装 googletest（文档明确列为基础依赖项之一），开发者需手动下载源码、编译并安装 googletest，与文档"一键安装"的描述不符 2. python requirements多两个不需要的依赖 ### 主要修改 为install_deps.sh 增加了安装gtest的功能 删除requirements中多余的两个依赖 ## 关联的Issue [#4256](https://gitcode.com/cann/ops-nn/issues/4256) [#4154](https://gitcode.com/cann/ops-nn/issues/4154) ## 测试  ## 文档更新 <!--如果这个PR包含文档的更新，请在这里指出。例如：更新了README.md文件。--> ## 类型标签 <!-- [x] 表示选中 --> - [x] Bug修复 - [ ] 新特性 - [ ] 性能优化 - [ ] 文档更新 - [ ] 其他，请描述： ## AI/Agent生成声明 <!-- [x] 表示选中 --> - [ ] AI辅助编写 See merge request: cann/ops-nn!7845 | 1 个月前 | |
调整nn仓第三方依赖 Co-authored-by: yang-di52<yangdi52@huawei.com> # message auto-generated for no-merge-commit merge: !7845 merge pr_6933 into master 调整nn仓第三方依赖 Created-by: yang-di52 Commit-by: yang-di52 Merged-by: cann-robot Description: ## 描述 1. 文档声称 install_deps.sh 可一键安装所有列出的基础依赖（"上述依赖可通过项目脚本一键安装"），但实际脚本仅安装了 GCC、CMake、pigz、dos2unix、patch，未安装 googletest（文档明确列为基础依赖项之一），开发者需手动下载源码、编译并安装 googletest，与文档"一键安装"的描述不符 2. python requirements多两个不需要的依赖 ### 主要修改 为install_deps.sh 增加了安装gtest的功能 删除requirements中多余的两个依赖 ## 关联的Issue [#4256](https://gitcode.com/cann/ops-nn/issues/4256) [#4154](https://gitcode.com/cann/ops-nn/issues/4154) ## 测试  ## 文档更新 <!--如果这个PR包含文档的更新，请在这里指出。例如：更新了README.md文件。--> ## 类型标签 <!-- [x] 表示选中 --> - [x] Bug修复 - [ ] 新特性 - [ ] 性能优化 - [ ] 文档更新 - [ ] 其他，请描述： ## AI/Agent生成声明 <!-- [x] 表示选中 --> - [ ] AI辅助编写 See merge request: cann/ops-nn!7845 | 1 个月前 | |
Remove the dependency asc-tool Co-authored-by: cong-jiyu<congjiyu@h-partners.com> # message auto-generated for no-merge-commit merge: !5220 merge eng into master Remove the dependency asc-tool Created-by: cong-jiyu Commit-by: cong-jiyu Merged-by: cann-robot Description: ## 描述 Remove the dependency asc-tool ## 关联的Issue <!-- 如果这个PR是为了解决特定的Issue，请在这里提供Issue链接。例如：关联Issue #000--> ## 测试 工程编译验证 ## 文档更新 不涉及 ## 类型标签 <!-- [x] 表示选中 --> - [x] Bug修复 - [ ] 新特性 - [ ] 性能优化 - [ ] 文档更新 - [ ] 其他，请描述： See merge request: cann/ops-nn!5220 | 3 个月前 |
ops-nn
🔥Latest News
- [2026/05] 优化kernel编译配置项，减少simplified_key和ascendc_config配置文件（!3330）。
- [2026/05] 引入ops-tensor，基于分层结构优化Cube类算子，减少偏移量计算和简化指令参数（!5036）。
- [2026/05] 发布生态算子的精度验收标准（!4572）。
- [2026/03] 开源算子支持下一代芯片：Ascend950PR（!450）。
- [2026/03] 新增<<<>>>的算子开发样例（!620）。
- [2026/03] 低bit类算子和融合算子支持更多数据类型：fp8/mxfp8/hifp8/mxfp4等，并支持pertensor/perchannel/pertoken/pergroup/perblock等不同量化和组合方式：全量化融合算子:quant_batch_matmul_v4，伪量化融合算子:weight_quant_batch_matmul_v2。
- [2026/03] 支持SIMD/SIMT新同构编程算子实现：[MapIndex]（#660），[ScatterSub]（#710）。
- [2026/01] 新增QuickStart，指导新手零基础入门算子项目部署（支持Docker环境）、算子开发和贡献流程。
- [2025/12] 开源算子支持Ascend 950PR/Ascend 950DT/KirinX90，可以通过NPU Simulator仿真工具开发调试；优化指南类文档，聚焦算子开发指南，明确最小交付件和关键示例代码，针对Ascend/samples仓算子提供迁移本项目的指导；新支持稀疏4:2量化matmul算子，针对稀疏矩阵开启硬件加速能力。
- [2025/11] 新支持算子index_fill、masked_scatter、scatter、tf_scatter_add、fused_cross_entropy_loss_with_max_sum。
- [2025/10] 新增experimental目录，完善贡献指南，支持开发者调试并贡献自定义算子。
- [2025/09] ops-nn项目首次上线，开源算子支持Atlas A2/A3系列产品。
🚀概述
ops-nn是CANN（Compute Architecture for Neural Networks）算子库中提供神经网络计算能力的高阶算子库，包括matmul类、activation类等算子，算子库架构图如下：
📌版本配套
本项目源码会跟随CANN软件版本发布，关于CANN软件版本与本项目标签的对应关系请参阅release仓库中的相应版本说明。 请注意，为确保您的源码定制开发顺利进行，请选择配套的CANN版本与Gitcode标签源码，使用master分支可能存在版本不匹配的风险。
🛠️环境准备
环境部署是体验本项目能力的前提，请先完成NPU驱动、CANN包安装等，确保环境正常。
⬇️源码下载
环境准备好后，下载与CANN版本配套的分支源码，通用命令如下，${tag_version}替换为分支标签名。以9.0.0分支源码下载为例：
# 通用命令：git clone -b ${tag_version} https://gitcode.com/cann/ops-nn.git
git clone -b 9.0.0 https://gitcode.com/cann/ops-nn.git
说明：若环境中已存在配套分支源码，可跳过本步骤，例如CANNLab默认已提供最新版本CANN对应的源码。
📖学习教程
💬相关信息
PS：本项目功能和文档正在持续更新和完善中，欢迎您关注最新版本。