cann-robotfix: 修复 10 算子 TTK golden 参考实现的输出 dtype 与 fp64 精度处理缺陷

文件	最后提交记录	最后更新时间
examples	format cpp Co-authored-by: yang-di52<yangdi52@huawei.com> # message auto-generated for no-merge-commit merge: !6784 merge issue_fix into master format cpp Created-by: yang-di52 Commit-by: yang-di52 Merged-by: cann-robot Description: ## 描述批量刷新cpp代码格式 ## 关联的Issue [#3791](https://gitcode.com/cann/ops-nn/issues/3791) ## 测试 <!--描述进行了哪些测试来验证你的改动。--> ## 文档更新 <!--如果这个PR包含文档的更新，请在这里指出。例如：更新了README.md文件。--> ## 类型标签 <!-- [x] 表示选中 --> - [ ] Bug修复 - [ ] 新特性 - [ ] 性能优化 - [ ] 文档更新 - [x] 其他，请描述：代码格式化 ## AI/Agent生成声明 <!-- [x] 表示选中 --> - [ ] AI辅助编写 See merge request: cann/ops-nn!6784	3 个月前
op_graph	fix(op_graph): 30 个算子原型头补 OPS_PROTO_DEF 隔离宏 Co-authored-by: tangpingchuan<tangpingchuan@huawei.com> # message auto-generated for no-merge-commit merge: !9218 merge fix/proto-isolation-macro into master fix(op_graph): 30 个算子原型头补 OPS_PROTO_DEF 隔离宏 Created-by: zl_hw Commit-by: tangpingchuan Merged-by: cann-robot Description: ## 描述改动原因 `op_graph/_proto.h` 中的 `REG_OP` 会被 `scripts/util/merge_proto.py` 合并进 `ops_proto_nn.h`/`.cpp`，再编成内置 op_proto 库（`cmake/gen_ops_info.cmake` 的 `merge_graph_headers` → `cmake/symbol.cmake` 的 `gen_opgraph_symbol`）。当同名算子在 canndev 侧的遗留原型头（`nn_norm_ops.h`、`reduce_ops.h`、`ops_proto_legacy.h` 等）也有 `REG_OP` 注册时，两份定义进入同一编译单元会重复定义。仓库既有范式是在 `REG_OP` 外层加条件编译隔离宏，`merge_proto.py` 的匹配式会把该宏一并带入合并产物。本仓已有 `activation/relu6_d`、`optim/sgd`、`norm/in_training_reduce_v2`、`vfusion/normalize_bbox` 等先例，但本批 30 个算子的原型头遗漏了该保护。检视意见整改。改动方法* 对 30 个算子的 `op_graph/_proto.h`，在 `REG_OP` 外层补 `#ifndef/#define OPS_PROTO_DEF_<OPTYPE>` … `#endif`： `c #ifndef OPS_PROTO_DEF_DEEPNORM #define OPS_PROTO_DEF_DEEPNORM REG_OP(DeepNorm) ... .OP_END_FACTORY_REG(DeepNorm) #endif // OPS_PROTO_DEF_DEEPNORM` 宏名取 `OPS_PROTO_DEF_` + 算子名大写去下划线，与发布包 `opp/built-in/op_graph/inc` 中已有 967 个同类隔离宏的拼法一致。位置严格贴在 `REG_OP` 前、`OP_END_FACTORY_REG` 后一行——`merge_proto.py` 的正则要求 guard 与 `REG_OP` 相邻，位置写偏宏会被丢弃。涉及算子（30 个）* ApplyAdagrad、BatchNormExt2、BN3DTrainingUpdate、BNInfer、BNTrainingUpdateV2、BNTrainingUpdateV3、ChamferDistance、ClippedSwiglu、CosineEmbeddingLoss、DeepNorm、DeepNormGrad、DynamicQuantUpdateScatter、DynamicQuantUpdateScatterV2、GemmaRmsNorm、GroupNormSiluQuant、HardSigmoid、HardSwishGradV2、INInferV2、InplaceApplyRMSProp、InplaceSub、InstanceNormGrad、INTrainingUpdateGrad、L2NormalizeGrad、MultiAddRmsNormDynamicQuant、MultilabelMarginLoss、NonZeroWithValue、PoissonNllLoss、Relu6Grad、SoftmaxFocalLoss、SoftmaxFocalLossGrad 顺带修复：`deep_norm`、`deep_norm_grad`、`gemma_rms_norm`、`multi_add_rms_norm_dynamic_quant`、`dynamic_quant_update_scatter_v2` 这 5 个原型头文件末尾缺换行，属存量问题；pre-commit 的 `end-of-file-fixer` 钩子只扫改动文件，一旦改动即会被拦，故一并补齐。变更范围：30 个文件，+95 −5，改动全部为条件编译指令与文件末尾换行，不改动任何 IR 的输入/输出/属性/dtype 定义，无功能与支持面变化。未改动 `common/inc/op_graph/op_nn_proto_extend.h`——`merge_proto.py` 会按算子名把聚合头中的重复项去重，改它不会进入合并产物。 ## 关联的Issue 关联 Issue #5170 ## 测试 1. 合并产物验证：对 30 个改动文件跑 `python3 scripts/util/merge_proto.py`，合并产物中 `REG_OP` 30 个、`#ifndef OPS_PROTO_DEF_` 30 个，隔离宏 30/30 全部正确带出。 2. 宏名配对验证：与发布包 `cann-9.2.0/opp/built-in/op_graph/inc/.h` 中同名算子的既有隔离宏逐个比对，宏名不一致项 0 处。 3. 重名检查：30 个新增宏在三仓范围内无跨文件重名，每个文件内 `OPS_PROTO_DEF_` 宏数恰为 1（无嵌套/重复保护）。 4. 格式与合规门禁*：按 `.pre-commit-config.yaml` 逐钩子本地复现 —— `clang-format 18.1.8 --style=file --dry-run -Werror` 整文件检查 30/30 通过、OAT 许可头 30/30 合规、trailing-whitespace / end-of-file-fixer / check-merge-conflict / detect-private-key / check-added-large-files 全部通过。 ## 文档更新无。本 PR 不涉及文档变更。 ## 类型标签 <!-- [x] 表示选中 --> - [x] Bug修复 - [ ] 新特性 - [ ] 性能优化 - [ ] 文档更新 - [ ] 其他，请描述： ## AI/Agent生成声明 <!-- [x] 表示选中 --> - [x] AI辅助编写 <!-- 关联 Issue: https://gitcode.com/cann/ops-nn/issues/5170 --> See merge request: cann/ops-nn!9218	1 个月前
op_host	feat(arch35): add Ascend 950 support for DynamicQuantUpdateScatter Co-authored-by: daiwei18<daiwei18@huawei.com> # message auto-generated for no-merge-commit merge: !8077 merge 930-quant into master feat(arch35): add Ascend 950 support for DynamicQuantUpdateScatter Created-by: daiwei18 Commit-by: daiwei18 Merged-by: cann-robot Description: ## 描述 - 为 DynamicQuantUpdateScatter 和 DynamicQuantUpdateScatterV2 增加 arch35/Ascend 950 适配。 - 补充 arch35 tiling、Ascend950 binary 配置、RegBase kernel 入口及 CMake 接入。 - 更新 host 侧 tiling/infershape/注册逻辑，并补充 golden、arch35 tiling UT 和相关覆盖。 - 隔离资源占用较高的 kernel 用例，降低本地和 CI 执行风险。 ## 关联的Issue 关联Issue #4460 https://gitcode.com/cann/ops-nn/issues/4460 ## 测试 - 新增/更新 DynamicQuantUpdateScatter 系列 arch35 op_host tiling UT 和 kernel UT 覆盖。 - 本地执行 clang-format 18.1.8 --dry-run --Werror，改动 C/C++ 文件格式检查通过。 - 精度、泛化和性能结果随转测补充。 ## 文档更新 - 更新 DynamicQuantUpdateScatter 系列 README 和测试资产。 ## 类型标签 - [ ] Bug修复 - [x] 新特性 - [ ] 性能优化 - [x] 文档更新 - [ ] 其他，请描述： ## AI/Agent生成声明 - [x] AI辅助编写 See merge request: cann/ops-nn!8077	2 个月前
op_kernel	将norm,quant目录下 MicroAPI 命名空间统一替换为 Reg Co-authored-by: m0_71149169<1907825139@qq.com> # message auto-generated for no-merge-commit merge: !9291 merge norm-quant-microapi-to-reg into master 将norm,quant目录下 MicroAPI 命名空间统一替换为 Reg Created-by: m0_71149169 Commit-by: m0_71149169 Merged-by: cann-robot Description: ## 描述 MicroAPI → Reg 命名空间迁移: norm,quant CANN 头文件 kernel_macros.h 中存在命名空间别名 namespace MicroAPI = Reg;，MicroAPI 只是 Reg 的别名。为统一命名规范，将 nn 仓所有算子 kernel 代码中的 MicroAPI 替换为 Reg，并通过对比替换前后 binary .o 文件 MD5 验证替换无影响。覆盖范围 - nn 主仓目录：norm,quant ## 关联的Issue <!-- 如果这个PR是为了解决特定的Issue，请在这里提供Issue链接。例如：关联Issue #000--> 关联Issue [#5098](https://gitcode.com/cann/ops-nn/issues/5098) ## 测试验证方法严格按四步流程，逐算子验证： 1. Step 1：编译原始代码，保存 baseline binary .o 文件 MD5 2. Step 2：执行 MicroAPI → Reg 替换 3. Step 3：编译替换后代码，保存 after binary .o 文件 MD5 4. Step 4：对比 A_before.md5 与 B_after.md5 平台：ascend950，编译参数：--soc=ascend950 --ops=<op> -j16 验证替换前后 binary 产物 MD5 完全一致。 ## 类型标签 <!-- [x] 表示选中 --> - [ ] Bug修复 - [ ] 新特性 - [ ] 性能优化 - [ ] 文档更新 - [ ] 其他，请描述： norm,quant目录下MicroAPI → Reg 命名空间迁移 See merge request: cann/ops-nn!9291	1 个月前
tests	fix: 修复 10 算子 TTK golden 参考实现的输出 dtype 与 fp64 精度处理缺陷 Co-authored-by: tianqiguang<tianqiguang@huawei.com> # message auto-generated for no-merge-commit merge: !11042 merge goldenMod into master fix: 修复 10 算子 TTK golden 参考实现的输出 dtype 与 fp64 精度处理缺陷 Created-by: tianqiguang Commit-by: tianqiguang Merged-by: cann-robot Description: ## 描述本 MR 修正 loss / norm / optim / quant 共 10 个算子的 TTK golden 参考实现（`<算子>/tests/assets/golden.py`），使 golden 严格按用例声明的输出 dtype（`output_dtypes`）生成真值，并在 TTK Promote 提供 fp64 时保留 fp64 计算精度。仅修改测试参考实现（纯 Python，numpy/torch 计算），不涉及 kernel / op_host 代码。 ### 改动原因 1. 忽略用例声明的输出 dtype（`output_dtypes`）：次级输出被硬编码为 float32，不看声明。典型如 `norm/deep_norm/tests/assets/golden.py`：旧实现 `_compute_deep_norm` 直接将 mean/rstd 强制 `.to(torch.float32)`，`deep_norm_golden` 只从 `output_dtypes[2]` 取 y 的 dtype，`output_dtypes[0]/[1]`（mean/rstd 声明）被忽略；`norm/batch_norm3_d`、`norm/batch_norm3_d_grad`、`norm/batch_norm_grad_ext2` 的 `batch_mean/saved_var/saved_rstd/dscale/doffset`、`optim/apply_adam_w_quant` 的 `absmax_m/absmax_v`、`quant/dynamic_quant_update_scatter(_v2)` 的 `scale/offset` 同样被强制 float32。 2. 把 TTK Promote 的 fp64 精度截回 fp32：golden 内部一律经 `astype(np.float32)` / `.to(torch.float32)`（`_to_f32` / `_to_torch_float32` / `_to_numpy_float32` 及一系列 `dtype=np.float32` 的归约助手），TTK Promote 送入的 fp64 输入被降为 fp32，cross_check 真值被截回 fp32（修复后代码注释对应 "retaining fp64 (TTK Promote) so the true value is not cut back to fp32"）。 ### 改动方法 - 统一计算 dtype 入口：`_to_f32` → `_to_compute`（apply_adam_w_quant / apply_came_part4）、`_to_torch_float32`/`_to_numpy_float32` → `_to_torch_compute`/`_to_numpy_compute`（deep_norm_grad）、`_to_torch(x, dtype=float32)` 改为保持输入自身 dtype（dynamic_quant_update_scatter）。语义：fp64 原样保留，fp16/bf16 提升到 fp32。 - 归约/累加助手改为输入 dtype 驱动：batch_norm3_d_grad / batch_norm_grad_ext2 的 `_sum_fp32`、`_sum_seq_fp32`、`_binary_fold_sum`、`_ra_split_r_channel_sum`、`_sum_pairwise_fp32`、`_chunk32_pair_channel_sum`、`_chunk_channel_sum`、`_ascend_like_channel_sum` 由 `np.float32` 改为 `x.dtype`；deep_norm_grad 的 `_reduce_sum_vl`、`_reduce_sum_regbase(_1d)`、`_reduce_sum_rows`、`_reduce_sum_rows_fp64` 改为 `values.dtype` 驱动；新增 `_compute_dtype()` 判定（fp64 输入 → 全程 fp64，否则 fp32）。 - 按声明输出 dtype 生成输出：新增 `_output_dtype(kwargs, index, default)` 从 TTK 传入的 `output_dtypes` 取声明 dtype（缺省 float32）。应用于 mean/rstd（deep_norm、deep_norm_grad）、batch_mean/saved_var/saved_rstd（batch_norm3_d）、dscale/doffset（batch_norm3_d_grad、batch_norm_grad_ext2）、dbeta/dgamma（deep_norm_grad）、absmax_m/absmax_v（apply_adam_w_quant，改为保持计算 dtype）、scale（dynamic_quant_update_scatter，改用 var_scale 实际 dtype）、out_scale/out_offset（_v2，保持原 dtype，去掉 np.float32 强制转换）。 - 常量与超参对齐计算 dtype：apply_adam_w_quant 的 `one/lr/beta1/beta2/weight_decay/eps/gnorm_scale`、dynamic_quant_update_scatter 的 `QUANT_MAX`、_v2 的 `INT4_SCALE_RANGE/INT4_QUANT_MAX/QUANT_EPSILON`、batch_norm_grad 的 `reduce_count/epsilon` 标量等改用 compute dtype。 - cosine_embedding_loss：计算 dtype 用 `torch.promote_types(torch.float32, a.dtype)` 并再与声明输出 dtype 提升；整数输入经 `_to_compute_tensor` 提升到计算 dtype；归约不再强制 `dtype=torch.float32`；reduction 结果按 out_dtype 输出。 - batch_norm3_d：`__spec__` / `__golden__` 增加算子名别名 `batch_norm3_d`（原仅注册 `batch_norm3d`）。 - apply_came_part4：`_dtype_of` 支持 float64；`customize_inputs` 增加 `kwargs` 并使返回顺序与函数签名一致（`sum_r` 移至 `sum_u_rc` 之后）；移除 `__input__` 注册。 - dynamic_quant_update_scatter / _v2：`_compute_dtype` 由输入与声明输出 dtype 联合提升；量化写回不再经 `np.float32` 截断。 \| # \| 算子 \| 文件 \| +/− \| \|---\|------\|------\|-----\| \| 1 \| loss/cosine_embedding_loss \| tests/assets/golden.py \| +54/−18 \| \| 2 \| norm/batch_norm3_d \| tests/assets/golden.py \| +36/−6 \| \| 3 \| norm/batch_norm3_d_grad \| tests/assets/golden.py \| +53/−29 \| \| 4 \| norm/batch_norm_grad_ext2 \| tests/assets/golden.py \| +53/−29 \| \| 5 \| norm/deep_norm \| tests/assets/golden.py \| +7/−3 \| \| 6 \| norm/deep_norm_grad \| tests/assets/golden.py \| +82/−55 \| \| 7 \| optim/apply_adam_w_quant \| tests/assets/golden.py \| +45/−19 \| \| 8 \| optim/apply_came_part4 \| tests/assets/golden.py \| +29/−21 \| \| 9 \| quant/dynamic_quant_update_scatter \| tests/assets/golden.py \| +41/−10 \| \| 10 \| quant/dynamic_quant_update_scatter_v2 \| tests/assets/golden.py \| +30/−13 \| \| \| 合计* \| 10 个文件 \| +430/−203 \| ## 关联的Issue - #6449 ## 测试本 MR 仅修改 TTK golden 参考实现（纯 Python，numpy/torch 计算，无 kernel / op_host 代码变更），建议按仓库 TTK ST 流程验证（需 Linux + CANN + Ascend 环境）： bash cd /path/to/ops-test-kit REPO=/path/to/ops-nn # 仓内已提供用例的 3 个算子 python3 -m ttk kernel -i "$REPO/norm/deep_norm/tests/st/arch35/ttk_kernel_deep_norm_generalization.csv" \ --plugin "$REPO/norm/deep_norm/tests/assets/golden.py" python3 -m ttk kernel -i "$REPO/quant/dynamic_quant_update_scatter/tests/st/arch35/ttk_kernel_dynamic_quant_update_scatter_st.csv" \ --plugin "$REPO/quant/dynamic_quant_update_scatter/tests/assets/golden.py" python3 -m ttk kernel -i "$REPO/quant/dynamic_quant_update_scatter_v2/tests/st/arch35/ttk_kernel_dynamic_quant_update_scatter_v2_st.csv" \ --plugin "$REPO/quant/dynamic_quant_update_scatter_v2/tests/assets/golden.py" 检查点： - 各输出 dtype 与用例 `output_dtypes` 声明一致（如 deep_norm fp16 用例 `('float32','float32','float16')`）； - fp64 Promote 用例的 cross_check 真值保持 fp64，不被截回 fp32； - 既有 float16/bfloat16 用例的容差与判定不变。 ## 文档更新本 MR 未包含文档修改。 ## 类型标签 - [x] Bug修复 - [ ] 新特性 - [ ] 性能优化 - [ ] 文档更新 - [ ] 其他，请描述： ## AI/Agent生成声明 - [ ] AI辅助编写 See merge request: cann/ops-nn!11042	3 天前
CMakeLists.txt	Format update: Adjusted the license description format in all relevant files. Co-authored-by: jiangqi<jiangqi47@h-partners.com> # message auto-generated for no-merge-commit merge: !366 merge license6 into master Format update: Adjusted the license description format in all relevant files. Created-by: jiangqi2025 Commit-by: jiangqi Merged-by: turing_project1 Description: ## 描述 <!--在这里详细描述你的改动，包括改动的原因和所采取的方法。--> ## 关联的Issue <!-- 如果这个PR是为了解决特定的Issue，请在这里提供Issue链接。例如：关联Issue #123--> <!-- 如果这个PR是为了解决特定的问题单，请在这里描述问题单单号。--> ## 测试 <!--描述进行了哪些测试来验证你的改动。包括但不限于二级冒烟、算子泛化等。--> ## 文档更新 <!--如果这个PR包含文档的更新，请在这里指出。例如：更新了README.md文件。--> ## 类型标签 <!-- [x] 表示选中 --> - [ ] Bug修复 - [ ] 新特性 - [ ] 性能优化 - [ ] 文档更新 - [ ] 其他，请描述： See merge request: cann/ops-nn!366	9 个月前
README.md	修改产品名 Co-authored-by: fwx1169505<fengying27@h-partners.com> # message auto-generated for no-merge-commit merge: !11017 merge master into master 修改产品名 Created-by: fengying555682 Commit-by: fwx1169505 Merged-by: cann-robot Description: ## 描述修改quant和activation文件夹中的md文档涉及的产品名称 ## 关联的Issue [#6056](https://gitcode.com/cann/ops-nn/issues/6056) ## 测试已经完成文档语法和链接一致性检测 ## 文档更新 quant和activation文件夹中的md文档 ## 类型标签 <!-- [x] 表示选中 --> - [ ] Bug修复 - [ ] 新特性 - [ ] 性能优化 - [x ] 文档更新 - [ ] 其他，请描述： ## AI/Agent生成声明 <!-- [x] 表示选中 --> - [ ] AI辅助编写 See merge request: cann/ops-nn!11017	21 天前

DynamicQuantUpdateScatter

产品支持情况

产品	是否支持
Ascend 950PR&950DT系列产品	√
Atlas A3系列产品	×
Atlas A2系列产品	√
kirin X90处理器系列产品	√
kirin 9030处理器系列产品	√

功能说明

算子功能：融合DynamicQuant+scatter+scatter为DynamicQuantUpdateScatter算子提升性能。

参数说明

参数名	输入/输出/属性	描述	数据类型	数据格式
var	输入/输出	待更新的tensor。	INT8	ND
var_scale	输入/输出	量化的scale因子，待更新的tensor。	FLOAT32	ND
indices	输入	表示更新位置。	INT32、INT64	ND
updates	输入	表示更新数据	BFLOAT16、FLOAT16	ND
smooth_scales	输入	代表DynamicQuant的smoothScales。	BFLOAT16、FLOAT16	ND
axis	属性	scatter轴。支持负数取值（按var维数归一化），归一化后必须是内层轴（不能取第0维或最后一维）。	-	-
reduce	属性	更新模式。支持update；none和空字符串作为兼容取值，语义与update一致。	STRING	-

Kirin X90/kirin 9030处理器系列产品:不支持BFLOAT16。

约束说明

indices的维数只能是1维或者2维，如果是2维，其第2维的大小必须是2。
updates的维数与var的维数一致；其第1维的大小等于indices的第1维的大小，且不大于var的第1维的大小；其axis轴的大小不大于var的axis轴的大小；除第1维和axis轴外，其余各维的大小必须与var完全一致。
var_scale与var的维数一致，除最后一维外各维大小必须与var相同，且最后一维的大小必须为1（即每个量化行对应一个scale，var_scale的元素数等于var的元素数除以var最后一维的大小）。
smooth_scales为1维且大小和var[-1]一致，其数据类型必须与updates的数据类型一致。
reduce支持‘update’；为兼容历史调用，‘none’和空字符串同样执行更新操作。
尾轴需要32B对齐：var与updates在axis轴之后各维的乘积（合并尾轴）按INT8元素个数计必须是32的倍数，且两者相等。
indices映射的scatter数据段不能重合，若重合则因为多核并发原因将导致多次执行结果不一样。
axis支持负数取值，按“axis + var维数”归一化；归一化后必须是内层轴（不能取第0维或最后一维），因此var的维数必须大于等于3。
各输入shape的每一维大小必须为正数（不支持空tensor）。

调用说明

调用方式	调用样例	说明
图模式调用	test_geir_dynamic_quant_update_scatter	通过算子IR构图方式调用DynamicQuantUpdateScatter算子。