| Files | Last commit | Last update |
|---|---|---|
docs: add English translations for operator READMEs and repo docs Co-authored-by: jenny_xiang<jenny.xiang@huawei.com> # message auto-generated for no-merge-commit merge: !13351 merge docs/add-english-docs into master docs: add English translations for operator READMEs and repo docs Created-by: jenny_xiang Commit-by: jenny_xiang Merged-by: cann-robot Description: ## Description Add English translations for 652 markdown documents: - Repo-level guides: README_en.md, CONTRIBUTING_en.md, SECURITY_en.md, CHANGELOG_en.md, codearts_check_rule_config_en.md - Operator READMEs under activation/, conv/, control/, foreach/, hash/, index/, loss/, matmul/, norm/, optim/, pooling/, quant/, rnn/, vfusion/, etc. - API and design docs under docs/ (aclnn_*, ascendir_*, fusion pass docs) - examples/ and torch_extension/ guides Note: a few cross-reference links whose English targets are not published yet temporarily point to their Chinese counterparts to keep links valid; they will be switched back to the English docs in a follow-up PR after this one is merged. ## Related Issue N/A ## Test - Verified all 1,344 intra-repo markdown links in the added files resolve against master: 0 broken links, 0 missing targets. ## Documentation Update - This PR only adds English documentation files (*_en.md); no existing Chinese documents are modified. ## Type Labels - [ ] Bug fix - [ ] New feature - [ ] Performance optimization - [x] Documentation update - [ ] Other, please describe: ## AI/Agent-Generated Declaration - [x] AI-assisted authoring See merge request: cann/ops-nn!13351 | 17 days ago | |
[CANNBot]修复ActULQClampMinGrad算子动态语义并加固类型及边界校验 Co-authored-by: u010470851<shangguanqinnan@huawei.com> # message auto-generated for no-merge-commit merge: !14168 merge fix/act-ulq-clamp-min-grad-hardening into master [CANNBot]修复ActULQClampMinGrad算子动态语义并加固类型及边界校验 Created-by: u010470851 Commit-by: u010470851 Merged-by: cann-robot Description: ## 描述 ActULQClampMinGrad 原计算公式实现有误,同时存在 FP32 严格三方比较的舍入误差、类型推导放行非法组合,以及 shape 和切块边界计算的整数溢出风险。 - 两条 mask 计算路径统一为 sum(y_grad * (x_clamped_loss + abs(clamp_min_mask)))。 - FP32 加法、乘法和归约采用 TwoSum/FMA 高低位误差补偿,跨核 workspace 保存高低位部分和;补偿函数集中在主 kernel 头文件。有限加数相加溢出时,通过加数减半、梯度加倍的二次幂缩放,保留最终可表示的有限结果及真实 NaN/Inf 的传播。 - 保持原有四组 dtype 组合:主输入和 loss 为相同的 FP16/FP32,mask 为 BOOL 或同精度浮点类型;Graph 推导与 Host tiling 明确拒绝非法组合,不扩展对外能力。 - 合轴前检查存储字节数上界,使用安全的向上取整和尾块边界计算,避免乘积及加法溢出。 - 取消未使用的系统 workspace 预留,普通和空输入路径申请 0 字节,跨核路径仅申请归约部分和空间,并通过 GetSysWorkSpacePtr() 获取分配起始地址,避免生成封装的系统 workspace 偏移造成越界。 - CPU Golden 使用 Torch 计算,沿用 TTK Promote 传入的计算精度,不额外强制转换为 FP64;原生 FP16 使用 FP32 中间计算,移除异常时返回全零的兜底。 - 保留原有三方参考实现及 third_party 注册,参考计算统一使用修正后的动态公式。 - 修正 GEIR 示例输入索引、独立期望值校验及资源清理,主目录与 arch35 示例分别保留相同的完整实现;修正 tiling 单测发现规则并补充类型与溢出校验。 ## 关联的Issue 关联的Issue https://gitcode.com/cann/ops-nn/issues/8756 ## 测试 - Torch CPU Golden 自动 Promote 验证:未指定 --golden-mode,4 条用例的固定、动态 shape 共 8 次三方比较通过;FP32 的 CPU 入参、实际计算和返回结果均为 FP64,FP16 均为 FP32。 - 原有三方参考在真实 GPU 上完成 4/4 定向检查,覆盖两种精度和浮点/BOOL mask;输入、输出均断言位于 GPU。 - 主目录与 arch35 两个 GEIR 示例分别构建、运行通过,均输出 expected=80 actual=80。 - 在本次新检出目录构建运行 Host UT,25/25 通过,覆盖原四组合法类型及非法类型拒绝。 - 原生 TTK GEIR 使用 cross_check,完成 CPU、NPU、真实 GPU三方精度比较。 - 本次取消系统 workspace 预留并修正分组路径地址后的全量 L0:上游原始 CSV 共 28 条,固定 shape 和动态 shape 共 56 次三方比较全部通过;命令未显式指定 --golden-mode,由 TTK cross_check 自动选择 Promote。 - 此前版本的 L1 三方基线:已执行 606 条,两种模式共 1212 次比较通过,其中 FP32 239 条、FP16 367 条。 - 本次新构建的隔离算子包通过 22 项 NPU 定向回归:单元素 0.25 * (2^127 + 2^127) 输出有限的 2^126;同时覆盖负梯度、零梯度、最大有限值、尾块、跨核路径、原有舍入残差及真实 NaN/Inf。旧算子包已复现该单元素用例错误输出 Inf。 - 本次安装后的 kernel 源码与分支一致,Host UT 25/25 通过;tiling 单测直接断言普通、空输入 workspace 为 0,FP16/FP32 跨核 workspace 等于实际部分和空间。 - git diff --check 通过。 ## 文档更新 更新 ActULQClampMinGrad 中英文 README、IR 原型及相关源码注释,统一动态计算公式、原有四组类型约束、空张量及 NaN/Inf 行为。 ## 类型标签 - [x] Bug修复 - [ ] 新特性 - [ ] 性能优化 - [x] 文档更新 - [ ] 其他,请描述: See merge request: cann/ops-nn!14168 | 8 days ago | |
docs: add English translations for operator READMEs and repo docs Co-authored-by: jenny_xiang<jenny.xiang@huawei.com> # message auto-generated for no-merge-commit merge: !13351 merge docs/add-english-docs into master docs: add English translations for operator READMEs and repo docs Created-by: jenny_xiang Commit-by: jenny_xiang Merged-by: cann-robot Description: ## Description Add English translations for 652 markdown documents: - Repo-level guides: README_en.md, CONTRIBUTING_en.md, SECURITY_en.md, CHANGELOG_en.md, codearts_check_rule_config_en.md - Operator READMEs under activation/, conv/, control/, foreach/, hash/, index/, loss/, matmul/, norm/, optim/, pooling/, quant/, rnn/, vfusion/, etc. - API and design docs under docs/ (aclnn_*, ascendir_*, fusion pass docs) - examples/ and torch_extension/ guides Note: a few cross-reference links whose English targets are not published yet temporarily point to their Chinese counterparts to keep links valid; they will be switched back to the English docs in a follow-up PR after this one is merged. ## Related Issue N/A ## Test - Verified all 1,344 intra-repo markdown links in the added files resolve against master: 0 broken links, 0 missing targets. ## Documentation Update - This PR only adds English documentation files (*_en.md); no existing Chinese documents are modified. ## Type Labels - [ ] Bug fix - [ ] New feature - [ ] Performance optimization - [x] Documentation update - [ ] Other, please describe: ## AI/Agent-Generated Declaration - [x] AI-assisted authoring See merge request: cann/ops-nn!13351 | 17 days ago | |
[acts_ulq_input_grad] 补 InferDataType UT 与 README 移除掩码取值限制 Co-authored-by: gcw_YBIAEfqJ<wangweidong15@huawei.com> # message auto-generated for no-merge-commit merge: !13506 merge fix/acts-ulq-input-grad-scan into master [acts_ulq_input_grad] 补 InferDataType UT 与 README 移除掩码取值限制 Created-by: gcw_YBIAEfqJ Commit-by: gcw_YBIAEfqJ Merged-by: cann-robot Description: ## 概述 承接已合并的 !13325(图模式交付加固),本轮收尾 1 个提交: - **补 InferDataType UT(新增 tests/ut/op_graph 通路)**:经 OpImplRegistry 直接调用本仓注册的 InferDataType(不经过安装环境内置 canndev proto,绕开同名双注册优先级)——4 组合法 dtype 组合推导成功且 x_grad.dtype 跟随 y_grad;两掩码 dtype 不一致被 Verify 拦截(GRAPH_FAILED),报错文案含实际 dtype 值与支持列表( ASCEND_SLOG_PRINT_TO_STDOUT=1 捕获验证)。op_graph UT 通路不含 tests/ut/common 的 faker 编译,CMake 显式补编 infer_datatype_context_faker.cpp。 - **README 移除「掩码语义值应为 0 或 1」限制条目**:A2(canndev)proto/Verify/TBE kernel 均无掩码值域校验(Host 层拿不到数据内容),本算子兼容同口径——掩码任意取值按逐元素乘法参与计算。交付包用例集 391 例上板验证(含次正规、溢出 inf、0×inf=nan、全跨度、ulp 边界),三方 cross_check 全 PASS。 ## 验证 - op_graph UT 2/2 PASS + ophost UT 28/28 PASS(rebase 后复跑)。 ## 关联的Issue - [Documentation|文档反馈] acts_ulq_input_grad README 声明了不存在的掩码取值 {0,1} 限制,与实现及 A2 权威口径不符(中英文双语) #8367 https://gitcode.com/cann/ops-nn/issues/8367 See merge request: cann/ops-nn!13506 | 12 days ago | |
feat: vector算子适配ascend960pr(DV122)平台(3/4) Co-authored-by: biabu111<hebaojing1@huawei.com> # message auto-generated for no-merge-commit merge: !14303 merge feat/dv122-ascend960pr-adaptation-p2b into master feat: vector算子适配ascend960pr(DV122)平台(3/4) Created-by: biabu111 Commit-by: biabu111 Merged-by: cann-robot Description: ## 描述 DV122(Ascend960PR/DAV_9202/Ascend960PR_969A1)vector 算子批量适配**第 3/4 批(38 个算子,ST 全通过)**。 配套:(1/4)!14184(43 算子)、(2/4)!14185(38 算子)、(4/4,ST 隔离批)!14292(64 算子:53 个 ST 失败算子 + 11 个反向依赖闭包)。四 PR 算子集与 ascendc_config.json 条目均无重叠,并集为原全量 183 算子适配;原(2/3)PR(76 算子)按检视要求均分为(2/4)(3/4)两批,两批内部无依赖交叉。 ## ISSUE https://gitcode.com/cann/ops-nn/issues/8671 ### 本批范围(38 个算子) 原(2/3)的 76 算子按算子数 38/38、文件数 142/140 均分(本批为文件数较多的一半) ### 适配内容(与 1/4 同一方法论) - 注册级:CMakeLists SUPPORT_COMPUTE_UNIT/SUPPORT_TILING_DIR、def.cpp AddConfig、op_host/config/ascend960pr 二进制配置(与 960dt 一致)、op_kernel COMPUTE_UNITS - ascendc_config.json 保持上游 715 行逐条目规范格式,仅含本批 28 个条目,段级保留原条目文本风格 - 代码级:DAV_9201、__NPU_ARCH__==9201、__DAV_920R1__、"Ascend960DT" 门禁补 DAV_9202/9202/__DAV_920R2__/"Ascend960PR" - socVersion 枚举值域:960(=1000) 位于 ASCEND910E(=4) 之后,范围判断显式追加 960 枚举 ## 测试 - op_host UT 全量:10132 PASSED(唯一失败 MaskedSoftmaxWithRelPosBias B_tiling_52 为已知环境问题,修复在 !14184,上游 master 同样失败) - pre-commit 全部通过(141 文件) ## 文档更新 不涉及 See merge request: cann/ops-nn!14303 | 8 days ago | |
modify anti_mx_quant aclnn Co-authored-by: pyq17870581669<pengyongqiang5@huawei.com> # message auto-generated for no-merge-commit merge: !14252 merge AntiMxQuantIssue into master modify anti_mx_quant aclnn Created-by: pyq17870581669 Commit-by: pyq17870581669 Merged-by: cann-robot Description: ## 描述 <!--在这里详细描述你的改动,包括改动的原因和所采取的方法。--> aclnnAntiMxQuant 在辅输入 mxscale 含 0 维时早退,非空输出 y 完全未写(rc=0、ws=0,主输入与输出均非空) 在 CheckShape 中补上 y=x、mxscale 期望形状(按 tiling 公式)校验,mxscale 含 0 维等非法形状现在返回 161002,不再静默跳过计算;新增 9 个 UT 用例,同步更新了中英文文档。 ## 关联的Issue <!-- 如果这个PR是为了解决特定的Issue,请在这里提供Issue链接。例如:关联Issue #000--> https://gitcode.com/cann/ops-nn/issues/8232 ## 测试 <!--描述进行了哪些测试来验证你的改动。--> ## 文档更新 <!--如果这个PR包含文档的更新,请在这里指出。例如:更新了README.md文件。--> 更新了aclnn文档 ## 类型标签 <!-- [x] 表示选中 --> - [x] Bug修复 - [ ] 新特性 - [ ] 性能优化 - [ ] 文档更新 - [ ] 其他,请描述: ## AI/Agent生成声明 <!-- [x] 表示选中 --> - [x] AI辅助编写 See merge request: cann/ops-nn!14252 | 8 days ago | |
fix(ascend_anti_quant): 修复 OpDef 输入/输出注册缺失导致 GEIR 执行异常 Co-authored-by: zhou-liang1027<zhouliang88@huawei.com> # message auto-generated for no-merge-commit merge: !14496 merge fix/ascend_anti_quant-io-registration into master fix(ascend_anti_quant): 修复 OpDef 输入/输出注册缺失导致 GEIR 执行异常 Created-by: zhou-liang1027 Commit-by: zhou-liang1027 Merged-by: cann-robot Description: ## 描述 修复 AscendAntiQuant 的 OpDef 输入/输出注册缺失问题(issue 90)。 quant/ascend_anti_quant/op_host/ascend_anti_quant_def.cpp 原先把 x/y 定义在 OpAICoreConfig 上(config.Input/Output),而非 OpDef 的 this->Input/Output。aclnn_exclude 包生成的 op_proto 因此丢失 INPUT/OUTPUT: - GEIR 构图直接 AddGraph E19999 失败(本地复现); - CI 上表现为动态 shape 输出退化为单元素(1 vs 503000); - kernel/tiling 本身正常(CI 日志 MD5 三次一致)。 ## 修复 - this->Input("x") / this->Output("y") 移到 OpDef 层级 - OpAICoreConfig config 仅保留 DynamicCompileStaticFlag 等 AI Core 配置 ## 验证 - 重编安装包后 op_proto/inc/ascend_anti_quant_proto.h 已包含 .INPUT(x)/.OUTPUT(y) - issue 90 的 GEIR 用例 AscendAntiQuant_L1_tolerance_d_b_001/007 及 L1_049:3/3 PASS - issue 91 的 hifloat8/float8 用例(002/003/004/009/012/013):6/6 PASS(配合 operator-artifacts golden 修复) ## 关联 Issue - https://gitcode.com/wangyueting/changwei_jiaoyiming/issues/90 - https://gitcode.com/wangyueting/changwei_jiaoyiming/issues/91 See merge request: cann/ops-nn!14496 | 4 days ago | |
test: 恢复被注释的UT断言与用例(Issue #7688责任田,13文件58处) Co-authored-by: ywx1080114<yuanbin22@huawei.com> # message auto-generated for no-merge-commit merge: !14375 merge fix-commented-assertions into master test: 恢复被注释的UT断言与用例(Issue #7688责任田,13文件58处) Created-by: yuanbin_22 Commit-by: ywx1080114 Merged-by: cann-robot Description: ## 描述 <!--在这里详细描述你的改动,包括改动的原因和所采取的方法。--> 恢复 Issue #7688 责任田内被注释的 UT 断言与测试用例,共 13 个文件(+175 -166),恢复断言/校验 58 处: **恢复被注释的断言(12 个文件,49 处):** | 文件 | 恢复数 | |------|--------| | quant/dynamic_quant_v2/tests/ut/op_host/test_dynamic_quant_v2_tiling.cpp | 18 | | quant/ascend_quant_v2/tests/ut/op_api/test_aclnn_ascend_quant.cpp | 7 | | quant/ascend_anti_quant_v2/tests/ut/op_host/op_api/test_aclnn_ascend_anti_quant.cpp | 5 | | activation/ge_glu_grad_v2/tests/ut/op_host/op_api/test_aclnn_geglu_backward.cpp | 4 | | activation/sigmoid/tests/ut/op_host/arch35/test_sigmoid_tiling.cpp | 3 | | activation/silu_grad/tests/ut/op_api/test_aclnn_silu_backward.cpp | 3 | | activation/ge_glu_v2/tests/ut/op_host/test_aclnn_geglu.cpp | 2 | | activation/gelu_quant/tests/ut/op_host/test_gelu_quant_tiling.cpp | 2 | | quant/ascend_quant_v2/tests/ut/op_host/test_ascend_quant_v2_tiling.cpp | 2 | | activation/swish_grad/tests/ut/op_api/test_aclnn_swish_backward.cpp | 1 | | norm/deep_norm/tests/ut/op_host/test_DeepNorm_infershape.cpp | 1 | | quant/quantize/tests/ut/op_api/test_aclnn_quantize.cpp | 1 | **恢复被注释的整段测试用例:** - index/sparse_slice/tests/ut/op_host/test_sparse_slice_infershape.cpp(9 处):恢复整段被注释的 TEST_F 用例(含 InferShapeRange_success 等)。 **适配处理:** - test_sigmoid_tiling.cpp:原注释断言使用已废弃的 to_string<int64_t>(...) 接口,新增本地 TilingData2Str 辅助函数读取 tiling data,并按当前 tiling 行为修正期望值(如 15800 15480 → 15872 10944),断言恢复为 EXPECT_NE(TilingData2Str(tilingData).find(...), string::npos)。 **改动原因:** 历史整改中被注释的 UT 断言长期失去看护作用,按 Issue #7688 责任田清单批量恢复,重建 UT 对 tiling key、tiling data、输出 dtype/shape 等的校验能力。 ## 关联的Issue <!-- 如果这个PR是为了解决特定的Issue,请在这里提供Issue链接。例如:关联Issue #000--> - 关联 Issue #7688(仅关联,合并后不自动关闭该 Issue) ## 测试 <!--描述进行了哪些测试来验证你的改动。--> - 恢复的 58 处断言随对应 UT 套件执行通过(tiling key、tiling data、infershape、aclnn 输出校验等)。 ## 文档更新 <!--如果这个PR包含文档的更新,请在这里指出。例如:更新了README.md文件。--> - 无需文档更新。 ## 类型标签 <!-- [x] 表示选中 --> - [ ] Bug修复 - [ ] 新特性 - [ ] 性能优化 - [ ] 文档更新 - [x] 其他,请描述:测试(恢复被注释的UT断言) ## AI/Agent生成声明 <!-- [x] 表示选中 --> - [x] AI辅助编写 See merge request: cann/ops-nn!14375 | 5 days ago | |
feat(AscendDequant ): AscendDequant 补充 arch35 Host/Kernel 实现与 UT Co-authored-by: tianye<tianye82@h-partners.com> # message auto-generated for no-merge-commit merge: !14172 merge br_1103_ascendequant into master feat(AscendDequant ): AscendDequant 补充 arch35 Host/Kernel 实现与 UT Created-by: transformer910 Commit-by: tianye Merged-by: cann-robot Description: ## 描述 ### 背景 quant/ascend_dequant 此前只有算子定义、图原型与框架插件,**没有 AscendC 实现**(op_list.md 中标记为"暂无 Ascend C 代码实现")。本次为该算子补齐 arch35(Ascend 950/350/960dt)的 Host + Kernel 实现、算子信息库配置与单元测试。 ### 实现内容 | 模块 | 文件 | 说明 | | --- | --- | --- | | Tiling | op_host/arch35/ascend_dequant_tiling.{cpp,h} | dtype/rank/attr 校验、deq_scale 右对齐广播校验与归一化、PadAndSqueeze、广播合轴、UB 切分、多核切分,写入 TilingData,SetBlockDim / SetTilingKey | | InferShape | op_host/ascend_dequant_infershape.cpp | InferShape(y.shape == x.shape)+ InferDataType(按 attr dtype 给出 fp16/fp32),含参数校验与错误码 | | Kernel | op_kernel/ascend_dequant_apt.cpp、op_kernel/arch35/ascend_dequant_kernel.h | NDDMA 广播搬运 + regbase VF 计算链(乘 scale → 可选 ReLU → 可选再乘 scale),fp32 输出直通、fp16 输出单次 RINT 舍入 | | 结构体 | op_kernel/arch35/ascend_dequant_tilingdata.h、ascend_dequant_struct.h | Host/Kernel 共用的 TilingData;以 RANK(4/8)为唯一模板参数,对应 tilingKey 0/1 | | 信息库 | op_host/config/{ascend950,ascend350,ascend960dt}/ascend_dequant_binary.json | 每个 SoC 2 条:int32+uint64 → float16 / → float32 | | UT | tests/ut/op_host/**、tests/ut/op_kernel/** | Infershape / Tiling / Kernel 单测,期望值由独立 oracle 给出 | | 文档 | README.md、README_en.md | 补充功能说明、公式、参数、数据类型组合与约束 | ### 计算语义 s = reinterpret_f32(低 32 位(deq_scale)) // UINT64 承载 fp32 scale 的位模式,高 32 位忽略 acc = fp32(x) * s acc = relu_flag ? max(acc, 0) : acc // ReLU 位于两次乘法之间 acc = sqrt_mode ? acc * s : acc // “再乘一次同一 scale”(s²),不是开方 y = cast_to_dst_type(acc) // fp16 单次 RINT 舍入;fp32 不窄化 - deq_scale 只需可 **numpy 右对齐广播** 到 x(rank ≤ rank(x),每个对齐维等于 x 的对应维或为 1,任意多个广播维)。 - y.shape 与 x.shape 完全一致;支持空 Tensor(任一维为 0 时 usedCoreNum=0、blockDim=1,kernel 直接返回)。 - 数据类型组合:x=INT32, deq_scale=UINT64 → y∈{FLOAT16, FLOAT32}(属性 dtype 0→fp32 / 1→fp16,缺省 1,且必须与输出 dtype 一致)。 - 算子为纯逐元素计算,实现按 **ND 位置语义** 处理,不做 format 相关布局推导;算子定义中注册的 NHWC/NCHW/NCDHW/NDHWC 为接口注册保留,计算与 ND 一致。 - 本次不修改 op_graph/ascend_dequant_proto.h(继承现有原型),不改变原有接口契约。 - 当前不提供 aclnn 接口(ACLNNTYPE aclnn_exclude),仅支持图模式调用。 ### 分支与 tilingKey | tilingKey | 适用场景 | 说明 | | --- | --- | --- | | 0 | PadAndSqueeze 后 rank ≤ 4 | standard-rank4 模板(RANK=4) | | 1 | PadAndSqueeze 后 rank 5–8 | standard-rank8 模板(RANK=8) | tilingKey 按**原始输入 rank**(合轴前)选择;空 Tensor 保持选中的 key 并走短路路径。 ## 关联的Issue https://gitcode.com/cann/ops-nn/issues/8875 ## 测试 构建与 UT(CANN 工具箱,SoC = ascend950 / ascend350): | 测试项 | 命令 | 结果 | | --- | --- | --- | | 算子包构建(950) | bash build.sh --pkg --soc=ascend950 --ops=ascend_dequant -j16 | 通过,包内 2 个 kernel | | 算子包构建(350) | bash build.sh --pkg --soc=ascend350 --ops=ascend_dequant -j16 | 通过,包内 2 个 kernel | | Host UT | bash build.sh -u --ophost --ops=ascend_dequant --soc=ascend950 | 50/50 PASSED | | Kernel UT | bash build.sh -u --opkernel --ops=ascend_dequant --soc=ascend950 | 11/11 PASS | 精度/功能验证(TTK 框架,基于本实现的算子包): | 测试集 | 范围 | 结果 | | --- | --- | --- | | 白盒 branch-0(kernel 模式) | rank ≤ 4,78 条(fp16 53 / fp32 25,含空 Tensor) | 78/78 PASS | | 白盒 branch-1(kernel 模式) | rank 5–8,52 条(fp16 27 / fp32 25,含空 Tensor) | 52/52 PASS | | 白盒 OOM 插桩 | 上述 130 条 | 全部 memory_oob_status=PASS,动态越界证据有效 | | 黑盒正向(aclnn L0+L1) | 871 条 | 871/871 PASS | | 黑盒负向(aclnn L2) | 17 条(dtype/attr/rank/负维/缺参/输出 shape/scale 不可广播) | 17/17 全部被拒绝 | pre-commit run --all-files(trailing-whitespace / end-of-file / clang-format / codespell / OAT 等)通过。 ## 文档更新 - 新增 quant/ascend_dequant/README.md 与 README_en.md:产品支持情况、计算公式、参数说明、数据类型组合、约束说明。 ## 类型标签 - [ ] Bug修复 - [x] 新特性 - [ ] 性能优化 - [ ] 文档更新 - [ ] 其他,请描述: ## AI/Agent生成声明 - [x] AI辅助编写 See merge request: cann/ops-nn!14172 | 3 days ago | |
feat: vector算子适配ascend960pr(DV122)平台(4/4,ST隔离批) Co-authored-by: biabu111<hebaojing1@huawei.com> # message auto-generated for no-merge-commit merge: !14292 merge feat/dv122-ascend960pr-adaptation-p3 into master feat: vector算子适配ascend960pr(DV122)平台(4/4,ST隔离批) Created-by: biabu111 Commit-by: biabu111 Merged-by: cann-robot Description: ## 描述 DV122(Ascend960PR/DAV_9202/Ascend960PR_969A1)vector 算子批量适配**第 3 批(ST 隔离批,64 个算子)**。 (1/2)见 !14184(43 算子)、(2/2)见 !14185(76 算子)。三 PR 算子集与 ascendc_config.json 条目均无重叠,并集为原全量 183 算子适配。 ### 本批范围(64 个算子) **ST 执行失败算子 53 个**(详见 7_run_st_test.log 失败清单)+ **反向依赖闭包 11 个**(avg_pool_v2、embedding、glu、renorm、group_norm_grad、embedding_dense_grad、max_pool3d_with_argmax_v2、adaptive_max_pool3d、max_pool3d_grad_with_argmax、add_rms_norm_dynamic_quant_v2、ascend_quant_v2 —— 保证(1/2)(2/2)内无悬空依赖)。 含:activation(elu/gelu/leaky_relu/mish/relu/sigmoid/softplus/softmax 系)、pooling(adaptive_avg_pool/avg_pool/max_pool 系 16 个)、index(scatter/gather/embedding 系 15 个)、quant(ascend_quant/dynamic_quant/quantize 等)、loss(cross_entropy_loss/l1_loss_grad)、norm(batch_norm_grad_v3、add_rms_norm_dynamic_quant)、conv/foreach/hash/matmul 若干。 ### 定位与合入说明 - 本批算子 960pr ST(kernel/aclnn 用例)存在失败,已定位待修复,**独立成批以免阻塞(1/2)(2/2)合入** - 依赖(1/2)中的公共库(pool_3d_common/pool_grad_common/adaptive_pool3d_common 等)960pr 注册,**需在(1/2)(2/2)合入后再 merge 本 PR**,届时 rebase master 即可获取 - 拆分同时修复了此前遗漏的 ascendc_config.json 中 AvgPoolV2Grad/SegmentSum 重名条目位置的 960pr 变更(本批 52 个 json 条目,保持上游 715 行逐条目格式) ## ISSUE https://gitcode.com/cann/ops-nn/issues/8671 ## 测试 - op_host UT 全量:10160 PASSED(唯一失败 MaskedSoftmaxWithRelPosBias B_tiling_52 为已知环境问题,修复在 !14184,上游 master 同样失败,与本 PR 无关) - pre-commit 全部通过(242 文件) - 宿主侧编译与 ST 以 CI 为准(本批 ST 失败即待修项) ## 文档更新 不涉及 See merge request: cann/ops-nn!14292 | 8 days ago | |
test: 恢复被注释的UT断言与用例(Issue #7688责任田,13文件58处) Co-authored-by: ywx1080114<yuanbin22@huawei.com> # message auto-generated for no-merge-commit merge: !14375 merge fix-commented-assertions into master test: 恢复被注释的UT断言与用例(Issue #7688责任田,13文件58处) Created-by: yuanbin_22 Commit-by: ywx1080114 Merged-by: cann-robot Description: ## 描述 <!--在这里详细描述你的改动,包括改动的原因和所采取的方法。--> 恢复 Issue #7688 责任田内被注释的 UT 断言与测试用例,共 13 个文件(+175 -166),恢复断言/校验 58 处: **恢复被注释的断言(12 个文件,49 处):** | 文件 | 恢复数 | |------|--------| | quant/dynamic_quant_v2/tests/ut/op_host/test_dynamic_quant_v2_tiling.cpp | 18 | | quant/ascend_quant_v2/tests/ut/op_api/test_aclnn_ascend_quant.cpp | 7 | | quant/ascend_anti_quant_v2/tests/ut/op_host/op_api/test_aclnn_ascend_anti_quant.cpp | 5 | | activation/ge_glu_grad_v2/tests/ut/op_host/op_api/test_aclnn_geglu_backward.cpp | 4 | | activation/sigmoid/tests/ut/op_host/arch35/test_sigmoid_tiling.cpp | 3 | | activation/silu_grad/tests/ut/op_api/test_aclnn_silu_backward.cpp | 3 | | activation/ge_glu_v2/tests/ut/op_host/test_aclnn_geglu.cpp | 2 | | activation/gelu_quant/tests/ut/op_host/test_gelu_quant_tiling.cpp | 2 | | quant/ascend_quant_v2/tests/ut/op_host/test_ascend_quant_v2_tiling.cpp | 2 | | activation/swish_grad/tests/ut/op_api/test_aclnn_swish_backward.cpp | 1 | | norm/deep_norm/tests/ut/op_host/test_DeepNorm_infershape.cpp | 1 | | quant/quantize/tests/ut/op_api/test_aclnn_quantize.cpp | 1 | **恢复被注释的整段测试用例:** - index/sparse_slice/tests/ut/op_host/test_sparse_slice_infershape.cpp(9 处):恢复整段被注释的 TEST_F 用例(含 InferShapeRange_success 等)。 **适配处理:** - test_sigmoid_tiling.cpp:原注释断言使用已废弃的 to_string<int64_t>(...) 接口,新增本地 TilingData2Str 辅助函数读取 tiling data,并按当前 tiling 行为修正期望值(如 15800 15480 → 15872 10944),断言恢复为 EXPECT_NE(TilingData2Str(tilingData).find(...), string::npos)。 **改动原因:** 历史整改中被注释的 UT 断言长期失去看护作用,按 Issue #7688 责任田清单批量恢复,重建 UT 对 tiling key、tiling data、输出 dtype/shape 等的校验能力。 ## 关联的Issue <!-- 如果这个PR是为了解决特定的Issue,请在这里提供Issue链接。例如:关联Issue #000--> - 关联 Issue #7688(仅关联,合并后不自动关闭该 Issue) ## 测试 <!--描述进行了哪些测试来验证你的改动。--> - 恢复的 58 处断言随对应 UT 套件执行通过(tiling key、tiling data、infershape、aclnn 输出校验等)。 ## 文档更新 <!--如果这个PR包含文档的更新,请在这里指出。例如:更新了README.md文件。--> - 无需文档更新。 ## 类型标签 <!-- [x] 表示选中 --> - [ ] Bug修复 - [ ] 新特性 - [ ] 性能优化 - [ ] 文档更新 - [x] 其他,请描述:测试(恢复被注释的UT断言) ## AI/Agent生成声明 <!-- [x] 表示选中 --> - [x] AI辅助编写 See merge request: cann/ops-nn!14375 | 5 days ago | |
AscendRequant质量加固 Co-authored-by: rsj007<renshuojian@huawei.com> # message auto-generated for no-merge-commit merge: !13098 merge master into master AscendRequant质量加固 Created-by: rsj007 Commit-by: rsj007 Merged-by: cann-robot Description: ## 描述 新增 ValidateBroadcastShape 与 ValidateTotalElements 两个校验函数,在 infershape 与 tiling 流程中拒绝广播放大、输出 shape 不等于 x、rank 越界以及元素总数/步长溢出等非法输入,同时把分块与步长计算改用 __int128 累计并透传错误码。 ## 关联的Issue https://gitcode.com/cann/ops-nn/issues/8164 ## 测试 obp、david冒烟 ## 文档更新 不涉及 ## 类型标签 <!-- [x] 表示选中 --> - [x] Bug修复 - [ ] 新特性 - [ ] 性能优化 - [ ] 文档更新 - [ ] 其他,请描述: ## AI/Agent生成声明 <!-- [x] 表示选中 --> - [ ] AI辅助编写 See merge request: cann/ops-nn!13098 | 16 days ago | |
feat(quant): AscendWeightQuant算子开源支持 Co-authored-by: weiyan_hw<weiyan28@huawei.com> # message auto-generated for no-merge-commit merge: !14182 merge feat/ascend-weight-quant-opdef into master feat(quant): AscendWeightQuant算子开源支持 Created-by: weiyan_hw Commit-by: weiyan_hw Merged-by: cann-robot Description: ## 描述 <!--在这里详细描述你的改动,包括改动的原因和所采取的方法。--> 本 PR 新增 quant/ascend_weight_quant/op_host/ascend_weight_quant_def.cpp,以 OpDef 方式为 AscendWeightQuant 算子建立 op_def 注册,承接 canndev 侧 aic-ascend950-ops-info.ini 与 quantize_ops.h 中 REG_OP(AscendWeightQuant) 的迁仓需求。该算子为无 kernel 的图处理算子(opFile=Null),声明 x、offset 两个必选 int8 输入、y 输出以及可选 dst_type 属性,并同时注册 ascend950、ascend960dt、ascend960pr 三个 SOC 配置;同时新增 op_host 的 UT 文件,通过直接包含 def.cpp 对注册内容逐项断言。 主要改动 新增算子定义类与注册入口:新增 AscendWeightQuant : public OpDef 类及 OP_ADD(AscendWeightQuant),在 ops 命名空间内完成算子注册,注释明确其为 opFile=Null 的图处理算子、无 kernel 实现。 输入与输出原型声明:config.Input("x")、config.Input("offset") 均设为 REQUIRED,config.Output("y") 为必选输出,三者 DataType 与 Format 都声明为两组 ge::DT_INT8 / ge::FORMAT_HWCN 组合(含 UnknownShapeFormat)。 属性 dst_type 声明:通过 this->Attr("dst_type").AttrType(OPTIONAL).Int(ge::DT_INT8) 新增可选整型属性,默认值为 DT_INT8。 AICore 能力与 SOC 配置:设置 DynamicCompileStaticFlag、DynamicFormatFlag、DynamicRankSupportFlag、DynamicShapeSupportFlag、NeedCheckSupportFlag 为 false,PrecisionReduceFlag 为 true,并将同一配置通过 AICore().AddConfig 挂载到 ascend950、ascend960dt、ascend960pr。 新增 UT 覆盖注册内容:test_ascend_weight_quant_infershape.cpp 中 AscendWeightQuantDefTest 校验三个 SOC 配置存在、输入名称与 REQUIRED/DT_INT8/FORMAT_HWCN 组合、输出 y 的 dtype/format 组合,以及 dst_type 属性个数与默认值 2。 ## 关联的Issue <!-- 如果这个PR是为了解决特定的Issue,请在这里提供Issue链接。例如:关联Issue #000--> [#8700](https://gitcode.com/cann/ops-nn/issues/8700) ## 测试 <!--描述进行了哪些测试来验证你的改动。--> UT 5/5 PASS;三 soc autogen ops-info 条目生成且字段正确;--opkernel --ops=ascend_weight_quant 编译链路通过。 ## 文档更新 <!--如果这个PR包含文档的更新,请在这里指出。例如:更新了README.md文件。--> 新增算子readme文件 ## 类型标签 <!-- [x] 表示选中 --> - [ ] Bug修复 - [x] 新特性 - [ ] 性能优化 - [ ] 文档更新 - [ ] 其他,请描述: ## AI/Agent生成声明 <!-- [x] 表示选中 --> - [ ] AI辅助编写 See merge request: cann/ops-nn!14182 | 8 days ago | |
feat(quant): dequant_bias 支持非连续 Tensor(手写 aclnn 连续化+回写,修复 #8693) Co-authored-by: fengjiawei1<fengjiawei5@huawei.com> # message auto-generated for no-merge-commit merge: !14378 merge fix/dequant-bias-auto-contiguous into master feat(quant): dequant_bias 支持非连续 Tensor(手写 aclnn 连续化+回写,修复 #8693) Created-by: fengjiawei1 Commit-by: fengjiawei1 Merged-by: cann-robot Description: ## 描述 <!--在这里详细描述你的改动,包括改动的原因和所采取的方法。--> 修复 #8693:aclnnDequantBias 对非连续出参"该拒未拒且静默错值"。根因:自动生成的 aclnn 层只校验 dtype/shape,**缺"连续化 + 按 view 回写"两个环节**(#8663 生成模板层缺口,7/7 无手写 op_api 的算子同型失败),kernel 按连续行主序寻址——非连续 out 一半位置留旧值且两段返回 0。 修复方案(补齐缺失环节,参照 Hardswish Contiguous/ViewCopy 固定写法与 ConfidenceHeadFused 的 l0op 封装样板): 1. **新增 op_host/op_api/ 手写 aclnn 四件套**(+269 行): - 参数校验(161001 空指针 / 161002 dtype,对齐资料错误码表) - l0op::Contiguous:四输入连续化(activate_scale/bias 可空口判空跳过) - l0op::DequantBias:l0op 封装经 ADD_TO_LAUNCHER_LIST_AICORE 调注册算子,透传 output_dtype 属性,输出 dtype 由 outputDtype(1=FLOAT16/27=BFLOAT16)推导 - l0op::ViewCopy:**按出参 stride 回写**——#8663 认定缺失的环节在此补齐 - 第二段 CommonOpExecutorRun 2. **CMakeLists**:ACLNNTYPE aclnn -> aclnn_exclude(存在手写 op_api 时由其接管,func.cmake:729 约定) 3. **def.cpp 五口保留 AutoContiguous**:管**图模式**通道(编译器插转换节点,Eltwise 先例;dequant_bias 有 op_graph/dequant_bias_proto.h 图通道);aclnn 通道由手写层覆盖——资料 √ 对两条通道均成立 4. **资料中英文版**非连续Tensor 列 ×→√(各 5 行) 先例:Hardswish(Contiguous/ViewCopy 固定写法,注释原文"out可能是非连续的tensor")、ConfidenceHeadFused(自定义算子+attr 的 l0op 封装)、ScatterDiv varRef(输出侧 √)、DynamicQuantV2(输出行 √)。 ## 关联的Issue <!-- 如果这个PR是为了解决特定的Issue,请在这里提供Issue链接。例如:关联Issue #000--> https://gitcode.com/cann/ops-nn/issues/8693 ## 测试 <!--描述进行了哪些测试来验证你的改动。--> - 手写四件套 g++ -fsyntax-only 通过(0 error;本地 CANN 9.2.0 头文件缺 DAV_5162 的既有环境限制除外,与改动无关) - 写法与 Hardswish/ConfidenceHeadFused 模板逐行对齐 - pre-commit(clang-format/OAT)通过 - 编译验证依赖 CI;#8693 复现脚本([40,256]/stride{512,2}/storage[40,512])待 910b/950 上板复跑——预期从「ret=0 且 5120/10240 未写」变为「按 stride 读回与基线逐元素一致」 - 行为等价性:既有 aclnn ST 用例回归由 CI 覆盖;参数校验(161001/161002)与资料错误码表对齐 ## 文档更新 <!--如果这个PR包含文档的更新,请在这里指出。例如:更新了README.md文件。--> docs/aclnnDequantBias.md、docs/aclnnDequantBias_en.md(非连续Tensor 列 ×→√,5 行×2) ## 类型标签 <!-- [x] 表示选中 --> - [ ] Bug修复 - [x] 新特性 - [ ] 性能优化 - [ ] 文档更新 - [ ] 其他,请描述: ## AI/Agent生成声明 <!-- [x] 表示选中 --> - [x] AI辅助编写 See merge request: cann/ops-nn!14378 | 5 days ago | |
fix(dequant_situ_quant): 修复op_api层codecheck告警(char算术、浮点相等比较) Co-authored-by: demoauguste<zhanghao418@huawei.com> # message auto-generated for no-merge-commit merge: !14728 merge master into master fix(dequant_situ_quant): 修复op_api层codecheck告警(char算术、浮点相等比较) Created-by: demoauguste Commit-by: demoauguste Merged-by: cann-robot Description: ## 描述 本 PR 修复 cleancode/codecheck 扫描(CSV 报告 cleancode.csv)在本算子 quant/dequant_situ_quant **aclnn 外层实现**中新增的 5 条告警。这 5 条均为前序 PR(aclnn 第一段入参校验)引入的代码规范问题,不影响功能,但会阻塞 cleancode 门禁。 ### 告警清单(共 5 条,2 类规则,1 个文件 2 处) | 规则 | 条数 | 位置 | 代码片段 | | --- | --- | --- | --- | | G.EXP.13-CPP 使用char、wchar_t等类型表示字符 | 3(- 左操作数、- 右操作数、+ 右操作数) | op_host/op_api/aclnn_dequant_situ_quant.cpp:113 | quantTypeStr[i] = static_cast<char>(quantTypeStr[i] - 'A' + 'a'); | | G.EXP.27-CPP 使用恰当的基本类型作为操作符的操作数 | 2(== 左操作数、右操作数) | op_host/op_api/aclnn_dequant_situ_quant.cpp:151 | if (beta == BETA_ZERO) { | 对应 codecheck 缺陷 ID:adcf237e406a9272ba91929ac9e60109(G.EXP.13)、6eb33979ce2c4ae9447d86cc54100808(G.EXP.27)。 ### 问题分析 1. **G.EXP.13(char 参与算术运算)**:quantTypeOptional 大小写归一化时对 char 做 - 'A' + 'a' 运算。char 的符号性依赖实现,参与算术会发生隐式整型提升,可移植性差,规则要求 char/wchar_t 仅用于表示字符。 2. **G.EXP.27(浮点类型直接相等比较)**:beta 校验使用 double == double(beta == BETA_ZERO)。浮点相等比较不可移植,规则禁止以浮点类型作为 == 操作数。 ### 修复方案 | 问题 | 修复 | | --- | --- | | G.EXP.13 | 改用标准库转换,并显式转换为 unsigned char 以规避负值入参的未定义行为:std::transform(quantTypeStr.begin(), quantTypeStr.end(), quantTypeStr.begin(), [](unsigned char ch) { return static_cast<char>(std::tolower(ch)); });。该写法与仓内 loss/softmax_focal_loss、loss/smooth_l1_loss_grad_v2、pooling/max_pool3d_grad 等算子既有实现一致 | | G.EXP.27 | 改为浮点分类判定:if (std::fpclassify(beta) == FP_ZERO) {——比较的是整型分类结果,精确表达「±0」,不引入 epsilon,判定口径与 tiling 侧 beta == 0.0f 完全一致 | 其他调整:删除不再使用的 constexpr double BETA_ZERO,补充 <algorithm>、<cctype>、<cmath> 头文件。 **语义等价性**:两处修改均不改变对外行为——ASCII 大小写转换结果不变、非 ASCII 字节保持原值;beta 仅在精确为 0 时被拒绝(返回 161002),合法入参接受范围不变。 ### 变更文件 | 文件 | 变更 | | --- | --- | | quant/dequant_situ_quant/op_host/op_api/aclnn_dequant_situ_quant.cpp | +7/−8:清理上述 5 条 cleancode 告警 | 基线:主仓 master a96180f3b,本 PR 为单提交 6a5a090d9。 ## 关联的Issue - #8380 https://gitcode.com/cann/ops-nn/issues/8380 - #8381 https://gitcode.com/cann/ops-nn/issues/8381 (本 PR 为上述 issue 修复的代码规范收尾,不改变功能;对应 codecheck 缺陷见上方缺陷 ID。) ## 测试 环境:Atlas A2(Ascend 910B3 ×8),CANN 9.2.1,openEuler 24.03;单算子构建 bash build.sh -u --opapi --cov --ops=dequant_situ_quant --soc=ascend910b,在独立 vendor 包 + ASCEND_CUSTOM_OPP_PATH 下实机运行。 ### 1. 编译与 op_api UT bash build.sh -u --opapi --cov --ops=dequant_situ_quant --soc=ascend910b -j16 [==========] 56 tests from 1 test suite ran. [ PASSED ] 56 tests. 其中 beta_zero(beta=0 返回 161002)与 quant_type_uppercase_static("STATIC" 按 static 处理)两个用例直接覆盖本次修改的两处代码。 ### 2. 增量行覆盖率(gcov 实测) | 文件 | 行覆盖率 | | --- | --- | | op_host/op_api/aclnn_dequant_situ_quant.cpp | **99.07%**(214/216 可执行行,门禁阈值 80%) | 未覆盖的 2 行为第二段执行接口 aclnnDequantSituQuant(),OP_API_UT 框架只调用第一段接口,该接口已由此前实机用例覆盖。 ### 3. 代码检查 - clang-format(仓库 .clang-format,clang-format 18.1.8):--dry-run 无告警; - 本次修改后,上述 5 条 cleancode 告警对应的代码模式已消除(char 算术与浮点 == 均不再出现)。 ### 4. 功能无回归 两处修改语义等价,前序 PR 已实机验证的结论不受影响:文档错误码一致性 27/27、issue #8380/#8381 复现用例 18/18、仓库样例 Static/Dynamic 精度通过(max_y_diff=0、max_scale_diff=0)。 ## 文档更新 无。本 PR 仅修复代码规范问题,不涉及接口、返回码与文档描述。 ## 类型标签 - [ ] Bug修复 - [ ] 新特性 - [ ] 性能优化 - [ ] 文档更新 - [x] 其他,请描述:代码规范修复(清理 cleancode/codecheck 新增告警,解除 G.EXP.13 / G.EXP.27 告警阻塞) ## AI/Agent生成声明 - [x] AI辅助编写 See merge request: cann/ops-nn!14728 | 3 days ago | |
test(swiglu系列): 补4个算子ST用例(atk json + executor) Co-authored-by: shilulu<shilulu8@huawei.com> # message auto-generated for no-merge-commit merge: !14343 merge st into master test(swiglu系列): 补4个算子ST用例(atk json + executor) Created-by: shilulu Commit-by: shilulu Merged-by: cann-robot Description: ## 描述 <!--在这里详细描述你的改动,包括改动的原因和所采取的方法。--> test(swiglu系列): 补4个算子ST用例(atk json + executor) ## 关联的Issue <!-- 如果这个PR是为了解决特定的Issue,请在这里提供Issue链接。例如:关联Issue #000--> 关联Issue [#8724](https://gitcode.com/cann/ops-nn/issues/8724) ## 测试 <!--描述进行了哪些测试来验证你的改动。--> ## 文档更新 <!--如果这个PR包含文档的更新,请在这里指出。例如:更新了README.md文件。--> ## 类型标签 <!-- [x] 表示选中 --> - [ ] Bug修复 - [ ] 新特性 - [ ] 性能优化 - [ ] 文档更新 - [x] 其他,请描述:补充ST ## AI/Agent生成声明 <!-- [x] 表示选中 --> - [ ] AI辅助编写 See merge request: cann/ops-nn!14343 | 9 days ago | |
几个算子infershape&inferDtype rt2.0加固 Co-authored-by: z30075199<zhangxin660@h-partners.com> # message auto-generated for no-merge-commit merge: !14411 merge long_tail_nn_modify into master 几个算子infershape&inferDtype rt2.0加固 Created-by: z30075199 Commit-by: z30075199 Merged-by: cann-robot Description: ## 描述 <!--在这里详细描述你的改动,包括改动的原因和所采取的方法。--> 几个算子inferShape和inferDtype完善rt2.0实现。 aclnnGatherV3/aclnnGatherV2增加输出shape大于8D拦截。 ## 关联的Issue <!-- 如果这个PR是为了解决特定的Issue,请在这里提供Issue链接。例如:关联Issue #000--> https://gitcode.com/cann/ops-nn/issues/8876 ## 测试 <!--描述进行了哪些测试来验证你的改动。--> 冒烟+geir静态和-1,-2动态场景通路ok ## 文档更新 <!--如果这个PR包含文档的更新,请在这里指出。例如:更新了README.md文件。--> ## 类型标签 <!-- [x] 表示选中 --> - [x] Bug修复 - [ ] 新特性 - [ ] 性能优化 - [ ] 文档更新 - [ ] 其他,请描述: ## AI/Agent生成声明 <!-- [x] 表示选中 --> - [x] AI辅助编写 See merge request: cann/ops-nn!14411 | 5 days ago | |
feat(torch_extension): 新增 HiF4 量化与反量化接口 Co-authored-by: F0rty-tw0<jiangzhongbin3@huawei.com> # message auto-generated for no-merge-commit merge: !13394 merge feat/torch-extension-hif4-master-20261102 into master feat(torch_extension): 新增 HiF4 量化与反量化接口 Created-by: F0rty-tw0 Commit-by: F0rty-tw0 Merged-by: cann-robot Description: ## 描述 为已有 HiF4 算子新增 PyTorch 调用入口,提供 dynamic_hi_f4_quant、dynamic_block_hi_f4_quant、grouped_dynamic_hi_f4_quant 和 anti_hi_f4_quant 四个接口,包含 C++ ACLNN 封装、Python 注册、Meta 推导及 TorchAir GE converter。所有交付文件集中放在顶层 torch_extension/cann_ops_nn/。 公共封装增加 ACL_HIFLOAT4 的 4-bit 判断,以及 DType::HIFLOAT4、DType::HIFLOAT4_SCALE 枚举,使打包 HiF4 Tensor 进入已有逻辑 shape、stride 和 storage offset 转换。修正 Builder 构造函数和 __all__ 导出声明。本次不修改算子 kernel、tiling 或计算算法。 ## 关联的Issue 关联 Issue [#8000](https://gitcode.com/cann/ops-nn/issues/8000)。 ## 测试 - 13 个 Python 文件静态 AST 解析通过。 - Ruff 0.14.14 check、format 检查通过。 - 4 个 C++ 文件和 1 个公共头文件通过 clang-format 18.1.8 检查。 - git diff --check 通过。 - 本地仅完成静态检查;未编译 C++、构建 wheel、导入执行本次接口或运行 NPU/TorchAir 测试。 ## 文档更新 新增四个接口的说明和示例,明确 torch 存储 dtype 与 ACL 逻辑 dtype 的关系。纠正 grouped 量化方向、补全 scale_alg=0 原型,并说明 grouped scale 布局不能直接用于当前反量化接口。 ## 类型标签 - [ ] Bug修复 - [x] 新特性 - [ ] 性能优化 - [x] 文档更新 - [ ] 其他,请描述: ## AI/Agent生成声明 - [x] AI辅助编写 See merge request: cann/ops-nn!13394 | 18 days ago | |
feat: vector算子适配ascend960pr(DV122)平台(2/4) Co-authored-by: biabu111<hebaojing1@huawei.com> # message auto-generated for no-merge-commit merge: !14185 merge feat/dv122-ascend960pr-adaptation-p2 into master feat: vector算子适配ascend960pr(DV122)平台(2/4) Created-by: biabu111 Commit-by: biabu111 Merged-by: cann-robot Description: ## 描述 DV122(Ascend960PR/DAV_9202/Ascend960PR_969A1)vector 算子批量适配**第 2/4 批(38 个算子,ST 全通过)**。 配套:(1/4)!14184(43 算子)、(3/4)!14303(38 算子)、(4/4,ST 隔离批)!14292(64 算子:53 个 ST 失败算子 + 11 个反向依赖闭包)。四 PR 算子集与 ascendc_config.json 条目均无重叠,并集为原全量 183 算子适配;本 PR 与(3/4)为原(2/3)PR 的均衡二分(38/38 算子、142/140 文件,内部无依赖交叉)。 ### 本批范围(38 个算子) 原(2/3)的 76 算子中文件数较多的一半,含 conv/foreach/hash/index/loss/norm/optim/quant 多类目 ### 适配内容(与 1/4 同一方法论) - 注册级:CMakeLists/def.cpp AddConfig/config 960pr 二进制配置/op_kernel COMPUTE_UNITS;ascendc_config.json 仅含本批 30 个条目(715 行规范格式,段级保留原条目文本风格) - 代码级:DAV_9201 系门禁补 DAV_9202/9202/__DAV_920R2__/"Ascend960PR" - 检视修复(随本批保留):grouped_dynamic_block_quant 的 FLOAT_OVERFLOW_MODE_CTRL 门禁三处补 9202,全 PR CtrlSpr 成对性审计通过 ## 测试 - op_host UT 全量:10132 PASSED(唯一失败 MaskedSoftmaxWithRelPosBias B_tiling_52 为已知环境问题,修复在 !14184,上游 master 同样失败) - pre-commit 全部通过(143 文件) ## 文档更新 不涉及 See merge request: cann/ops-nn!14185 | 9 days ago | |
feat: vector算子适配ascend960pr(DV122)平台(3/4) Co-authored-by: biabu111<hebaojing1@huawei.com> # message auto-generated for no-merge-commit merge: !14303 merge feat/dv122-ascend960pr-adaptation-p2b into master feat: vector算子适配ascend960pr(DV122)平台(3/4) Created-by: biabu111 Commit-by: biabu111 Merged-by: cann-robot Description: ## 描述 DV122(Ascend960PR/DAV_9202/Ascend960PR_969A1)vector 算子批量适配**第 3/4 批(38 个算子,ST 全通过)**。 配套:(1/4)!14184(43 算子)、(2/4)!14185(38 算子)、(4/4,ST 隔离批)!14292(64 算子:53 个 ST 失败算子 + 11 个反向依赖闭包)。四 PR 算子集与 ascendc_config.json 条目均无重叠,并集为原全量 183 算子适配;原(2/3)PR(76 算子)按检视要求均分为(2/4)(3/4)两批,两批内部无依赖交叉。 ## ISSUE https://gitcode.com/cann/ops-nn/issues/8671 ### 本批范围(38 个算子) 原(2/3)的 76 算子按算子数 38/38、文件数 142/140 均分(本批为文件数较多的一半) ### 适配内容(与 1/4 同一方法论) - 注册级:CMakeLists SUPPORT_COMPUTE_UNIT/SUPPORT_TILING_DIR、def.cpp AddConfig、op_host/config/ascend960pr 二进制配置(与 960dt 一致)、op_kernel COMPUTE_UNITS - ascendc_config.json 保持上游 715 行逐条目规范格式,仅含本批 28 个条目,段级保留原条目文本风格 - 代码级:DAV_9201、__NPU_ARCH__==9201、__DAV_920R1__、"Ascend960DT" 门禁补 DAV_9202/9202/__DAV_920R2__/"Ascend960PR" - socVersion 枚举值域:960(=1000) 位于 ASCEND910E(=4) 之后,范围判断显式追加 960 枚举 ## 测试 - op_host UT 全量:10132 PASSED(唯一失败 MaskedSoftmaxWithRelPosBias B_tiling_52 为已知环境问题,修复在 !14184,上游 master 同样失败) - pre-commit 全部通过(141 文件) ## 文档更新 不涉及 See merge request: cann/ops-nn!14303 | 8 days ago | |
适配350:AscendDequant、DynamicDualLevelMxQuant、MxToBlockMxQuant 新增 ascend350 平台支持 Co-authored-by: qq_41311449<baihao29@huawei.com> # message auto-generated for no-merge-commit merge: !14414 merge feat/quant-ascend350 into master 适配350:AscendDequant、DynamicDualLevelMxQuant、MxToBlockMxQuant 新增 ascend350 平台支持 Created-by: qq_41311449 Commit-by: qq_41311449 Merged-by: cann-robot Description: ## 描述 AscendDequant、DynamicDualLevelMxQuant、MxToBlockMxQuant 新增 ascend350(arch35)支持:CMakeLists 追加 ascend350/arch35,def.cpp 新增 AddConfig("ascend350", ...),复用 950 配置与 kernel,新增 ascend350 binary json,ascendc_config.json 补充 compute_units。 ## 关联的Issue https://gitcode.com/cann/ops-nn/issues/8782 ## 测试 <!--描述进行了哪些测试来验证你的改动。--> ## 文档更新 <!--如果这个PR包含文档的更新,请在这里指出。例如:更新了README.md文件。--> ## 类型标签 <!-- [x] 表示选中 --> - [ ] Bug修复 - [ ] 新特性 - [ ] 性能优化 - [ ] 文档更新 - [ ] 其他,请描述: ## AI/Agent生成声明 <!-- [x] 表示选中 --> - [ ] AI辅助编写 See merge request: cann/ops-nn!14414 | 5 days ago | |
DynamicHiF4QuantOpti Co-authored-by: pyq17870581669<pengyongqiang5@huawei.com> # message auto-generated for no-merge-commit merge: !13887 merge DynamicHiF4QauntOpti into master DynamicHiF4QuantOpti Created-by: pyq17870581669 Commit-by: pyq17870581669 Merged-by: cann-robot Description: ## 描述 <!--在这里详细描述你的改动,包括改动的原因和所采取的方法。--> 对DynamicHiF4Quant和GroupedDynamicHiF4Quant两个算子进行性能优化。 ## 关联的Issue <!-- 如果这个PR是为了解决特定的Issue,请在这里提供Issue链接。例如:关联Issue #000--> https://gitcode.com/cann/ops-nn/issues/8995 ## 测试 <!--描述进行了哪些测试来验证你的改动。--> 本地通过精度和性能验证;DynamicHiF4Quant算子非尾轴模板平均提升30.8%;GroupedDynamicHiF4Quant算子10us内小shape平均提升20%,10us以上大shape平均提升44.6%; ## 文档更新 <!--如果这个PR包含文档的更新,请在这里指出。例如:更新了README.md文件。--> ## 类型标签 <!-- [x] 表示选中 --> - [ ] Bug修复 - [ ] 新特性 - [x] 性能优化 - [ ] 文档更新 - [ ] 其他,请描述: ## AI/Agent生成声明 <!-- [x] 表示选中 --> - [x] AI辅助编写 See merge request: cann/ops-nn!13887 | 3 days ago | |
feat(dynamic_mx_quant): 支持 Ascend 950 scale_alg=3 NVFP4 block16 量化 Co-authored-by: F0rty-tw0<jiangzhongbin3@huawei.com> # message auto-generated for no-merge-commit merge: !13691 merge feat/dynamic-mx-quant-scalealg3-nvfp4 into master feat(dynamic_mx_quant): 支持 Ascend 950 scale_alg=3 NVFP4 block16 量化 Created-by: F0rty-tw0 Commit-by: F0rty-tw0 Merged-by: cann-robot Description: ## 描述 为 DynamicMxQuant 新增 scale_alg=3 的 NVFP4 block16 量化,支持 Ascend 950 的 FP16/BF16 输入、偶数长度尾轴和 rint / round / floor 三种舍入模式。每16个元素生成 E2M1 数据及 E4M3FN scale,并接入属性校验、输出类型/形状推导及二进制配置。 格式仍声明为ND,沿用官方master的默认格式匹配和输入AutoContiguous()行为,不设置全局FormatMatchMode(STRICT)。 NVFP4 尾轴实现基于 !12982,复用现有尾轴 tiling 与 DynamicMxQuantTailAxisTilingData,通过行列切分和 UB 循环覆盖短行、长行及非对齐尾轴。NVFP4 kernel 集中在 dynamic_mx_quant_tail_axis_nvfp4.h,TPipe 管理搬入、计算和搬出的依赖;不限制完整 DT 型号。 - 保留 FP16/BF16 先求 max、再转 FP32 的数值顺序;补齐使用 NaN,修复全 NaN 尾块、scale 零值/NaN、scale 整理及边界量化的精度问题。 - AutoTiling() 对 scale_alg=3 增加16行评分:按每核最多行数及实际 block16 计算宽度估算工作量,非16对齐段计入现有 kernel 的4个block对齐开销,避免512列整片与短尾片被当作相同负载。候选枚举及原排序器继续复用。 - NVFP4 golden 合入既有 tests/assets/golden.py;本次实现替换使用同一份已验证 golden,未重新生成期望数据。提交范围为算子代码及既有 golden。 ## 关联的Issue 无。 ## 测试 - 独立 CANN 9.2.0 环境完成算子包编译和安装,实测设备 Ascend950DT_9574。 - 格式匹配调整前,量化实现精度3765/3765通过:3560条native、120条连续执行、85条TTK;覆盖FP16/BF16、三种舍入模式、NaN、Inf、-Inf、正负零、极大/极小值及切分边界,y和scale二进制一致,并检查输入和保护区。 - 格式匹配调整前,重新采集85条TTK,二进制精度及内存检查85/85通过;每条预先排除首轮,后5次取算术平均,共425次正式采样,全部保留。 - 相对精度修复后的 !12982 历史结果,40960×528从56.3043μs到35.6558μs,40960×514从56.8980μs到38.9852μs;2560×45058从152.1633μs到159.9430μs,存在约5.11%回退。历史基准为排除首轮后4次均值,最新为5次均值;不宣称逐例均有收益。 - 已同步主仓master。删除全局STRICT后,重新编译安装完整自定义包:原有scale_alg=0/1/2的20条兼容性测试全部通过(FP16/BF16非连续输入、rank1—5及ND/NCL scale对照),NVFP4原生精度3560/3560及120条连续执行全部通过,y/scale二进制一致、输入及保护区正常;已核实实际加载的新库。该包的85条TTK回归在用户要求停止时中断,不计为完成,也未重新采集性能。 - 提交前格式、静态及OAT检查通过。 ## 文档更新 无。 ## 类型标签 - [ ] Bug修复 - [x] 新特性 - [x] 性能优化 - [ ] 文档更新 - [ ] 其他,请描述: ## AI/Agent生成声明 - [x] AI辅助编写 See merge request: cann/ops-nn!13691 | 4 days ago | |
feat: vector算子适配ascend960pr(DV122)平台(2/4) Co-authored-by: biabu111<hebaojing1@huawei.com> # message auto-generated for no-merge-commit merge: !14185 merge feat/dv122-ascend960pr-adaptation-p2 into master feat: vector算子适配ascend960pr(DV122)平台(2/4) Created-by: biabu111 Commit-by: biabu111 Merged-by: cann-robot Description: ## 描述 DV122(Ascend960PR/DAV_9202/Ascend960PR_969A1)vector 算子批量适配**第 2/4 批(38 个算子,ST 全通过)**。 配套:(1/4)!14184(43 算子)、(3/4)!14303(38 算子)、(4/4,ST 隔离批)!14292(64 算子:53 个 ST 失败算子 + 11 个反向依赖闭包)。四 PR 算子集与 ascendc_config.json 条目均无重叠,并集为原全量 183 算子适配;本 PR 与(3/4)为原(2/3)PR 的均衡二分(38/38 算子、142/140 文件,内部无依赖交叉)。 ### 本批范围(38 个算子) 原(2/3)的 76 算子中文件数较多的一半,含 conv/foreach/hash/index/loss/norm/optim/quant 多类目 ### 适配内容(与 1/4 同一方法论) - 注册级:CMakeLists/def.cpp AddConfig/config 960pr 二进制配置/op_kernel COMPUTE_UNITS;ascendc_config.json 仅含本批 30 个条目(715 行规范格式,段级保留原条目文本风格) - 代码级:DAV_9201 系门禁补 DAV_9202/9202/__DAV_920R2__/"Ascend960PR" - 检视修复(随本批保留):grouped_dynamic_block_quant 的 FLOAT_OVERFLOW_MODE_CTRL 门禁三处补 9202,全 PR CtrlSpr 成对性审计通过 ## 测试 - op_host UT 全量:10132 PASSED(唯一失败 MaskedSoftmaxWithRelPosBias B_tiling_52 为已知环境问题,修复在 !14184,上游 master 同样失败) - pre-commit 全部通过(143 文件) ## 文档更新 不涉及 See merge request: cann/ops-nn!14185 | 9 days ago | |
fix(dynamic_quant): prevent Ascend960 copy length overflow Co-authored-by: chuboning<chuboning@foxmail.com> # message auto-generated for no-merge-commit merge: !14544 merge fix/dynamic-quant-ascend960 into master fix(dynamic_quant): prevent Ascend960 copy length overflow Created-by: chuboning Commit-by: chuboning Merged-by: cann-robot Description: ## 描述 <!--在这里详细描述你的改动,包括改动的原因和所采取的方法。--> 本次修复 Ascend960DT 上 DynamicQuant large-shape 输入拷贝长度截断问题,共涉及 5 个 kernel 文件。 **1. 问题根因:** - Ascend960 的 UB 较大,large-shape tiling 计算得到的 innerLoopEle 可达到 47744;FP16/BF16 单次拷贝达到 32768 个元素时,字节数即超过 uint16_t 可表示的 65535 字节。 - 原实现通过 (uint16_t)(elementNum * sizeof(T)) 设置 DataCopyParams::blockLen,长度截断导致输入或 smooth 数据未完整搬入,后续 scale 及量化输出基于不完整数据计算。 - 根据当前 PR 检视意见,除 common 和 per-tensor 路径外,MOE、MOE per-tensor 及 per-token 多核路径也存在同一问题,本次已一并闭合。 **2. 修复方式及覆盖范围:** - common per-token large-shape:DynamicQuantLargeShapeDb::CopyInByEle。 - per-tensor large-shape:DynamicQuantLargeShapeDbPertensor::CopyInByEle。 - MOE large-shape:DynamicQuantLargeShapeMOE::CopyInByEle。 - MOE per-tensor large-shape:DynamicQuantMoeLargeShapePertensor::CopyInByEle 和 CopyInSmoothByEle。 - per-token large multicore:DynamicQuantPertenLargeMulticore::CopyInByEle。 - 上述路径不再按芯片类型增加条件编译,统一使用 DataCopyExtParams 和 DataCopyPadExtParams<T>,所有平台均通过 32 位 blockLen 传递拷贝字节数,避免后续芯片因分块增大再次触发同类问题。 ## 关联的Issue <!-- 如果这个PR是为了解决特定的Issue,请在这里提供Issue链接。例如:关联Issue #000--> - 关联 Issue #8907:https://gitcode.com/cann/ops-nn/issues/8907 ## 测试 <!--描述进行了哪些测试来验证你的改动。--> - Ascend960DT 小包验证通过,覆盖 common per-token 和 per-tensor large-shape 修复路径。 - 根据检视意见补充 MOE、MOE per-tensor 和 per-token 多核路径的同型修复; ## 文档更新 <!--如果这个PR包含文档的更新,请在这里指出。例如:更新了README.md文件。--> - 无文档更新。 ## 类型标签 <!-- [x] 表示选中 --> - [x] Bug修复 - [ ] 新特性 - [ ] 性能优化 - [ ] 文档更新 - [ ] 其他,请描述: ## AI/Agent生成声明 <!-- [x] 表示选中 --> - [x] AI辅助编写 See merge request: cann/ops-nn!14544 | 4 days ago | |
fix(dynamic_quant_update_scatter): 修复GPU third_party实现回退CPU Co-authored-by: chensi79<chensi79@huawei.com> # message auto-generated for no-merge-commit merge: !14707 merge fix/dynamic-quant-update-scatter-gpu-reference-20261117 into master fix(dynamic_quant_update_scatter): 修复GPU third_party实现回退CPU Created-by: chensi79 Commit-by: chensi79 Merged-by: cann-robot Description: ## 描述 修复 DynamicQuantUpdateScatter 的 TTK GPU 第三方参考实现将 CUDA 输入拷回 CPU、调用逐行 CPU golden 后再拷回 GPU 的问题。对于 DynamicQuantUpdateScatter_L0_accuracy_perf_c_s_005,一次调用包含 236,544 次逐行循环;启用 --xpu-perf 后产生大量 CPU profiler 事件,导致远程请求持续数分钟乃至更久,并占用大量主机内存。 第三方实现改用输入设备上的 Torch 张量批量完成 FP32 平滑、末轴归约、量化与 scale 计算;仅将小型 indices 张量读回主机,按 batch 顺序写回,保留重复及重叠索引的后写覆盖语义。CPU golden 保留作为精度对照。 ## 关联的Issue 关联 Issue:#9049(https://gitcode.com/cann/ops-nn/issues/9049) ## 测试 - 本地 CPU 36 组对照、远程 CPU/CUDA 72 组对照全部通过:覆盖 FP32/FP16/BF16、可选 smooth、零值/极小值/舍入边界、1D/2D indices、负 axis、重复及重叠写入,以及输入不被修改。int8 输出逐元素相等,scale 按 rtol=1e-6、atol=0 对比。 - 使用该 case 的完整 shape 和极小值输入直接验证 CUDA 输出通过;预热后单次调用墙钟耗时约 2.2 ms,包含输出 clone 和小型 indices 主机读取。此数据是独立调用测试,非完整 TTK 报告。 - 使用与远端 TTK 相同的 CPU/CUDA profiler 配置(wait=1、warmup=1、active=3),5 次完整 shape 调用及 profiler 停止、key_averages 汇总约 2.23 秒完成。 - git diff --check 通过。尚未执行修改后的完整 TTK GEIR 流程。 ## 文档更新 无。 ## 类型标签 - [x] Bug修复 - [ ] 新特性 - [x] 性能优化 - [ ] 文档更新 - [ ] 其他,请描述: ## AI/Agent生成声明 - [x] AI辅助编写 See merge request: cann/ops-nn!14707 | 3 days ago | |
fix(norm,quant): 修复DeepNormGrad dgamma/dbeta跨行累加精度与DynamicQuantUpdateScatterV2窄区间行INT4量化偏差 Co-authored-by: tianqiguang<tianqiguang@huawei.com> # message auto-generated for no-merge-commit merge: !14393 merge master into master fix(norm,quant): 修复DeepNormGrad dgamma/dbeta跨行累加精度与DynamicQuantUpdateScatterV2窄区间行INT4量化偏差 Created-by: tianqiguang Commit-by: tianqiguang Merged-by: cann-robot Description: ## 描述 本 PR 修复 arch35(Ascend 950PR/950DT)路径下两个算子的数值精度问题,只改 kernel 计算与测试 golden,不涉及对外接口。 ### 1. DeepNormGrad:dgamma/dbeta 跨行累加引入 Kahan 补偿 **问题**: ProcessGammaBeta 按列分核,每个列 tile 在本地 fp32 buffer 中跨全部行顺序累加 dgamma += dy * ((alpha*x + gx) - mean) * rstd、dbeta += dy。行数较大时 fp32 直接累加的舍入误差随行数增长,dgamma/dbeta 与 fp64 参考明显偏离。 **修改**: - deep_norm_grad.h:ComputeGammaBeta 声明新增 dgammaComp、dbetaComp 补偿张量参数。 - deep_norm_grad_part1.h:ComputeGammaBeta 改为 Kahan 补偿求和(adjusted = value - comp → newSum = sum + adjusted → delta = newSum - sum → comp = delta - adjusted),与算子内 ComputeSmallDSecondPass、ComputeTinyDBatch、AccumulateKahan 既有 Kahan 实现一致;沿用已有 KahanGuardComp 清理补偿项 NaN/±Inf,保证 dy ≡ ±Inf 时 dbeta 按 IEEE 语义输出 ±Inf 而非 NaN。 - deep_norm_grad_part2.h:ProcessGammaBeta 复用该路径空闲的 calc0Buf_/calc1Buf_ 承载补偿项(gammaBetaRowSplit == 0 分支未初始化 dgammaCompBuf_/dbetaCompBuf_;calc 缓冲只在 ProcessBackward() 中使用,而 Process() 中 ProcessBackward() 先于 ProcessGammaBeta() 串行执行),每个列 tile 起始置零,不新增 UB 占用。 ### 2. DynamicQuantUpdateScatterV2:INT4 量化公式避免 fp32 灾难性抵消 **问题**:原量化公式 round(x * backScale + offset),其中 scale = max((max-min)/15, 1e-12)、offset = 7 - max/scale。行内 max≈min(如整行恒定值)时 scale 被 QUANT_EPSILON=1e-12 截断,max/scale 达 1e12 量级;fp32 在该量级 ULP 约 2^18,offset 中的 +7 被完全吞掉,相加相消后得到 0,而期望 max 映射到 INT4_QUANT_MAX=7,量化结果错误。 **修改**: - dynamic_quant_update_scatter_v2_regbase.h:QuantizeVF 新增 maxValue 入参,量化改为 (x - max) * backScale + INT4_QUANT_MAX——先 Adds(x, -max),差值落在输入量级,再乘 backScale、加 7,避免大数相消;与原公式数学等价。 - tests/assets/golden.py:参考实现同步为 (row - max_val) * back_scale + quant_max,与 kernel 公式一致;offset_quant 仅保留用于 offset 输出。 ## 关联的Issue - #8858 ## 测试 - ST:tests/st/arch35/ttk_kernel_dynamic_quant_update_scatter_v2_st.csv 已包含 eps 截断场景 a5_fp16_constant_zero_b8_s5_h64、a5_bf16_constant_pos_b8_s5_h64、a5_fp16_near_zero_b8_s5_h128 等用例;golden 已同步为与 kernel 相同公式,用于回归。 - DeepNormGrad:Kahan 累加流程、mask 与 load/store 配对与算子内既有 Kahan 实现一致。 - CI 流水线已通过(PR 标签 ci-pipeline-passed)。 ## 文档更新 无。本次仅修改 arch35 kernel 实现与测试 golden,不涉及对外文档。 ## 类型标签 - [x] Bug修复 - [ ] 新特性 - [ ] 性能优化 - [ ] 文档更新 - [ ] 其他,请描述: ## AI/Agent生成声明 - [ ] AI辅助编写 See merge request: cann/ops-nn!14393 | 5 days ago | |
test: 恢复被注释的UT断言与用例(Issue #7688责任田,13文件58处) Co-authored-by: ywx1080114<yuanbin22@huawei.com> # message auto-generated for no-merge-commit merge: !14375 merge fix-commented-assertions into master test: 恢复被注释的UT断言与用例(Issue #7688责任田,13文件58处) Created-by: yuanbin_22 Commit-by: ywx1080114 Merged-by: cann-robot Description: ## 描述 <!--在这里详细描述你的改动,包括改动的原因和所采取的方法。--> 恢复 Issue #7688 责任田内被注释的 UT 断言与测试用例,共 13 个文件(+175 -166),恢复断言/校验 58 处: **恢复被注释的断言(12 个文件,49 处):** | 文件 | 恢复数 | |------|--------| | quant/dynamic_quant_v2/tests/ut/op_host/test_dynamic_quant_v2_tiling.cpp | 18 | | quant/ascend_quant_v2/tests/ut/op_api/test_aclnn_ascend_quant.cpp | 7 | | quant/ascend_anti_quant_v2/tests/ut/op_host/op_api/test_aclnn_ascend_anti_quant.cpp | 5 | | activation/ge_glu_grad_v2/tests/ut/op_host/op_api/test_aclnn_geglu_backward.cpp | 4 | | activation/sigmoid/tests/ut/op_host/arch35/test_sigmoid_tiling.cpp | 3 | | activation/silu_grad/tests/ut/op_api/test_aclnn_silu_backward.cpp | 3 | | activation/ge_glu_v2/tests/ut/op_host/test_aclnn_geglu.cpp | 2 | | activation/gelu_quant/tests/ut/op_host/test_gelu_quant_tiling.cpp | 2 | | quant/ascend_quant_v2/tests/ut/op_host/test_ascend_quant_v2_tiling.cpp | 2 | | activation/swish_grad/tests/ut/op_api/test_aclnn_swish_backward.cpp | 1 | | norm/deep_norm/tests/ut/op_host/test_DeepNorm_infershape.cpp | 1 | | quant/quantize/tests/ut/op_api/test_aclnn_quantize.cpp | 1 | **恢复被注释的整段测试用例:** - index/sparse_slice/tests/ut/op_host/test_sparse_slice_infershape.cpp(9 处):恢复整段被注释的 TEST_F 用例(含 InferShapeRange_success 等)。 **适配处理:** - test_sigmoid_tiling.cpp:原注释断言使用已废弃的 to_string<int64_t>(...) 接口,新增本地 TilingData2Str 辅助函数读取 tiling data,并按当前 tiling 行为修正期望值(如 15800 15480 → 15872 10944),断言恢复为 EXPECT_NE(TilingData2Str(tilingData).find(...), string::npos)。 **改动原因:** 历史整改中被注释的 UT 断言长期失去看护作用,按 Issue #7688 责任田清单批量恢复,重建 UT 对 tiling key、tiling data、输出 dtype/shape 等的校验能力。 ## 关联的Issue <!-- 如果这个PR是为了解决特定的Issue,请在这里提供Issue链接。例如:关联Issue #000--> - 关联 Issue #7688(仅关联,合并后不自动关闭该 Issue) ## 测试 <!--描述进行了哪些测试来验证你的改动。--> - 恢复的 58 处断言随对应 UT 套件执行通过(tiling key、tiling data、infershape、aclnn 输出校验等)。 ## 文档更新 <!--如果这个PR包含文档的更新,请在这里指出。例如:更新了README.md文件。--> - 无需文档更新。 ## 类型标签 <!-- [x] 表示选中 --> - [ ] Bug修复 - [ ] 新特性 - [ ] 性能优化 - [ ] 文档更新 - [x] 其他,请描述:测试(恢复被注释的UT断言) ## AI/Agent生成声明 <!-- [x] 表示选中 --> - [x] AI辅助编写 See merge request: cann/ops-nn!14375 | 5 days ago | |
docs(fake_quant): 修正 per-channel 接口维度与 zeroPoint 资料 Co-authored-by: zhouyuanhang30083383<zhouyuanhang4@h-partners.com> # message auto-generated for no-merge-commit merge: !14641 merge codex/docs-fakequant-rank-7552 into master docs(fake_quant): 修正 per-channel 接口维度与 zeroPoint 资料 Created-by: m0_55003149 Commit-by: zhouyuanhang30083383 Merged-by: cann-robot Description: ## 描述 修正 aclnnFakeQuantPerChannelAffineCachemask 中文和英文资料与当前实现的契约不一致: - per-channel 接口在 CheckShape 中明确拒绝 0 维 self,因此 self、out、mask 的维度统一为 1-8。 - 当前实现支持 zeroPoint 为 INT32、FLOAT16、FLOAT32;同步修正接口头文件注释中仍写为仅支持 INT32 的旧说明。 本 PR 仅修改资料和接口注释,不改变算子功能。 ## 关联的Issue https://atomgit.com/cann/ops-nn/issues/7552 ## 测试 ## 文档更新 - 更新 quant/fake_quant_affine_cachemask/docs/aclnnFakeQuantPerChannelAffineCachemask.md。 - 更新 quant/fake_quant_affine_cachemask/docs/aclnnFakeQuantPerChannelAffineCachemask_en.md。 ## 类型标签 - [ ] Bug修复 - [ ] 新特性 - [ ] 性能优化 - [x] 文档更新 - [ ] 其他,请描述: ## AI/Agent生成声明 - [x] AI辅助编写 See merge request: cann/ops-nn!14641 | 3 days ago | |
fix(heaviside): 补充input维度上限校验与values异常形态报错,同步README约束 Co-authored-by: tan_xin<tanxin44@huawei.com> # message auto-generated for no-merge-commit merge: !13710 merge master-fused into master fix(heaviside): 补充input维度上限校验与values异常形态报错,同步README约束 Created-by: tan_xin Commit-by: tan_xin Merged-by: cann-robot Description: ## 描述 本次提交围绕 Heaviside 算子 tiling 校验增强与三个算子的 README 约束说明对齐展开: **Heaviside tiling 校验增强(op_host/heaviside_tiling.cpp)** - 新增 MAX_INPUT_DIM_NUM = 8 上限常量,在 RunBigKernelTiling 中校验 input 维度数,超过 8 维直接返回 GRAPH_FAILED,防止 kernel 处理超出支持范围的高维输入。 - 完善 GetValuesType 异常分支日志: - values 为空 Tensor(shape size 为 0)时显式拒绝并输出错误日志(图模式不支持空 Tensor); - input/values 不满足标量或同 shape 关系时明确拒绝并输出错误日志(图模式 kernel 不做 broadcast)。 **Heaviside tiling UT 补充(tests/ut/op_host/test_heaviside_tiling.cpp)** - HeavisideTilingData_08_input_dim_over_8:9 维 input 场景 tiling 应失败; - HeavisideTilingData_09_input_0d_scalar_values:input 0 维标量 + values 标量场景 tiling 应成功。 **README 约束说明对齐** - activation/heaviside/README.md:明确 input 支持 1~8 维(values 为单元素时额外支持 0 维标量)、values 仅支持单元素或与 input 同 shape、图模式不支持一般广播及空 Tensor; - optim/fused_mul_apply_momentum_extern/README.md:修正 var/accum/var_copy 输入说明(去除 inplace 双重标注)、属性顺序调整、调用方式改为 GE图模式; - quant/fake_quant_with_min_max_args/README.md:明确 round-half-away 语义、q_offset 计算公式、min/max 有限值约束及溢出校验、调用方式改为 GE图模式。 ## 关联的Issue - #8206(https://gitcode.com/cann/ops-nn/issues/8206) ## 测试 - 新增 2 条 Heaviside tiling UT(维度超限失败、0维标量成功)通过。 - git diff --check 通过。 ## 文档更新 - 更新 activation/heaviside/README.md、optim/fused_mul_apply_momentum_extern/README.md、quant/fake_quant_with_min_max_args/README.md。 ## 类型标签 - [x] Bug修复 - [ ] 新特性 - [ ] 性能优化 - [x] 文档更新 - [ ] 其他,请描述: ## AI/Agent生成声明 - [ ] AI辅助编写 See merge request: cann/ops-nn!13710 | 16 days ago | |
几个算子infershape&inferDtype rt2.0加固 Co-authored-by: z30075199<zhangxin660@h-partners.com> # message auto-generated for no-merge-commit merge: !14411 merge long_tail_nn_modify into master 几个算子infershape&inferDtype rt2.0加固 Created-by: z30075199 Commit-by: z30075199 Merged-by: cann-robot Description: ## 描述 <!--在这里详细描述你的改动,包括改动的原因和所采取的方法。--> 几个算子inferShape和inferDtype完善rt2.0实现。 aclnnGatherV3/aclnnGatherV2增加输出shape大于8D拦截。 ## 关联的Issue <!-- 如果这个PR是为了解决特定的Issue,请在这里提供Issue链接。例如:关联Issue #000--> https://gitcode.com/cann/ops-nn/issues/8876 ## 测试 <!--描述进行了哪些测试来验证你的改动。--> 冒烟+geir静态和-1,-2动态场景通路ok ## 文档更新 <!--如果这个PR包含文档的更新,请在这里指出。例如:更新了README.md文件。--> ## 类型标签 <!-- [x] 表示选中 --> - [x] Bug修复 - [ ] 新特性 - [ ] 性能优化 - [ ] 文档更新 - [ ] 其他,请描述: ## AI/Agent生成声明 <!-- [x] 表示选中 --> - [x] AI辅助编写 See merge request: cann/ops-nn!14411 | 5 days ago | |
fix(FakeQuantWithMinMaxVars): 修正 kernel 注释取整语义描述、补齐 README 约束说明与 golden 资产 Co-authored-by: xuejinghui<xuejinghui@huawei.com> # message auto-generated for no-merge-commit merge: !14204 merge fix/fakequantwithminmaxvars-fix-1+2+3+4+5+6+7+8+9+10+11 into master fix(FakeQuantWithMinMaxVars): 修正 kernel 注释取整语义描述、补齐 README 约束说明与 golden 资产 Created-by: xuejinghui Commit-by: xuejinghui Merged-by: cann-robot Description: # fix(FakeQuantWithMinMaxVars): 修正注释取整语义、增加 min/max 形状校验、补齐约束说明文档与 golden 资产 ## 描述 本 PR 对 FakeQuantWithMinMaxVars 算子做四组修正:一组输入合法性修复(min/max 形状校验)+ 三组零行为变化的注释/文档/资产修正: **1. op_host tiling 增加 min/max 形状校验(行为修复)** min/max 为 GM 端标量输入,kernel 以固定 4B DataCopyPad 无条件消费 min[0]/max[0]:空张量(如 (0,))时越界读 GM,多元素(如 (2,))时取未定义元素,而 infershape/tiling 此前对 min/max shape 全链路无校验。在 TilingFunc 读取输入 shape 之后、空张量快路径之前增加 min/max shape==(1,) 校验,违反即 OP_LOGE(含算子名/输入名/实际 shape)并返回 GRAPH_FAILED,单点覆盖全部 kernel 执行路径(仅 shape==(1,) 的合法 min/max 可到达 kernel launch);空快路径对合法 min/max 的空 x 行为保持不变(空输入产空输出)。同函数移除两行调试残留日志(含 %ul 格式缺陷)。新增 6 个看护 UT:4 个拒绝形(min/max 各取 (0,)/(2,),x 固定合法 (8,))+ 2 个空 x 场景(空 x (0,)×非法 min/max 断言拒绝——看护校验先于空输入早退的顺序约束;空 x (0,)×合法 min/max 断言成功——空快路径可用性对照)。行为变化面 = 4 类非法 min/max 用例从静默接受 / golden 层拒绝转为算子内拒绝;正向行为零变化(正向用例逐位一致,安装产物哈希仅 tiling 库变化、kernel 侧逐位一致)。 **2. kernel/tiling 取整口径与实码一致(注释修正 + TilingKey ROUND_MODE 收口,零数值变化)** 头注释声称 CAST_RINT(round-half-to-even)取整及 (x-nmin)*invScale 平移公式,与实码不符——Compute 实际为 floor(clamp*invScale+0.5)*scale,fp32→int32 CastTrait 硬编码 CAST_FLOOR(round-half-up)。修正 kernel.h Compute 语义描述,并将 "pipe-level API" 层级表述精确化为 "register-level intrinsics"(计算主体为 __VEC_SCOPE__ 内 AscendC::Reg 寄存器级);.cpp 中 ROUND_MODE hardcoded 取值同步修正;tiling_data.h roundMode 字段枚举口径与 tiling_key 定义对齐(0 为 CAST_FLOOR),并补该字段 kernel 不读取(取整由 CastTrait 硬编码决定)的 unused 澄清,与模板参数注释口径对称。陈旧的是注释而非代码(golden/README/DESIGN 与实码一致)。 同时按检视意见将 tiling 选参与 kernel 硬编码取整口径收口一致:tiling.cpp 两处 ASCENDC_TPL_SEL_PARAM(N==0 空快路径与主路径)ROUND_MODE 实参 1→0、roundMode 字段值 1→0、伴生注释与 tiling_key.h 当前选择注释同步 CAST_FLOOR(0)(实例网格表述按 UI_LIST 实际修正为 4 实例);上游 UT 断言值随口径同步(GetTilingKey 12U→4U、roundMode 1→0,断言与实现指向同一新口径)。该模板参数未被 kernel 函数体消费,数值行为零变化,仅 TilingKey 值变(12→4,实例化网格内既有实例,运行期查找安全);实测 TilingKey 12→4(主路径+空快路径双验证)、数值输出与修改前逐位一致(max_abs=0.0)、kernel 二进制哈希不变,Host UT 27/27。 **3. README 约束说明补齐(中英同步,2 文件)** - 异常场景处置说明(免责式):违反输入约束场景(dtype 不在支持列表、min/max shape 非法或为空张量、num_bits 超出 [2,16]、数据格式不支持、缺少必需输入等)的处置形态(拒绝执行、报错或未定义的计算结果)与具体错误码由执行环境/框架决定,不承诺精确处理行为与错误码; - min/max 形状校验行为分层说明:min/max 形状约束由算子 tiling 阶段强制校验(shape 必须为 (1,),空张量/多元素即拒绝执行),x 的空维度仍为合法输入(空输入产空输出); - min/max shape 约束澄清:shape 必须为 (1,),"shape 含 0 维"精确化为"shape 含值为 0 的维度"(如 (0,) 属非法输入)。 **4. 补齐 tests/assets/golden.py(新增 1 文件)** 仓内 416 个算子持有 tests/assets/golden.py 真值资产,本算子缺位。自 operator-artifacts 定版件同步(含 kernel/GEIR 双键与 e2e API 键三路由),许可头按仓内 OAT 标准模板。 ## 关联的Issue Fixes #8595 ## 测试 - UT:Host UT 27/27 全过(21 存量 + 4 新增 min/max 拒绝形看护 + 2 空输入顺序约束看护,TDD 红基线先行钉死 oracle);opkernel UT 全过; - TTK 回归:L0 全量 27 用例 ×2 轮确定性逐位一致(fp32 确定模式);tiling 校验修复后定向回归正向用例逐位一致(含空 x 合法用例),min/max 空张量从 golden 层拒绝转为算子拒绝(错误日志含算子名与实际 shape)、min/max (2,) 从静默接受转为算子拒绝;L2 负向 30 用例按通路形态谱分类核验(结构化拒绝/设备错误/比对门拒绝/接受面与 README 免责口径一致);supplement 防复发用例全过; - CI 预检:本地 pre-commit 全绿(含 OAT License Header、ruff check/format、codespell);pre-push 门禁全过(JIT build + ophost UT 27/27 + opkernel UT + ascend950 pkg); - 安装产物:重建+隔离安装+verify_install+binpath 三层核验通过;tiling 校验轮产物哈希仅 tiling 库变化(kernel 侧与基线逐位一致,正向行为零变化自证)。 ## 文档更新 更新 quant/fake_quant_with_min_max_vars/README.md 与 README_en.md(双语逐点语义同步,含 min/max 校验行为分层说明)。 ## 类型标签 - [x] Bug修复 - [ ] 新特性 - [ ] 性能优化 - [x] 文档更新 - [ ] 其他,请描述: ## AI/Agent生成声明 - [x] AI辅助编写 ## 决策与权衡 - **min/max 校验落点**:choke point 选在 op_host TilingFunc(shape 读取后、空快路径前)而非 infershape 或逐 kernel 改造——单点覆盖全部 kernel 执行路径(含 aclnn 直调通路);先于空快路径保证"仅 shape==(1,) 可达 kernel launch";空 x 合法输入的空快路径行为保持不变;infershape 不动(GE 构图层早期拒绝留作后续可选); - **注释 vs 代码**:取整语义不一致的根因是注释陈旧而非代码缺陷(golden/README/DESIGN 与实码一致),故仅修注释,零行为变化,避免无谓的重编译风险与真值基线漂移; - **golden 落位口径**:仓内件取"OAT 模板许可头 + 定版件主体经 ruff format 规范化(AST 等价)",不逐字节同步——operator-artifacts 定版件主体非 ruff-clean,与仓内 pinned pre-commit 钩子物理互斥;等价性经 AST dump 全等、构造链复现逐字节闭合三重机械证明; - **错误码免责式口径**:kernel 本体对 shape/空张量无入口校验、num_bits 无取值约束(直接调用通路实测存在静默接受形态),README 改为通路中立的免责式声明(处置形态与错误码由执行环境决定),而非承诺确定的拒绝行为与精确错误码——避免文档承诺超出算子本体能兑现的范围;min/max 形状约束为该口径的显式例外(tiling 阶段强制校验,见第 1 组改动)。 ## 修订说明 - **修订轮(force-push 重聚合)**:应检视意见(检视报告发现 SEC-3.1/SEC-3.2:min/max 空张量 4B DataCopyPad 越界读 GM 机制)增加 op_host tiling min/max 形状校验与看护 UT(第 1 组),并同步 README 双语 min/max 校验行为说明(第 3 组);原 5 个 commit 重聚合为 3 个(满足 PR commits ≤3 约定),聚合前后 git tree 哈希一致(零内容变化自证); - **修订轮二(force-push 重聚合)**:应检视意见(tiling 两处 ASCENDC_TPL_SEL_PARAM 仍按 ROUND_MODE=1(CAST_RINT) 选模板实例,与 kernel 硬编码 CAST_FLOOR 不一致,易误导)将 tiling 选参、roundMode 字段值、注释与上游 UT 断言整族同步至 CAST_FLOOR(0)(第 2 组,TilingKey 12→4;该模板参数未被 kernel 消费,数值零变化自证);4 个 commit 重聚合为 3 个后 force-push,聚合前后 git tree 哈希一致(零内容变化自证); - **修订轮三(force-push 重聚合)**:应检视意见(看护 UT 均为非空 x,未覆盖 min/max 形状校验须先于 N==0 空输入早退的顺序约束)在参数化用例中补 2 个空 x 场景 TEST_P 实例——空 x (0,)×非法 min (0,) 断言 tiling 返回 GRAPH_FAILED(看护校验先于空输入早退生效)、空 x (0,)×合法 min/max (1,) 断言 SUCCESS(空快路径可用性成功对照);test-only 变更(op 包与安装产物零变化),Host UT 27/27;4 个 commit 重聚合为 3 个后 force-push,聚合前后 git tree 哈希一致(零内容变化自证); - **当前 commit 清单**(基线 b44f6ed3a): 1. 0e33cc029 fix(fake_quant_with_min_max_vars): tiling 增加 min/max 形状校验并同步 ROUND_MODE 口径,看护 UT 覆盖空 x 场景 2. 9847d8917 docs(fake_quant_with_min_max_vars): 补充异常场景处置说明、min/max 形状校验行为与空张量约束澄清(中英同步) 3. 48109a204 test(fake_quant_with_min_max_vars): 同步 TTK golden 至仓内 tests/assets(补齐资产缺位,与 operator-artifacts 定版件一致) See merge request: cann/ops-nn!14204 | 8 days ago | |
fix(quant): fake_quant_with_min_max_vars_gradient 动态 shape 支持、Tiling shape 校验与小形状 baseLen 下限修复 Co-authored-by: fengjiawei1<fengjiawei5@huawei.com> # message auto-generated for no-merge-commit merge: !12594 merge fix/fake-quant-with-min-max-vars-gradient into master fix(quant): fake_quant_with_min_max_vars_gradient 动态 shape 支持、Tiling shape 校验与小形状 baseLen 下限修复 Created-by: fengjiawei1 Commit-by: fengjiawei1 Merged-by: cann-robot Description: ## 变更内容 ### A. fake_quant_with_min_max_vars_gradient(5 项) 1. **InferShape 豁免动态 shape 描述符**:min/max 强制具体 (1,)、gradients/x 逐维严格相等把合法动态图在构图阶段拒绝;改为只校验已知部分(未知 rank 跳过、未知维豁免、min/max 未知描述符豁免),具体违约仍按 spec 拒绝。 2. **Tiling 确定性 shape 校验兜底**:Tiling 每次执行必为具体值,在 GetOpParam() 增加 gradients/x 同形与 min/max (1,) 兜底校验。 3. **Tiling baseLen 按 VF(64) 对齐**:小形状下 baseLen 仅 8 元素对齐,单块 UB 缓冲 32~224 字节,无谓词 vlds 装载固定 256 字节读越界;maxBaseLen 按VL向下取整、baseLen 按VL向上取整后钳 maxBaseLen(对齐同族 args_gradient 写法,覆盖检视 Blocker 意见)。 4. **min/max rank-0 标量接受与输出跟随**:TF 原生图(tfmot QAT)以 rank-0 标量喂 min/max,此前被 (1,) 硬校验拒绝且输出固定 (1,)。对齐 canndev 基线(标量进标量出):InferShape/Tiling 接受 rank-0 或 (1,),backprop_wrt_min/max 输出跟随 min/max 输入形状;kernel 无需改(标量与 (1,) 内存布局相同)。 5. **UT 补充**:InferShape dyn_0~4(未知维/未知 rank 放行、守护用例)+ scalar_min_max(rank-0 放行且输出跟随);Tiling case_20/21(小形状 baseLen VL 对齐守护)、case_22(标量 min/max 放行)、fail_5~7(具体违约拒绝用例)。 ### B. dequant_bias(27 项裁定中的代码部分) arch35(ascend950/350)路径: - **尾块合并 UB 越界写**:合并尾块 baseLenTail=baseLen+1~7 行距 Align16 后达 baseLen+16,五个 UB 队列按 Align16(baseLen) 分配不足;tiling baseN 预算与 kernel Init 均改按 max(baseLen, baseLenTail) 分配 - **activate_scale GM 越界读**:CopyInAS 忽略实际行数固定按 baseN 读,末批次越出 [M];行数传入 ReplicateCols - **AS 缓冲行距失配**:填充 Align16(baseLen) vs Compute Align16(curLen) 平铺读取,合并尾块读到未填充区段的垃圾 scale;CopyInAS 改传当前列块长统一行距 - **tiling 校验补齐**:x 恰为 2 维、weight_scale/bias 长度==N、activate_scale 长度==M;可选输入空 Tensor 视为不存在(对齐通用路径与 spec/aclnn 契约) - **vectorLength 守卫收紧**:SDK FloorAlign 无零保护(a/b*b),vectorLength<4 使 alignVL=0 除零;守卫 <=0 收紧为 <SIZE_FLOAT 通用路径(ascend910b/910_93/kirin): - **M/N uint32 截断**:int64→uint32 无范围校验(N=2^32 截 0 除零、N=2^32+k 静默错果、M=2^32+5 绕过 M≤25000,910B3 实测复现);赋值前 int64 上界校验拒绝 - **空 tensor 除零**:910B3 实测确认空输入(M=0 或 N=0)放行返回空输出为 A2/A3 契约;修复为两处除零源头钳位——perCoreRow=max(CeilDiv(M,aivNum),1)(M=0 时 needCoreNum=0,kernel 全核退出,与 arch35 守卫同语义)、nAlign=max(CeilAlign(N,16),1)(N=0 时 buffer 全为最小正数,kernel CopyIn blockLen=0 拷 0 字节即空输出);正常输入数值路径不变 - **N>8192 行覆盖缺口**:multi kernel 每循环硬编码 1 行,tiling UB 批行覆盖使 perCoreLoops<perCoreRow 导致每核丢行;批行重算限定 N≤8192 路径 InferShape: - **rank 校验**:rank=0 原越秩读取、rank>2 原静默截断;改为强制恰为 2 维(910B3 实测 rank 0/1/3 均被 A2/A3 tiling 层拒绝,方向一致);空 tensor 不在此拒绝 - **InferDataType 非法值静默通过**:非法 outputDtype(非 1/27,含 attr 缺失默认 0)不设类型返回成功;补 else 分支拒绝(对齐 A2/A3 tiling 层既有硬校验 "Attr outputDtype should be 1 or 27",910B3 实测 outputDtype=0/2 均被拒) - **入口日志串名**:AddRmsNorm 拷贝残留更正 构建规范: - 7 个 CMakeLists 行尾空白清除,3 个 CMakeLists 与 4 个 config JSON 补文件末尾换行 UT 同步: - test_dequant_bias_infershape.cpp:改用 Runtime2TestParam + param.attrs = {"output_dtype"} 正确注入路径(无参重载不注入任何 attr),适配新校验 ## 关联的Issue https://gitcode.com/cann/ops-nn/issues/8038 ## 测试 - 本仓构建树增量编译 ophost_nn_infer_obj / ophost_nn_tiling_obj 通过; - 全套 UT(fake_quant 58 用例 + 新增 dyn/scalar/case_20~22/fail_5~7 + dequant_bias 适配用例)--soc=ascend950 运行通过; - 910B3 实卡实测:fake_quant 标量 min/max、dequant_bias 空 tensor/超大 shape/rank/outputDtype 边界; - pre-commit 全部钩子通过(clang-format / codespell / OAT 合规)。 ## 文档更新 配套文档与示例修复见 MR !13238;交付 golden 修复见 operator-artifacts MR !288/!289。 ## 类型标签 - [x] 🐛 Bug修复 See merge request: cann/ops-nn!12594 | 17 days ago | |
fix(golden): 3 算子 golden 修复与补齐——适配 CI tf/torch 容器隔离及注册面补全 Co-authored-by: xuxiao59<xuxiao59@huawei.com> # message auto-generated for no-merge-commit merge: !13879 merge fix/changwei_jiaoyiming-58 into master fix(golden): 3 算子 golden 修复与补齐——适配 CI tf/torch 容器隔离及注册面补全 Created-by: gcw_xYUkRrAH Commit-by: xuxiao59 Merged-by: cann-robot Description: ## 修复内容 Fixes #8370 三个算子的 golden 测试资产修复与补齐: ### 1. FakeQuantWithMinMaxVarsPerChannelGradient(Fixes #8370) _TfCompetitor.__call__ 中 torch 导入从无条件改为 try/except 守卫式(对齐 CI tf/torch 容器隔离标准): - **改前**:import tensorflow as tf + import torch 同一函数体内无条件双框架导入 - **改后**:try: import torch / except ImportError: torch = None,arr() 中条件转换 - tensorflow 保持惰性导入(缺失时 TTK 映射 "third_party unavailable" 优雅降级) - golden 结构向 OA 仓对齐(双 Spec 类 + __golden__ 注册面) ### 2. hard_sigmoid_grad golden 融合图模式入口与参数化三方对照: - 路由注册补 torch.ops.aten.hardsigmoid_backward.default 别名 - torch spec 增加 torch_graph 图入口 - third_party 升级为参数化(alpha/beta 可传)的 ATen 仿射交叉对照 ### 3. fake_quant_with_min_max_vars_per_channel golden 补齐 __spec__/third_party/tolerance 注册(与 OA 仓口径一致): - __spec__ 映射表(算子名/kernel 名/tf 全名 → Spec 类) - third_party TF 竞品 + tolerance float32 cross_check L1 均为纯测试资产改动,不涉及 kernel/host 代码。 ## 验证 - FakeQuantWithMinMaxVarsPerChannelGradient:修复前后 golden 输出 bit-exact;容器模拟双向通过 - hard_sigmoid_grad / fqmmvpc:golden 功能验证通过(注册面完整、三方对照可用) - pre-commit 全绿 See merge request: cann/ops-nn!13879 | 12 days ago | |
fix(quant): 修复 FakeQuantWithMinMaxVarsPerChannelGradient 三方采集形参名绑定失败 Co-authored-by: xuxiao59<xuxiao59@huawei.com> # message auto-generated for no-merge-commit merge: !14328 merge fix/changwei_jiaoyiming-77 into master fix(quant): 修复 FakeQuantWithMinMaxVarsPerChannelGradient 三方采集形参名绑定失败 Created-by: gcw_xYUkRrAH Commit-by: xuxiao59 Merged-by: cann-robot Description: Fixes #8714 ## 问题 TF 新版将 fake_quant_with_min_max_vars_per_channel_gradient 第二形参由 x 改名 inputs, golden _TfCompetitor.__call__ 保留旧名,TTK 三方采集 server 按名绑定失配 → UnknownParamError → HTTP 400,三方采集链路断(e2e 主链路位置装配不受影响)。 ## 修复 _TfCompetitor.__call__ 双名形参兼容(+5/−2,单文件 tests/assets/golden.py:141-159): - 形参区 x=None, min=None, max=None, inputs=None(Python 语法约束的必然副作用,位置绑定序不变) - 函数体首行 if inputs is None: inputs = x(旧名兜底) - arr(x) → arr(inputs)(语义桥接,TF API 调用保持位置传参) ## 验证 - 机制复验: 新链路(inputs 池)绑定执行成功(400 消除)、旧链路(x 池)向后兼容、 双形态与修复前 bit-exact、池序打乱鲁棒(V1-V4) - 独立交叉验证: golden vs numpy 12/12 bit-exact(数值语义不变) - 精准回归 14 条: 原失败用例 PASS 零回归、TF 受影响因子(narrow_range True/False × 1D-8D)PASS、 kernel 通路抽验 3 条 PASS([op source]=custom) - 全量回归 220 条: PASS→FAIL 为 0;kernel 通路 9 条全 PASS - pre-commit(ruff/codespell/OAT)全绿 ## 决策与权衡 - **方案选型**: 采用双名形参兼容(x=None/inputs=None + 兜底)而非 x→inputs 直改—— 直改在旧版 TF 环境(第二形参仍为 x 的部署)产生对称失配(UnknownParamError: parameter 'inputs'…); 双名兼容两形态均正确,代价差仅 1 行。存量调用形态(位置实参/关键字实参)行为不变。 - **真值仲裁**: golden 本体数值无缺陷(与独立 numpy 实现交叉验证 12/12 bit-exact), 缺陷仅在 third_party 适配层形参名——故修 golden 适配层而非数值/tolerance。 - **trade-off**: min/max 一并补 None 默认值是 Python 语法约束(x=None 之后禁止无默认值位置形参)的 必然副作用,不改变绑定语义;golden 主函数与 Spec.golden 的 x 形参(位置装配,形参名无关)不动。 - **已知边界(如实说明)**: ① 本修复消除三方采集 400;e2e 功能判定中 backprop_wrt_max 输出 2/90 通道的 ULP 级归约舍入差(fp32 归约 vs float64 累加的正常摩擦,小值/零真值通道容差退化为 纯 atol)致 matched_ratio 0.9778 < 0.99 的既有现象**不随本修复转绿**——CSV 侧更严的 absolute_precision=1e-8 对 mix_tolerance 判据不生效(生效容差为 golden Spec 声明的 1e-5), 88/90 通道通过证明 kernel 数值行为正常,该项属独立容差口径议题另行立项答复; ② 本机环境 TF 图模式对 rank>4 用例有库约束(Shape must be at most rank 4), 全量回归中 18 条 rank5-8 用例图模式 FAIL 为环境条目(修复前同形态、NPU 端历史全 PASS、 kernel 通路 8D PASS 四路证据钉死),不计退化。 - **CI 收口**: PR 创建后评论 /compile 拉起流水线并监控至终态(本仓 CI 非自动触发)。 See merge request: cann/ops-nn!14328 | 9 days ago | |
修改表格的rowspan参数 Co-authored-by: fwx1169505<fengying27@h-partners.com> # message auto-generated for no-merge-commit merge: !14176 merge master into master 修改表格的rowspan参数 Created-by: fengying555682 Commit-by: fwx1169505 Merged-by: cann-robot Description: ## 描述 修改表格的rowspan参数 ## 关联的Issue [#8190](https://gitcode.com/cann/ops-nn/issues/8190) ## 测试 已经验证文档的语法和链接一致性 ## 文档更新 activation和quant目录下的文件 ## 类型标签 <!-- [x] 表示选中 --> - [ ] Bug修复 - [ ] 新特性 - [ ] 性能优化 - [ x] 文档更新 - [ ] 其他,请描述: ## AI/Agent生成声明 <!-- [x] 表示选中 --> - [ ] AI辅助编写 See merge request: cann/ops-nn!14176 | 10 days ago | |
feat: vector算子适配ascend960pr(DV122)平台(2/4) Co-authored-by: biabu111<hebaojing1@huawei.com> # message auto-generated for no-merge-commit merge: !14185 merge feat/dv122-ascend960pr-adaptation-p2 into master feat: vector算子适配ascend960pr(DV122)平台(2/4) Created-by: biabu111 Commit-by: biabu111 Merged-by: cann-robot Description: ## 描述 DV122(Ascend960PR/DAV_9202/Ascend960PR_969A1)vector 算子批量适配**第 2/4 批(38 个算子,ST 全通过)**。 配套:(1/4)!14184(43 算子)、(3/4)!14303(38 算子)、(4/4,ST 隔离批)!14292(64 算子:53 个 ST 失败算子 + 11 个反向依赖闭包)。四 PR 算子集与 ascendc_config.json 条目均无重叠,并集为原全量 183 算子适配;本 PR 与(3/4)为原(2/3)PR 的均衡二分(38/38 算子、142/140 文件,内部无依赖交叉)。 ### 本批范围(38 个算子) 原(2/3)的 76 算子中文件数较多的一半,含 conv/foreach/hash/index/loss/norm/optim/quant 多类目 ### 适配内容(与 1/4 同一方法论) - 注册级:CMakeLists/def.cpp AddConfig/config 960pr 二进制配置/op_kernel COMPUTE_UNITS;ascendc_config.json 仅含本批 30 个条目(715 行规范格式,段级保留原条目文本风格) - 代码级:DAV_9201 系门禁补 DAV_9202/9202/__DAV_920R2__/"Ascend960PR" - 检视修复(随本批保留):grouped_dynamic_block_quant 的 FLOAT_OVERFLOW_MODE_CTRL 门禁三处补 9202,全 PR CtrlSpr 成对性审计通过 ## 测试 - op_host UT 全量:10132 PASSED(唯一失败 MaskedSoftmaxWithRelPosBias B_tiling_52 为已知环境问题,修复在 !14184,上游 master 同样失败) - pre-commit 全部通过(143 文件) ## 文档更新 不涉及 See merge request: cann/ops-nn!14185 | 9 days ago | |
DynamicHiF4QuantOpti Co-authored-by: pyq17870581669<pengyongqiang5@huawei.com> # message auto-generated for no-merge-commit merge: !13887 merge DynamicHiF4QauntOpti into master DynamicHiF4QuantOpti Created-by: pyq17870581669 Commit-by: pyq17870581669 Merged-by: cann-robot Description: ## 描述 <!--在这里详细描述你的改动,包括改动的原因和所采取的方法。--> 对DynamicHiF4Quant和GroupedDynamicHiF4Quant两个算子进行性能优化。 ## 关联的Issue <!-- 如果这个PR是为了解决特定的Issue,请在这里提供Issue链接。例如:关联Issue #000--> https://gitcode.com/cann/ops-nn/issues/8995 ## 测试 <!--描述进行了哪些测试来验证你的改动。--> 本地通过精度和性能验证;DynamicHiF4Quant算子非尾轴模板平均提升30.8%;GroupedDynamicHiF4Quant算子10us内小shape平均提升20%,10us以上大shape平均提升44.6%; ## 文档更新 <!--如果这个PR包含文档的更新,请在这里指出。例如:更新了README.md文件。--> ## 类型标签 <!-- [x] 表示选中 --> - [ ] Bug修复 - [ ] 新特性 - [x] 性能优化 - [ ] 文档更新 - [ ] 其他,请描述: ## AI/Agent生成声明 <!-- [x] 表示选中 --> - [x] AI辅助编写 See merge request: cann/ops-nn!13887 | 3 days ago | |
feat: vector算子适配ascend960pr(DV122)平台(2/4) Co-authored-by: biabu111<hebaojing1@huawei.com> # message auto-generated for no-merge-commit merge: !14185 merge feat/dv122-ascend960pr-adaptation-p2 into master feat: vector算子适配ascend960pr(DV122)平台(2/4) Created-by: biabu111 Commit-by: biabu111 Merged-by: cann-robot Description: ## 描述 DV122(Ascend960PR/DAV_9202/Ascend960PR_969A1)vector 算子批量适配**第 2/4 批(38 个算子,ST 全通过)**。 配套:(1/4)!14184(43 算子)、(3/4)!14303(38 算子)、(4/4,ST 隔离批)!14292(64 算子:53 个 ST 失败算子 + 11 个反向依赖闭包)。四 PR 算子集与 ascendc_config.json 条目均无重叠,并集为原全量 183 算子适配;本 PR 与(3/4)为原(2/3)PR 的均衡二分(38/38 算子、142/140 文件,内部无依赖交叉)。 ### 本批范围(38 个算子) 原(2/3)的 76 算子中文件数较多的一半,含 conv/foreach/hash/index/loss/norm/optim/quant 多类目 ### 适配内容(与 1/4 同一方法论) - 注册级:CMakeLists/def.cpp AddConfig/config 960pr 二进制配置/op_kernel COMPUTE_UNITS;ascendc_config.json 仅含本批 30 个条目(715 行规范格式,段级保留原条目文本风格) - 代码级:DAV_9201 系门禁补 DAV_9202/9202/__DAV_920R2__/"Ascend960PR" - 检视修复(随本批保留):grouped_dynamic_block_quant 的 FLOAT_OVERFLOW_MODE_CTRL 门禁三处补 9202,全 PR CtrlSpr 成对性审计通过 ## 测试 - op_host UT 全量:10132 PASSED(唯一失败 MaskedSoftmaxWithRelPosBias B_tiling_52 为已知环境问题,修复在 !14184,上游 master 同样失败) - pre-commit 全部通过(143 文件) ## 文档更新 不涉及 See merge request: cann/ops-nn!14185 | 9 days ago | |
修复 ops-nn torch 接口文档扫描问题(67处) Co-authored-by: liujing987913<liujing407@h-partners.com> # message auto-generated for no-merge-commit merge: !14426 merge docs/torch-api-list-1113 into master 修复 ops-nn torch 接口文档扫描问题(67处) Created-by: liujing987913 Commit-by: liujing987913 Merged-by: cann-robot Description: ## 描述 - 背景:AIDD/文档质量扫描发现 ops-nn 仓 torch 接口文档问题 67 处 - 修改分类:表头括号全角化、标点(括号全角/引导句补冒号/句末补句号/并列顿号/断句/引号)、术语单位(末轴→尾轴、32B→32字节、K→k、quant mode→quant_mode)、漏字补字、错别字、默认值补冒号 - 涉及文件:docs/zh/torch_api_list.md + 21 个 torchapi 算子文档(共 22 个文件) - 验证:git diff 确认为纯文本修改,无代码内容误改;已人工核对预览格式正常 ## 关联的Issue https://gitcode.com/cann/ops-nn/issues/8790 ## 测试 ## 文档更新 本次 PR 更新 ops-nn torch 接口文档 22 个文件,修正标点/术语/单位/错别字/表头格式问题 67 处,详见 diff。示例代码内的标点问题按规则未处理(已转人工确认)。 ## 类型标签 - 文档更新 See merge request: cann/ops-nn!14426 | 7 days ago | |
修改表格的rowspan参数 Co-authored-by: fwx1169505<fengying27@h-partners.com> # message auto-generated for no-merge-commit merge: !14176 merge master into master 修改表格的rowspan参数 Created-by: fengying555682 Commit-by: fwx1169505 Merged-by: cann-robot Description: ## 描述 修改表格的rowspan参数 ## 关联的Issue [#8190](https://gitcode.com/cann/ops-nn/issues/8190) ## 测试 已经验证文档的语法和链接一致性 ## 文档更新 activation和quant目录下的文件 ## 类型标签 <!-- [x] 表示选中 --> - [ ] Bug修复 - [ ] 新特性 - [ ] 性能优化 - [ x] 文档更新 - [ ] 其他,请描述: ## AI/Agent生成声明 <!-- [x] 表示选中 --> - [ ] AI辅助编写 See merge request: cann/ops-nn!14176 | 10 days ago | |
fix(ifmr): 补充 InferDataType 注册及 UT Co-authored-by: fujun19<fujun19@hisilicon.com> # message auto-generated for no-merge-commit merge: !13777 merge fix/ifmr-infer-datatype into master fix(ifmr): 补充 InferDataType 注册及 UT Created-by: fujun19 Commit-by: fujun19 Merged-by: cann-robot Description: ## 描述 IFMR 算子的 op_host 侧仅注册了 InferShape,缺失 InferDataType 注册。本 PR 补齐该注册: - quant/ifmr/op_host/ifmr_infershape.cpp:新增 InferDataTypeForIfmr,将两个输出 scale/offset 的 dtype 固定为 ge::DT_FLOAT(与 ifmr_def.cpp 中输出 dtype 声明一致,输出类型不依赖属性);注册链改为 IMPL_OP_INFERSHAPE(IFMR).InferShape(InferShapeIfmr).InferDataType(InferDataTypeForIfmr)。 - 顺带补齐 InferShapeIfmr 中第二个输出 shape 的判空检查(OP_CHECK_NULL_WITH_CONTEXT),与第一个输出保持一致。 - quant/ifmr/tests/ut/op_host/test_ifmr_infershape.cpp:新增 ifmr_test_case_infer_datatype UT,使用 InferDataTypeContextFaker 构造 4 输入 2 输出上下文,断言 infer_datatype 注册非空且两个输出 dtype 均推导为 DT_FLOAT。 ## 关联的Issue 无 ## 测试 - bash build.sh -u --ophost --ops=ifmr --soc=ascend950 --ut_mode=fast:15/15 UT PASSED,含新增的 IfmrTest.ifmr_test_case_infer_datatype。 - bash build.sh --ops=ifmr --soc=ascend950:ophost_nn 库与 binary 构建 SUCCESS;ifmr_infershape.cpp.o 中已包含 InferDataTypeForIfmr 符号及 OpImplRegisterV2::InferDataType 注册调用,并链接进 libophost_nn.so。 ## 文档更新 无 ## 类型标签 - [x] Bug修复 - [ ] 新特性 - [ ] 性能优化 - [ ] 文档更新 - [ ] 其他,请描述: ## AI/Agent生成声明 - [x] AI辅助编写 See merge request: cann/ops-nn!13777 | 15 days ago | |
适配350:AscendDequant、DynamicDualLevelMxQuant、MxToBlockMxQuant 新增 ascend350 平台支持 Co-authored-by: qq_41311449<baihao29@huawei.com> # message auto-generated for no-merge-commit merge: !14414 merge feat/quant-ascend350 into master 适配350:AscendDequant、DynamicDualLevelMxQuant、MxToBlockMxQuant 新增 ascend350 平台支持 Created-by: qq_41311449 Commit-by: qq_41311449 Merged-by: cann-robot Description: ## 描述 AscendDequant、DynamicDualLevelMxQuant、MxToBlockMxQuant 新增 ascend350(arch35)支持:CMakeLists 追加 ascend350/arch35,def.cpp 新增 AddConfig("ascend350", ...),复用 950 配置与 kernel,新增 ascend350 binary json,ascendc_config.json 补充 compute_units。 ## 关联的Issue https://gitcode.com/cann/ops-nn/issues/8782 ## 测试 <!--描述进行了哪些测试来验证你的改动。--> ## 文档更新 <!--如果这个PR包含文档的更新,请在这里指出。例如:更新了README.md文件。--> ## 类型标签 <!-- [x] 表示选中 --> - [ ] Bug修复 - [ ] 新特性 - [ ] 性能优化 - [ ] 文档更新 - [ ] 其他,请描述: ## AI/Agent生成声明 <!-- [x] 表示选中 --> - [ ] AI辅助编写 See merge request: cann/ops-nn!14414 | 5 days ago | |
DynamicQuant等22个算子支持Ascend960dt Co-authored-by: TH_HW<taohai2@huawei.com> # message auto-generated for no-merge-commit merge: !11335 merge backBlue into master DynamicQuant等22个算子支持Ascend960dt Created-by: TH_HW Commit-by: TH_HW Merged-by: cann-robot Description: ## 描述 (+17812 / -2151)为一批 ops-nn 算子补齐 **Ascend 960DT(NPU Arch 9201)** 平台支持,并重构 GeGluV2 arch35 内核、为 Erfinv 增加 inplace 通路。 主要改动如下: 1. **Ascend960DT 平台适配(22 个算子)** - activation:Relu、ReluV2、ReluGrad、ReluGradV2、Sigmoid、SigmoidGrad、PRelu、PReluGradUpdate、SiluGrad、Softplus、Swish、SwishGrad、SwiGluGrad、GeGluV2。 - index:MapIndex、SparseSlice、QuantUpdateScatter。 - quant:Quantize、DynamicQuant、DynamicQuantV2、AntiMxQuant、GroupedDynamicMxQuant。 - 具体做法:CMakeLists.txt 的 SUPPORT_COMPUTE_UNIT / SUPPORT_TILING_DIR 增加 ascend960dt;*_def.cpp 增加 AddConfig("ascend960dt", ...);aclnn/op_api 与 infershape 增加 NpuArch::DAV_9201 / Ascend960DT 分支;kernel 增加 __NPU_ARCH__ == 9201 分支;新增 op_host/config/ascend960dt/ 下的算子二进制配置(共 22 个,如 relu_binary.json、p_relu.json 等);scripts/kernel/binary_config/ascendc_config.json 为相关算子登记 ascend960dt 计算单元与编译选项。 2. **GeGluV2 arch35 内核重构** - 将 arch35 模板按 erf / tanh 两类拆分,并补齐 align、align_last_axis_big、vreduce × fp16/bf16/fp32 变体,统一命名 *_arch35.h。 - tiling 新增 RegBase per-template per-element UB 预算模型(GetRegbasePerElem),并支持 ascend960dt。 - aclnnGeGlu 参数校验重构(CheckShape 支持 0D 输入与 dim 范围校验),新增 ST 用例(all_aclnnGeGlu(.V3).json)并调整 UT。 3. **Erfinv 支持 inplace**:新增 inplace dtype 支持列表与校验(GetInplaceDtypeSupportList / CheckInplaceDtypeValid),并补充 op_api UT。 4. **内核与接口修复** - SparseSlice:9201 路径改用 SetValue 写入 sliceStart/sliceEnd(替代 DataCopy),Reg::Reduce 使用完整命名空间限定。 - QuantUpdateScatter:9201 增加 FLOAT_OVERFLOW_MODE_CTRL 保护。 - ReluV2 infershape:Ascend960DT 不支持 NC1HWC0,UINT1 支持列表加入 Ascend960DT。 - DynamicQuant / Mx 量化:9201 上 fp8 scale 改为 bf16 乘法后再 cast 到 e8m0。 5. **代码规范**:统一 License 头注释格式、补齐文件末尾换行、调整 quant 系列 UT 的 CMakeLists;新增 MapIndex、SparseSlice 的 GE IR 图模式示例。 ## 关联的Issue 无。 ## 测试 - 新增 GeGluV2 ST 用例与 Erfinv inplace UT,补充/调整 GeGluV2 相关 UT。 - 新增 MapIndex / SparseSlice 的 GE IR 示例(examples/test_geir_*.cpp)。 - 通过 ascend960dt 编译与静态检查。 ## 文档更新 无。 ## 类型标签 <!-- [x] 表示选中 --> - [x] 新特性 - [ ] Bug修复 - [ ] 性能优化 - [ ] 文档更新 - [ ] 其他,请描述: ## AI/Agent生成声明 <!-- [x] 表示选中 --> - [x] AI辅助编写 See merge request: cann/ops-nn!11335 | 1 month ago | |
docs: add English translations for operator READMEs and repo docs Co-authored-by: jenny_xiang<jenny.xiang@huawei.com> # message auto-generated for no-merge-commit merge: !13351 merge docs/add-english-docs into master docs: add English translations for operator READMEs and repo docs Created-by: jenny_xiang Commit-by: jenny_xiang Merged-by: cann-robot Description: ## Description Add English translations for 652 markdown documents: - Repo-level guides: README_en.md, CONTRIBUTING_en.md, SECURITY_en.md, CHANGELOG_en.md, codearts_check_rule_config_en.md - Operator READMEs under activation/, conv/, control/, foreach/, hash/, index/, loss/, matmul/, norm/, optim/, pooling/, quant/, rnn/, vfusion/, etc. - API and design docs under docs/ (aclnn_*, ascendir_*, fusion pass docs) - examples/ and torch_extension/ guides Note: a few cross-reference links whose English targets are not published yet temporarily point to their Chinese counterparts to keep links valid; they will be switched back to the English docs in a follow-up PR after this one is merged. ## Related Issue N/A ## Test - Verified all 1,344 intra-repo markdown links in the added files resolve against master: 0 broken links, 0 missing targets. ## Documentation Update - This PR only adds English documentation files (*_en.md); no existing Chinese documents are modified. ## Type Labels - [ ] Bug fix - [ ] New feature - [ ] Performance optimization - [x] Documentation update - [ ] Other, please describe: ## AI/Agent-Generated Declaration - [x] AI-assisted authoring See merge request: cann/ops-nn!13351 | 17 days ago | |
fix(quantMaxV2): infershape UT 修复 NodeIoNum 与 IrInstanceNum 互斥误用 Co-authored-by: lingdong0725<lingdong1@huawei.com> # message auto-generated for no-merge-commit merge: !14521 merge grouped_quant_max_v2 into master fix(quantMaxV2): infershape UT 修复 NodeIoNum 与 IrInstanceNum 互斥误用 Created-by: lingdong0725 Commit-by: lingdong0725 Merged-by: cann-robot Description: ## 描述 CI「UT 失败扫描」通报 quant_max_v2 3 例 infershape UT 失败(quant_max_v2_infershape_dynamic_group / _group_rank_invalid / _group_count_invalid,滞留 2 天),根因提交为 !13696 squash 合入的 66c1acff26。 根因(测试构造缺陷,非算子语义变化):test_quant_max_v2_infershape.cpp 的 InferShapeContextFaker 同时调用了 NodeIoNum(3,3) 与双参 IrInstanceNum——CANN builder 中二者互斥(op_context_builder_base.h 注释「此接口与IONum接口互斥」)。CI 版 builder 下,按紧凑顺序传入的 InputShapes({x, group_list}) 被错位映射到 IR 槽 0=x、槽 1=scale,GetOptionalInputShape(2) 取不到 group_list,导致 amax 按 [1] 推导(期望 48)、y_scale 误判静态取 0、rank/count 校验被跳过返回 GRAPH_SUCCESS(期望 FAILED)。与 !13793(dynamic_gru)、!13836(swiglu_group_grad)已修复的同类问题机制一致。 修复方法: 删除 6 处 NodeIoNum(3, 3),仅保留双参 IrInstanceNum(其已完整定义全部 IR 槽位,含缺席 optional 输入的 0); NodeInputTd 槽位改为 IR 逻辑槽位索引:dynamic_group / group_rank_invalid / group_count_invalid 的 group_list Td 由槽 1 改为槽 2(槽 1 为缺席的 scale); faker 链上方补充注释说明互斥约束,避免复发。 ## 关联的Issue https://gitcode.com/cann/ops-nn/issues/8873 ## 测试 bash build.sh -u --soc=ascend950 --ops=quant_max_v2 -j16 → RC=0; nn_op_host_ut 14 例 = 12 PASS + 2 SKIP(inferdatatype 注册单元未链接进该 UT 目标,维持显式跳过),通报 3 例全部转绿; op_api 12/12、op_kernel 2/2 不受影响;pre-commit 全部 hooks 通过。 ## 文档更新 无 ## 类型标签 <!-- [x] 表示选中 --> - [x] Bug修复 - [ ] 新特性 - [ ] 性能优化 - [ ] 文档更新 - [ ] 其他,请描述: ## AI/Agent生成声明 <!-- [x] 表示选中 --> - [x] AI辅助编写 See merge request: cann/ops-nn!14521 | 5 days ago | |
test: 恢复被注释的UT断言与用例(Issue #7688责任田,13文件58处) Co-authored-by: ywx1080114<yuanbin22@huawei.com> # message auto-generated for no-merge-commit merge: !14375 merge fix-commented-assertions into master test: 恢复被注释的UT断言与用例(Issue #7688责任田,13文件58处) Created-by: yuanbin_22 Commit-by: ywx1080114 Merged-by: cann-robot Description: ## 描述 <!--在这里详细描述你的改动,包括改动的原因和所采取的方法。--> 恢复 Issue #7688 责任田内被注释的 UT 断言与测试用例,共 13 个文件(+175 -166),恢复断言/校验 58 处: **恢复被注释的断言(12 个文件,49 处):** | 文件 | 恢复数 | |------|--------| | quant/dynamic_quant_v2/tests/ut/op_host/test_dynamic_quant_v2_tiling.cpp | 18 | | quant/ascend_quant_v2/tests/ut/op_api/test_aclnn_ascend_quant.cpp | 7 | | quant/ascend_anti_quant_v2/tests/ut/op_host/op_api/test_aclnn_ascend_anti_quant.cpp | 5 | | activation/ge_glu_grad_v2/tests/ut/op_host/op_api/test_aclnn_geglu_backward.cpp | 4 | | activation/sigmoid/tests/ut/op_host/arch35/test_sigmoid_tiling.cpp | 3 | | activation/silu_grad/tests/ut/op_api/test_aclnn_silu_backward.cpp | 3 | | activation/ge_glu_v2/tests/ut/op_host/test_aclnn_geglu.cpp | 2 | | activation/gelu_quant/tests/ut/op_host/test_gelu_quant_tiling.cpp | 2 | | quant/ascend_quant_v2/tests/ut/op_host/test_ascend_quant_v2_tiling.cpp | 2 | | activation/swish_grad/tests/ut/op_api/test_aclnn_swish_backward.cpp | 1 | | norm/deep_norm/tests/ut/op_host/test_DeepNorm_infershape.cpp | 1 | | quant/quantize/tests/ut/op_api/test_aclnn_quantize.cpp | 1 | **恢复被注释的整段测试用例:** - index/sparse_slice/tests/ut/op_host/test_sparse_slice_infershape.cpp(9 处):恢复整段被注释的 TEST_F 用例(含 InferShapeRange_success 等)。 **适配处理:** - test_sigmoid_tiling.cpp:原注释断言使用已废弃的 to_string<int64_t>(...) 接口,新增本地 TilingData2Str 辅助函数读取 tiling data,并按当前 tiling 行为修正期望值(如 15800 15480 → 15872 10944),断言恢复为 EXPECT_NE(TilingData2Str(tilingData).find(...), string::npos)。 **改动原因:** 历史整改中被注释的 UT 断言长期失去看护作用,按 Issue #7688 责任田清单批量恢复,重建 UT 对 tiling key、tiling data、输出 dtype/shape 等的校验能力。 ## 关联的Issue <!-- 如果这个PR是为了解决特定的Issue,请在这里提供Issue链接。例如:关联Issue #000--> - 关联 Issue #7688(仅关联,合并后不自动关闭该 Issue) ## 测试 <!--描述进行了哪些测试来验证你的改动。--> - 恢复的 58 处断言随对应 UT 套件执行通过(tiling key、tiling data、infershape、aclnn 输出校验等)。 ## 文档更新 <!--如果这个PR包含文档的更新,请在这里指出。例如:更新了README.md文件。--> - 无需文档更新。 ## 类型标签 <!-- [x] 表示选中 --> - [ ] Bug修复 - [ ] 新特性 - [ ] 性能优化 - [ ] 文档更新 - [x] 其他,请描述:测试(恢复被注释的UT断言) ## AI/Agent生成声明 <!-- [x] 表示选中 --> - [x] AI辅助编写 See merge request: cann/ops-nn!14375 | 5 days ago | |
修复 ops-nn torch 接口文档扫描问题(67处) Co-authored-by: liujing987913<liujing407@h-partners.com> # message auto-generated for no-merge-commit merge: !14426 merge docs/torch-api-list-1113 into master 修复 ops-nn torch 接口文档扫描问题(67处) Created-by: liujing987913 Commit-by: liujing987913 Merged-by: cann-robot Description: ## 描述 - 背景:AIDD/文档质量扫描发现 ops-nn 仓 torch 接口文档问题 67 处 - 修改分类:表头括号全角化、标点(括号全角/引导句补冒号/句末补句号/并列顿号/断句/引号)、术语单位(末轴→尾轴、32B→32字节、K→k、quant mode→quant_mode)、漏字补字、错别字、默认值补冒号 - 涉及文件:docs/zh/torch_api_list.md + 21 个 torchapi 算子文档(共 22 个文件) - 验证:git diff 确认为纯文本修改,无代码内容误改;已人工核对预览格式正常 ## 关联的Issue https://gitcode.com/cann/ops-nn/issues/8790 ## 测试 ## 文档更新 本次 PR 更新 ops-nn torch 接口文档 22 个文件,修正标点/术语/单位/错别字/表头格式问题 67 处,详见 diff。示例代码内的标点问题按规则未处理(已转人工确认)。 ## 类型标签 - 文档更新 See merge request: cann/ops-nn!14426 | 7 days ago | |
fix(swi_glu_quant): quantMode白名单移除未实现的dynamic_msd,错误码表对齐tiling实际行为 Co-authored-by: shilulu<shilulu8@huawei.com> # message auto-generated for no-merge-commit merge: !14554 merge fix_swi_glu_quant into master fix(swi_glu_quant): quantMode白名单移除未实现的dynamic_msd,错误码表对齐tiling实际行为 Created-by: shilulu Commit-by: shilulu Merged-by: cann-robot Description: ## 描述 <!--在这里详细描述你的改动,包括改动的原因和所采取的方法。--> ## 修改内容 1. quantMode 白名单移除未实现的 dynamic_msd(kernel 无对应实现,放行后落 static 分支, dynamic 契约输入下静态 kernel 无条件读 offsets 导致设备侧 507057); 非法取值统一在 tiling 首段拒绝返回 561002(#7771) 2. V1/V2 错误码表将维度/quantMode/groupListType/dstType 子项从 161002 拆分至 561002(ACLNN_ERR_INNER_TILING_ERROR),dtype 子项维持 161002(#7775) ## 关联的Issue <!-- 如果这个PR是为了解决特定的Issue,请在这里提供Issue链接。例如:关联Issue #000--> 关联Issue [#7771](https://gitcode.com/cann/ops-nn/issues/7771) 关联Issue [#7775](https://gitcode.com/cann/ops-nn/issues/7775) ## 测试 <!--描述进行了哪些测试来验证你的改动。--> - 8 用例板上矩阵全过(非法值首段拒绝、基线零影响) - mssanitizer 告警 0(合法路径) ## 文档更新 <!--如果这个PR包含文档的更新,请在这里指出。例如:更新了README.md文件。--> 更新了quant/swi_glu_quant/docs/aclnnSwiGluQuant.md文件 更新了quant/swi_glu_quant/docs/aclnnSwiGluQuantV2.md文件 ## 类型标签 <!-- [x] 表示选中 --> - [x] Bug修复 - [ ] 新特性 - [ ] 性能优化 - [x] 文档更新 - [ ] 其他,请描述: ## AI/Agent生成声明 <!-- [x] 表示选中 --> - [ ] AI辅助编写 See merge request: cann/ops-nn!14554 | 4 days ago | |
fix(swiglu-backward-mx-quant): replace deprecated attribute error reports Co-authored-by: liangtongxue<lianglihui@h-partners.com> # message auto-generated for no-merge-commit merge: !14458 merge fix/error-code-david-swiglu into master fix(swiglu-backward-mx-quant): replace deprecated attribute error reports Created-by: liangtongxue Commit-by: liangtongxue Merged-by: cann-robot Description: ## 描述 限定修复 SwigluBackwardMxQuantWithDualAxis 三个已有用户属性失败分支,不改变参数支持范围、计算、分支条件或 GRAPH_FAILED 返回行为: - round_mode 不在 rint/floor/round 集合:旧 EZ0002 改正式单属性值约束 EZ0026。 - scale_alg != 1、activate_left=false:旧 EZ0002 改正式单属性值 EZ0024,消息保留实际值并提供支持值。 - GetAttr 已首报的失败只在 DoTiling 补充 PLOG stage/callee/rc,不再追加 EZ9999。 - 复用原有 host UT fixture,增加三组隔离根因负向断言。 这是三属性路径及一处直接传播链的局部治理,**不是全算子错误码整改完成**。修改前全算子冻结61候选;4项已修复,57项未在本PR完成语义核验,保留BLOCKED。最终复扫57条存量候选,未进入审计明细0;raw精确UT不再存在早期formatted断言字面量假阳性。全量处置检查退出码1,完整存量及证据留在本地审计报告,不能声称算子全关闭。 ## 关联的Issue 无。本次未创建或关联Issue。 ## 测试 - GNU C++13.3.0 / CANN9.3.0 / aarch64 / Ascend950 host。 - bash build.sh -u --ophost --ops=swiglu_backward_mx_quant_with_dual_axis --soc=ascend950 -j4:最终build-raw.rc=0,10个host UT通过(原7+新增3);实际opbase宏编译及ErrorManager模板执行。 - 三负向用例分别隔离round_mode、scale_alg、activate_left,校验返回GRAPH_FAILED、raw记录数1和精确EZ0024/EZ0026、四组注册字段、param_name/actual/约束精确值、op_name非空;二次raw空证明当前环境读取消费语义,排除额外可见内部码记录。 - git diff --check通过。 - 未运行设备ST;未修改kernel计算。未验证全算子其他失败出口。 - 独立review已确认最终raw UT和10测试通过,限定patch无新增生产阻塞。 - 首轮CI run 19477仅clang-format失败;已按仓pin clang-format18.1.8针对两文件格式化并以独立style提交bec9872a修复。去空白内容与原审查版本完全一致,定向pre-commit全部适用hooks通过,格式后build-format.rc=0、10UT通过且新成员复核通过。 - 新HEAD已触发第二轮CI run 2751e03cca024b48a10130fee6afc434;当前未取得最终通过证据,不将已触发/mergeable状态视为CI通过。 ## 文档更新 无仓内文档变更。错误码审计、候选台账、构建日志在工作区单独留档。 ## 类型标签 - [x] Bug修复 - [ ] 新特性 - [ ] 性能优化 - [ ] 文档更新 - [ ] 其他,请描述: ## AI/Agent生成声明 - [x] AI辅助编写 See merge request: cann/ops-nn!14458 | 7 days ago | |
swiglu_hi_f4_quant算子二进制jsonascend960pr与ascend960dt保持一致 Co-authored-by: wkx12138<weikaixuan@h-partners.com> # message auto-generated for no-merge-commit merge: !13933 merge quant into master swiglu_hi_f4_quant算子二进制jsonascend960pr与ascend960dt保持一致 Created-by: wkx12138 Commit-by: wkx12138 Merged-by: cann-robot Description: ## 描述 <!--在这里详细描述你的改动,包括改动的原因和所采取的方法。--> 原因:swiglu_hi_f4_quant算子二进制json ascend960pr与ascend960dt不一致导致编译问题 方法:swiglu_hi_f4_quant算子二进制json ascend960pr与ascend960dt保持一致 ## 关联的Issue <!-- 如果这个PR是为了解决特定的Issue,请在这里提供Issue链接。例如:关联Issue #000--> https://gitcode.com/cann/ops-nn/issues/8430 ## 测试 <!--描述进行了哪些测试来验证你的改动。--> 编译成功 ## 文档更新 <!--如果这个PR包含文档的更新,请在这里指出。例如:更新了README.md文件。--> ## 类型标签 <!-- [x] 表示选中 --> - [x] Bug修复 - [ ] 新特性 - [ ] 性能优化 - [ ] 文档更新 - [ ] 其他,请描述: ## AI/Agent生成声明 <!-- [x] 表示选中 --> - [ ] AI辅助编写 See merge request: cann/ops-nn!13933 | 12 days ago | |
feat: vector算子适配ascend960pr(DV122)平台(3/4) Co-authored-by: biabu111<hebaojing1@huawei.com> # message auto-generated for no-merge-commit merge: !14303 merge feat/dv122-ascend960pr-adaptation-p2b into master feat: vector算子适配ascend960pr(DV122)平台(3/4) Created-by: biabu111 Commit-by: biabu111 Merged-by: cann-robot Description: ## 描述 DV122(Ascend960PR/DAV_9202/Ascend960PR_969A1)vector 算子批量适配**第 3/4 批(38 个算子,ST 全通过)**。 配套:(1/4)!14184(43 算子)、(2/4)!14185(38 算子)、(4/4,ST 隔离批)!14292(64 算子:53 个 ST 失败算子 + 11 个反向依赖闭包)。四 PR 算子集与 ascendc_config.json 条目均无重叠,并集为原全量 183 算子适配;原(2/3)PR(76 算子)按检视要求均分为(2/4)(3/4)两批,两批内部无依赖交叉。 ## ISSUE https://gitcode.com/cann/ops-nn/issues/8671 ### 本批范围(38 个算子) 原(2/3)的 76 算子按算子数 38/38、文件数 142/140 均分(本批为文件数较多的一半) ### 适配内容(与 1/4 同一方法论) - 注册级:CMakeLists SUPPORT_COMPUTE_UNIT/SUPPORT_TILING_DIR、def.cpp AddConfig、op_host/config/ascend960pr 二进制配置(与 960dt 一致)、op_kernel COMPUTE_UNITS - ascendc_config.json 保持上游 715 行逐条目规范格式,仅含本批 28 个条目,段级保留原条目文本风格 - 代码级:DAV_9201、__NPU_ARCH__==9201、__DAV_920R1__、"Ascend960DT" 门禁补 DAV_9202/9202/__DAV_920R2__/"Ascend960PR" - socVersion 枚举值域:960(=1000) 位于 ASCEND910E(=4) 之后,范围判断显式追加 960 枚举 ## 测试 - op_host UT 全量:10132 PASSED(唯一失败 MaskedSoftmaxWithRelPosBias B_tiling_52 为已知环境问题,修复在 !14184,上游 master 同样失败) - pre-commit 全部通过(141 文件) ## 文档更新 不涉及 See merge request: cann/ops-nn!14303 | 8 days ago | |
test(quant): 补齐 dequant_swiglu_quant/swiglu_mx_quant/dual_axis 的 golden 通路并修正契约偏差 Co-authored-by: chaihailun<chaihailun@huawei.com> # message auto-generated for no-merge-commit merge: !13332 merge test/mr13055-swiglu-quant-golden into master test(quant): 补齐 dequant_swiglu_quant/swiglu_mx_quant/dual_axis 的 golden 通路并修正契约偏差 Created-by: chaihailun Commit-by: chaihailun Merged-by: cann-robot Description: > 本 MR 只取 !13055 中 **golden 相关**的内容(原提交 0922bd5ec80ae81657008261abb5a977ba4f2740),并附本次复核发现的修复;用例 CSV 等其余测试资产不在本 MR 范围内,另行提交。分支基线为最新 master(a429215a3)。 --- ## 描述 补齐 DequantSwigluQuant / SwigluMxQuant / SwigluMxQuantWithDualAxis 三个算子 golden 的 Kernel/ACLNN/E2E 三层注册与独立 Torch 参考,修复复核中发现的 golden 契约偏差,并为双轴算子补齐框架层入口。 **改动文件(6 项,无 op_host/op_kernel 产品代码改动)** | 类型 | 文件 | |---|---| | 修改 | quant/dequant_swiglu_quant/tests/assets/golden.py | | 修改 | quant/swiglu_mx_quant/tests/assets/golden.py | | 修改 | quant/swiglu_mx_quant_with_dual_axis/tests/assets/golden.py | | 新增 | quant/swiglu_mx_quant_with_dual_axis/torch_extension/(3 个文件,框架层入口) | ### 1. 三算子 golden 迁移为 Torch 数学核心 以 F.silu/sigmoid/clamp/amax/log2/位运算为数学核心,NumPy 仅保留 E8M0 字节编码、FP4 nibble 打包与 pair/interleave 布局桥接;__spec__/__golden__/__input__ 三层注册:3 个 Kernel/GEIR Spec + 4 个 ACLNN API(aclnnDequantSwigluQuant、aclnnDequantSwigluQuantV2、aclnnSwigluMxQuant、aclnnSwigluMxQuantWithDualAxis)+ 3 个 E2E 入口;每算子附一个纯 Torch 组合的 third_party 参考(与 golden 零复用)。 compare 为逐输出逐 dtype 标准:fp8 按 requant(1 LSB)、fp4 与 E8M0 按字节 binary、scale 按 fp32、分组仅比较有效行。同时修复 swiglu_mx_quant_compare 的漏检:原实现把 packed-pair 轴索引误用于第 0 维,axis=-1 时只比较了 leading 第 0 行的 mxscale。 补齐三层注册同时解决了一个执行前提问题:dequant_swiglu_quant 原 golden 只注册了 __golden__.kernel,缺 __spec__/__input__,TTK 会落到默认通路去 import tensorflow,而本机无 CUDA 驱动的 TF 在 tensorflow/python/pywrap_tensorflow.py 的 preload_check 处直接段错误,ttk_kernel_dequant_swiglu_quant 80 例全部 PROFILE_CRASH(以仓内原位单例复现一致,与 plugin 路径无关)。补齐注册后该用例集可正常执行。 ### 2. 本次复核新增的修复 **2.1 dequant_swiglu_quant golden 的四处契约偏差** 以 master 既有的 ttk_kernel_dequant_swiglu_quant 用例集(80 例)真机复测,修复前 **49/80 PASS**,逐例定位到四个根因: - **N 维输出形状未还原**:设备侧 y 为 (X1..Xn-1, W/2)、scale 为 (X1..Xn-1),golden 返回的是展平后的二维行视图;末轴与分组两条分支均补齐形状还原。 - **static 量化方向相反**:op_kernel/arch35/dequant_swiglu_quant_common.h 的 StaticQuant*/SwigluV2SingleYWithQuantScale 实际使用 Reg::Div(注释写的是乘,与实现不符)。真机 dump 回放验证:除法 256/256 逐位一致,乘法仅 31/256。static 分支改为 y / quant_scale(dynamic 分支仍为乘,已逐位复核)。 - **static 的 quant_offset 在缺省时被无条件相加**:quant_offset 为空时 golden 仍执行 +0.0,而 IEEE 下 -0.0 + 0.0 = +0.0,抹掉了设备保留的负零符号;kernel 只在该输入存在时才发射加法指令(dequant_swiglu_quant_common.h 的 StaticQuant* 只有 Reg::Div),golden 同步改为存在才加。该偏差只在 fp8/fp4 输出上暴露(int8 下 ±0 字节相同),表现为 mode23 中 static+mode3+fp8 两例约 22% 元素字节不等。用 dump 的真实输入回放定案:修正后的公式连零的符号在内与设备逐字节 **100% 一致**,而 9 个候选变体(silu 不夹上限、夹双边、改用 α、加 glu_bias、乘 scale、左右互换等)命中率均在 50% 上下。 - **group_index 语义**:kernel 按 groupIndex[i] = 第 i 组的行数读取(dequant_swiglu_quant_static.h:270-297),并非累积前缀;原 hook 按累积语义归一化,且未注册到 kernel 通路,导致 80 例中 27 例以非法 group_index 运行。新增 _group_row_counts 与 dequant_swiglu_quant_kernel_input,经 DequantSwigluQuantKernelSpec.customize_inputs 注册。 **边界感知比对**:新增 _quant_boundary_compare,仅当把 cast 前的 fp32 值扰动 ±4 ULP 能精确复现设备码时才允许该元素不同,其余元素要求逐位一致(FP4 为 nibble 打包,按字节比对),用于吸收设备 vexp/vdiv 非正确舍入(约 1ulp)在量化边界的翻转。实测 >99.99% 的元素承担零容差(某例 527952/528000 元素完全稳定);注入扰动的负例均能报 FAIL。 修复后真机 **80/80 PASS**,ttk_kernel_dequant_swiglu_quant_mode23(12 例)**12/12 PASS**。 **2.2 swiglu_mx_quant golden 分组末轴 mxscale 形状未还原** _torch_grouped_axis_last 在展平行视图上按组量化后直接返回 (rows, n_pairs, 2),未还原前导维;二维输入恰好等价,四维输入(smq_19_groupi32_4d_fp4:x (2,4,32,512) 对应 scale (2,4,32,4,2))与设备输出形状不符,比较器直接判 0%。修复后该例 y/scale 均 100%,同类分组用例 smq_17/smq_18 无回退,master 既有的 ttk_kernel_swiglu_mx_quant_st 用例集 **20/20 PASS**(修复前 smq_19 被判 0%)。 **2.3 双轴算子的框架层入口** torch_npu 无 npu_swiglu_mx_quant_with_dual_axis 绑定(该类入口由 Ascend/op-plugin 提供,属跨仓),双轴 E2E 通路无法执行。按 torch_extension/README.md 的规范在算子目录下补齐仓内闭环入口,由 torch_extension/setup.py 在打包阶段自动收集进 cann_ops_nn: - torch_extension/csrc/swiglu_mx_quant_with_dual_axis.cpp:ACLNN_CMD(aclnnSwigluMxQuantWithDualAxis, ...),FP4 输出用 TensorWrapper 处理 nibble 打包,scale 为 Float8_e8m0fnu,并按接口文档补齐入参校验(二维 x、末维偶数、fp16/bf16、scale_alg 0/1 且 FP4 仅支持 0、FP8 仅支持 rint、group_index 为一维 int32/int64)。 - torch_extension/swiglu_mx_quant_with_dual_axis.py:OpBuilder 子类 + schema/meta 注册(meta 校验顺序与 C++ 一致)+ PrivateUse1 实现与 python wrapper。 - golden 的 E2E 注册键同步改为 cann_ops_nn.swiglu_mx_quant_with_dual_axis,dst_type 同时接受 torch 枚举与 CANN 编码。 本仓现有 32 个算子带 torch_extension/,7 份 E2E CSV 走该通路,其中 rotate_quant、gemm_syrk、confidence_head_fused、inplace_cross_entropy_sum_exp_and_index_logit、add_rms_norm_dynamic_quant 这 5 个算子同样尚未进入随包快照,本改动与既有先例一致。 ## 关联的Issue 关联Issue #8100 :https://gitcode.com/cann/ops-nn/issues/8100 ## 测试 环境:Ascend950PR_9579(arch35)真机,安装包 CANN 9.3.0 weekly.20261028.01,torch 2.7.1+cpu / torch_npu 2.7.1.post4,TTK(ops-test-kit)。kernel 通路使用与 CI 一致的参数(-d=false -b=release --pc=N --run 1 --compare close --task-prof false --no-memory-check)。 **(一)master 既有用例集 —— CI 会直接跑到,可复现** | 用例集 | 结果 | |---|---| | ttk_kernel_dequant_swiglu_quant.csv(80 例) | **80/80 PASS**(修复前 49/80) | | ttk_kernel_dequant_swiglu_quant_mode23.csv(12 例) | **12/12 PASS** | | ttk_kernel_swiglu_mx_quant_st.csv(20 例) | **20/20 PASS**(修复 2.2 后) | | ttk_kernel_swiglu_mx_quant_with_dual_axis.csv(15 例) | **15/15 PASS** | | ttk_kernel_swiglu_mx_quant_with_dual_axis_st.csv(15 例) | **15/15 PASS** | 合计 142 例 **142/142 PASS**。此前在 CANN 9.2.0 安装包上失败的 13 例(mode23 11 例、MX 2 例)为安装包落后于仓内源码所致,换装 9.3.0 weekly 包后不再复现(见阻塞项 2、3)。 **(二)本地用例集 —— 验证 ACLNN/E2E 注册与 golden 正确性,CSV 不在本 MR 内** | 通路 | 用例集 | 结果 | |---|---|---| | ACLNN | aclnnDequantSwigluQuant(3 例) | **3/3 PASS** | | ACLNN | aclnnDequantSwigluQuantV2(13 例) | **13/13 PASS** | | ACLNN | aclnnSwigluMxQuant(10 例) | **10/10 PASS** | | ACLNN | aclnnSwigluMxQuantWithDualAxis(7 例) | **7/7 PASS** | | E2E | torch_npu.npu_dequant_swiglu_quant(6 例) | **6/6 PASS** | | E2E | torch_npu.npu_swiglu_mx_quant(7 例) | **7/7 PASS** | | E2E | cann_ops_nn.swiglu_mx_quant_with_dual_axis(4 例) | **4/4 PASS**(装 torch_extension 子包后;原为 0/4 无法执行) | 以上 ACLNN 33 例、E2E 17 例均在 CANN 9.3.0 weekly.20261028.01 上复跑通过;与(一)合计 **192/192**。 覆盖 dstType 全集 2/34/35/36/40/41、E4M3FN 饱和定点、全零行、HIFLOAT8 round、mode1、非尾轴 activate_dim(-2/-3)、int32 大整数边界、static/dynamic × scale/offset、FP4 rint/floor/round、scale_alg 0/1、axis -1/-2、分组、3D。 ## 已知阻塞项(环境/安装包滞后,附证据与复验条件) 1. **双轴 E2E 入口依赖 wheel 构建**:scripts/ci/ops_st_test.sh 不构建 torch_extension wheel,CANN 随包的 cann_ops_nn 快照当前只含 10 个算子、尚无本算子。复验条件(任一):CI 在 ST 前增加 build.sh --torch_extension + 安装;随包 cann_ops_nn 刷新;或在 Ascend/op-plugin 补 torch_npu.npu_swiglu_mx_quant_with_dual_axis 绑定后改回 torch_npu 入口。本地已验证 4/4 PASS(CANN 9.3.0 下复跑同样 4/4)。 2. **swiglu_mode 2/3 被安装包 tiling 拒绝 —— 已解除**:仓内源码支持 0/1/2/3(dequant_swiglu_quant_tiling_arch35.cpp:776、dequant_swiglu_quant_tiling.cpp:482-485),而 CANN 9.2.0 安装包的 tiling 报 "should be 0 or 1",属安装包落后于仓内源码(该用例集在 master 上同样失败,与 golden 无关)。换装 CANN 9.3.0 weekly.20261028.01 后 ttk_kernel_dequant_swiglu_quant_mode23 **12/12 PASS**,已复验解除。 3. **swiglu_mx_quant 的 mode 2/3 被安装包预编译二进制按 mode 1 执行 —— 已解除**:smq_10_mode2_left_4d、smq_11_mode3_bf16 两例曾在 CANN 9.2.0 上 FAIL。当时真机 dump 的定案是:tiling 数据与仓内 SwigluMxQuantTilingData 逐字段吻合(swigluMode=3、clampLimit=2.0、gluAlpha=1.702、gluBias=1.0),参数正确下发;把设备输出按每 32 元素块的 E8M0 指数反量化后与 **mode 1 的奇偶交错公式**逐元素吻合,与 mode 3 的前后半 split 公式不符(8% 相对容差下吻合率 50.9% vs 0.5%),即安装包预编译二进制未包含 mode 2/3 实现;master 旧 golden 的 mode 2/3 同样是 split 写法,故这 2 例在 master 上也失败。换装 CANN 9.3.0 weekly.20261028.01 后两例 **PASS**,该用例集 20/20,已复验解除。 4. **TensorFlow / GPU 三方对照不适用**:全仓仅 index/inplace_sub 有 1 份 TF E2E CSV;tf.raw_ops 没有 SwiGLU/MX-quant 融合算子,无法构造对应入口,故 golden 不虚构 TF 注册。本机 TF 报 "Could not find cuda drivers",无 GPU 设备,ops-nn CI 亦无 GPU。 ## 类型标签 - [x] Bug修复 - [ ] 新特性 - [ ] 性能优化 - [ ] 文档更新 - [x] 其他,请描述:golden 测试资产与框架层入口 ## AI/Agent生成声明 - [x] AI辅助编写 See merge request: cann/ops-nn!13332 | 17 days ago | |
docs(quant): 规范量化矩阵乘与参数转换算子的中文文档 Co-authored-by: smdbha<panzhijie2@huawei.com> # message auto-generated for no-merge-commit merge: !13862 merge master into master docs(quant): 规范量化矩阵乘与参数转换算子的中文文档 Created-by: smdbha Commit-by: smdbha Merged-by: cann-robot Description: ## 描述 修正量化矩阵乘与量化参数转换算子的中文文档,使 README 结构、接口说明及示例与仓库 wiki 模板和当前源码一致。 - 按模板整理产品支持、功能、参数、约束和调用说明,完善文档及样例链接。 - 统一 ACLNN 参数表、函数原型、返回码表、公式、代码块及嵌套列表格式,并整理相关 IR、融合说明和 PyTorch 接口文档。 - 修正量化参数转换说明:明确 TransQuantParam 保留完整 32 位 scale、offset 中点向远离 0 的方向舍入、输入不广播,以及输出对齐、补零和 Host 内存释放规则;澄清 TransQuantParamV2/V3 的舍入模式与形状约束。 - 完善文档内调用示例的头文件、指针初始化和失败检查。 ## 关联的Issue 关联 Issue #8344:https://gitcode.com/cann/ops-nn/issues/8344 ## 测试 - Markdown 格式、列表与表格结构、相对链接与锚点、UTF-8 编码、公式渲染及公开 API 声明一致性检查通过。 - 23 个 C++ 示例通过基于类型桩和仓库公开声明的语法检查,3 个 Python 示例通过语法检查。 - TransQuantParam 的 12 项 Host 行为检查通过,覆盖编码位域、舍入、广播行为、对齐补零和参数错误码;日志依赖使用桩。 - 提交时的 pre-commit 检查通过,包括 codespell 和 OAT;未进行真实 CANN 链接或 NPU 执行。 ## 文档更新 更新以下 6 个算子的 23 份中文 Markdown 文档,包含 README、ACLNN、IR、融合及 PyTorch 接口说明: - quant_batch_matmul_inplace_add - quant_batch_matmul_v3 - quant_batch_matmul_v4 - quant_matmul_activation_quant - trans_quant_param - trans_quant_param_v2 ## 类型标签 - [ ] Bug修复 - [ ] 新特性 - [ ] 性能优化 - [x] 文档更新 - [ ] 其他,请描述: ## AI/Agent生成声明 - [x] AI辅助编写 See merge request: cann/ops-nn!13862 | 12 days ago | |
fix(quant): 同步 trans_quant_param_v2/v3 示例代码与文档调用示例一致 Co-authored-by: cuijie25<cuijie24@h-partners.com> # message auto-generated for no-merge-commit merge: !14295 merge fix/trans-quant-param-v2-example-sync into master fix(quant): 同步 trans_quant_param_v2/v3 示例代码与文档调用示例一致 Created-by: cuijie25 Commit-by: cuijie25 Merged-by: cann-robot Description: ## 描述 <!--在这里详细描述你的改动,包括改动的原因和所采取的方法。--> 提交 0f6d17096(docs: 规范量化矩阵乘与参数转换算子的中文文档)完善了 aclnnTransQuantParamV2/V3 两份 md 的调用示例,但仅修改了 md,未同步 examples 目录下的实体示例 test_aclnn_trans_quant_param_v2/v3.cpp,导致 md 与示例代码不一致。 本提交将 V2/V3 两个实体示例对齐文档版本: - 补充 #include <cstdint>、#include <cstdio>; - aclCreateTensor 返回后增加判空检查,失败时打印日志并返回 ACL_ERROR_INVALID_PARAM; - main 中 aclrtStream stream 初始化为 nullptr,失败路径 Finalize 不再对未初始化的流调用 aclrtDestroyStream(原写法属未定义行为); - V3 额外将 aclOpExecutor* executor 初始化为 nullptr。 同步时按仓库 .clang-format(v18.1.8)归一化排版,并将两份 md 调用示例代码块回填为与 cpp 完全相同的内容,md 与示例自此逐字节一致(英文文档 _en.md 按约定不改动)。 ## 关联的Issue <!-- 如果这个PR是为了解决特定的Issue,请在这里提供Issue链接。例如:关联Issue #000--> [#8667](https://gitcode.com/cann/ops-nn/issues/8667) ## 测试 <!--描述进行了哪些测试来验证你的改动。--> - 一致性校验:V2/V3 md 调用示例代码块与对应 cpp 代码段逐字节一致(md 已回填 cpp 内容,每个 md 侧 diff 仅 3 处换行 6+/9-);cpp 本身 clang-format 干净。 - A2(910B3,CANN 9.1.0,实卡)验证:V2/V3 同步前后两版示例均编译零告警、运行 exit 0,输出一致且符合文档公式(result=0x40203F8000000,即 bit46 置 1 | offset=1 占 bit37~45 | scale=1.0f 位模式;V3 roundMode=1 用例)。 - 本地 pre-commit 全部通过(clang-format、codespell、OAT 合规检查)。 ## 文档更新 <!--如果这个PR包含文档的更新,请在这里指出。例如:更新了README.md文件。--> 更新 quant/trans_quant_param_v2/docs/aclnnTransQuantParamV2.md、aclnnTransQuantParamV3.md 两个调用示例代码块排版(各 3 处换行,回填为与 cpp 一致)。 ## 类型标签 <!-- [x] 表示选中 --> - [x] Bug修复 - [ ] 新特性 - [ ] 性能优化 - [ ] 文档更新 - [ ] 其他,请描述: ## AI/Agent生成声明 <!-- [x] 表示选中 --> - [x] AI辅助编写 See merge request: cann/ops-nn!14295 | 9 days ago | |
修复 ops-nn torch 接口文档扫描问题(67处) Co-authored-by: liujing987913<liujing407@h-partners.com> # message auto-generated for no-merge-commit merge: !14426 merge docs/torch-api-list-1113 into master 修复 ops-nn torch 接口文档扫描问题(67处) Created-by: liujing987913 Commit-by: liujing987913 Merged-by: cann-robot Description: ## 描述 - 背景:AIDD/文档质量扫描发现 ops-nn 仓 torch 接口文档问题 67 处 - 修改分类:表头括号全角化、标点(括号全角/引导句补冒号/句末补句号/并列顿号/断句/引号)、术语单位(末轴→尾轴、32B→32字节、K→k、quant mode→quant_mode)、漏字补字、错别字、默认值补冒号 - 涉及文件:docs/zh/torch_api_list.md + 21 个 torchapi 算子文档(共 22 个文件) - 验证:git diff 确认为纯文本修改,无代码内容误改;已人工核对预览格式正常 ## 关联的Issue https://gitcode.com/cann/ops-nn/issues/8790 ## 测试 ## 文档更新 本次 PR 更新 ops-nn torch 接口文档 22 个文件,修正标点/术语/单位/错别字/表头格式问题 67 处,详见 diff。示例代码内的标点问题按规则未处理(已转人工确认)。 ## 类型标签 - 文档更新 See merge request: cann/ops-nn!14426 | 7 days ago | |
docs: add English translations for operator READMEs and repo docs Co-authored-by: jenny_xiang<jenny.xiang@huawei.com> # message auto-generated for no-merge-commit merge: !13351 merge docs/add-english-docs into master docs: add English translations for operator READMEs and repo docs Created-by: jenny_xiang Commit-by: jenny_xiang Merged-by: cann-robot Description: ## Description Add English translations for 652 markdown documents: - Repo-level guides: README_en.md, CONTRIBUTING_en.md, SECURITY_en.md, CHANGELOG_en.md, codearts_check_rule_config_en.md - Operator READMEs under activation/, conv/, control/, foreach/, hash/, index/, loss/, matmul/, norm/, optim/, pooling/, quant/, rnn/, vfusion/, etc. - API and design docs under docs/ (aclnn_*, ascendir_*, fusion pass docs) - examples/ and torch_extension/ guides Note: a few cross-reference links whose English targets are not published yet temporarily point to their Chinese counterparts to keep links valid; they will be switched back to the English docs in a follow-up PR after this one is merged. ## Related Issue N/A ## Test - Verified all 1,344 intra-repo markdown links in the added files resolve against master: 0 broken links, 0 missing targets. ## Documentation Update - This PR only adds English documentation files (*_en.md); no existing Chinese documents are modified. ## Type Labels - [ ] Bug fix - [ ] New feature - [ ] Performance optimization - [x] Documentation update - [ ] Other, please describe: ## AI/Agent-Generated Declaration - [x] AI-assisted authoring See merge request: cann/ops-nn!13351 | 17 days ago | |
torch_extension API文档新增产品型号标签 Co-authored-by: gitcode-chenjiao<chenjiao31@huawei.com> # message auto-generated for no-merge-commit merge: !8233 merge master into master torch_extension API文档新增产品型号标签 Created-by: gitcode-chenjiao Commit-by: gitcode-chenjiao Merged-by: cann-robot Description: ## 描述 <!--在这里详细描述你的改动,包括改动的原因和所采取的方法。--> 1. torchapi_*.md增加产品型号标签注释 2. 中文png改为英文文件名 ## 关联的Issue <!-- 如果这个PR是为了解决特定的Issue,请在这里提供Issue链接。例如:关联Issue #000--> [#4551](https://gitcode.com/cann/ops-nn/issues/4551) ## 测试 <!--描述进行了哪些测试来验证你的改动。--> 已自验 ## 文档更新 <!--如果这个PR包含文档的更新,请在这里指出。例如:更新了README.md文件。--> torchapi_*.md ## 类型标签 <!-- [x] 表示选中 --> - [ ] Bug修复 - [ ] 新特性 - [ ] 性能优化 - [x ] 文档更新 - [ ] 其他,请描述: ## AI/Agent生成声明 <!-- [x] 表示选中 --> - [ ] AI辅助编写 See merge request: cann/ops-nn!8233 | 3 months ago | |
Format update: Adjusted the license description format in all relevant files. Co-authored-by: jiangqi<jiangqi47@h-partners.com> # message auto-generated for no-merge-commit merge: !366 merge license6 into master Format update: Adjusted the license description format in all relevant files. Created-by: jiangqi2025 Commit-by: jiangqi Merged-by: turing_project1 Description: ## 描述 <!--在这里详细描述你的改动,包括改动的原因和所采取的方法。--> ## 关联的Issue <!-- 如果这个PR是为了解决特定的Issue,请在这里提供Issue链接。例如:关联Issue #123--> <!-- 如果这个PR是为了解决特定的问题单,请在这里描述问题单单号。--> ## 测试 <!--描述进行了哪些测试来验证你的改动。包括但不限于二级冒烟、算子泛化等。--> ## 文档更新 <!--如果这个PR包含文档的更新,请在这里指出。例如:更新了README.md文件。--> ## 类型标签 <!-- [x] 表示选中 --> - [ ] Bug修复 - [ ] 新特性 - [ ] 性能优化 - [ ] 文档更新 - [ ] 其他,请描述: See merge request: cann/ops-nn!366 | 11 months ago | |
修复torch传播失败问题 Co-authored-by: cong-jiyu<congjiyu@h-partners.com> # message auto-generated for no-merge-commit merge: !13832 merge fix into master 修复torch传播失败问题 Created-by: cong-jiyu Commit-by: cong-jiyu Merged-by: cann-robot Description: ## 描述 变更摘要 本 PR 旨在修复 torch 扩展算子加载(传播)失败的问题:此前各算子分类目录的 __init__.py 使用一次性顺序 import,任一算子加载异常都会中断整个分类包的导入。现改为逐算子独立加载并容错,失败算子仅记录日志并登记,使用时再抛出带原始异常链的错误,避免影响同目录其他算子;同时将该生成逻辑收敛到 torch_extension/setup.py 的构建期代码生成中。 主要改动 分类包导入容错:activation/__init__.py、matmul/__init__.py、quant/__init__.py 将整段 from .x import x 替换为 _load_op_module(*names) 逐算子 importlib.import_module 加载,异常统一捕获后写入 _failed_ops 并记录 _logger.error,单个算子失败不再阻断同包其他算子。 延迟报错与可诊断性:三个分类包新增模块级 __getattr__,对 _failed_ops 中登记的算子名抛出 OpLoadError(仅继承 AttributeError,根因异常挂在 __cause__ 链上),未知名仍抛普通 AttributeError;__all__ 改为推导式并剔除失败算子,swiglu_group_grad / swiglu_group_backward 等一模块多算子通过传入多个 names 绑定。 构建期生成逻辑抽取:torch_extension/setup.py 新增 _write_category_init(f, names),按算子名列表生成包含 importlib、_logger、_failed_ops、OpLoadError、_load_op_module、__all__ 与 __getattr__ 的 __init__.py 内容。 生成入口替换:BuildPyWithOps 中原本生成 from .name import name 与 from .name import * 的两处循环均改为调用 _write_category_init(f, names),使两类算子分类目录在构建期获得一致的容错行为。 ops 加载器日志调整:torch_extension/cann_ops_nn/ops/__init__.py 的 _load_op 将捕获范围从 (ImportError, RuntimeError) 放宽为 Exception,日志级别由 warning 降为 debug。 ## 关联的Issue [#8300](https://gitcode.com/cann/ops-nn/issues/8300) ## 测试 <!--描述进行了哪些测试来验证你的改动。--> ## 文档更新 <!--如果这个PR包含文档的更新,请在这里指出。例如:更新了README.md文件。--> ## 类型标签 <!-- [x] 表示选中 --> - [x] Bug修复 - [ ] 新特性 - [ ] 性能优化 - [ ] 文档更新 - [ ] 其他,请描述: ## AI/Agent生成声明 <!-- [x] 表示选中 --> - [ ] AI辅助编写 See merge request: cann/ops-nn!13832 | 9 days ago |
| Files | Last commit | Last update |
|---|---|---|
| 17 days ago | ||
| 8 days ago | ||
| 17 days ago | ||
| 12 days ago | ||
| 8 days ago | ||
| 8 days ago | ||
| 4 days ago | ||
| 5 days ago | ||
| 3 days ago | ||
| 8 days ago | ||
| 5 days ago | ||
| 16 days ago | ||
| 8 days ago | ||
| 5 days ago | ||
| 3 days ago | ||
| 9 days ago | ||
| 5 days ago | ||
| 18 days ago | ||
| 9 days ago | ||
| 8 days ago | ||
| 5 days ago | ||
| 3 days ago | ||
| 4 days ago | ||
| 9 days ago | ||
| 4 days ago | ||
| 3 days ago | ||
| 5 days ago | ||
| 5 days ago | ||
| 3 days ago | ||
| 16 days ago | ||
| 5 days ago | ||
| 8 days ago | ||
| 17 days ago | ||
| 12 days ago | ||
| 9 days ago | ||
| 10 days ago | ||
| 9 days ago | ||
| 3 days ago | ||
| 9 days ago | ||
| 7 days ago | ||
| 10 days ago | ||
| 15 days ago | ||
| 5 days ago | ||
| 1 month ago | ||
| 17 days ago | ||
| 5 days ago | ||
| 5 days ago | ||
| 7 days ago | ||
| 4 days ago | ||
| 7 days ago | ||
| 12 days ago | ||
| 8 days ago | ||
| 17 days ago | ||
| 12 days ago | ||
| 9 days ago | ||
| 7 days ago | ||
| 17 days ago | ||
| 3 months ago | ||
| 11 months ago | ||
| 9 days ago |