| 文件 | 最后提交记录 | 最后更新时间 |
|---|---|---|
add_cases Co-authored-by: zhaogrug<zhaohai16@h-partners.com> # message auto-generated for no-merge-commit merge: !7583 merge add_cases into master add_cases Created-by: zhaogrug Commit-by: zhaogrug Merged-by: cann-robot Description: ## 描述 新增仓内新版ttk用例 <!--在这里详细描述你的改动，包括改动的原因和所采取的方法。--> ## 关联的Issue [#4223](https://gitcode.com/cann/ops-nn/issues/4223) <!-- 如果这个PR是为了解决特定的Issue，请在这里提供Issue链接。例如：关联Issue #000--> ## 测试 冒烟测试，本地验证 <!--描述进行了哪些测试来验证你的改动。--> ## 文档更新 <!--如果这个PR包含文档的更新，请在这里指出。例如：更新了README.md文件。--> ## 类型标签 <!-- [x] 表示选中 --> - [ ] Bug修复 - [ ] 新特性 - [ ] 性能优化 - [ ] 文档更新 - [x] 其他，请描述：用例添加 ## AI/Agent生成声明 <!-- [x] 表示选中 --> - [ ] AI辅助编写 See merge request: cann/ops-nn!7583 | 2 个月前 | |
TF plugin 迁移2 Co-authored-by: sunchun<sunchun4@h-partners.com> # message auto-generated for no-merge-commit merge: !7586 merge nn2 into master TF plugin 迁移2 Created-by: sunchun Commit-by: sunchun Merged-by: cann-robot Description: ## 描述 TF plugin 迁移 ## 关联的Issue https://gitcode.com/cann/ops-nn/issues/4196 ## 测试 <!--描述进行了哪些测试来验证你的改动。--> ## 文档更新 <!--如果这个PR包含文档的更新，请在这里指出。例如：更新了README.md文件。--> ## 类型标签 <!-- [x] 表示选中 --> - [ ] Bug修复 - [x] 新特性 - [ ] 性能优化 - [ ] 文档更新 - [ ] 其他，请描述： ## AI/Agent生成声明 <!-- [x] 表示选中 --> - [ ] AI辅助编写 See merge request: cann/ops-nn!7586 | 2 个月前 | |
add_cases Co-authored-by: zhaogrug<zhaohai16@h-partners.com> # message auto-generated for no-merge-commit merge: !7583 merge add_cases into master add_cases Created-by: zhaogrug Commit-by: zhaogrug Merged-by: cann-robot Description: ## 描述 新增仓内新版ttk用例 <!--在这里详细描述你的改动，包括改动的原因和所采取的方法。--> ## 关联的Issue [#4223](https://gitcode.com/cann/ops-nn/issues/4223) <!-- 如果这个PR是为了解决特定的Issue，请在这里提供Issue链接。例如：关联Issue #000--> ## 测试 冒烟测试，本地验证 <!--描述进行了哪些测试来验证你的改动。--> ## 文档更新 <!--如果这个PR包含文档的更新，请在这里指出。例如：更新了README.md文件。--> ## 类型标签 <!-- [x] 表示选中 --> - [ ] Bug修复 - [ ] 新特性 - [ ] 性能优化 - [ ] 文档更新 - [x] 其他，请描述：用例添加 ## AI/Agent生成声明 <!-- [x] 表示选中 --> - [ ] AI辅助编写 See merge request: cann/ops-nn!7583 | 2 个月前 | |
TF plugin 迁移2 Co-authored-by: sunchun<sunchun4@h-partners.com> # message auto-generated for no-merge-commit merge: !7586 merge nn2 into master TF plugin 迁移2 Created-by: sunchun Commit-by: sunchun Merged-by: cann-robot Description: ## 描述 TF plugin 迁移 ## 关联的Issue https://gitcode.com/cann/ops-nn/issues/4196 ## 测试 <!--描述进行了哪些测试来验证你的改动。--> ## 文档更新 <!--如果这个PR包含文档的更新，请在这里指出。例如：更新了README.md文件。--> ## 类型标签 <!-- [x] 表示选中 --> - [ ] Bug修复 - [x] 新特性 - [ ] 性能优化 - [ ] 文档更新 - [ ] 其他，请描述： ## AI/Agent生成声明 <!-- [x] 表示选中 --> - [ ] AI辅助编写 See merge request: cann/ops-nn!7586 | 2 个月前 | |
docs目录基本概念md中文名改为英文名 Co-authored-by: chenjiao<chenjiao31@huawei.com> # message auto-generated for no-merge-commit merge: !7857 merge master into master docs目录基本概念md中文名改为英文名 Created-by: gitcode-chenjiao Commit-by: gitcode-chenjiao;chenjiao Merged-by: cann-robot Description: ## 描述 <!--在这里详细描述你的改动，包括改动的原因和所采取的方法。--> docs目录基本概念md文件名改为英文： 避免link中的中文字符引发的跳转异常，例如两段式接口.md变成%E4%B8%A4%E6%AE%B5%E5%BC%8F%E6%8E%A5%E5%8F%A3.md，不易于维护，可能导致其他平台跳转有问题。 ## 关联的Issue <!-- 如果这个PR是为了解决特定的Issue，请在这里提供Issue链接。例如：关联Issue #000--> [#4260](https://gitcode.com/cann/ops-nn/issues/4260) ## 测试 <!--描述进行了哪些测试来验证你的改动。--> ok ## 文档更新 <!--如果这个PR包含文档的更新，请在这里指出。例如：更新了README.md文件。--> docs/zh/context所有md和对应的link ## 类型标签 <!-- [x] 表示选中 --> - [ ] Bug修复 - [ ] 新特性 - [ ] 性能优化 - [x ] 文档更新 - [ ] 其他，请描述： ## AI/Agent生成声明 <!-- [x] 表示选中 --> - [ ] AI辅助编写 See merge request: cann/ops-nn!7857 | 2 个月前 | |
TF plugin 迁移2 Co-authored-by: sunchun<sunchun4@h-partners.com> # message auto-generated for no-merge-commit merge: !7586 merge nn2 into master TF plugin 迁移2 Created-by: sunchun Commit-by: sunchun Merged-by: cann-robot Description: ## 描述 TF plugin 迁移 ## 关联的Issue https://gitcode.com/cann/ops-nn/issues/4196 ## 测试 <!--描述进行了哪些测试来验证你的改动。--> ## 文档更新 <!--如果这个PR包含文档的更新，请在这里指出。例如：更新了README.md文件。--> ## 类型标签 <!-- [x] 表示选中 --> - [ ] Bug修复 - [x] 新特性 - [ ] 性能优化 - [ ] 文档更新 - [ ] 其他，请描述： ## AI/Agent生成声明 <!-- [x] 表示选中 --> - [ ] AI辅助编写 See merge request: cann/ops-nn!7586 | 2 个月前 | |
add cases Co-authored-by: zhaogrug<zhaohai16@h-partners.com> # message auto-generated for no-merge-commit merge: !8026 merge the_rest_of_cases into master add cases Created-by: zhaogrug Commit-by: zhaogrug Merged-by: cann-robot Description: ## 描述 新增仓内新版ttk用例 <!--在这里详细描述你的改动，包括改动的原因和所采取的方法。--> ## 关联的Issue [#4386](https://gitcode.com/cann/ops-nn/issues/4386) <!-- 如果这个PR是为了解决特定的Issue，请在这里提供Issue链接。例如：关联Issue #000--> ## 测试 冒烟测试，本地验证 <!--描述进行了哪些测试来验证你的改动。--> ## 文档更新 <!--如果这个PR包含文档的更新，请在这里指出。例如：更新了README.md文件。--> ## 类型标签 <!-- [x] 表示选中 --> - [ ] Bug修复 - [ ] 新特性 - [ ] 性能优化 - [ ] 文档更新 - [x] 其他，请描述：用例添加 ## AI/Agent生成声明 <!-- [x] 表示选中 --> - [ ] AI辅助编写 See merge request: cann/ops-nn!8026 | 2 个月前 | |
docs目录基本概念md中文名改为英文名 Co-authored-by: chenjiao<chenjiao31@huawei.com> # message auto-generated for no-merge-commit merge: !7857 merge master into master docs目录基本概念md中文名改为英文名 Created-by: gitcode-chenjiao Commit-by: gitcode-chenjiao;chenjiao Merged-by: cann-robot Description: ## 描述 <!--在这里详细描述你的改动，包括改动的原因和所采取的方法。--> docs目录基本概念md文件名改为英文： 避免link中的中文字符引发的跳转异常，例如两段式接口.md变成%E4%B8%A4%E6%AE%B5%E5%BC%8F%E6%8E%A5%E5%8F%A3.md，不易于维护，可能导致其他平台跳转有问题。 ## 关联的Issue <!-- 如果这个PR是为了解决特定的Issue，请在这里提供Issue链接。例如：关联Issue #000--> [#4260](https://gitcode.com/cann/ops-nn/issues/4260) ## 测试 <!--描述进行了哪些测试来验证你的改动。--> ok ## 文档更新 <!--如果这个PR包含文档的更新，请在这里指出。例如：更新了README.md文件。--> docs/zh/context所有md和对应的link ## 类型标签 <!-- [x] 表示选中 --> - [ ] Bug修复 - [ ] 新特性 - [ ] 性能优化 - [x ] 文档更新 - [ ] 其他，请描述： ## AI/Agent生成声明 <!-- [x] 表示选中 --> - [ ] AI辅助编写 See merge request: cann/ops-nn!7857 | 2 个月前 | |
add_cases Co-authored-by: zhaogrug<zhaohai16@h-partners.com> # message auto-generated for no-merge-commit merge: !7583 merge add_cases into master add_cases Created-by: zhaogrug Commit-by: zhaogrug Merged-by: cann-robot Description: ## 描述 新增仓内新版ttk用例 <!--在这里详细描述你的改动，包括改动的原因和所采取的方法。--> ## 关联的Issue [#4223](https://gitcode.com/cann/ops-nn/issues/4223) <!-- 如果这个PR是为了解决特定的Issue，请在这里提供Issue链接。例如：关联Issue #000--> ## 测试 冒烟测试，本地验证 <!--描述进行了哪些测试来验证你的改动。--> ## 文档更新 <!--如果这个PR包含文档的更新，请在这里指出。例如：更新了README.md文件。--> ## 类型标签 <!-- [x] 表示选中 --> - [ ] Bug修复 - [ ] 新特性 - [ ] 性能优化 - [ ] 文档更新 - [x] 其他，请描述：用例添加 ## AI/Agent生成声明 <!-- [x] 表示选中 --> - [ ] AI辅助编写 See merge request: cann/ops-nn!7583 | 2 个月前 | |
feat(optim): add apply_adam_v2 operator Co-authored-by: handsomeRobot_SK<suke13@huawei.com> # message auto-generated for no-merge-commit merge: !8094 merge applyadamv2 into master feat(optim): add apply_adam_v2 operator Created-by: handsomeRobot_SK Commit-by: handsomeRobot_SK Merged-by: cann-robot Description: ## PR: feat(optim): add apply_adam_v2 operator ### 概述 新增 ApplyAdamV2 算子，实现 Adam 优化器的参数更新，支持标准 Adam 和 mBART Adam 两种模式，可选梯度裁剪，用于深度学习训练中反向传播后的参数更新阶段。算子基于 Ascend C 开发，支持 Ascend950 (arch35/DAV_3510) 平台，仅支持 GEIR 图模式调用。 ### 算子功能 实现 Adam 优化器的单步参数更新： **标准 Adam 模式**（adam_mode = "adam"）： $$g_t = \text{grad} \cdot \text{clip\_coeff}$$ $$m_t = \beta_1 \cdot m_{t-1} + (1 - \beta_1) \cdot g_t$$ $$v_t = \beta_2 \cdot v_{t-1} + (1 - \beta_2) \cdot g_t^2$$ $$u = \frac{m_t}{\sqrt{v_t} + \epsilon}$$ $$\text{var}_t = \text{var}_{t-1} - \eta \cdot (u + \text{weight\_decay} \cdot \text{var}_{t-1})$$ **mBART Adam 模式**（adam_mode = "mbart_adam"）： $$m_t = \beta_1 \cdot m_{t-1} + (1 - \beta_1) \cdot \text{grad}$$ $$v_t = \beta_2 \cdot v_{t-1} + (1 - \beta_2) \cdot \text{grad}^2$$ $$u = \frac{m_t}{\sqrt{v_t} + \epsilon}$$ $$\text{var}_t = \text{var}_{t-1} - \text{step\_size} \cdot u - \eta \cdot \text{weight\_decay} \cdot \text{var}_{t-1}$$ 其中 $var$ 为模型参数，$m$ 为一阶矩估计，$v$ 为二阶矩估计，$\beta_1$、$\beta_2$ 为衰减率，$\eta$ 为学习率，$\epsilon$ 为数值稳定性常数。 **算法实现**： - **4 条计算路径**：Adam FP32、Adam FP16、mBART Adam FP32、mBART Adam FP16 - **TilingKey 分派**：DTYPE × MODE 两维度 TilingKey，编译期分派到对应路径 - **VF 寄存器级融合**：5 个 VF 函数（AdamMomentsVF、MbartMomentsVF、AdamDivVF、AdamUpdateVF、MbartUpdateVF）实现寄存器级指令融合 - **FP16 精度提升**：FP16 输入先 Cast 到 FP32 计算，结果 Cast 回 FP16，保证长期训练中矩估计的精度 - **梯度裁剪**：Adam 模式下支持基于 global_grad_norm 的梯度裁剪 ### 支持规格 | 项目 | 支持情况 | |------|---------| | **数据类型** | float16, float32 | | **数据格式** | ND | | **Rank 范围** | 0 ~ 8 | | **平台** | Ascend950 (arch35) | | **调用模式** | GEIR 图模式 | ### 交付件清单 optim/apply_adam_v2/ ├── CMakeLists.txt # 构建配置 ├── README.md # 算子文档 ├── examples/ │ └── test_geir_apply_adam_v2.cpp # GEIR 示例 ├── op_graph/ │ ├── CMakeLists.txt │ ├── apply_adam_v2_proto.h # GEIR 原型定义 │ └── apply_adam_v2_graph_infer.cpp # 图模式 InferDataType ├── op_host/ │ ├── apply_adam_v2_def.cpp # 算子定义 │ ├── apply_adam_v2_infershape.cpp # 形状推导 │ └── arch35/ │ ├── apply_adam_v2_tiling_arch35.h # Tiling 类声明 │ └── apply_adam_v2_tiling_arch35.cpp # Tiling 计算 ├── op_kernel/ │ ├── apply_adam_v2.cpp # Kernel 入口 │ └── arch35/ │ ├── apply_adam_v2_kernel.h # Kernel 实现 │ ├── apply_adam_v2_struct.h # 模板参数声明 │ └── apply_adam_v2_tiling_data.h # Tiling 数据结构 └── tests/ └── ut/ └── op_host/ ├── test_apply_adam_v2_infershape.cpp # InferShape UT (2 用例) └── arch35/ └── test_apply_adam_v2_tiling_arch35.cpp # Tiling UT (4 用例) ### 测试验证 #### 单元测试 (UT) - **用例数**：6 - **通过率**：100% (6/6) - **覆盖范围**：InferShape (2) + Tiling (4) #### TTK 框架验证 - **精度标准**： - FP32: rtol=1e-4, atol=1e-4 - FP16: rtol=1e-3, atol=1e-3 - **覆盖范围**： - 数据类型：FP32 / FP16 - 计算模式：Adam / mBART Adam - 特殊场景：标量、大 Tensor、极端值 #### GEIR 端对端验证 - **状态**：✅ 通过 - **验证内容**：图编译 + 图执行 + 输出正确性 ### 代码质量 #### 代码规范化 - ✅ 文件头格式统一（Copyright + Generated By CANNBot） - ✅ Kernel 结构重构为 VF 融合 + Process 分发模式 - ✅ Tiling 数据结构字段 camelCase 命名 - ✅ 移除 op_host 中冗余的 InferDataType（已由 op_graph 处理） - ✅ 魔鬼数字常量化（kMaxInputSlots, kMaxOutputSlots, kPhysNodes, kMaxRank, kMaxNDDMA） - ✅ clang-format 格式化（基于项目 .clang-format 配置） ### 编译验证 bash # 编译 cd ops-nn bash build.sh --soc=ascend950 --pkg --ops=apply_adam_v2 -j16 # 输出 ✅ 编译成功 ✅ 生成算子包：cann-ops-nn-custom_linux-x86_64.run ✅ 安装成功：部署到 /usr/local/Ascend/cann-9.0.0/opp/vendors/custom_nn/ ### 关键实现细节 #### 1. Kernel 实现 (apply_adam_v2_kernel.h) - **结构**：Init → Process<KEY> → (ProcessAdam / ProcessMbartAdam / ProcessAdamFp16 / ProcessMbartAdamFp16) 分发设计 - **VF 寄存器级融合**： - AdamMomentsVF：梯度裁剪 + 一阶矩 + 二阶矩（S1+S2+S3，6 条指令） - MbartMomentsVF：一阶矩 + 二阶矩，无梯度裁剪（S2+S3，5 条指令） - AdamDivVF：更新量计算 u = m_t / (sqrt(v_t) + epsilon)（S4，3 条指令） - AdamUpdateVF：权重衰减 + 参数更新（adam 模式）（S5+S6，2~4 条指令） - MbartUpdateVF：步长缩放 + 权重衰减 + 参数更新（mbart 模式）（S5+S6+S7，2~4 条指令） - **精度转换**：FP16 路径先 Cast 到 FP32 计算，再 Cast 回 FP16 写回 - **同步管理**：严格的 MTE2↔V↔MTE3 事件同步 #### 2. Tiling 实现 (apply_adam_v2_tiling_arch35.cpp) - **TilingKey 设计**：DTYPE × MODE 两维度，共 4 种组合 - **PadAndSqueeze**：将输入 shape 填充到统一 rank，压缩全 1 维度 - **FindSplitAxis**：从最内维向外寻找可放入 UB 的 split 轴 - **MultiCoreSplit**：基于 tile 总数和可用核数动态分配 - **PrecomputeStrides**：预计算广播 stride（广播轴 stride=0） #### 3. Buffer 规划 - **5 个 TBuf**：B0(grad→u→var_out)、B1(m)、B2(v→v_t→v_out)、B3(var)、B4(m_t→m_out) - **P=5 物理节点**：每个 TBuf 对应一个物理节点，per_buf_bytes = (UB / 5) & ~31 ### 依赖与限制 - **依赖**：CANN 9.0.0 - **限制**： - 仅支持 GEIR 图模式（无 ACLNN 接口） - 仅支持 Ascend950 (arch35) - 不支持空 Tensor（0 元素） - var、m、v、grad 的 shape 和 dtype 必须完全一致 - lr、beta1、beta2、epsilon、max_grad_norm、global_grad_norm、weight_decay、step_size 为标量（shape [1]） ### 测试命令 bash # 单元测试 cd optim/apply_adam_v2/tests/ut/build/op_host ./test_apply_adam_v2_infershape ./test_apply_adam_v2_tiling_arch35 # GEIR 示例 cd optim/apply_adam_v2/examples bash run.sh ### 相关文件 - 算子文档：optim/apply_adam_v2/README.md - Issue 模板：guide/issue模板.md ### Checklist - [x] 代码符合 ops-nn 内置算子标准 - [x] 文件头格式统一 - [x] Kernel 结构规范化（VF 融合 + Process 分发） - [x] 单元测试通过 (6/6) - [x] GEIR 端对端验证通过 - [x] 编译安装验证通过 - [x] 文档完整（README + 示例） - [x] clang-format 格式化 See merge request: cann/ops-nn!8094 | 2 个月前 | |
docs目录基本概念md中文名改为英文名 Co-authored-by: chenjiao<chenjiao31@huawei.com> # message auto-generated for no-merge-commit merge: !7857 merge master into master docs目录基本概念md中文名改为英文名 Created-by: gitcode-chenjiao Commit-by: gitcode-chenjiao;chenjiao Merged-by: cann-robot Description: ## 描述 <!--在这里详细描述你的改动，包括改动的原因和所采取的方法。--> docs目录基本概念md文件名改为英文： 避免link中的中文字符引发的跳转异常，例如两段式接口.md变成%E4%B8%A4%E6%AE%B5%E5%BC%8F%E6%8E%A5%E5%8F%A3.md，不易于维护，可能导致其他平台跳转有问题。 ## 关联的Issue <!-- 如果这个PR是为了解决特定的Issue，请在这里提供Issue链接。例如：关联Issue #000--> [#4260](https://gitcode.com/cann/ops-nn/issues/4260) ## 测试 <!--描述进行了哪些测试来验证你的改动。--> ok ## 文档更新 <!--如果这个PR包含文档的更新，请在这里指出。例如：更新了README.md文件。--> docs/zh/context所有md和对应的link ## 类型标签 <!-- [x] 表示选中 --> - [ ] Bug修复 - [ ] 新特性 - [ ] 性能优化 - [x ] 文档更新 - [ ] 其他，请描述： ## AI/Agent生成声明 <!-- [x] 表示选中 --> - [ ] AI辅助编写 See merge request: cann/ops-nn!7857 | 2 个月前 | |
feat(arch35): add Ascend 950 support for Adam optimizer operators Co-authored-by: daiwei18<daiwei18@huawei.com> # message auto-generated for no-merge-commit merge: !8078 merge 930-optim into master feat(arch35): add Ascend 950 support for Adam optimizer operators Created-by: daiwei18 Commit-by: daiwei18 Merged-by: cann-robot Description: ## 描述 - 为 ApplyAdamWQuant 增加 arch35/Ascend 950 tiling、kernel、binary 配置和测试覆盖。 - 新增 ApplyAdamWithAmsgrad 算子目录，包含 proto、host、kernel、Ascend950 配置、示例和 UT。 - 修复 ApplyAdamWQuant 公共 tiling 头文件命名和 UT tiling 类型对齐问题。 - 补充 README、aclnn 文档和 golden 资产，完善算子提交材料。 ## 关联的Issue 关联Issue #4461 https://gitcode.com/cann/ops-nn/issues/4461 ## 测试 - 新增/更新 ApplyAdamWQuant、ApplyAdamWithAmsgrad arch35 op_host/op_kernel UT。 - ApplyAdamWQuant golden 入口本地可执行；dtype 与校验反例覆盖已补充。 - 本地执行 clang-format 18.1.8 --dry-run --Werror，改动 C/C++ 文件格式检查通过。 - 精度、泛化和性能结果随转测补充。 ## 文档更新 - 更新 ApplyAdamWQuant 文档，并新增 ApplyAdamWithAmsgrad README/示例说明。 ## 类型标签 - [ ] Bug修复 - [x] 新特性 - [ ] 性能优化 - [x] 文档更新 - [ ] 其他，请描述： ## AI/Agent生成声明 - [x] AI辅助编写 See merge request: cann/ops-nn!8078 | 2 个月前 | |
add cases Co-authored-by: zhaogrug<zhaohai16@h-partners.com> # message auto-generated for no-merge-commit merge: !8026 merge the_rest_of_cases into master add cases Created-by: zhaogrug Commit-by: zhaogrug Merged-by: cann-robot Description: ## 描述 新增仓内新版ttk用例 <!--在这里详细描述你的改动，包括改动的原因和所采取的方法。--> ## 关联的Issue [#4386](https://gitcode.com/cann/ops-nn/issues/4386) <!-- 如果这个PR是为了解决特定的Issue，请在这里提供Issue链接。例如：关联Issue #000--> ## 测试 冒烟测试，本地验证 <!--描述进行了哪些测试来验证你的改动。--> ## 文档更新 <!--如果这个PR包含文档的更新，请在这里指出。例如：更新了README.md文件。--> ## 类型标签 <!-- [x] 表示选中 --> - [ ] Bug修复 - [ ] 新特性 - [ ] 性能优化 - [ ] 文档更新 - [x] 其他，请描述：用例添加 ## AI/Agent生成声明 <!-- [x] 表示选中 --> - [ ] AI辅助编写 See merge request: cann/ops-nn!8026 | 2 个月前 | |
TF plugin 迁移2 Co-authored-by: sunchun<sunchun4@h-partners.com> # message auto-generated for no-merge-commit merge: !7586 merge nn2 into master TF plugin 迁移2 Created-by: sunchun Commit-by: sunchun Merged-by: cann-robot Description: ## 描述 TF plugin 迁移 ## 关联的Issue https://gitcode.com/cann/ops-nn/issues/4196 ## 测试 <!--描述进行了哪些测试来验证你的改动。--> ## 文档更新 <!--如果这个PR包含文档的更新，请在这里指出。例如：更新了README.md文件。--> ## 类型标签 <!-- [x] 表示选中 --> - [ ] Bug修复 - [x] 新特性 - [ ] 性能优化 - [ ] 文档更新 - [ ] 其他，请描述： ## AI/Agent生成声明 <!-- [x] 表示选中 --> - [ ] AI辅助编写 See merge request: cann/ops-nn!7586 | 2 个月前 | |
TF plugin 迁移2 Co-authored-by: sunchun<sunchun4@h-partners.com> # message auto-generated for no-merge-commit merge: !7586 merge nn2 into master TF plugin 迁移2 Created-by: sunchun Commit-by: sunchun Merged-by: cann-robot Description: ## 描述 TF plugin 迁移 ## 关联的Issue https://gitcode.com/cann/ops-nn/issues/4196 ## 测试 <!--描述进行了哪些测试来验证你的改动。--> ## 文档更新 <!--如果这个PR包含文档的更新，请在这里指出。例如：更新了README.md文件。--> ## 类型标签 <!-- [x] 表示选中 --> - [ ] Bug修复 - [x] 新特性 - [ ] 性能优化 - [ ] 文档更新 - [ ] 其他，请描述： ## AI/Agent生成声明 <!-- [x] 表示选中 --> - [ ] AI辅助编写 See merge request: cann/ops-nn!7586 | 2 个月前 | |
TF plugin 迁移2 Co-authored-by: sunchun<sunchun4@h-partners.com> # message auto-generated for no-merge-commit merge: !7586 merge nn2 into master TF plugin 迁移2 Created-by: sunchun Commit-by: sunchun Merged-by: cann-robot Description: ## 描述 TF plugin 迁移 ## 关联的Issue https://gitcode.com/cann/ops-nn/issues/4196 ## 测试 <!--描述进行了哪些测试来验证你的改动。--> ## 文档更新 <!--如果这个PR包含文档的更新，请在这里指出。例如：更新了README.md文件。--> ## 类型标签 <!-- [x] 表示选中 --> - [ ] Bug修复 - [x] 新特性 - [ ] 性能优化 - [ ] 文档更新 - [ ] 其他，请描述： ## AI/Agent生成声明 <!-- [x] 表示选中 --> - [ ] AI辅助编写 See merge request: cann/ops-nn!7586 | 2 个月前 | |
TF plugin 迁移2 Co-authored-by: sunchun<sunchun4@h-partners.com> # message auto-generated for no-merge-commit merge: !7586 merge nn2 into master TF plugin 迁移2 Created-by: sunchun Commit-by: sunchun Merged-by: cann-robot Description: ## 描述 TF plugin 迁移 ## 关联的Issue https://gitcode.com/cann/ops-nn/issues/4196 ## 测试 <!--描述进行了哪些测试来验证你的改动。--> ## 文档更新 <!--如果这个PR包含文档的更新，请在这里指出。例如：更新了README.md文件。--> ## 类型标签 <!-- [x] 表示选中 --> - [ ] Bug修复 - [x] 新特性 - [ ] 性能优化 - [ ] 文档更新 - [ ] 其他，请描述： ## AI/Agent生成声明 <!-- [x] 表示选中 --> - [ ] AI辅助编写 See merge request: cann/ops-nn!7586 | 2 个月前 | |
docs目录基本概念md中文名改为英文名 Co-authored-by: chenjiao<chenjiao31@huawei.com> # message auto-generated for no-merge-commit merge: !7857 merge master into master docs目录基本概念md中文名改为英文名 Created-by: gitcode-chenjiao Commit-by: gitcode-chenjiao;chenjiao Merged-by: cann-robot Description: ## 描述 <!--在这里详细描述你的改动，包括改动的原因和所采取的方法。--> docs目录基本概念md文件名改为英文： 避免link中的中文字符引发的跳转异常，例如两段式接口.md变成%E4%B8%A4%E6%AE%B5%E5%BC%8F%E6%8E%A5%E5%8F%A3.md，不易于维护，可能导致其他平台跳转有问题。 ## 关联的Issue <!-- 如果这个PR是为了解决特定的Issue，请在这里提供Issue链接。例如：关联Issue #000--> [#4260](https://gitcode.com/cann/ops-nn/issues/4260) ## 测试 <!--描述进行了哪些测试来验证你的改动。--> ok ## 文档更新 <!--如果这个PR包含文档的更新，请在这里指出。例如：更新了README.md文件。--> docs/zh/context所有md和对应的link ## 类型标签 <!-- [x] 表示选中 --> - [ ] Bug修复 - [ ] 新特性 - [ ] 性能优化 - [x ] 文档更新 - [ ] 其他，请描述： ## AI/Agent生成声明 <!-- [x] 表示选中 --> - [ ] AI辅助编写 See merge request: cann/ops-nn!7857 | 2 个月前 | |
TF plugin 迁移2 Co-authored-by: sunchun<sunchun4@h-partners.com> # message auto-generated for no-merge-commit merge: !7586 merge nn2 into master TF plugin 迁移2 Created-by: sunchun Commit-by: sunchun Merged-by: cann-robot Description: ## 描述 TF plugin 迁移 ## 关联的Issue https://gitcode.com/cann/ops-nn/issues/4196 ## 测试 <!--描述进行了哪些测试来验证你的改动。--> ## 文档更新 <!--如果这个PR包含文档的更新，请在这里指出。例如：更新了README.md文件。--> ## 类型标签 <!-- [x] 表示选中 --> - [ ] Bug修复 - [x] 新特性 - [ ] 性能优化 - [ ] 文档更新 - [ ] 其他，请描述： ## AI/Agent生成声明 <!-- [x] 表示选中 --> - [ ] AI辅助编写 See merge request: cann/ops-nn!7586 | 2 个月前 | |
[CANNBot]: 修正README参数说明与算子定义一致 Co-authored-by: chen_chenn<chenchen167@huawei.com> # message auto-generated for no-merge-commit merge: !7867 merge applyKerasMomentum into master [CANNBot]: 修正README参数说明与算子定义一致 Created-by: chen_chenn Commit-by: chen_chenn Merged-by: cann-robot Description: ## 描述 修正README参数说明与算子定义一致 ## 关联的Issue https://gitcode.com/cann/ops-nn/issues/4274 ## 测试 ## 文档更新 https://gitcode.com/cann/ops-nn/blob/master/optim/apply_keras_momentum/README.md ## 类型标签 - [x] Bug修复 - [ ] 新特性 - [ ] 性能优化 - [ ] 文档更新 - [ ] 其他，请描述： ## AI/Agent生成声明 - [x] AI辅助编写 See merge request: cann/ops-nn!7867 | 2 个月前 | |
TF plugin 迁移2 Co-authored-by: sunchun<sunchun4@h-partners.com> # message auto-generated for no-merge-commit merge: !7586 merge nn2 into master TF plugin 迁移2 Created-by: sunchun Commit-by: sunchun Merged-by: cann-robot Description: ## 描述 TF plugin 迁移 ## 关联的Issue https://gitcode.com/cann/ops-nn/issues/4196 ## 测试 <!--描述进行了哪些测试来验证你的改动。--> ## 文档更新 <!--如果这个PR包含文档的更新，请在这里指出。例如：更新了README.md文件。--> ## 类型标签 <!-- [x] 表示选中 --> - [ ] Bug修复 - [x] 新特性 - [ ] 性能优化 - [ ] 文档更新 - [ ] 其他，请描述： ## AI/Agent生成声明 <!-- [x] 表示选中 --> - [ ] AI辅助编写 See merge request: cann/ops-nn!7586 | 2 个月前 | |
TF plugin 迁移2 Co-authored-by: sunchun<sunchun4@h-partners.com> # message auto-generated for no-merge-commit merge: !7586 merge nn2 into master TF plugin 迁移2 Created-by: sunchun Commit-by: sunchun Merged-by: cann-robot Description: ## 描述 TF plugin 迁移 ## 关联的Issue https://gitcode.com/cann/ops-nn/issues/4196 ## 测试 <!--描述进行了哪些测试来验证你的改动。--> ## 文档更新 <!--如果这个PR包含文档的更新，请在这里指出。例如：更新了README.md文件。--> ## 类型标签 <!-- [x] 表示选中 --> - [ ] Bug修复 - [x] 新特性 - [ ] 性能优化 - [ ] 文档更新 - [ ] 其他，请描述： ## AI/Agent生成声明 <!-- [x] 表示选中 --> - [ ] AI辅助编写 See merge request: cann/ops-nn!7586 | 2 个月前 | |
TF plugin 迁移2 Co-authored-by: sunchun<sunchun4@h-partners.com> # message auto-generated for no-merge-commit merge: !7586 merge nn2 into master TF plugin 迁移2 Created-by: sunchun Commit-by: sunchun Merged-by: cann-robot Description: ## 描述 TF plugin 迁移 ## 关联的Issue https://gitcode.com/cann/ops-nn/issues/4196 ## 测试 <!--描述进行了哪些测试来验证你的改动。--> ## 文档更新 <!--如果这个PR包含文档的更新，请在这里指出。例如：更新了README.md文件。--> ## 类型标签 <!-- [x] 表示选中 --> - [ ] Bug修复 - [x] 新特性 - [ ] 性能优化 - [ ] 文档更新 - [ ] 其他，请描述： ## AI/Agent生成声明 <!-- [x] 表示选中 --> - [ ] AI辅助编写 See merge request: cann/ops-nn!7586 | 2 个月前 | |
TF plugin 迁移2 Co-authored-by: sunchun<sunchun4@h-partners.com> # message auto-generated for no-merge-commit merge: !7586 merge nn2 into master TF plugin 迁移2 Created-by: sunchun Commit-by: sunchun Merged-by: cann-robot Description: ## 描述 TF plugin 迁移 ## 关联的Issue https://gitcode.com/cann/ops-nn/issues/4196 ## 测试 <!--描述进行了哪些测试来验证你的改动。--> ## 文档更新 <!--如果这个PR包含文档的更新，请在这里指出。例如：更新了README.md文件。--> ## 类型标签 <!-- [x] 表示选中 --> - [ ] Bug修复 - [x] 新特性 - [ ] 性能优化 - [ ] 文档更新 - [ ] 其他，请描述： ## AI/Agent生成声明 <!-- [x] 表示选中 --> - [ ] AI辅助编写 See merge request: cann/ops-nn!7586 | 2 个月前 | |
feat: FusedMulApplyKerasMomentum is supported on Ascend950 Co-authored-by: niukang_hw<niukang1@huawei.com> # message auto-generated for no-merge-commit merge: !7649 merge dev_fused_mul_apply_keras_momentum into master feat: FusedMulApplyKerasMomentum is supported on Ascend950 Created-by: niukang_hw Commit-by: niukang_hw Merged-by: cann-robot Description: ## 描述 本次PR为Ascend950平台（arch35 / DAV_3510）新增 FusedMulApplyKerasMomentum 融合算子，将梯度乘法（x1 * x2）与 Keras 风格 Momentum 优化器更新（标准模式与 Nesterov 模式）融合为单算子，支持 FP16/FP32 数据类型、rank 0~8 的 broadcast 形状，并实现 TilingKey 按 RANK_4 / RANK_8 两档模板化调度。包含完整的 op 注册、形状推断、Tiling 切分、Kernel 计算、Golden 参考及单元测试。 ## 关联的Issue <!-- 如果这个PR是为了解决特定的Issue，请在这里提供Issue链接。例如：关联Issue #000--> ## 测试 | 数据类型 | 精度标准 (rtol/atol) | 用例数 | 通过 | 失败 | 通过率 | | -------- | -------------------- | ------ | ---- | ---- | ------ | | FP32 | 1e-4 / 1e-4 | 88 | 88 | 0 | 100% | | FP16 | 1e-3 / 1e-3 | 62 | 62 | 0 | 100% | | 合计 | — | 150 | 150 | 0 | 100% | ## 文档更新 optim/fused_mul_apply_keras_momentum/README.md ## 类型标签 <!-- [x] 表示选中 --> - [ ] Bug修复 - [x] 新特性 - [ ] 性能优化 - [x] 文档更新 - [ ] 其他，请描述： ## AI/Agent生成声明 <!-- [x] 表示选中 --> - [x] AI辅助编写 See merge request: cann/ops-nn!7649 | 2 个月前 | |
feat(optim): fused_mul_apply_momentum Co-authored-by: handsomeRobot_SK<suke13@huawei.com> # message auto-generated for no-merge-commit merge: !7900 merge master into master feat(optim): fused_mul_apply_momentum Created-by: handsomeRobot_SK Commit-by: handsomeRobot_SK Merged-by: cann-robot Description: ## PR: feat(optim): add fused_mul_apply_momentum operator ### 概述 新增 FusedMulApplyMomentum 算子，实现 SGD with Momentum 优化器的参数更新，融合梯度乘法（ grad = x1 * x2），用于深度学习训练中反向传播后的参数更新阶段，适用于混合精度训练场景下的梯度缩放（Loss Scaling）。算子基于 Ascend C 开发，支持 Ascend950 (arch35/DAV_3510) 平台，仅支持 GEIR 图模式调用。 ### 算子功能 实现 SGD with Momentum 优化器的单步参数更新： **标准模式**（use_nesterov = false）： $$\text{accum}_{t} = \text{accum}_{t-1} \cdot m + x_1 \cdot x_2$$ $$\text{var}_{t} = \text{var}_{t-1} - \text{accum}_{t} \cdot \eta$$ **Nesterov 模式**（use_nesterov = true）： $$\text{accum}_{t} = \text{accum}_{t-1} \cdot m + x_1 \cdot x_2$$ $$\text{var}_{t} = \text{var}_{t-1} - x_1 \cdot x_2 \cdot \eta - \text{accum}_{t} \cdot m \cdot \eta$$ 其中 $var$ 为模型参数，$accum$ 为动量累积器，$x_1$ 为梯度张量，$x_2$ 为梯度缩放因子，$m$ 为动量系数，$\eta$ 为学习率。 **算法实现**： - **4 条计算路径**：Standard FP32、Standard FP16、Nesterov FP32、Nesterov FP16 - **FP16 精度提升**：FP16 输入先 Cast 到 FP32 计算，结果 Cast 回 FP16，保证长期训练中动量累积器的精度 - **Batch 处理**：所有路径均支持按 BATCH_SIZE=4096 分批处理大 Tensor，避免 UB 溢出 - **ND-DMA 广播搬运**：支持多维广播输入的高效 ND-DMA 搬运，RANK>5 时手动拆外层循环 ### 支持规格 | 项目 | 支持情况 | |------|---------| | **数据类型** | float16, float32 | | **数据格式** | ND | | **Rank 范围** | 0 ~ 8 | | **平台** | Ascend950 (arch35) | | **调用模式** | GEIR 图模式 | ### 交付件清单 optim/fused_mul_apply_momentum/ ├── CMakeLists.txt # 构建配置 ├── README.md # 算子文档 ├── examples/ │ └── test_geir_fused_mul_apply_momentum.cpp # GEIR 示例 ├── op_graph/ │ ├── CMakeLists.txt │ ├── fused_mul_apply_momentum_proto.h # GEIR 原型定义 │ └── fused_mul_apply_momentum_graph_infer.cpp # 图模式 InferDataType ├── op_host/ │ ├── fused_mul_apply_momentum_def.cpp # 算子定义 │ ├── fused_mul_apply_momentum_infershape.cpp # 形状推导 │ └── arch35/ │ ├── fused_mul_apply_momentum_tiling_arch35.h # Tiling 类声明 │ └── fused_mul_apply_momentum_tiling_arch35.cpp # Tiling 计算 ├── op_kernel/ │ ├── fused_mul_apply_momentum.cpp # Kernel 入口 │ └── arch35/ │ ├── fused_mul_apply_momentum_kernel.h # Kernel 实现 │ ├── fused_mul_apply_momentum_struct.h # 模板参数声明 │ └── fused_mul_apply_momentum_tiling_data.h # Tiling 数据结构 └── tests/ └── ut/ └── op_host/ ├── test_fused_mul_apply_momentum_infershape.cpp # InferShape UT (2 用例) └── arch35/ └── test_fused_mul_apply_momentum_tiling_arch35.cpp # Tiling UT (4 用例) ### 测试验证 #### 单元测试 (UT) - **用例数**：6 - **通过率**：100% (6/6) - **覆盖范围**：InferShape (2) + Tiling (4) #### TTK 框架验证 - **用例数**：101 - **精度标准**： - FP32: rtol=1e-4, atol=1e-4 - FP16: rtol=1e-3, atol=1e-3 - **覆盖范围**： - 数据类型：FP32 / FP16 - 计算模式：Standard / Nesterov - 特殊场景：空 Tensor、标量、大 Tensor、极端值（Inf/NaN）、零值、溢出 #### GEIR 端对端验证 - **状态**：✅ 通过 - **验证内容**：图编译 + 图执行 + 输出正确性 ### 代码质量 #### 代码检视 - **检视工具**：ascendc-ops-reviewer - **发现问题**：4 个（1 Critical + 2 Medium + 1 Low） - **修复状态**：✅ 全部修复 - Critical: FP32 Nesterov batch 路径缺少 CopyOut 前 V_MTE2 sync，导致大 Tensor crash - Medium: examples 中 new float[] 内存泄漏，改用 std::vector - Medium: ADD_INPUT 宏中 "placeholder" + int 指针算术 bug，改用 std::string 拼接 - Low: AddGraph 返回值未检查 #### 代码规范化 - ✅ 文件头格式统一 - ✅ Kernel 结构重构为 CopyIn/CopyOut/Compute/Process 模式（参照 dawsn 规范） - ✅ FP32 路径新增 batch 处理（与 FP16 对齐） - ✅ 移除 op_host 中冗余的 InferDataType（已由 op_graph 处理） - ✅ 魔鬼数字常量化（kMaxInputSlots, kMaxOutputSlots, kPhysNodes, kMaxRank, kMaxNDDMA） ### 编译验证 bash # 编译 cd ops-nn bash build.sh --soc=ascend950 --pkg --ops=fused_mul_apply_momentum -j16 # 输出 ✅ 编译成功 ✅ 生成算子包：cann-ops-nn-custom_linux-x86_64.run ✅ 安装成功：部署到 /usr/local/Ascend/cann-9.0.0/opp/vendors/custom_nn/ ### 关键实现细节 #### 1. Kernel 实现 (fused_mul_apply_momentum_kernel.h) - **结构**：Init → Process → (CopyIn / Compute / CopyOut) 分层设计 - **4 条计算路径**： - ComputeStandard / ComputeStandardFp16：标准动量 - ComputeNesterov / ComputeNesterovFp16：Nesterov 动量 - **Batch 处理**：所有路径按 BATCH_SIZE=4096 分批，避免 UB 容量溢出 - **精度转换**：FP16 路径先 Cast 到 FP32 计算，再 Cast 回 FP16 写回 - **同步管理**：严格的 MTE2↔V↔MTE3 事件同步，批次间 MTE3→MTE2 同步 #### 2. Tiling 实现 (fused_mul_apply_momentum_tiling_arch35.cpp) - **PadAndSqueeze**：将输入 shape 填充到统一 rank，压缩全 1 维度 - **FindSplitAxis**：从最内维向外寻找可放入 UB 的 split 轴 - **MultiCoreSplit**：基于 tile 总数和可用核数动态分配 - **PrecomputeStrides**：预计算广播 stride（广播轴 stride=0） - **模板映射**：rank ≤ 4 → RANK=4，rank > 4 → RANK=8 #### 3. 精度调试历程 - **问题 1**：perf_large_fl_0005 (1024×1024×8) FP32 Nesterov crash - **根因**：FP32 路径无 batch 处理，单次 VecCalc 的 count=8192 超出 UB 容量 - **修复**：FP32 路径新增 batch 处理，按 BATCH_SIZE=4096 分批 - **问题 2**：batch 后 crash 仍存在 - **根因**：Nesterov FP32 batch 中 accum_new(UB1) 在 V_MTE2 之后写入，CopyOut 读取时未提交 - **修复**：CopyOut 前添加 V_MTE2 sync，确保所有 vector 结果提交到 UB ### 依赖与限制 - **依赖**：CANN 9.0.0 - **限制**： - 仅支持 GEIR 图模式（无 ACLNN 接口） - 仅支持 Ascend950 (arch35) - 不支持空 Tensor（0 元素） - var、accum、x1 的 shape 和 dtype 必须完全一致 - lr、momentum、x2 为标量（shape [1]） ### 测试命令 bash # 单元测试 cd optim/fused_mul_apply_momentum/tests/ut/build/op_host ./test_fused_mul_apply_momentum_infershape ./test_fused_mul_apply_momentum_tiling_arch35 # TTK 测试 cd ops-test-kit python3 -m ttk kernel -i fused_mul_apply_momentum/inputs/kernel_testcases.csv --plugin=fused_mul_apply_momentum -d -c -b=release # GEIR 示例 cd optim/fused_mul_apply_momentum/examples bash run.sh ### 相关文件 - 算子文档：optim/fused_mul_apply_momentum/README.md - TTK 用例：competitor_compare/fused_mul_apply_momentum/inputs/kernel_testcases.csv ### Checklist - [x] 代码符合 ops-nn 内置算子标准 - [x] 文件头格式统一 - [x] Kernel 结构规范化（CopyIn/CopyOut/Compute/Process） - [x] 单元测试通过 (6/6) - [x] TTK 验证通过 (101/101) - [x] GEIR 端对端验证通过 - [x] 代码检视问题已修复 - [x] 编译安装验证通过 - [x] 文档完整（README + 示例） See merge request: cann/ops-nn!7900 | 2 个月前 | |
feat: FusedMulApplyMomentumExtern is supported on Ascend950 Co-authored-by: niukang_hw<niukang1@huawei.com> # message auto-generated for no-merge-commit merge: !7533 merge dev_fused_mul_apply_momentum_extern into master feat: FusedMulApplyMomentumExtern is supported on Ascend950 Created-by: niukang_hw Commit-by: niukang_hw Merged-by: cann-robot Description: ## 描述 - **算子功能**：CANN 图模式融合训练算子，将梯度缩放（Mul）与带动量的参数更新（ApplyMomentum）融合为单次逐元素更新，并**原地**更新主权重 var、动量缓冲 accum 及低精度权重副本 var_copy（inplace 语义）。由 momentum_lossscale_fusion_pass 融合 PASS 产生，对标 TensorFlow ApplyMomentum 的加号动量语义。use_nesterov=True 时采用 Nesterov 动量。 - **计算公式**： $$ \begin{aligned} grad &= x1 \times x2 \\ accum_{t} &= accum \times momentum + grad \end{aligned} $$ - 若 use_nesterov = False（标准动量）： $$ \Delta v = accum_{t} \times lr $$ - 若 use_nesterov = True（Nesterov 动量）： $$ \Delta v = grad \times lr + accum_{t} \times momentum \times lr $$ - 参数更新： $$ \begin{aligned} var_{t} &= var - \Delta v \\ var\_copy_{t} &= var\_copy - \text{Cast}(\Delta v) \\ accum\_out &= \text{Cast}(accum_{t}) \end{aligned} $$ 其中 x2 为 LossScale 倒数缩放标量。主权重 var 恒为 FLOAT（FP32）全程高精度更新；低精度副本 var_copy 独立同步更新（减去 Cast(Δv) 而非 Cast(var_out)，避免二次精度损失）。低精度通路（FP16/BF16）内部升 FP32 计算，输出 Cast 回原低精度。 ## 关联的Issue <!-- 如果这个PR是为了解决特定的Issue，请在这里提供Issue链接。例如：关联Issue #000--> ## 测试 | 数据类型 | 精度标准 (rtol/atol) | 用例数 | 通过 | 失败 | 通过率 | | -------- | -------------------- | ------ | ---- | ---- | ------ | | FP32 | 1e-4 / 1e-4 | 88 | 88 | 0 | 100% | | FP16 | 1e-3 / 1e-3 | 61 | 61 | 0 | 100% | | BF16 | 4e-3 / 4e-3 | 48 | 48 | 0 | 100% | | 合计 | — | 197 | 197 | 0 | 100% | ## 文档更新 新增 optim/fused_mul_apply_momentum_extern/README.md ## 类型标签 <!-- [x] 表示选中 --> - [ ] Bug修复 - [x] 新特性 - [ ] 性能优化 - [x] 文档更新 - [ ] 其他，请描述： ## AI/Agent生成声明 <!-- [x] 表示选中 --> - [x] AI辅助编写 See merge request: cann/ops-nn!7533 | 3 个月前 | |
【bugfix】fusedSgd算子支持950 Co-authored-by: majiajian_hw<majiajian@huawei.com> # message auto-generated for no-merge-commit merge: !7877 merge add_fusedSgd0723 into master 【bugfix】fusedSgd算子支持950 Created-by: nunnons2 Commit-by: majiajian_hw Merged-by: cann-robot Description: ## 描述 <!--在这里详细描述你的改动，包括改动的原因和所采取的方法。--> 该 PR 为 fusedSgd 融合 SGD 算子新增了 Ascend 950（950PR/950DT）硬件平台的支持，包括芯片配置注册、平台二进制配置文件，以及文档中支持状态的更新。 ## 关联的Issue <!-- 如果这个PR是为了解决特定的Issue，请在这里提供Issue链接。例如：关联Issue #000--> https://gitcode.com/cann/ops-nn/issues/4432 ## 测试 <!--描述进行了哪些测试来验证你的改动。--> 已完成 ## 文档更新 <!--如果这个PR包含文档的更新，请在这里指出。例如：更新了README.md文件。--> 更新了README.md、aclnnFusedSgd.md文档 ## 类型标签 <!-- [x] 表示选中 --> - [ ] Bug修复 - [x] 新特性 - [ ] 性能优化 - [ ] 文档更新 - [ ] 其他，请描述： ## AI/Agent生成声明 <!-- [x] 表示选中 --> - [x] AI辅助编写 See merge request: cann/ops-nn!7877 | 2 个月前 | |
[CANNBOT]inplace_apply_adadelta 适配Ascend950 Ascendc实现 Co-authored-by: gcw_YBIAEfqJ<wangweidong15@huawei.com> # message auto-generated for no-merge-commit merge: !7418 merge InplaceApplyAdadelta into master [CANNBOT]inplace_apply_adadelta 适配Ascend950 Ascendc实现 Created-by: gcw_YBIAEfqJ Commit-by: gcw_YBIAEfqJ Merged-by: cann-robot Description: ## 描述 InplaceApplyAdadelta（Adadelta 优化器参数更新）适配 Ascend950（arch35 / dav-3510）的 Ascend C 实现。基于 V1 apply_adadelta 演进，核心变更：单输出 → 三显式 inplace 输出（var / accum / accum_update），对齐弃用版 ApplyAdadeltaD 三输出语义。四步 Adadelta 公式、Tiling（4 TilingKey：FP32/FP16 × single/double）、FP16 Cast-up 精度策略复用 V1。float32 / float16，图模式（GEIR）+ TensorFlow 调用，本期不交付 aclnn。 补充改动：kernel 三输出写回 GM 前施加 FTZ（flush-to-zero）， |x| < FLT_MIN(1.17549435e-38) -> +0，对齐 TF 竞品（tf.raw_ops.ApplyAdadelta）在 fp32 计算域将次正规数 flush 成 0 的行为。实现为 Abs -> CompareScalar(CMPMODE::LT, FLT_MIN) -> Select，用 LT 保证 NaN/Inf 不被误刷。 ## 关联的Issue https://gitcode.com/cann/ops-nn/issues/4388 ## 测试 - UT：InferShape（含 InferDataType fp32/fp16）+ Tiling 4 TilingKey 分支全覆盖，24 用例通过。 - GEIR 通路：真机 NPU（Ascend950PR）端到端跑通，三输出 vs CPU golden 相对误差 0。 - TTK 批量精度（双千双万标准，golden = TF 竞品 tf.raw_ops.ApplyAdadelta 三输出）：真机上板，正常取值域用例全部通过；加 FTZ 后次正规类用例转 PASS，正常/NaN/Inf 用例回归保持。剩余极端边界用例（inf 学习率 / ±FLT_MAX 上溢 / var 恰为 FLT_MIN 贴阈）为 fp32 极值下两实现末位分歧，V1 apply_adadelta 同样如此，非本算子缺陷。 ## 文档更新 - 新增 optim/inplace_apply_adadelta/README.md - 更新 docs/zh/op_list.md（optim 分类登记 inplace_apply_adadelta） ## 类型标签 - [x] 新特性（feature） See merge request: cann/ops-nn!7418 | 2 个月前 | |
fix(inplace_apply_adagrad_da): 收紧 dtype 组合对齐 CANNDEV，删除 README 维度限制 Co-authored-by: zhongheng<m202474569@hust.edu.cn> # message auto-generated for no-merge-commit merge: !8055 merge fix/inplace_apply_adagrad_da_dtype_validation into master fix(inplace_apply_adagrad_da): 收紧 dtype 组合对齐 CANNDEV，删除 README 维度限制 Created-by: zhongheng Commit-by: zhongheng Merged-by: cann-robot Description: ## 描述 <!--在这里详细描述你的改动，包括改动的原因和所采取的方法。--> 对齐 CANNDEV ApplyAdagradDAD（apply_adagrad_da_d.py）的 dtype 校验逻辑，修复测试反馈的校验缺口。 1. def.cpp 收紧 tensor dtype 组合（修复场景 02/17） - 10 个 tensor（var/gradient_accumulator/gradient_squared_accumulator/grad/lr/l1/l2 + 3 output）的 DataType 从 4 元组 {DT_FLOAT, DT_FLOAT16, DT_FLOAT, DT_FLOAT16} 收为 2 元组 {DT_FLOAT, DT_FLOAT16} - Format/UnknownShapeFormat 同步收为 2 元组 - 效果：框架层强制所有 tensor dtype 一致，等价于 CANNDEV compare_tensor_dict_key 校验，从图编译期拦截 var=fp32+grad=fp16 等 dtype 不一致场景 2. def.cpp 收紧 global_step dtype 配对（修复场景 10） - global_step 的 DataType 从 4 元组 {DT_INT32, DT_INT32, DT_INT64, DT_INT64} 收为 2 元组 {DT_INT32, DT_INT64} - 效果：对齐 README 声明（float32 配 int32, float16 配 int64） 3. README 删除维度上限（修复场景 09） - 「支持 0~8 维输入」→「支持任意维 ND 输入」，对齐 CANNDEV 无限制 ## 关联的Issue <!-- 如果这个PR是为了解决特定的Issue，请在这里提供Issue链接。例如：关联Issue #000--> https://gitcode.com/cann/ops-nn/issues/4406 ## 测试 <!--描述进行了哪些测试来验证你的改动。--> - ✅ 编译验证通过（Ascend950，build.sh --soc=ascend950 --ops=inplace_apply_adagrad_da） - ✅ kernel binary 从 4 个减为 2 个（2 组合：fp32+int32, fp16+int64） - ✅ binary.json dtype 组合确认 2 组 - ✅ op_info 注册名 InplaceApplyAdagradDA 正确 ## 文档更新 <!--如果这个PR包含文档的更新，请在这里指出。例如：更新了README.md文件。--> - README.md：维度限制描述更新 ## 类型标签 <!-- [x] 表示选中 --> - [x] Bug修复 - [ ] 新特性 - [ ] 性能优化 - [ ] 文档更新 - [ ] 其他，请描述： ## AI/Agent生成声明 <!-- [x] 表示选中 --> - [x] AI辅助编写 See merge request: cann/ops-nn!8055 | 2 个月前 | |
[CANNBot]名称修改: ApplyAdagradV2D → InplaceApplyAdagradV2（目录 apply_adagrad_v2d/ → inplace_apply_adagrad_v2/） Co-authored-by: zhongheng<m202474569@hust.edu.cn> # message auto-generated for no-merge-commit merge: !7776 merge feat/inplace_apply_adagrad_v2 into master [CANNBot]名称修改: ApplyAdagradV2D → InplaceApplyAdagradV2（目录 apply_adagrad_v2d/ → inplace_apply_adagrad_v2/） Created-by: zhongheng Commit-by: zhongheng Merged-by: cann-robot Description: ## 描述 名称修改: ApplyAdagradV2D → InplaceApplyAdagradV2（目录 apply_adagrad_v2d/ → inplace_apply_adagrad_v2/） 改动原因：算子命名规范化，与同仓已合入的 InplaceApplyAdagradDA（原 ApplyAdagradDAD）改名保持一致的命名风格，统一用 Inplace 前缀标识 inplace 语义算子。本次为纯算子改名，代码逻辑零改动，继续对标 CANNDEV ApplyAdagradV2D（2 输出 inplace 语义）。 命名转换闭环验证（CANN _camel_to_snake + 测试框架 str.title()）： - _camel_to_snake("InplaceApplyAdagradV2") = inplace_apply_adagrad_v2 ← 与目录名一致 - str.title("inplace_apply_adagrad_v2") = InplaceApplyAdagradV2 ← 与 OpType 一致 两个转换算法均能正确闭环，末尾 V2（数字结尾）比原 V2D（数字+字母拆分陷阱）更安全，无 _camel_to_snake 数字拆分风险。 改动范围： - 目录 apply_adagrad_v2d/ → inplace_apply_adagrad_v2/（git mv，保留 history，similarity 73%~100%） - 11 个源文件改名（proto.h / def.cpp / infershape.cpp / tiling_arch35.cpp / kernel .cpp/.h / tiling_data.h / tiling_key.h / examples / 2 个 UT） - 4 类符号全局替换： - ApplyAdagradV2D → InplaceApplyAdagradV2（OpType/类名/命名空间/aclnn 接口，~84 处） - apply_adagrad_v2d → inplace_apply_adagrad_v2（snake_case 目录名/kernel_name，~26 处） - APPLY_ADAGRAD_V2D → INPLACE_APPLY_ADAGRAD_V2（宏名/include guard，~15 处） - NsApplyAdagradV2D → NsInplaceApplyAdagradV2（命名空间前缀，3 处） - 全局文件 docs/zh/op_list.md 算子条目更新 - 保留 CANNDEV 对标声明（README/proto.h 中"对标 CANNDEV ApplyAdagradV2D"保持不变，CANNDEV 标准名不随本仓改名而变） <!--在这里详细描述你的改动，包括改动的原因和所采取的方法。--> ## 关联的Issue <!-- 如果这个PR是为了解决特定的Issue，请在这里提供Issue链接。例如：关联Issue #000--> https://gitcode.com/cann/ops-nn/issues/4214 ## 测试 <!--描述进行了哪些测试来验证你的改动。--> 在 Ascend950DT_9582（arch35 / DAV_3510）平台完成全通路验证，CANN 9.2.0 + TTK e559b7f： | 验证项 | 用例数 | 结果 | 说明 | |--------|--------|------|------| | 编译验证 | — | ✅ SUCCESS | kernel binary InplaceApplyAdagradV2_*.o 正常生成 | | op_info 注册 | — | ✅ 正确 | aic-ascend950-ops-info.json 中算子名为 InplaceApplyAdagradV2 | | binary config | — | ✅ 正确 | simplifiedKey 为 InplaceApplyAdagradV2/... | | TTK kernel | 208 | ✅ 208/208 PASS | 双千双万精度标准（0.001, 0.001） | | TTK aclnn | 208 | ✅ 208/208 PASS | --proc-no-reuse 防 epsilon 缓存碰撞 | | GE IR example | 1 | ✅ PASS | Run graph success + 2 输出 (DT_FLOAT) + Finalize success | | Torch 通路 | 1 | ✅ PASS | torch.optim.Adagrad 3 步训练 loss 下降（2.091 → 1.404） | 验证结论：改名前后代码逻辑零改动，纯命名变更。 ## 文档更新 <!--如果这个PR包含文档的更新，请在这里指出。例如：更新了README.md文件。--> - docs/zh/op_list.md：apply_adagrad_v2d → inplace_apply_adagrad_v2 条目更新 - README.md：算子名更新，保留 CANNDEV 对标声明 ## 类型标签 <!-- [x] 表示选中 --> - [x] Bug修复 - [ ] 新特性 - [ ] 性能优化 - [x] 文档更新 - [ ] 其他，请描述： ## AI/Agent生成声明 <!-- [x] 表示选中 --> - [x] AI辅助编写 See merge request: cann/ops-nn!7776 | 2 个月前 | |
[CANNBot]新增InplaceApplyCenteredRMSProp算子支持Ascend950 Co-authored-by: chen_chenn<chenchen167@huawei.com> # message auto-generated for no-merge-commit merge: !7834 merge InplaceApplyCenteredRMSProp into master [CANNBot]新增InplaceApplyCenteredRMSProp算子支持Ascend950 Created-by: chen_chenn Commit-by: chen_chenn Merged-by: cann-robot Description: ## 描述 新增InplaceApplyCenteredRMSProp算子支持Ascend950 ## 关联的Issue https://gitcode.com/cann/ops-nn/issues/4247 ## 测试 TTK obp冒烟：23670 david冒烟：7898 ## 文档更新 ## 类型标签 - [ ] Bug修复 - [x] 新特性 - [ ] 性能优化 - [ ] 文档更新 - [ ] 其他，请描述： ## AI/Agent生成声明 - [x] AI辅助编写 See merge request: cann/ops-nn!7834 | 2 个月前 | |
fix: inplace_apply_keras_momentum/lp_norm_update 属性标记为 OPTIONAL 与 REG_OP 行为对齐 Co-authored-by: Davon14272<liuwenda4@huawei.com> # message auto-generated for no-merge-commit merge: !8161 merge proto into master fix: inplace_apply_keras_momentum/lp_norm_update 属性标记为 OPTIONAL 与 REG_OP 行为对齐 Created-by: Davon14272 Commit-by: Davon14272 Merged-by: cann-robot Description: ## 描述 <!--在这里详细描述你的改动，包括改动的原因和所采取的方法。--> 将inplace_apply_keras_momentum/lp_norm_update 算子的kernel定义文件与proto文件中的属性定义不一致，需要和proto文件对齐，改为可选属性 ## 关联的Issue <!-- 如果这个PR是为了解决特定的Issue，请在这里提供Issue链接。例如：关联Issue #000--> [#4498](https://gitcode.com/cann/ops-nn/issues/4498) ## 测试 <!--描述进行了哪些测试来验证你的改动。--> ## 文档更新 <!--如果这个PR包含文档的更新，请在这里指出。例如：更新了README.md文件。--> ## 类型标签 <!-- [x] 表示选中 --> - [x] Bug修复 - [ ] 新特性 - [ ] 性能优化 - [ ] 文档更新 - [ ] 其他，请描述： ## AI/Agent生成声明 <!-- [x] 表示选中 --> - [ ] AI辅助编写 See merge request: cann/ops-nn!8161 | 2 个月前 | |
feat: InplaceApplyMomentum is supported on Ascend950 Co-authored-by: niukang_hw<niukang1@huawei.com> # message auto-generated for no-merge-commit merge: !7992 merge dev_inplace_apply_momentum into master feat: InplaceApplyMomentum is supported on Ascend950 Created-by: niukang_hw Commit-by: niukang_hw Merged-by: cann-robot Description: ## 描述 - 算子功能： 根据动量方案更新变量"var"。若设置use_nesterov=True，则使用Nesterov动量。 - 计算公式： $$ accum = accum \times momentum + grad $$ - 若use_nesterov = True： $$ var = var - (grad \times lr + accum \times momentum \times lr) $$ - 若use_nesterov = False： $$ var = var - lr \times accum $$ ## 关联的Issue https://gitcode.com/cann/ops-nn/issues/4361 ## 测试 | 数据类型 | 精度标准 (rtol/atol) | 用例数 | 通过 | 失败 | 通过率 | | -------- | -------------------- | ------ | ---- | ---- | ------ | | FP32 | 1e-4 / 1e-4 | 88 | 88 | 0 | 100% | | FP16 | 1e-3 / 1e-3 | 61 | 61 | 0 | 100% | | BF16 | 4e-3 / 4e-3 | 48 | 48 | 0 | 100% | | 合计 | — | 197 | 197 | 0 | 100% | ## 文档更新 新增 optim/fused_mul_apply_momentum_extern/README.md ## 类型标签 <!-- [x] 表示选中 --> - [ ] Bug修复 - [x] 新特性 - [ ] 性能优化 - [x] 文档更新 - [ ] 其他，请描述： ## AI/Agent生成声明 <!-- [x] 表示选中 --> - [x] AI辅助编写 See merge request: cann/ops-nn!7992 | 2 个月前 | |
feat: InplaceApplyPowerSign is supported on Ascend950 Co-authored-by: niukang_hw<niukang1@huawei.com> # message auto-generated for no-merge-commit merge: !7409 merge dev_inplace_apply_power_sign into master feat: InplaceApplyPowerSign is supported on Ascend950 Created-by: niukang_hw Commit-by: niukang_hw Merged-by: cann-robot Description: ## 描述 <!--在这里详细描述你的改动，包括改动的原因和所采取的方法。--> 新增 InplaceApplyPowerSign 算子到 ops-nn/optim/ 目录，实现 PowerSign 优化器的核心参数更新功能。 ### 算子功能 InplaceApplyPowerSign 是 PowerSign 优化器（源自论文 "Dissecting Adam", ICML 2018）的参数更新算子，将 Adam 的更新机制显式解耦为"方向"（sign(m)）和"幅度"（指数因子），实现不依赖二阶矩的自适应学习率方案。核心公式： m_new = beta * m + (1 - beta) * grad sign_gm = sign(m_new) * sign(grad) var_out = var - lr * exp(logbase * sign_decay * sign_gm) * grad ### 支持规格 芯片平台: Ascend 950PR/950DT 支持规格: float16 , bfloat16, float32 ## 关联的Issue <!-- 如果这个PR是为了解决特定的Issue，请在这里提供Issue链接。例如：关联Issue #000--> ## 测试 <!--描述进行了哪些测试来验证你的改动。--> ### 1、UT 测试 ophost tiling：PASS ophost infershape ：PASS opkernel: PASS ### 2、通路验证（E2E） GE IR 通路：PASS ### 3、白盒测试（TTK Kernel 模式 + 双千双万精度标准） | 数据类型 | 精度标准 (rtol/atol) | 用例数 | 通过 | 失败 | 通过率 | | -------- | -------------------- | ------ | ---- | ---- | ------ | | FP32 | 1e-4 / 1e-4 | 88 | 88 | 0 | 100% | | FP16 | 1e-3 / 1e-3 | 61 | 61 | 0 | 100% | | BF16 | 4e-3 / 4e-3 | 48 | 48 | 0 | 100% | | 合计 | — | 197 | 197 | 0 | 100% | ## 文档更新 <!--如果这个PR包含文档的更新，请在这里指出。例如：更新了README.md文件。--> 新增 optim/apply_power_sign/README.md：算子功能说明、计算公式、参数说明、产品支持情况、性能摘要 ## 类型标签 <!-- [x] 表示选中 --> - [ ] Bug修复 - [x] 新特性 - [ ] 性能优化 - [x] 文档更新 - [ ] 其他，请描述： See merge request: cann/ops-nn!7409 | 3 个月前 | |
foreach/lamb/scatter类部分算子补齐A5输入校验和资料说明 Co-authored-by: tangpingchuan<tangpingchuan@huawei.com> # message auto-generated for no-merge-commit merge: !7419 merge master into master foreach/lamb/scatter类部分算子补齐A5输入校验和资料说明 Created-by: zl_hw Commit-by: tangpingchuan Merged-by: cann-robot Description: ## 描述 foreach/lamb/scatter类部分算子资料描述不清晰，补齐A5输入校验和资料说明 ## 关联的Issue https://gitcode.com/cann/ops-nn/issues/4075 ## 测试 不涉及 ## 文档更新 foreach/lamb/scatter类部分算子README文件 ## 类型标签 <!-- [x] 表示选中 --> - [ ] Bug修复 - [ ] 新特性 - [ ] 性能优化 - [x] 文档更新 - [ ] 其他，请描述： ## AI/Agent生成声明 <!-- [x] 表示选中 --> - [x] AI辅助编写 See merge request: cann/ops-nn!7419 | 3 个月前 | |
fix: 补齐 4 算子 ascend950 binary.json 注册配置，修正 GroupNormSiluQuant 动态 rank 推导与 23 个算子 golden 参照失真 Co-authored-by: tangpingchuan<tangpingchuan@huawei.com> # message auto-generated for no-merge-commit merge: !8112 merge fix/op-binary-json-missing into master fix: 补齐 4 算子 ascend950 binary.json 注册配置，修正 GroupNormSiluQuant 动态 rank 推导与 23 个算子 golden 参照失真 Created-by: zl_hw Commit-by: tangpingchuan Merged-by: cann-robot Description: ## 描述 本 PR 修复三类「已声明的能力与实际产物不一致」的缺陷：注册配置缺失、动态 rank 推导缺失、测试参照（golden）与算子实现不一致。 ### 一、4 个算子在 ascend950 上缺失 binary.json 注册配置 NonZeroWithValue、MultilabelMarginLoss、PoissonNllLoss、MultiAddRmsNormDynamicQuant 的 *_def.cpp 均已执行 this->AICore().AddConfig("ascend950", ...)，但 op_host/config/ascend950/*_binary.json 缺失（前 3 个算子 op_host/config/ 目录整体为空，MultiAddRmsNormDynamicQuant 仅有 ascend910b/、ascend910_93/）。 **改动原因**（依据仓库构建脚本，非推断）： - cmake/custom_kernel.cmake:17-23：add_custom_kernel_library 以 if(EXISTS ${binary_json}) 为进入门槛，配置缺失时该算子被整体 continue 跳过，ascend950 kernel 不进入编译与打包； - cmake/func.cmake:656-666：拿不到 binary.json 时退化为 get_op_type_from_op_name 按算子名推断 op_type； - cmake/ut.cmake:459-476：numFiles EQUAL 0 分支同样退化为「下划线切分 + 首字母大写」推断 opType，与 OP_ADD() 注册的真实 op_type 不再有强绑定。 **改动方法**：逐算子按其 _def.cpp 的 DataType / Format 注册列表对齐补齐配置文件，bin 数与 dtype 组合严格一一对应： | 算子 | 新增配置文件 | bin 数 | dtype 组合依据 | |------|-------------|:------:|---------------| | NonZeroWithValue | index/non_zero_with_value/op_host/config/ascend950/non_zero_with_value_binary.json | 12 | non_zero_with_value_def.cpp 中 xDataType 的 12 类：double / float / float16 / int8 / uint8 / int16 / uint16 / int32 / uint32 / int64 / uint64 / bool；value 跟随 x，index / count 恒 int32（与 indexDataType、countDataType 一致）。attr：transpose(bool) / dtype(int) | | MultilabelMarginLoss | loss/multilabel_margin_loss/op_host/config/ascend950/multilabel_margin_loss_binary.json | 6 | multilabel_margin_loss_def.cpp 中 ascend950 独立的 regbaseConfig（xy6 / tgt6 / ist6）：x、y ∈ {float32, float16, bfloat16}，is_target 前 3 组保持 GE 原型的 int32、后 3 组跟随 self（对应 _v2 后缀 bin） | | PoissonNllLoss | loss/poisson_nll_loss/op_host/config/ascend950/poisson_nll_loss_binary.json | 2 | poisson_nll_loss_def.cpp 中 {DT_FLOAT16, DT_FLOAT}；attr：log_input(true) / full(false) / eps(1e-8) / reduction("mean") | | MultiAddRmsNormDynamicQuant | norm/multi_add_rms_norm_dynamic_quant/op_host/config/ascend950/multi_add_rms_norm_dynamic_quant_binary.json | 2 | float16 / bfloat16 两组；x1 为 dynamic 输入，smooth_scale1 / smooth_scale2 为 optional，输出 y1/y2 int8、x/y 跟随输入、scale1/scale2 float32；optional_input_mode: gen_placeholder 与同算子既有 ascend910b / ascend910_93 配置保持一致 | ### 二、GroupNormSiluQuant：补齐 -2 动态 rank 推导，资料补空 Tensor 支持声明 **改动原因**：group_norm_silu_quant_def.cpp:67 的 ascend950 config_regbase 已声明 DynamicRankSupportFlag(true)，但 group_norm_silu_quant_infershape.cpp 中无对应分支。x 为 UNKNOWN_RANK（-2）时，x_shape->GetDim(0) 取到的是 -2 这个标记值本身，mean / rstd 被推成非法的 (-2, num_groups)。 **改动方法**： - op_host/group_norm_silu_quant_infershape.cpp：引入 util/shape_util.h，在取 num_groups 之前插入 Ops::Base::IsUnknownRank(*x_shape) 判断，命中则对 y / mean / rstd 三个输出统一 Ops::Base::SetUnknownRank() 后直接返回 GRAPH_SUCCESS。 - tests/ut/op_host/arch35/test_group_norm_silu_quant_infershape.cpp：新增 2 个用例。 - infershape_unknown_rank_x：x = {-2}，断言三个输出均为 {-2}； - infershape_empty_tensor_each_axis：逐轴各一例（N 轴 {0,320,16,16}、C 轴 {4,0,16,16}、HW 轴 {4,320,0,16}），断言 y 与 x 同形、mean/rstd 为 (dims[0], 32)。 ### 三、23 个算子 golden.py 改用竞品 torch 算子拼接，并修正与算子实现不一致之处 **改动原因**：golden 红线 R3 要求 golden 只能由「竞品接口实现」或「竞品算子拼接实现」，禁止 numpy 纯公式——纯公式与被测 kernel 容易犯同一类错误，用与 kernel 一样有损的参照去比对，会把精度短板伪装成达标。 **改动方法**：23 个 tests/assets/golden.py 中，21 个新增 import torch 并改为 torch 张量算子拼接（numpy 仅保留 I/O 与 dtype 转换）；foreach_a_cos_inplace、foreach_log_inplace 原本已是 torch 实现，本次仅做内存优化。除改用 torch 外，同步修正了以下与算子实现不一致之处（均为参照失真，会掩盖或误报 kernel 问题）： - **标量一律落在 float32**：Python float 是 fp64，标量运算会把整条链路抬到双精度，而算子在 fp32 上算（A2 的 TBE compute 里 dtype='float32'，arch35 DAG 计算类型 U = float）。 - **foreach_addcmul_list 整数分支**：改用未经 float32 抹位的原始整数标量——1564714939 过一道 fp32 会变成 1564714880。 - **foreach_addcmul_list 三因子结合序**：改为 (x2*x3) 先乘、再乘标量。数学上乘积与结合序无关，但 fp32 中间量下不等价：scalars 取极值（如 3.35e38）时 (x2*scalars) 先冲破 fp32 上限变成 inf，而 x2*x3 为小量、再乘 scalars 并不溢出。 - **lamb_update_with_lr 的 clip**：改用 torch.minimum / torch.maximum——内核走 Vec::Min / Vec::Max 硬件指令、传播 NaN，而 Python 内置 min/max 是比较语义、会静默丢弃 NaN。 - **lamb_apply_weight_assign 运算序列**：改为 ratio*(update*lr)，与 A2 的 vmul(update,lr) 再 vmul(ratio,·) 及 arch35 DAG 一致；README.md 公式同步加括号标明结合顺序（原写法在 update 与 lr 同时较大时会先溢出成 inf）。 - **lamb_apply_weight_assign / foreach_addcdiv_list 的除法**：补 Subnormal 归零。A2 的 Div 无 config 参数、只有单指令一条路，arch35 默认 DivAlgo::INTRINSIC 亦对 Subnormal 做 FTZ；golden 在 CPU 上默认保留 Subnormal 会给出算子不会产出的值。 - **lamb_apply_optimizer_assign 偏差校正**：改用 exp(log(b)*steps)，与 arch35 DAG 的 Log / Mul / Exp 三条指令一致，不再用 Python 幂运算。 - **scatter_list 散射写入**：按平坦偏移下发，不使用 Tensor.index_copy_。算子把 indice 直接当线性偏移用、不做边界检查也无负索引回绕语义（README「indice值域：不支持索引越界」），而 index_copy_ 只接受 [0, axis_size) 的索引、遇负索引直接抛异常中断整轮用例；原 numpy 花式索引则会把 [-size,-1] 静默回绕到尾部，给出算子不会产出的结果。同时工作 dtype 改用原生 dtype 而非一律转 float32：ScatterList 是纯拷贝算子、输出应与输入逐位相同，而 def 注册了 DT_INT32 / DT_INT64，fp32 尾数只有 24 位装不下 2^30 量级整数（实测 2^30+100 经 float32 中转变成 2^30+128，静默丢 28）；仅 bfloat16 因 numpy 无原生类型走 fp32 桥接（拷贝无损）。 - **group_norm_silu_quant 刻意不用 F.group_norm**：该层级 API 带 BN 系列的训练态保护（Expected more than 1 value per channel when training），每通道只剩 1 个元素时直接拒收（2 维输入 (N,C) 且 group=C 即触发，实测 case00608 崩），而算子本身 elemNum=1 合法。改用 torch.var_mean / torch.rsqrt / torch.addcmul / F.silu / torch.round+torch.clamp 拼接，语义等价且不带该限制，同样满足红线 R3。 - **foreach 系 fp32 提升不再无谓复制缓冲**：astype(np.float32, copy=False)。单份 GB 级的大用例（32 张量、5.37 亿元素）无谓复制会把进程推向 OOM；下游 torch 算子均非原地、不改写输入，复用安全。 ## 关联的Issue 关联Issue #4483 https://gitcode.com/cann/ops-nn/issues/4483 ## 测试 - **新增 UT**：norm/group_norm_silu_quant/tests/ut/op_host/arch35/test_group_norm_silu_quant_infershape.cpp 新增 infershape_unknown_rank_x、infershape_empty_tensor_each_axis 两个用例，覆盖 -2 动态 rank 与 N/C/HW 三个轴各自为 0 的空 Tensor 场景。 - **golden 回归**：23 个算子的 tests/assets/golden.py 变更由各自 TTK 用例集回归验证。作者记录：foreach_addcmul_list 修正三因子结合序后，此前因 fp32 中间量溢出成 inf 而失败的 bf16 用例集（8192 个元素中 7361 个 |x2*scalars| 超 fp32 上限）达到 100/100 通过。 - **binary.json**：4 份新增配置的 bin 数与 dtype / format / attr 组合均与对应 _def.cpp 的注册列表逐项核对一致（12 / 6 / 2 / 2）。 ## 文档更新 - norm/group_norm_silu_quant/README.md、norm/group_norm_silu_quant/docs/aclnnGroupNormSiluQuant.md：self 参数的约束列由 - 补充为「支持空Tensor（任意维度为0）。此时out为空，meanOut填充为0，rstdOut填充为NAN。」 - optim/lamb_apply_weight_assign/README.md：计算公式由 $input\_param - input2 \times ratio \times input3$ 改为 $input\_param - ratio \times (input3 \times input2)$，加括号标明与算子实现一致的结合顺序。 ## 类型标签 - [x] Bug修复 - [ ] 新特性 - [ ] 性能优化 - [x] 文档更新 - [ ] 其他，请描述： ## AI/Agent生成声明 - [x] AI辅助编写 See merge request: cann/ops-nn!8112 | 2 个月前 | |
fix: 补齐 4 算子 ascend950 binary.json 注册配置，修正 GroupNormSiluQuant 动态 rank 推导与 23 个算子 golden 参照失真 Co-authored-by: tangpingchuan<tangpingchuan@huawei.com> # message auto-generated for no-merge-commit merge: !8112 merge fix/op-binary-json-missing into master fix: 补齐 4 算子 ascend950 binary.json 注册配置，修正 GroupNormSiluQuant 动态 rank 推导与 23 个算子 golden 参照失真 Created-by: zl_hw Commit-by: tangpingchuan Merged-by: cann-robot Description: ## 描述 本 PR 修复三类「已声明的能力与实际产物不一致」的缺陷：注册配置缺失、动态 rank 推导缺失、测试参照（golden）与算子实现不一致。 ### 一、4 个算子在 ascend950 上缺失 binary.json 注册配置 NonZeroWithValue、MultilabelMarginLoss、PoissonNllLoss、MultiAddRmsNormDynamicQuant 的 *_def.cpp 均已执行 this->AICore().AddConfig("ascend950", ...)，但 op_host/config/ascend950/*_binary.json 缺失（前 3 个算子 op_host/config/ 目录整体为空，MultiAddRmsNormDynamicQuant 仅有 ascend910b/、ascend910_93/）。 **改动原因**（依据仓库构建脚本，非推断）： - cmake/custom_kernel.cmake:17-23：add_custom_kernel_library 以 if(EXISTS ${binary_json}) 为进入门槛，配置缺失时该算子被整体 continue 跳过，ascend950 kernel 不进入编译与打包； - cmake/func.cmake:656-666：拿不到 binary.json 时退化为 get_op_type_from_op_name 按算子名推断 op_type； - cmake/ut.cmake:459-476：numFiles EQUAL 0 分支同样退化为「下划线切分 + 首字母大写」推断 opType，与 OP_ADD() 注册的真实 op_type 不再有强绑定。 **改动方法**：逐算子按其 _def.cpp 的 DataType / Format 注册列表对齐补齐配置文件，bin 数与 dtype 组合严格一一对应： | 算子 | 新增配置文件 | bin 数 | dtype 组合依据 | |------|-------------|:------:|---------------| | NonZeroWithValue | index/non_zero_with_value/op_host/config/ascend950/non_zero_with_value_binary.json | 12 | non_zero_with_value_def.cpp 中 xDataType 的 12 类：double / float / float16 / int8 / uint8 / int16 / uint16 / int32 / uint32 / int64 / uint64 / bool；value 跟随 x，index / count 恒 int32（与 indexDataType、countDataType 一致）。attr：transpose(bool) / dtype(int) | | MultilabelMarginLoss | loss/multilabel_margin_loss/op_host/config/ascend950/multilabel_margin_loss_binary.json | 6 | multilabel_margin_loss_def.cpp 中 ascend950 独立的 regbaseConfig（xy6 / tgt6 / ist6）：x、y ∈ {float32, float16, bfloat16}，is_target 前 3 组保持 GE 原型的 int32、后 3 组跟随 self（对应 _v2 后缀 bin） | | PoissonNllLoss | loss/poisson_nll_loss/op_host/config/ascend950/poisson_nll_loss_binary.json | 2 | poisson_nll_loss_def.cpp 中 {DT_FLOAT16, DT_FLOAT}；attr：log_input(true) / full(false) / eps(1e-8) / reduction("mean") | | MultiAddRmsNormDynamicQuant | norm/multi_add_rms_norm_dynamic_quant/op_host/config/ascend950/multi_add_rms_norm_dynamic_quant_binary.json | 2 | float16 / bfloat16 两组；x1 为 dynamic 输入，smooth_scale1 / smooth_scale2 为 optional，输出 y1/y2 int8、x/y 跟随输入、scale1/scale2 float32；optional_input_mode: gen_placeholder 与同算子既有 ascend910b / ascend910_93 配置保持一致 | ### 二、GroupNormSiluQuant：补齐 -2 动态 rank 推导，资料补空 Tensor 支持声明 **改动原因**：group_norm_silu_quant_def.cpp:67 的 ascend950 config_regbase 已声明 DynamicRankSupportFlag(true)，但 group_norm_silu_quant_infershape.cpp 中无对应分支。x 为 UNKNOWN_RANK（-2）时，x_shape->GetDim(0) 取到的是 -2 这个标记值本身，mean / rstd 被推成非法的 (-2, num_groups)。 **改动方法**： - op_host/group_norm_silu_quant_infershape.cpp：引入 util/shape_util.h，在取 num_groups 之前插入 Ops::Base::IsUnknownRank(*x_shape) 判断，命中则对 y / mean / rstd 三个输出统一 Ops::Base::SetUnknownRank() 后直接返回 GRAPH_SUCCESS。 - tests/ut/op_host/arch35/test_group_norm_silu_quant_infershape.cpp：新增 2 个用例。 - infershape_unknown_rank_x：x = {-2}，断言三个输出均为 {-2}； - infershape_empty_tensor_each_axis：逐轴各一例（N 轴 {0,320,16,16}、C 轴 {4,0,16,16}、HW 轴 {4,320,0,16}），断言 y 与 x 同形、mean/rstd 为 (dims[0], 32)。 ### 三、23 个算子 golden.py 改用竞品 torch 算子拼接，并修正与算子实现不一致之处 **改动原因**：golden 红线 R3 要求 golden 只能由「竞品接口实现」或「竞品算子拼接实现」，禁止 numpy 纯公式——纯公式与被测 kernel 容易犯同一类错误，用与 kernel 一样有损的参照去比对，会把精度短板伪装成达标。 **改动方法**：23 个 tests/assets/golden.py 中，21 个新增 import torch 并改为 torch 张量算子拼接（numpy 仅保留 I/O 与 dtype 转换）；foreach_a_cos_inplace、foreach_log_inplace 原本已是 torch 实现，本次仅做内存优化。除改用 torch 外，同步修正了以下与算子实现不一致之处（均为参照失真，会掩盖或误报 kernel 问题）： - **标量一律落在 float32**：Python float 是 fp64，标量运算会把整条链路抬到双精度，而算子在 fp32 上算（A2 的 TBE compute 里 dtype='float32'，arch35 DAG 计算类型 U = float）。 - **foreach_addcmul_list 整数分支**：改用未经 float32 抹位的原始整数标量——1564714939 过一道 fp32 会变成 1564714880。 - **foreach_addcmul_list 三因子结合序**：改为 (x2*x3) 先乘、再乘标量。数学上乘积与结合序无关，但 fp32 中间量下不等价：scalars 取极值（如 3.35e38）时 (x2*scalars) 先冲破 fp32 上限变成 inf，而 x2*x3 为小量、再乘 scalars 并不溢出。 - **lamb_update_with_lr 的 clip**：改用 torch.minimum / torch.maximum——内核走 Vec::Min / Vec::Max 硬件指令、传播 NaN，而 Python 内置 min/max 是比较语义、会静默丢弃 NaN。 - **lamb_apply_weight_assign 运算序列**：改为 ratio*(update*lr)，与 A2 的 vmul(update,lr) 再 vmul(ratio,·) 及 arch35 DAG 一致；README.md 公式同步加括号标明结合顺序（原写法在 update 与 lr 同时较大时会先溢出成 inf）。 - **lamb_apply_weight_assign / foreach_addcdiv_list 的除法**：补 Subnormal 归零。A2 的 Div 无 config 参数、只有单指令一条路，arch35 默认 DivAlgo::INTRINSIC 亦对 Subnormal 做 FTZ；golden 在 CPU 上默认保留 Subnormal 会给出算子不会产出的值。 - **lamb_apply_optimizer_assign 偏差校正**：改用 exp(log(b)*steps)，与 arch35 DAG 的 Log / Mul / Exp 三条指令一致，不再用 Python 幂运算。 - **scatter_list 散射写入**：按平坦偏移下发，不使用 Tensor.index_copy_。算子把 indice 直接当线性偏移用、不做边界检查也无负索引回绕语义（README「indice值域：不支持索引越界」），而 index_copy_ 只接受 [0, axis_size) 的索引、遇负索引直接抛异常中断整轮用例；原 numpy 花式索引则会把 [-size,-1] 静默回绕到尾部，给出算子不会产出的结果。同时工作 dtype 改用原生 dtype 而非一律转 float32：ScatterList 是纯拷贝算子、输出应与输入逐位相同，而 def 注册了 DT_INT32 / DT_INT64，fp32 尾数只有 24 位装不下 2^30 量级整数（实测 2^30+100 经 float32 中转变成 2^30+128，静默丢 28）；仅 bfloat16 因 numpy 无原生类型走 fp32 桥接（拷贝无损）。 - **group_norm_silu_quant 刻意不用 F.group_norm**：该层级 API 带 BN 系列的训练态保护（Expected more than 1 value per channel when training），每通道只剩 1 个元素时直接拒收（2 维输入 (N,C) 且 group=C 即触发，实测 case00608 崩），而算子本身 elemNum=1 合法。改用 torch.var_mean / torch.rsqrt / torch.addcmul / F.silu / torch.round+torch.clamp 拼接，语义等价且不带该限制，同样满足红线 R3。 - **foreach 系 fp32 提升不再无谓复制缓冲**：astype(np.float32, copy=False)。单份 GB 级的大用例（32 张量、5.37 亿元素）无谓复制会把进程推向 OOM；下游 torch 算子均非原地、不改写输入，复用安全。 ## 关联的Issue 关联Issue #4483 https://gitcode.com/cann/ops-nn/issues/4483 ## 测试 - **新增 UT**：norm/group_norm_silu_quant/tests/ut/op_host/arch35/test_group_norm_silu_quant_infershape.cpp 新增 infershape_unknown_rank_x、infershape_empty_tensor_each_axis 两个用例，覆盖 -2 动态 rank 与 N/C/HW 三个轴各自为 0 的空 Tensor 场景。 - **golden 回归**：23 个算子的 tests/assets/golden.py 变更由各自 TTK 用例集回归验证。作者记录：foreach_addcmul_list 修正三因子结合序后，此前因 fp32 中间量溢出成 inf 而失败的 bf16 用例集（8192 个元素中 7361 个 |x2*scalars| 超 fp32 上限）达到 100/100 通过。 - **binary.json**：4 份新增配置的 bin 数与 dtype / format / attr 组合均与对应 _def.cpp 的注册列表逐项核对一致（12 / 6 / 2 / 2）。 ## 文档更新 - norm/group_norm_silu_quant/README.md、norm/group_norm_silu_quant/docs/aclnnGroupNormSiluQuant.md：self 参数的约束列由 - 补充为「支持空Tensor（任意维度为0）。此时out为空，meanOut填充为0，rstdOut填充为NAN。」 - optim/lamb_apply_weight_assign/README.md：计算公式由 $input\_param - input2 \times ratio \times input3$ 改为 $input\_param - ratio \times (input3 \times input2)$，加括号标明与算子实现一致的结合顺序。 ## 类型标签 - [x] Bug修复 - [ ] 新特性 - [ ] 性能优化 - [x] 文档更新 - [ ] 其他，请描述： ## AI/Agent生成声明 - [x] AI辅助编写 See merge request: cann/ops-nn!8112 | 2 个月前 | |
fix: 补齐 4 算子 ascend950 binary.json 注册配置，修正 GroupNormSiluQuant 动态 rank 推导与 23 个算子 golden 参照失真 Co-authored-by: tangpingchuan<tangpingchuan@huawei.com> # message auto-generated for no-merge-commit merge: !8112 merge fix/op-binary-json-missing into master fix: 补齐 4 算子 ascend950 binary.json 注册配置，修正 GroupNormSiluQuant 动态 rank 推导与 23 个算子 golden 参照失真 Created-by: zl_hw Commit-by: tangpingchuan Merged-by: cann-robot Description: ## 描述 本 PR 修复三类「已声明的能力与实际产物不一致」的缺陷：注册配置缺失、动态 rank 推导缺失、测试参照（golden）与算子实现不一致。 ### 一、4 个算子在 ascend950 上缺失 binary.json 注册配置 NonZeroWithValue、MultilabelMarginLoss、PoissonNllLoss、MultiAddRmsNormDynamicQuant 的 *_def.cpp 均已执行 this->AICore().AddConfig("ascend950", ...)，但 op_host/config/ascend950/*_binary.json 缺失（前 3 个算子 op_host/config/ 目录整体为空，MultiAddRmsNormDynamicQuant 仅有 ascend910b/、ascend910_93/）。 **改动原因**（依据仓库构建脚本，非推断）： - cmake/custom_kernel.cmake:17-23：add_custom_kernel_library 以 if(EXISTS ${binary_json}) 为进入门槛，配置缺失时该算子被整体 continue 跳过，ascend950 kernel 不进入编译与打包； - cmake/func.cmake:656-666：拿不到 binary.json 时退化为 get_op_type_from_op_name 按算子名推断 op_type； - cmake/ut.cmake:459-476：numFiles EQUAL 0 分支同样退化为「下划线切分 + 首字母大写」推断 opType，与 OP_ADD() 注册的真实 op_type 不再有强绑定。 **改动方法**：逐算子按其 _def.cpp 的 DataType / Format 注册列表对齐补齐配置文件，bin 数与 dtype 组合严格一一对应： | 算子 | 新增配置文件 | bin 数 | dtype 组合依据 | |------|-------------|:------:|---------------| | NonZeroWithValue | index/non_zero_with_value/op_host/config/ascend950/non_zero_with_value_binary.json | 12 | non_zero_with_value_def.cpp 中 xDataType 的 12 类：double / float / float16 / int8 / uint8 / int16 / uint16 / int32 / uint32 / int64 / uint64 / bool；value 跟随 x，index / count 恒 int32（与 indexDataType、countDataType 一致）。attr：transpose(bool) / dtype(int) | | MultilabelMarginLoss | loss/multilabel_margin_loss/op_host/config/ascend950/multilabel_margin_loss_binary.json | 6 | multilabel_margin_loss_def.cpp 中 ascend950 独立的 regbaseConfig（xy6 / tgt6 / ist6）：x、y ∈ {float32, float16, bfloat16}，is_target 前 3 组保持 GE 原型的 int32、后 3 组跟随 self（对应 _v2 后缀 bin） | | PoissonNllLoss | loss/poisson_nll_loss/op_host/config/ascend950/poisson_nll_loss_binary.json | 2 | poisson_nll_loss_def.cpp 中 {DT_FLOAT16, DT_FLOAT}；attr：log_input(true) / full(false) / eps(1e-8) / reduction("mean") | | MultiAddRmsNormDynamicQuant | norm/multi_add_rms_norm_dynamic_quant/op_host/config/ascend950/multi_add_rms_norm_dynamic_quant_binary.json | 2 | float16 / bfloat16 两组；x1 为 dynamic 输入，smooth_scale1 / smooth_scale2 为 optional，输出 y1/y2 int8、x/y 跟随输入、scale1/scale2 float32；optional_input_mode: gen_placeholder 与同算子既有 ascend910b / ascend910_93 配置保持一致 | ### 二、GroupNormSiluQuant：补齐 -2 动态 rank 推导，资料补空 Tensor 支持声明 **改动原因**：group_norm_silu_quant_def.cpp:67 的 ascend950 config_regbase 已声明 DynamicRankSupportFlag(true)，但 group_norm_silu_quant_infershape.cpp 中无对应分支。x 为 UNKNOWN_RANK（-2）时，x_shape->GetDim(0) 取到的是 -2 这个标记值本身，mean / rstd 被推成非法的 (-2, num_groups)。 **改动方法**： - op_host/group_norm_silu_quant_infershape.cpp：引入 util/shape_util.h，在取 num_groups 之前插入 Ops::Base::IsUnknownRank(*x_shape) 判断，命中则对 y / mean / rstd 三个输出统一 Ops::Base::SetUnknownRank() 后直接返回 GRAPH_SUCCESS。 - tests/ut/op_host/arch35/test_group_norm_silu_quant_infershape.cpp：新增 2 个用例。 - infershape_unknown_rank_x：x = {-2}，断言三个输出均为 {-2}； - infershape_empty_tensor_each_axis：逐轴各一例（N 轴 {0,320,16,16}、C 轴 {4,0,16,16}、HW 轴 {4,320,0,16}），断言 y 与 x 同形、mean/rstd 为 (dims[0], 32)。 ### 三、23 个算子 golden.py 改用竞品 torch 算子拼接，并修正与算子实现不一致之处 **改动原因**：golden 红线 R3 要求 golden 只能由「竞品接口实现」或「竞品算子拼接实现」，禁止 numpy 纯公式——纯公式与被测 kernel 容易犯同一类错误，用与 kernel 一样有损的参照去比对，会把精度短板伪装成达标。 **改动方法**：23 个 tests/assets/golden.py 中，21 个新增 import torch 并改为 torch 张量算子拼接（numpy 仅保留 I/O 与 dtype 转换）；foreach_a_cos_inplace、foreach_log_inplace 原本已是 torch 实现，本次仅做内存优化。除改用 torch 外，同步修正了以下与算子实现不一致之处（均为参照失真，会掩盖或误报 kernel 问题）： - **标量一律落在 float32**：Python float 是 fp64，标量运算会把整条链路抬到双精度，而算子在 fp32 上算（A2 的 TBE compute 里 dtype='float32'，arch35 DAG 计算类型 U = float）。 - **foreach_addcmul_list 整数分支**：改用未经 float32 抹位的原始整数标量——1564714939 过一道 fp32 会变成 1564714880。 - **foreach_addcmul_list 三因子结合序**：改为 (x2*x3) 先乘、再乘标量。数学上乘积与结合序无关，但 fp32 中间量下不等价：scalars 取极值（如 3.35e38）时 (x2*scalars) 先冲破 fp32 上限变成 inf，而 x2*x3 为小量、再乘 scalars 并不溢出。 - **lamb_update_with_lr 的 clip**：改用 torch.minimum / torch.maximum——内核走 Vec::Min / Vec::Max 硬件指令、传播 NaN，而 Python 内置 min/max 是比较语义、会静默丢弃 NaN。 - **lamb_apply_weight_assign 运算序列**：改为 ratio*(update*lr)，与 A2 的 vmul(update,lr) 再 vmul(ratio,·) 及 arch35 DAG 一致；README.md 公式同步加括号标明结合顺序（原写法在 update 与 lr 同时较大时会先溢出成 inf）。 - **lamb_apply_weight_assign / foreach_addcdiv_list 的除法**：补 Subnormal 归零。A2 的 Div 无 config 参数、只有单指令一条路，arch35 默认 DivAlgo::INTRINSIC 亦对 Subnormal 做 FTZ；golden 在 CPU 上默认保留 Subnormal 会给出算子不会产出的值。 - **lamb_apply_optimizer_assign 偏差校正**：改用 exp(log(b)*steps)，与 arch35 DAG 的 Log / Mul / Exp 三条指令一致，不再用 Python 幂运算。 - **scatter_list 散射写入**：按平坦偏移下发，不使用 Tensor.index_copy_。算子把 indice 直接当线性偏移用、不做边界检查也无负索引回绕语义（README「indice值域：不支持索引越界」），而 index_copy_ 只接受 [0, axis_size) 的索引、遇负索引直接抛异常中断整轮用例；原 numpy 花式索引则会把 [-size,-1] 静默回绕到尾部，给出算子不会产出的结果。同时工作 dtype 改用原生 dtype 而非一律转 float32：ScatterList 是纯拷贝算子、输出应与输入逐位相同，而 def 注册了 DT_INT32 / DT_INT64，fp32 尾数只有 24 位装不下 2^30 量级整数（实测 2^30+100 经 float32 中转变成 2^30+128，静默丢 28）；仅 bfloat16 因 numpy 无原生类型走 fp32 桥接（拷贝无损）。 - **group_norm_silu_quant 刻意不用 F.group_norm**：该层级 API 带 BN 系列的训练态保护（Expected more than 1 value per channel when training），每通道只剩 1 个元素时直接拒收（2 维输入 (N,C) 且 group=C 即触发，实测 case00608 崩），而算子本身 elemNum=1 合法。改用 torch.var_mean / torch.rsqrt / torch.addcmul / F.silu / torch.round+torch.clamp 拼接，语义等价且不带该限制，同样满足红线 R3。 - **foreach 系 fp32 提升不再无谓复制缓冲**：astype(np.float32, copy=False)。单份 GB 级的大用例（32 张量、5.37 亿元素）无谓复制会把进程推向 OOM；下游 torch 算子均非原地、不改写输入，复用安全。 ## 关联的Issue 关联Issue #4483 https://gitcode.com/cann/ops-nn/issues/4483 ## 测试 - **新增 UT**：norm/group_norm_silu_quant/tests/ut/op_host/arch35/test_group_norm_silu_quant_infershape.cpp 新增 infershape_unknown_rank_x、infershape_empty_tensor_each_axis 两个用例，覆盖 -2 动态 rank 与 N/C/HW 三个轴各自为 0 的空 Tensor 场景。 - **golden 回归**：23 个算子的 tests/assets/golden.py 变更由各自 TTK 用例集回归验证。作者记录：foreach_addcmul_list 修正三因子结合序后，此前因 fp32 中间量溢出成 inf 而失败的 bf16 用例集（8192 个元素中 7361 个 |x2*scalars| 超 fp32 上限）达到 100/100 通过。 - **binary.json**：4 份新增配置的 bin 数与 dtype / format / attr 组合均与对应 _def.cpp 的注册列表逐项核对一致（12 / 6 / 2 / 2）。 ## 文档更新 - norm/group_norm_silu_quant/README.md、norm/group_norm_silu_quant/docs/aclnnGroupNormSiluQuant.md：self 参数的约束列由 - 补充为「支持空Tensor（任意维度为0）。此时out为空，meanOut填充为0，rstdOut填充为NAN。」 - optim/lamb_apply_weight_assign/README.md：计算公式由 $input\_param - input2 \times ratio \times input3$ 改为 $input\_param - ratio \times (input3 \times input2)$，加括号标明与算子实现一致的结合顺序。 ## 类型标签 - [x] Bug修复 - [ ] 新特性 - [ ] 性能优化 - [x] 文档更新 - [ ] 其他，请描述： ## AI/Agent生成声明 - [x] AI辅助编写 See merge request: cann/ops-nn!8112 | 2 个月前 | |
fix: 补齐 4 算子 ascend950 binary.json 注册配置，修正 GroupNormSiluQuant 动态 rank 推导与 23 个算子 golden 参照失真 Co-authored-by: tangpingchuan<tangpingchuan@huawei.com> # message auto-generated for no-merge-commit merge: !8112 merge fix/op-binary-json-missing into master fix: 补齐 4 算子 ascend950 binary.json 注册配置，修正 GroupNormSiluQuant 动态 rank 推导与 23 个算子 golden 参照失真 Created-by: zl_hw Commit-by: tangpingchuan Merged-by: cann-robot Description: ## 描述 本 PR 修复三类「已声明的能力与实际产物不一致」的缺陷：注册配置缺失、动态 rank 推导缺失、测试参照（golden）与算子实现不一致。 ### 一、4 个算子在 ascend950 上缺失 binary.json 注册配置 NonZeroWithValue、MultilabelMarginLoss、PoissonNllLoss、MultiAddRmsNormDynamicQuant 的 *_def.cpp 均已执行 this->AICore().AddConfig("ascend950", ...)，但 op_host/config/ascend950/*_binary.json 缺失（前 3 个算子 op_host/config/ 目录整体为空，MultiAddRmsNormDynamicQuant 仅有 ascend910b/、ascend910_93/）。 **改动原因**（依据仓库构建脚本，非推断）： - cmake/custom_kernel.cmake:17-23：add_custom_kernel_library 以 if(EXISTS ${binary_json}) 为进入门槛，配置缺失时该算子被整体 continue 跳过，ascend950 kernel 不进入编译与打包； - cmake/func.cmake:656-666：拿不到 binary.json 时退化为 get_op_type_from_op_name 按算子名推断 op_type； - cmake/ut.cmake:459-476：numFiles EQUAL 0 分支同样退化为「下划线切分 + 首字母大写」推断 opType，与 OP_ADD() 注册的真实 op_type 不再有强绑定。 **改动方法**：逐算子按其 _def.cpp 的 DataType / Format 注册列表对齐补齐配置文件，bin 数与 dtype 组合严格一一对应： | 算子 | 新增配置文件 | bin 数 | dtype 组合依据 | |------|-------------|:------:|---------------| | NonZeroWithValue | index/non_zero_with_value/op_host/config/ascend950/non_zero_with_value_binary.json | 12 | non_zero_with_value_def.cpp 中 xDataType 的 12 类：double / float / float16 / int8 / uint8 / int16 / uint16 / int32 / uint32 / int64 / uint64 / bool；value 跟随 x，index / count 恒 int32（与 indexDataType、countDataType 一致）。attr：transpose(bool) / dtype(int) | | MultilabelMarginLoss | loss/multilabel_margin_loss/op_host/config/ascend950/multilabel_margin_loss_binary.json | 6 | multilabel_margin_loss_def.cpp 中 ascend950 独立的 regbaseConfig（xy6 / tgt6 / ist6）：x、y ∈ {float32, float16, bfloat16}，is_target 前 3 组保持 GE 原型的 int32、后 3 组跟随 self（对应 _v2 后缀 bin） | | PoissonNllLoss | loss/poisson_nll_loss/op_host/config/ascend950/poisson_nll_loss_binary.json | 2 | poisson_nll_loss_def.cpp 中 {DT_FLOAT16, DT_FLOAT}；attr：log_input(true) / full(false) / eps(1e-8) / reduction("mean") | | MultiAddRmsNormDynamicQuant | norm/multi_add_rms_norm_dynamic_quant/op_host/config/ascend950/multi_add_rms_norm_dynamic_quant_binary.json | 2 | float16 / bfloat16 两组；x1 为 dynamic 输入，smooth_scale1 / smooth_scale2 为 optional，输出 y1/y2 int8、x/y 跟随输入、scale1/scale2 float32；optional_input_mode: gen_placeholder 与同算子既有 ascend910b / ascend910_93 配置保持一致 | ### 二、GroupNormSiluQuant：补齐 -2 动态 rank 推导，资料补空 Tensor 支持声明 **改动原因**：group_norm_silu_quant_def.cpp:67 的 ascend950 config_regbase 已声明 DynamicRankSupportFlag(true)，但 group_norm_silu_quant_infershape.cpp 中无对应分支。x 为 UNKNOWN_RANK（-2）时，x_shape->GetDim(0) 取到的是 -2 这个标记值本身，mean / rstd 被推成非法的 (-2, num_groups)。 **改动方法**： - op_host/group_norm_silu_quant_infershape.cpp：引入 util/shape_util.h，在取 num_groups 之前插入 Ops::Base::IsUnknownRank(*x_shape) 判断，命中则对 y / mean / rstd 三个输出统一 Ops::Base::SetUnknownRank() 后直接返回 GRAPH_SUCCESS。 - tests/ut/op_host/arch35/test_group_norm_silu_quant_infershape.cpp：新增 2 个用例。 - infershape_unknown_rank_x：x = {-2}，断言三个输出均为 {-2}； - infershape_empty_tensor_each_axis：逐轴各一例（N 轴 {0,320,16,16}、C 轴 {4,0,16,16}、HW 轴 {4,320,0,16}），断言 y 与 x 同形、mean/rstd 为 (dims[0], 32)。 ### 三、23 个算子 golden.py 改用竞品 torch 算子拼接，并修正与算子实现不一致之处 **改动原因**：golden 红线 R3 要求 golden 只能由「竞品接口实现」或「竞品算子拼接实现」，禁止 numpy 纯公式——纯公式与被测 kernel 容易犯同一类错误，用与 kernel 一样有损的参照去比对，会把精度短板伪装成达标。 **改动方法**：23 个 tests/assets/golden.py 中，21 个新增 import torch 并改为 torch 张量算子拼接（numpy 仅保留 I/O 与 dtype 转换）；foreach_a_cos_inplace、foreach_log_inplace 原本已是 torch 实现，本次仅做内存优化。除改用 torch 外，同步修正了以下与算子实现不一致之处（均为参照失真，会掩盖或误报 kernel 问题）： - **标量一律落在 float32**：Python float 是 fp64，标量运算会把整条链路抬到双精度，而算子在 fp32 上算（A2 的 TBE compute 里 dtype='float32'，arch35 DAG 计算类型 U = float）。 - **foreach_addcmul_list 整数分支**：改用未经 float32 抹位的原始整数标量——1564714939 过一道 fp32 会变成 1564714880。 - **foreach_addcmul_list 三因子结合序**：改为 (x2*x3) 先乘、再乘标量。数学上乘积与结合序无关，但 fp32 中间量下不等价：scalars 取极值（如 3.35e38）时 (x2*scalars) 先冲破 fp32 上限变成 inf，而 x2*x3 为小量、再乘 scalars 并不溢出。 - **lamb_update_with_lr 的 clip**：改用 torch.minimum / torch.maximum——内核走 Vec::Min / Vec::Max 硬件指令、传播 NaN，而 Python 内置 min/max 是比较语义、会静默丢弃 NaN。 - **lamb_apply_weight_assign 运算序列**：改为 ratio*(update*lr)，与 A2 的 vmul(update,lr) 再 vmul(ratio,·) 及 arch35 DAG 一致；README.md 公式同步加括号标明结合顺序（原写法在 update 与 lr 同时较大时会先溢出成 inf）。 - **lamb_apply_weight_assign / foreach_addcdiv_list 的除法**：补 Subnormal 归零。A2 的 Div 无 config 参数、只有单指令一条路，arch35 默认 DivAlgo::INTRINSIC 亦对 Subnormal 做 FTZ；golden 在 CPU 上默认保留 Subnormal 会给出算子不会产出的值。 - **lamb_apply_optimizer_assign 偏差校正**：改用 exp(log(b)*steps)，与 arch35 DAG 的 Log / Mul / Exp 三条指令一致，不再用 Python 幂运算。 - **scatter_list 散射写入**：按平坦偏移下发，不使用 Tensor.index_copy_。算子把 indice 直接当线性偏移用、不做边界检查也无负索引回绕语义（README「indice值域：不支持索引越界」），而 index_copy_ 只接受 [0, axis_size) 的索引、遇负索引直接抛异常中断整轮用例；原 numpy 花式索引则会把 [-size,-1] 静默回绕到尾部，给出算子不会产出的结果。同时工作 dtype 改用原生 dtype 而非一律转 float32：ScatterList 是纯拷贝算子、输出应与输入逐位相同，而 def 注册了 DT_INT32 / DT_INT64，fp32 尾数只有 24 位装不下 2^30 量级整数（实测 2^30+100 经 float32 中转变成 2^30+128，静默丢 28）；仅 bfloat16 因 numpy 无原生类型走 fp32 桥接（拷贝无损）。 - **group_norm_silu_quant 刻意不用 F.group_norm**：该层级 API 带 BN 系列的训练态保护（Expected more than 1 value per channel when training），每通道只剩 1 个元素时直接拒收（2 维输入 (N,C) 且 group=C 即触发，实测 case00608 崩），而算子本身 elemNum=1 合法。改用 torch.var_mean / torch.rsqrt / torch.addcmul / F.silu / torch.round+torch.clamp 拼接，语义等价且不带该限制，同样满足红线 R3。 - **foreach 系 fp32 提升不再无谓复制缓冲**：astype(np.float32, copy=False)。单份 GB 级的大用例（32 张量、5.37 亿元素）无谓复制会把进程推向 OOM；下游 torch 算子均非原地、不改写输入，复用安全。 ## 关联的Issue 关联Issue #4483 https://gitcode.com/cann/ops-nn/issues/4483 ## 测试 - **新增 UT**：norm/group_norm_silu_quant/tests/ut/op_host/arch35/test_group_norm_silu_quant_infershape.cpp 新增 infershape_unknown_rank_x、infershape_empty_tensor_each_axis 两个用例，覆盖 -2 动态 rank 与 N/C/HW 三个轴各自为 0 的空 Tensor 场景。 - **golden 回归**：23 个算子的 tests/assets/golden.py 变更由各自 TTK 用例集回归验证。作者记录：foreach_addcmul_list 修正三因子结合序后，此前因 fp32 中间量溢出成 inf 而失败的 bf16 用例集（8192 个元素中 7361 个 |x2*scalars| 超 fp32 上限）达到 100/100 通过。 - **binary.json**：4 份新增配置的 bin 数与 dtype / format / attr 组合均与对应 _def.cpp 的注册列表逐项核对一致（12 / 6 / 2 / 2）。 ## 文档更新 - norm/group_norm_silu_quant/README.md、norm/group_norm_silu_quant/docs/aclnnGroupNormSiluQuant.md：self 参数的约束列由 - 补充为「支持空Tensor（任意维度为0）。此时out为空，meanOut填充为0，rstdOut填充为NAN。」 - optim/lamb_apply_weight_assign/README.md：计算公式由 $input\_param - input2 \times ratio \times input3$ 改为 $input\_param - ratio \times (input3 \times input2)$，加括号标明与算子实现一致的结合顺序。 ## 类型标签 - [x] Bug修复 - [ ] 新特性 - [ ] 性能优化 - [x] 文档更新 - [ ] 其他，请描述： ## AI/Agent生成声明 - [x] AI辅助编写 See merge request: cann/ops-nn!8112 | 2 个月前 | |
fix: 补齐 4 算子 ascend950 binary.json 注册配置，修正 GroupNormSiluQuant 动态 rank 推导与 23 个算子 golden 参照失真 Co-authored-by: tangpingchuan<tangpingchuan@huawei.com> # message auto-generated for no-merge-commit merge: !8112 merge fix/op-binary-json-missing into master fix: 补齐 4 算子 ascend950 binary.json 注册配置，修正 GroupNormSiluQuant 动态 rank 推导与 23 个算子 golden 参照失真 Created-by: zl_hw Commit-by: tangpingchuan Merged-by: cann-robot Description: ## 描述 本 PR 修复三类「已声明的能力与实际产物不一致」的缺陷：注册配置缺失、动态 rank 推导缺失、测试参照（golden）与算子实现不一致。 ### 一、4 个算子在 ascend950 上缺失 binary.json 注册配置 NonZeroWithValue、MultilabelMarginLoss、PoissonNllLoss、MultiAddRmsNormDynamicQuant 的 *_def.cpp 均已执行 this->AICore().AddConfig("ascend950", ...)，但 op_host/config/ascend950/*_binary.json 缺失（前 3 个算子 op_host/config/ 目录整体为空，MultiAddRmsNormDynamicQuant 仅有 ascend910b/、ascend910_93/）。 **改动原因**（依据仓库构建脚本，非推断）： - cmake/custom_kernel.cmake:17-23：add_custom_kernel_library 以 if(EXISTS ${binary_json}) 为进入门槛，配置缺失时该算子被整体 continue 跳过，ascend950 kernel 不进入编译与打包； - cmake/func.cmake:656-666：拿不到 binary.json 时退化为 get_op_type_from_op_name 按算子名推断 op_type； - cmake/ut.cmake:459-476：numFiles EQUAL 0 分支同样退化为「下划线切分 + 首字母大写」推断 opType，与 OP_ADD() 注册的真实 op_type 不再有强绑定。 **改动方法**：逐算子按其 _def.cpp 的 DataType / Format 注册列表对齐补齐配置文件，bin 数与 dtype 组合严格一一对应： | 算子 | 新增配置文件 | bin 数 | dtype 组合依据 | |------|-------------|:------:|---------------| | NonZeroWithValue | index/non_zero_with_value/op_host/config/ascend950/non_zero_with_value_binary.json | 12 | non_zero_with_value_def.cpp 中 xDataType 的 12 类：double / float / float16 / int8 / uint8 / int16 / uint16 / int32 / uint32 / int64 / uint64 / bool；value 跟随 x，index / count 恒 int32（与 indexDataType、countDataType 一致）。attr：transpose(bool) / dtype(int) | | MultilabelMarginLoss | loss/multilabel_margin_loss/op_host/config/ascend950/multilabel_margin_loss_binary.json | 6 | multilabel_margin_loss_def.cpp 中 ascend950 独立的 regbaseConfig（xy6 / tgt6 / ist6）：x、y ∈ {float32, float16, bfloat16}，is_target 前 3 组保持 GE 原型的 int32、后 3 组跟随 self（对应 _v2 后缀 bin） | | PoissonNllLoss | loss/poisson_nll_loss/op_host/config/ascend950/poisson_nll_loss_binary.json | 2 | poisson_nll_loss_def.cpp 中 {DT_FLOAT16, DT_FLOAT}；attr：log_input(true) / full(false) / eps(1e-8) / reduction("mean") | | MultiAddRmsNormDynamicQuant | norm/multi_add_rms_norm_dynamic_quant/op_host/config/ascend950/multi_add_rms_norm_dynamic_quant_binary.json | 2 | float16 / bfloat16 两组；x1 为 dynamic 输入，smooth_scale1 / smooth_scale2 为 optional，输出 y1/y2 int8、x/y 跟随输入、scale1/scale2 float32；optional_input_mode: gen_placeholder 与同算子既有 ascend910b / ascend910_93 配置保持一致 | ### 二、GroupNormSiluQuant：补齐 -2 动态 rank 推导，资料补空 Tensor 支持声明 **改动原因**：group_norm_silu_quant_def.cpp:67 的 ascend950 config_regbase 已声明 DynamicRankSupportFlag(true)，但 group_norm_silu_quant_infershape.cpp 中无对应分支。x 为 UNKNOWN_RANK（-2）时，x_shape->GetDim(0) 取到的是 -2 这个标记值本身，mean / rstd 被推成非法的 (-2, num_groups)。 **改动方法**： - op_host/group_norm_silu_quant_infershape.cpp：引入 util/shape_util.h，在取 num_groups 之前插入 Ops::Base::IsUnknownRank(*x_shape) 判断，命中则对 y / mean / rstd 三个输出统一 Ops::Base::SetUnknownRank() 后直接返回 GRAPH_SUCCESS。 - tests/ut/op_host/arch35/test_group_norm_silu_quant_infershape.cpp：新增 2 个用例。 - infershape_unknown_rank_x：x = {-2}，断言三个输出均为 {-2}； - infershape_empty_tensor_each_axis：逐轴各一例（N 轴 {0,320,16,16}、C 轴 {4,0,16,16}、HW 轴 {4,320,0,16}），断言 y 与 x 同形、mean/rstd 为 (dims[0], 32)。 ### 三、23 个算子 golden.py 改用竞品 torch 算子拼接，并修正与算子实现不一致之处 **改动原因**：golden 红线 R3 要求 golden 只能由「竞品接口实现」或「竞品算子拼接实现」，禁止 numpy 纯公式——纯公式与被测 kernel 容易犯同一类错误，用与 kernel 一样有损的参照去比对，会把精度短板伪装成达标。 **改动方法**：23 个 tests/assets/golden.py 中，21 个新增 import torch 并改为 torch 张量算子拼接（numpy 仅保留 I/O 与 dtype 转换）；foreach_a_cos_inplace、foreach_log_inplace 原本已是 torch 实现，本次仅做内存优化。除改用 torch 外，同步修正了以下与算子实现不一致之处（均为参照失真，会掩盖或误报 kernel 问题）： - **标量一律落在 float32**：Python float 是 fp64，标量运算会把整条链路抬到双精度，而算子在 fp32 上算（A2 的 TBE compute 里 dtype='float32'，arch35 DAG 计算类型 U = float）。 - **foreach_addcmul_list 整数分支**：改用未经 float32 抹位的原始整数标量——1564714939 过一道 fp32 会变成 1564714880。 - **foreach_addcmul_list 三因子结合序**：改为 (x2*x3) 先乘、再乘标量。数学上乘积与结合序无关，但 fp32 中间量下不等价：scalars 取极值（如 3.35e38）时 (x2*scalars) 先冲破 fp32 上限变成 inf，而 x2*x3 为小量、再乘 scalars 并不溢出。 - **lamb_update_with_lr 的 clip**：改用 torch.minimum / torch.maximum——内核走 Vec::Min / Vec::Max 硬件指令、传播 NaN，而 Python 内置 min/max 是比较语义、会静默丢弃 NaN。 - **lamb_apply_weight_assign 运算序列**：改为 ratio*(update*lr)，与 A2 的 vmul(update,lr) 再 vmul(ratio,·) 及 arch35 DAG 一致；README.md 公式同步加括号标明结合顺序（原写法在 update 与 lr 同时较大时会先溢出成 inf）。 - **lamb_apply_weight_assign / foreach_addcdiv_list 的除法**：补 Subnormal 归零。A2 的 Div 无 config 参数、只有单指令一条路，arch35 默认 DivAlgo::INTRINSIC 亦对 Subnormal 做 FTZ；golden 在 CPU 上默认保留 Subnormal 会给出算子不会产出的值。 - **lamb_apply_optimizer_assign 偏差校正**：改用 exp(log(b)*steps)，与 arch35 DAG 的 Log / Mul / Exp 三条指令一致，不再用 Python 幂运算。 - **scatter_list 散射写入**：按平坦偏移下发，不使用 Tensor.index_copy_。算子把 indice 直接当线性偏移用、不做边界检查也无负索引回绕语义（README「indice值域：不支持索引越界」），而 index_copy_ 只接受 [0, axis_size) 的索引、遇负索引直接抛异常中断整轮用例；原 numpy 花式索引则会把 [-size,-1] 静默回绕到尾部，给出算子不会产出的结果。同时工作 dtype 改用原生 dtype 而非一律转 float32：ScatterList 是纯拷贝算子、输出应与输入逐位相同，而 def 注册了 DT_INT32 / DT_INT64，fp32 尾数只有 24 位装不下 2^30 量级整数（实测 2^30+100 经 float32 中转变成 2^30+128，静默丢 28）；仅 bfloat16 因 numpy 无原生类型走 fp32 桥接（拷贝无损）。 - **group_norm_silu_quant 刻意不用 F.group_norm**：该层级 API 带 BN 系列的训练态保护（Expected more than 1 value per channel when training），每通道只剩 1 个元素时直接拒收（2 维输入 (N,C) 且 group=C 即触发，实测 case00608 崩），而算子本身 elemNum=1 合法。改用 torch.var_mean / torch.rsqrt / torch.addcmul / F.silu / torch.round+torch.clamp 拼接，语义等价且不带该限制，同样满足红线 R3。 - **foreach 系 fp32 提升不再无谓复制缓冲**：astype(np.float32, copy=False)。单份 GB 级的大用例（32 张量、5.37 亿元素）无谓复制会把进程推向 OOM；下游 torch 算子均非原地、不改写输入，复用安全。 ## 关联的Issue 关联Issue #4483 https://gitcode.com/cann/ops-nn/issues/4483 ## 测试 - **新增 UT**：norm/group_norm_silu_quant/tests/ut/op_host/arch35/test_group_norm_silu_quant_infershape.cpp 新增 infershape_unknown_rank_x、infershape_empty_tensor_each_axis 两个用例，覆盖 -2 动态 rank 与 N/C/HW 三个轴各自为 0 的空 Tensor 场景。 - **golden 回归**：23 个算子的 tests/assets/golden.py 变更由各自 TTK 用例集回归验证。作者记录：foreach_addcmul_list 修正三因子结合序后，此前因 fp32 中间量溢出成 inf 而失败的 bf16 用例集（8192 个元素中 7361 个 |x2*scalars| 超 fp32 上限）达到 100/100 通过。 - **binary.json**：4 份新增配置的 bin 数与 dtype / format / attr 组合均与对应 _def.cpp 的注册列表逐项核对一致（12 / 6 / 2 / 2）。 ## 文档更新 - norm/group_norm_silu_quant/README.md、norm/group_norm_silu_quant/docs/aclnnGroupNormSiluQuant.md：self 参数的约束列由 - 补充为「支持空Tensor（任意维度为0）。此时out为空，meanOut填充为0，rstdOut填充为NAN。」 - optim/lamb_apply_weight_assign/README.md：计算公式由 $input\_param - input2 \times ratio \times input3$ 改为 $input\_param - ratio \times (input3 \times input2)$，加括号标明与算子实现一致的结合顺序。 ## 类型标签 - [x] Bug修复 - [ ] 新特性 - [ ] 性能优化 - [x] 文档更新 - [ ] 其他，请描述： ## AI/Agent生成声明 - [x] AI辅助编写 See merge request: cann/ops-nn!8112 | 2 个月前 | |
fix: 补齐 4 算子 ascend950 binary.json 注册配置，修正 GroupNormSiluQuant 动态 rank 推导与 23 个算子 golden 参照失真 Co-authored-by: tangpingchuan<tangpingchuan@huawei.com> # message auto-generated for no-merge-commit merge: !8112 merge fix/op-binary-json-missing into master fix: 补齐 4 算子 ascend950 binary.json 注册配置，修正 GroupNormSiluQuant 动态 rank 推导与 23 个算子 golden 参照失真 Created-by: zl_hw Commit-by: tangpingchuan Merged-by: cann-robot Description: ## 描述 本 PR 修复三类「已声明的能力与实际产物不一致」的缺陷：注册配置缺失、动态 rank 推导缺失、测试参照（golden）与算子实现不一致。 ### 一、4 个算子在 ascend950 上缺失 binary.json 注册配置 NonZeroWithValue、MultilabelMarginLoss、PoissonNllLoss、MultiAddRmsNormDynamicQuant 的 *_def.cpp 均已执行 this->AICore().AddConfig("ascend950", ...)，但 op_host/config/ascend950/*_binary.json 缺失（前 3 个算子 op_host/config/ 目录整体为空，MultiAddRmsNormDynamicQuant 仅有 ascend910b/、ascend910_93/）。 **改动原因**（依据仓库构建脚本，非推断）： - cmake/custom_kernel.cmake:17-23：add_custom_kernel_library 以 if(EXISTS ${binary_json}) 为进入门槛，配置缺失时该算子被整体 continue 跳过，ascend950 kernel 不进入编译与打包； - cmake/func.cmake:656-666：拿不到 binary.json 时退化为 get_op_type_from_op_name 按算子名推断 op_type； - cmake/ut.cmake:459-476：numFiles EQUAL 0 分支同样退化为「下划线切分 + 首字母大写」推断 opType，与 OP_ADD() 注册的真实 op_type 不再有强绑定。 **改动方法**：逐算子按其 _def.cpp 的 DataType / Format 注册列表对齐补齐配置文件，bin 数与 dtype 组合严格一一对应： | 算子 | 新增配置文件 | bin 数 | dtype 组合依据 | |------|-------------|:------:|---------------| | NonZeroWithValue | index/non_zero_with_value/op_host/config/ascend950/non_zero_with_value_binary.json | 12 | non_zero_with_value_def.cpp 中 xDataType 的 12 类：double / float / float16 / int8 / uint8 / int16 / uint16 / int32 / uint32 / int64 / uint64 / bool；value 跟随 x，index / count 恒 int32（与 indexDataType、countDataType 一致）。attr：transpose(bool) / dtype(int) | | MultilabelMarginLoss | loss/multilabel_margin_loss/op_host/config/ascend950/multilabel_margin_loss_binary.json | 6 | multilabel_margin_loss_def.cpp 中 ascend950 独立的 regbaseConfig（xy6 / tgt6 / ist6）：x、y ∈ {float32, float16, bfloat16}，is_target 前 3 组保持 GE 原型的 int32、后 3 组跟随 self（对应 _v2 后缀 bin） | | PoissonNllLoss | loss/poisson_nll_loss/op_host/config/ascend950/poisson_nll_loss_binary.json | 2 | poisson_nll_loss_def.cpp 中 {DT_FLOAT16, DT_FLOAT}；attr：log_input(true) / full(false) / eps(1e-8) / reduction("mean") | | MultiAddRmsNormDynamicQuant | norm/multi_add_rms_norm_dynamic_quant/op_host/config/ascend950/multi_add_rms_norm_dynamic_quant_binary.json | 2 | float16 / bfloat16 两组；x1 为 dynamic 输入，smooth_scale1 / smooth_scale2 为 optional，输出 y1/y2 int8、x/y 跟随输入、scale1/scale2 float32；optional_input_mode: gen_placeholder 与同算子既有 ascend910b / ascend910_93 配置保持一致 | ### 二、GroupNormSiluQuant：补齐 -2 动态 rank 推导，资料补空 Tensor 支持声明 **改动原因**：group_norm_silu_quant_def.cpp:67 的 ascend950 config_regbase 已声明 DynamicRankSupportFlag(true)，但 group_norm_silu_quant_infershape.cpp 中无对应分支。x 为 UNKNOWN_RANK（-2）时，x_shape->GetDim(0) 取到的是 -2 这个标记值本身，mean / rstd 被推成非法的 (-2, num_groups)。 **改动方法**： - op_host/group_norm_silu_quant_infershape.cpp：引入 util/shape_util.h，在取 num_groups 之前插入 Ops::Base::IsUnknownRank(*x_shape) 判断，命中则对 y / mean / rstd 三个输出统一 Ops::Base::SetUnknownRank() 后直接返回 GRAPH_SUCCESS。 - tests/ut/op_host/arch35/test_group_norm_silu_quant_infershape.cpp：新增 2 个用例。 - infershape_unknown_rank_x：x = {-2}，断言三个输出均为 {-2}； - infershape_empty_tensor_each_axis：逐轴各一例（N 轴 {0,320,16,16}、C 轴 {4,0,16,16}、HW 轴 {4,320,0,16}），断言 y 与 x 同形、mean/rstd 为 (dims[0], 32)。 ### 三、23 个算子 golden.py 改用竞品 torch 算子拼接，并修正与算子实现不一致之处 **改动原因**：golden 红线 R3 要求 golden 只能由「竞品接口实现」或「竞品算子拼接实现」，禁止 numpy 纯公式——纯公式与被测 kernel 容易犯同一类错误，用与 kernel 一样有损的参照去比对，会把精度短板伪装成达标。 **改动方法**：23 个 tests/assets/golden.py 中，21 个新增 import torch 并改为 torch 张量算子拼接（numpy 仅保留 I/O 与 dtype 转换）；foreach_a_cos_inplace、foreach_log_inplace 原本已是 torch 实现，本次仅做内存优化。除改用 torch 外，同步修正了以下与算子实现不一致之处（均为参照失真，会掩盖或误报 kernel 问题）： - **标量一律落在 float32**：Python float 是 fp64，标量运算会把整条链路抬到双精度，而算子在 fp32 上算（A2 的 TBE compute 里 dtype='float32'，arch35 DAG 计算类型 U = float）。 - **foreach_addcmul_list 整数分支**：改用未经 float32 抹位的原始整数标量——1564714939 过一道 fp32 会变成 1564714880。 - **foreach_addcmul_list 三因子结合序**：改为 (x2*x3) 先乘、再乘标量。数学上乘积与结合序无关，但 fp32 中间量下不等价：scalars 取极值（如 3.35e38）时 (x2*scalars) 先冲破 fp32 上限变成 inf，而 x2*x3 为小量、再乘 scalars 并不溢出。 - **lamb_update_with_lr 的 clip**：改用 torch.minimum / torch.maximum——内核走 Vec::Min / Vec::Max 硬件指令、传播 NaN，而 Python 内置 min/max 是比较语义、会静默丢弃 NaN。 - **lamb_apply_weight_assign 运算序列**：改为 ratio*(update*lr)，与 A2 的 vmul(update,lr) 再 vmul(ratio,·) 及 arch35 DAG 一致；README.md 公式同步加括号标明结合顺序（原写法在 update 与 lr 同时较大时会先溢出成 inf）。 - **lamb_apply_weight_assign / foreach_addcdiv_list 的除法**：补 Subnormal 归零。A2 的 Div 无 config 参数、只有单指令一条路，arch35 默认 DivAlgo::INTRINSIC 亦对 Subnormal 做 FTZ；golden 在 CPU 上默认保留 Subnormal 会给出算子不会产出的值。 - **lamb_apply_optimizer_assign 偏差校正**：改用 exp(log(b)*steps)，与 arch35 DAG 的 Log / Mul / Exp 三条指令一致，不再用 Python 幂运算。 - **scatter_list 散射写入**：按平坦偏移下发，不使用 Tensor.index_copy_。算子把 indice 直接当线性偏移用、不做边界检查也无负索引回绕语义（README「indice值域：不支持索引越界」），而 index_copy_ 只接受 [0, axis_size) 的索引、遇负索引直接抛异常中断整轮用例；原 numpy 花式索引则会把 [-size,-1] 静默回绕到尾部，给出算子不会产出的结果。同时工作 dtype 改用原生 dtype 而非一律转 float32：ScatterList 是纯拷贝算子、输出应与输入逐位相同，而 def 注册了 DT_INT32 / DT_INT64，fp32 尾数只有 24 位装不下 2^30 量级整数（实测 2^30+100 经 float32 中转变成 2^30+128，静默丢 28）；仅 bfloat16 因 numpy 无原生类型走 fp32 桥接（拷贝无损）。 - **group_norm_silu_quant 刻意不用 F.group_norm**：该层级 API 带 BN 系列的训练态保护（Expected more than 1 value per channel when training），每通道只剩 1 个元素时直接拒收（2 维输入 (N,C) 且 group=C 即触发，实测 case00608 崩），而算子本身 elemNum=1 合法。改用 torch.var_mean / torch.rsqrt / torch.addcmul / F.silu / torch.round+torch.clamp 拼接，语义等价且不带该限制，同样满足红线 R3。 - **foreach 系 fp32 提升不再无谓复制缓冲**：astype(np.float32, copy=False)。单份 GB 级的大用例（32 张量、5.37 亿元素）无谓复制会把进程推向 OOM；下游 torch 算子均非原地、不改写输入，复用安全。 ## 关联的Issue 关联Issue #4483 https://gitcode.com/cann/ops-nn/issues/4483 ## 测试 - **新增 UT**：norm/group_norm_silu_quant/tests/ut/op_host/arch35/test_group_norm_silu_quant_infershape.cpp 新增 infershape_unknown_rank_x、infershape_empty_tensor_each_axis 两个用例，覆盖 -2 动态 rank 与 N/C/HW 三个轴各自为 0 的空 Tensor 场景。 - **golden 回归**：23 个算子的 tests/assets/golden.py 变更由各自 TTK 用例集回归验证。作者记录：foreach_addcmul_list 修正三因子结合序后，此前因 fp32 中间量溢出成 inf 而失败的 bf16 用例集（8192 个元素中 7361 个 |x2*scalars| 超 fp32 上限）达到 100/100 通过。 - **binary.json**：4 份新增配置的 bin 数与 dtype / format / attr 组合均与对应 _def.cpp 的注册列表逐项核对一致（12 / 6 / 2 / 2）。 ## 文档更新 - norm/group_norm_silu_quant/README.md、norm/group_norm_silu_quant/docs/aclnnGroupNormSiluQuant.md：self 参数的约束列由 - 补充为「支持空Tensor（任意维度为0）。此时out为空，meanOut填充为0，rstdOut填充为NAN。」 - optim/lamb_apply_weight_assign/README.md：计算公式由 $input\_param - input2 \times ratio \times input3$ 改为 $input\_param - ratio \times (input3 \times input2)$，加括号标明与算子实现一致的结合顺序。 ## 类型标签 - [x] Bug修复 - [ ] 新特性 - [ ] 性能优化 - [x] 文档更新 - [ ] 其他，请描述： ## AI/Agent生成声明 - [x] AI辅助编写 See merge request: cann/ops-nn!8112 | 2 个月前 | |
fix: 补齐 4 算子 ascend950 binary.json 注册配置，修正 GroupNormSiluQuant 动态 rank 推导与 23 个算子 golden 参照失真 Co-authored-by: tangpingchuan<tangpingchuan@huawei.com> # message auto-generated for no-merge-commit merge: !8112 merge fix/op-binary-json-missing into master fix: 补齐 4 算子 ascend950 binary.json 注册配置，修正 GroupNormSiluQuant 动态 rank 推导与 23 个算子 golden 参照失真 Created-by: zl_hw Commit-by: tangpingchuan Merged-by: cann-robot Description: ## 描述 本 PR 修复三类「已声明的能力与实际产物不一致」的缺陷：注册配置缺失、动态 rank 推导缺失、测试参照（golden）与算子实现不一致。 ### 一、4 个算子在 ascend950 上缺失 binary.json 注册配置 NonZeroWithValue、MultilabelMarginLoss、PoissonNllLoss、MultiAddRmsNormDynamicQuant 的 *_def.cpp 均已执行 this->AICore().AddConfig("ascend950", ...)，但 op_host/config/ascend950/*_binary.json 缺失（前 3 个算子 op_host/config/ 目录整体为空，MultiAddRmsNormDynamicQuant 仅有 ascend910b/、ascend910_93/）。 **改动原因**（依据仓库构建脚本，非推断）： - cmake/custom_kernel.cmake:17-23：add_custom_kernel_library 以 if(EXISTS ${binary_json}) 为进入门槛，配置缺失时该算子被整体 continue 跳过，ascend950 kernel 不进入编译与打包； - cmake/func.cmake:656-666：拿不到 binary.json 时退化为 get_op_type_from_op_name 按算子名推断 op_type； - cmake/ut.cmake:459-476：numFiles EQUAL 0 分支同样退化为「下划线切分 + 首字母大写」推断 opType，与 OP_ADD() 注册的真实 op_type 不再有强绑定。 **改动方法**：逐算子按其 _def.cpp 的 DataType / Format 注册列表对齐补齐配置文件，bin 数与 dtype 组合严格一一对应： | 算子 | 新增配置文件 | bin 数 | dtype 组合依据 | |------|-------------|:------:|---------------| | NonZeroWithValue | index/non_zero_with_value/op_host/config/ascend950/non_zero_with_value_binary.json | 12 | non_zero_with_value_def.cpp 中 xDataType 的 12 类：double / float / float16 / int8 / uint8 / int16 / uint16 / int32 / uint32 / int64 / uint64 / bool；value 跟随 x，index / count 恒 int32（与 indexDataType、countDataType 一致）。attr：transpose(bool) / dtype(int) | | MultilabelMarginLoss | loss/multilabel_margin_loss/op_host/config/ascend950/multilabel_margin_loss_binary.json | 6 | multilabel_margin_loss_def.cpp 中 ascend950 独立的 regbaseConfig（xy6 / tgt6 / ist6）：x、y ∈ {float32, float16, bfloat16}，is_target 前 3 组保持 GE 原型的 int32、后 3 组跟随 self（对应 _v2 后缀 bin） | | PoissonNllLoss | loss/poisson_nll_loss/op_host/config/ascend950/poisson_nll_loss_binary.json | 2 | poisson_nll_loss_def.cpp 中 {DT_FLOAT16, DT_FLOAT}；attr：log_input(true) / full(false) / eps(1e-8) / reduction("mean") | | MultiAddRmsNormDynamicQuant | norm/multi_add_rms_norm_dynamic_quant/op_host/config/ascend950/multi_add_rms_norm_dynamic_quant_binary.json | 2 | float16 / bfloat16 两组；x1 为 dynamic 输入，smooth_scale1 / smooth_scale2 为 optional，输出 y1/y2 int8、x/y 跟随输入、scale1/scale2 float32；optional_input_mode: gen_placeholder 与同算子既有 ascend910b / ascend910_93 配置保持一致 | ### 二、GroupNormSiluQuant：补齐 -2 动态 rank 推导，资料补空 Tensor 支持声明 **改动原因**：group_norm_silu_quant_def.cpp:67 的 ascend950 config_regbase 已声明 DynamicRankSupportFlag(true)，但 group_norm_silu_quant_infershape.cpp 中无对应分支。x 为 UNKNOWN_RANK（-2）时，x_shape->GetDim(0) 取到的是 -2 这个标记值本身，mean / rstd 被推成非法的 (-2, num_groups)。 **改动方法**： - op_host/group_norm_silu_quant_infershape.cpp：引入 util/shape_util.h，在取 num_groups 之前插入 Ops::Base::IsUnknownRank(*x_shape) 判断，命中则对 y / mean / rstd 三个输出统一 Ops::Base::SetUnknownRank() 后直接返回 GRAPH_SUCCESS。 - tests/ut/op_host/arch35/test_group_norm_silu_quant_infershape.cpp：新增 2 个用例。 - infershape_unknown_rank_x：x = {-2}，断言三个输出均为 {-2}； - infershape_empty_tensor_each_axis：逐轴各一例（N 轴 {0,320,16,16}、C 轴 {4,0,16,16}、HW 轴 {4,320,0,16}），断言 y 与 x 同形、mean/rstd 为 (dims[0], 32)。 ### 三、23 个算子 golden.py 改用竞品 torch 算子拼接，并修正与算子实现不一致之处 **改动原因**：golden 红线 R3 要求 golden 只能由「竞品接口实现」或「竞品算子拼接实现」，禁止 numpy 纯公式——纯公式与被测 kernel 容易犯同一类错误，用与 kernel 一样有损的参照去比对，会把精度短板伪装成达标。 **改动方法**：23 个 tests/assets/golden.py 中，21 个新增 import torch 并改为 torch 张量算子拼接（numpy 仅保留 I/O 与 dtype 转换）；foreach_a_cos_inplace、foreach_log_inplace 原本已是 torch 实现，本次仅做内存优化。除改用 torch 外，同步修正了以下与算子实现不一致之处（均为参照失真，会掩盖或误报 kernel 问题）： - **标量一律落在 float32**：Python float 是 fp64，标量运算会把整条链路抬到双精度，而算子在 fp32 上算（A2 的 TBE compute 里 dtype='float32'，arch35 DAG 计算类型 U = float）。 - **foreach_addcmul_list 整数分支**：改用未经 float32 抹位的原始整数标量——1564714939 过一道 fp32 会变成 1564714880。 - **foreach_addcmul_list 三因子结合序**：改为 (x2*x3) 先乘、再乘标量。数学上乘积与结合序无关，但 fp32 中间量下不等价：scalars 取极值（如 3.35e38）时 (x2*scalars) 先冲破 fp32 上限变成 inf，而 x2*x3 为小量、再乘 scalars 并不溢出。 - **lamb_update_with_lr 的 clip**：改用 torch.minimum / torch.maximum——内核走 Vec::Min / Vec::Max 硬件指令、传播 NaN，而 Python 内置 min/max 是比较语义、会静默丢弃 NaN。 - **lamb_apply_weight_assign 运算序列**：改为 ratio*(update*lr)，与 A2 的 vmul(update,lr) 再 vmul(ratio,·) 及 arch35 DAG 一致；README.md 公式同步加括号标明结合顺序（原写法在 update 与 lr 同时较大时会先溢出成 inf）。 - **lamb_apply_weight_assign / foreach_addcdiv_list 的除法**：补 Subnormal 归零。A2 的 Div 无 config 参数、只有单指令一条路，arch35 默认 DivAlgo::INTRINSIC 亦对 Subnormal 做 FTZ；golden 在 CPU 上默认保留 Subnormal 会给出算子不会产出的值。 - **lamb_apply_optimizer_assign 偏差校正**：改用 exp(log(b)*steps)，与 arch35 DAG 的 Log / Mul / Exp 三条指令一致，不再用 Python 幂运算。 - **scatter_list 散射写入**：按平坦偏移下发，不使用 Tensor.index_copy_。算子把 indice 直接当线性偏移用、不做边界检查也无负索引回绕语义（README「indice值域：不支持索引越界」），而 index_copy_ 只接受 [0, axis_size) 的索引、遇负索引直接抛异常中断整轮用例；原 numpy 花式索引则会把 [-size,-1] 静默回绕到尾部，给出算子不会产出的结果。同时工作 dtype 改用原生 dtype 而非一律转 float32：ScatterList 是纯拷贝算子、输出应与输入逐位相同，而 def 注册了 DT_INT32 / DT_INT64，fp32 尾数只有 24 位装不下 2^30 量级整数（实测 2^30+100 经 float32 中转变成 2^30+128，静默丢 28）；仅 bfloat16 因 numpy 无原生类型走 fp32 桥接（拷贝无损）。 - **group_norm_silu_quant 刻意不用 F.group_norm**：该层级 API 带 BN 系列的训练态保护（Expected more than 1 value per channel when training），每通道只剩 1 个元素时直接拒收（2 维输入 (N,C) 且 group=C 即触发，实测 case00608 崩），而算子本身 elemNum=1 合法。改用 torch.var_mean / torch.rsqrt / torch.addcmul / F.silu / torch.round+torch.clamp 拼接，语义等价且不带该限制，同样满足红线 R3。 - **foreach 系 fp32 提升不再无谓复制缓冲**：astype(np.float32, copy=False)。单份 GB 级的大用例（32 张量、5.37 亿元素）无谓复制会把进程推向 OOM；下游 torch 算子均非原地、不改写输入，复用安全。 ## 关联的Issue 关联Issue #4483 https://gitcode.com/cann/ops-nn/issues/4483 ## 测试 - **新增 UT**：norm/group_norm_silu_quant/tests/ut/op_host/arch35/test_group_norm_silu_quant_infershape.cpp 新增 infershape_unknown_rank_x、infershape_empty_tensor_each_axis 两个用例，覆盖 -2 动态 rank 与 N/C/HW 三个轴各自为 0 的空 Tensor 场景。 - **golden 回归**：23 个算子的 tests/assets/golden.py 变更由各自 TTK 用例集回归验证。作者记录：foreach_addcmul_list 修正三因子结合序后，此前因 fp32 中间量溢出成 inf 而失败的 bf16 用例集（8192 个元素中 7361 个 |x2*scalars| 超 fp32 上限）达到 100/100 通过。 - **binary.json**：4 份新增配置的 bin 数与 dtype / format / attr 组合均与对应 _def.cpp 的注册列表逐项核对一致（12 / 6 / 2 / 2）。 ## 文档更新 - norm/group_norm_silu_quant/README.md、norm/group_norm_silu_quant/docs/aclnnGroupNormSiluQuant.md：self 参数的约束列由 - 补充为「支持空Tensor（任意维度为0）。此时out为空，meanOut填充为0，rstdOut填充为NAN。」 - optim/lamb_apply_weight_assign/README.md：计算公式由 $input\_param - input2 \times ratio \times input3$ 改为 $input\_param - ratio \times (input3 \times input2)$，加括号标明与算子实现一致的结合顺序。 ## 类型标签 - [x] Bug修复 - [ ] 新特性 - [ ] 性能优化 - [x] 文档更新 - [ ] 其他，请描述： ## AI/Agent生成声明 - [x] AI辅助编写 See merge request: cann/ops-nn!8112 | 2 个月前 | |
feat: add larsv2update operate Co-authored-by: Miao_Haifeng<miaohaifeng@huawei.com> # message auto-generated for no-merge-commit merge: !7954 merge mhf_larsv2update_0725 into master feat: add larsv2update operate Created-by: Almost_CANN Commit-by: Miao_Haifeng Merged-by: cann-robot Description: ## 描述 <!--在这里详细描述你的改动，包括改动的原因和所采取的方法。--> 新增A5版本的AscendC的LarsV2Update算子 ## 关联的Issue <!-- 如果这个PR是为了解决特定的Issue，请在这里提供Issue链接。例如：关联Issue #000--> ## 测试 <!--描述进行了哪些测试来验证你的改动。--> TTK测试、GEIR通路测试、三方测试 ## 文档更新 <!--如果这个PR包含文档的更新，请在这里指出。例如：更新了README.md文件。--> ops-nn\docs\zh\op_list.md ## 类型标签 <!-- [x] 表示选中 --> - [ ] Bug修复 - [x] 新特性 - [ ] 性能优化 - [ ] 文档更新 - [ ] 其他，请描述： ## AI/Agent生成声明 <!-- [x] 表示选中 --> - [x] AI辅助编写 See merge request: cann/ops-nn!7954 | 2 个月前 | |
perf(sparse_apply_adadelta): 优化线程分布策略 Co-authored-by: guankarl<guanhongwei3@huawei.com> # message auto-generated for no-merge-commit merge: !7846 merge perf/sparse-apply-adadelta-optimize-tiling into master perf(sparse_apply_adadelta): 优化线程分布策略 Created-by: guankarl Commit-by: guankarl Merged-by: cann-robot Description: ## 优化内容 将 sparse_apply_adadelta 算子的线程分布从遍历 totalRows 改为 K×rowSize grid-stride ### 性能测试结果 - 平均加速比: 4206.82x - 最大加速比: 9393.57x - 35个用例保持PASS且全部性能提升 - 11个用例从FAIL改进为PASS ### 计算顺序验证 ✅ 计算顺序不变，无竞态 See merge request: cann/ops-nn!7846 | 2 个月前 | |
SparseApplyAdagradV2 add tiling checks Co-authored-by: rsj007<renshuojian@huawei.com> # message auto-generated for no-merge-commit merge: !8024 merge master into master SparseApplyAdagradV2 add tiling checks Created-by: rsj007 Commit-by: rsj007 Merged-by: cann-robot Description: ## 描述 SparseApplyAdagradV2需要在tiling里增加dtype和dim的校验 ## 关联的Issue https://gitcode.com/cann/ops-nn/issues/4395 ## 测试 冒烟、用例测试 ## 文档更新 不涉及 ## 类型标签 <!-- [x] 表示选中 --> - [x] Bug修复 - [ ] 新特性 - [ ] 性能优化 - [ ] 文档更新 - [ ] 其他，请描述： ## AI/Agent生成声明 <!-- [x] 表示选中 --> - [ ] AI辅助编写 See merge request: cann/ops-nn!8024 | 2 个月前 | |
添加长尾算子SparseApplyFtrl算子tiling校验/infershap校验/example/golden/ut Co-authored-by: surezz<zhangyuwei31@huawei.com> # message auto-generated for no-merge-commit merge: !8031 merge SparseApplyFtrl into master 添加长尾算子SparseApplyFtrl算子tiling校验/infershap校验/example/golden/ut Created-by: surezz Commit-by: surezz Merged-by: cann-robot Description: ## 描述 <!--在这里详细描述你的改动，包括改动的原因和所采取的方法。--> 补充长尾算子SparseApplyFtrl算子相关交付件，添加算子相关tiling校验与算子约束条件 ## 关联的Issue <!-- 如果这个PR是为了解决特定的Issue，请在这里提供Issue链接。例如：关联Issue #000--> https://gitcode.com/cann/ops-nn/issues/4405 ## 测试 <!--描述进行了哪些测试来验证你的改动。--> david冒烟、二级冒烟、tilingut验证 ## 文档更新 <!--如果这个PR包含文档的更新，请在这里指出。例如：更新了README.md文件。--> 更新了SparseApplyFtrl的README.md ## 类型标签 <!-- [x] 表示选中 --> - [ ] Bug修复 - [x] 新特性 - [ ] 性能优化 - [x] 文档更新 - [ ] 其他，请描述： ## AI/Agent生成声明 <!-- [x] 表示选中 --> - [ ] AI辅助编写 See merge request: cann/ops-nn!8031 | 2 个月前 | |
TF plugin 迁移2 Co-authored-by: sunchun<sunchun4@h-partners.com> # message auto-generated for no-merge-commit merge: !7586 merge nn2 into master TF plugin 迁移2 Created-by: sunchun Commit-by: sunchun Merged-by: cann-robot Description: ## 描述 TF plugin 迁移 ## 关联的Issue https://gitcode.com/cann/ops-nn/issues/4196 ## 测试 <!--描述进行了哪些测试来验证你的改动。--> ## 文档更新 <!--如果这个PR包含文档的更新，请在这里指出。例如：更新了README.md文件。--> ## 类型标签 <!-- [x] 表示选中 --> - [ ] Bug修复 - [x] 新特性 - [ ] 性能优化 - [ ] 文档更新 - [ ] 其他，请描述： ## AI/Agent生成声明 <!-- [x] 表示选中 --> - [ ] AI辅助编写 See merge request: cann/ops-nn!7586 | 2 个月前 | |
TF plugin 迁移2 Co-authored-by: sunchun<sunchun4@h-partners.com> # message auto-generated for no-merge-commit merge: !7586 merge nn2 into master TF plugin 迁移2 Created-by: sunchun Commit-by: sunchun Merged-by: cann-robot Description: ## 描述 TF plugin 迁移 ## 关联的Issue https://gitcode.com/cann/ops-nn/issues/4196 ## 测试 <!--描述进行了哪些测试来验证你的改动。--> ## 文档更新 <!--如果这个PR包含文档的更新，请在这里指出。例如：更新了README.md文件。--> ## 类型标签 <!-- [x] 表示选中 --> - [ ] Bug修复 - [x] 新特性 - [ ] 性能优化 - [ ] 文档更新 - [ ] 其他，请描述： ## AI/Agent生成声明 <!-- [x] 表示选中 --> - [ ] AI辅助编写 See merge request: cann/ops-nn!7586 | 2 个月前 | |
TF plugin 迁移2 Co-authored-by: sunchun<sunchun4@h-partners.com> # message auto-generated for no-merge-commit merge: !7586 merge nn2 into master TF plugin 迁移2 Created-by: sunchun Commit-by: sunchun Merged-by: cann-robot Description: ## 描述 TF plugin 迁移 ## 关联的Issue https://gitcode.com/cann/ops-nn/issues/4196 ## 测试 <!--描述进行了哪些测试来验证你的改动。--> ## 文档更新 <!--如果这个PR包含文档的更新，请在这里指出。例如：更新了README.md文件。--> ## 类型标签 <!-- [x] 表示选中 --> - [ ] Bug修复 - [x] 新特性 - [ ] 性能优化 - [ ] 文档更新 - [ ] 其他，请描述： ## AI/Agent生成声明 <!-- [x] 表示选中 --> - [ ] AI辅助编写 See merge request: cann/ops-nn!7586 | 2 个月前 | |
Format update: Adjusted the license description format in all relevant files. Co-authored-by: jiangqi<jiangqi47@h-partners.com> # message auto-generated for no-merge-commit merge: !365 merge license5 into master Format update: Adjusted the license description format in all relevant files. Created-by: jiangqi2025 Commit-by: jiangqi Merged-by: turing_project1 Description: ## 描述 <!--在这里详细描述你的改动，包括改动的原因和所采取的方法。--> ## 关联的Issue <!-- 如果这个PR是为了解决特定的Issue，请在这里提供Issue链接。例如：关联Issue #123--> <!-- 如果这个PR是为了解决特定的问题单，请在这里描述问题单单号。--> ## 测试 <!--描述进行了哪些测试来验证你的改动。包括但不限于二级冒烟、算子泛化等。--> ## 文档更新 <!--如果这个PR包含文档的更新，请在这里指出。例如：更新了README.md文件。--> ## 类型标签 <!-- [x] 表示选中 --> - [ ] Bug修复 - [ ] 新特性 - [ ] 性能优化 - [ ] 文档更新 - [ ] 其他，请描述： See merge request: cann/ops-nn!365 | 10 个月前 |
| 文件 | 最后提交记录 | 最后更新时间 |
|---|---|---|
| 2 个月前 | ||
| 2 个月前 | ||
| 2 个月前 | ||
| 2 个月前 | ||
| 2 个月前 | ||
| 2 个月前 | ||
| 2 个月前 | ||
| 2 个月前 | ||
| 2 个月前 | ||
| 2 个月前 | ||
| 2 个月前 | ||
| 2 个月前 | ||
| 2 个月前 | ||
| 2 个月前 | ||
| 2 个月前 | ||
| 2 个月前 | ||
| 2 个月前 | ||
| 2 个月前 | ||
| 2 个月前 | ||
| 2 个月前 | ||
| 2 个月前 | ||
| 2 个月前 | ||
| 2 个月前 | ||
| 2 个月前 | ||
| 2 个月前 | ||
| 2 个月前 | ||
| 3 个月前 | ||
| 2 个月前 | ||
| 2 个月前 | ||
| 2 个月前 | ||
| 2 个月前 | ||
| 2 个月前 | ||
| 2 个月前 | ||
| 2 个月前 | ||
| 3 个月前 | ||
| 3 个月前 | ||
| 2 个月前 | ||
| 2 个月前 | ||
| 2 个月前 | ||
| 2 个月前 | ||
| 2 个月前 | ||
| 2 个月前 | ||
| 2 个月前 | ||
| 2 个月前 | ||
| 2 个月前 | ||
| 2 个月前 | ||
| 2 个月前 | ||
| 2 个月前 | ||
| 2 个月前 | ||
| 2 个月前 | ||
| 10 个月前 |