Star0
0
代码
代码
Issues
Pull Requests
Actions
项目讨论
Wiki
分析
Star0
0
cann-robotcann-robotfeat(quant_matmul_activation_quant): 支持 SiLU + MX 量化融合
7ed342d2创建于 7 天前历史提交
文件最后提交记录最后更新时间
zh
feat(quant_matmul_activation_quant): 支持 SiLU + MX 量化融合 Co-authored-by: smdbha<panzhijie2@huawei.com> # message auto-generated for no-merge-commit merge: !11505 merge master into master feat(quant_matmul_activation_quant): 支持 SiLU + MX 量化融合 Created-by: smdbha Commit-by: smdbha Merged-by: cann-robot Description: ## 描述 为 quant_matmul_activation_quant 新增 activationType="silu"（Torch：activation_type="silu"）。完整 FP32 MatMul 结果加可选 bias 后，逐元素计算 x * sigmoid(x)，经 BF16 RINT 后进行 MXFP8 量化；输出保持 [..., M, N]，scale 为 [..., M, ceil(N/64), 2]。 - ND 支持四种 E4M3FN/E5M2 输入组合及 FF/FT/TF/TT 转置；WeightNZ 要求 x2 为 E4M3FN、transposeX1=false，支持两种 x1 FP8 和两种 transposeX2。输出 dtype 与 x1 一致。 - 支持 batch 广播、FP32 bias、OCP/BLAS（scaleAlg=0/1）及 RINT。 - 补齐 ACLNN/Torch 参数校验、图推导、tiling 和单/多 batch、A 全载/非全载 kernel 分发。 - 共用 N 对齐常量统一为 MX_BASEN_ALIGN=32UL，扩展 CSV 驱动 UT/ST 和 CPU golden。 **依赖配套 ops-tensor PR：https://gitcode.com/cann/ops-tensor/merge_requests/466**。使用新的 BlockEpilogueSiluMxQuant 头文件，构建时需要同步该变更。 ## 关联的Issue 关联 https://gitcode.com/cann/ops-nn/issues/6395 配套 epilogue 需求：https://gitcode.com/cann/ops-tensor/issues/287 补充关联（TTK 用例失败）：https://gitcode.com/cann/ops-nn/issues/6406 ## 测试 - 2026-10-07 的功能实现版本（当时名称为 sigmoid_mul）完成了定向完整二进制包构建和安装；在 CANN 9.3.0 / Ascend950PR_9589 NPUSim 上，20 条边界用例及 1 条 A 全载专项共 21/21 PASS。FP8 rtol=0.001、atol=0、最低匹配率 0.999，E8M0 scale 逐位比较，未放宽精度标准。 - SiLU 重命名后，30 条 kernel CSV 加载校验通过；21 条 CPU golden 输出与改名前逐字节一致。 - 本 PR 新增/扩展的 CSV 覆盖 Host/API/Kernel UT、TTK kernel/ACLNN/E2E：ND/NZ、dtype/转置、OCP/BLAS、N/K 尾块、M=1、batch/bias、全载/非全载和非法参数。上述用例配置不等同于整套 UT/ST 已完成设备执行。 - 提交前 clang-format、ruff、codespell、OAT 等钩子通过，当前分支差异检查通过。 - NPUSim 验证属于重命名前的实现版本；当前提交未重新编包或上板。原验证环境未识别到 NPU，故无实机通过结论。20 条专项边界 CSV 为独立验证输入，本 PR 保留仓内常规 CSV 回归和宽 N 全载用例。 ## 文档更新 更新算子 README、ACLNN ND/WeightNZ 文档、Torch API、算子目录、Torch API 目录和测试运行说明，统一正文名称为 SiLU，参数值保留小写 silu。 ## 类型标签 - [ ] Bug修复 - [x] 新特性 - [ ] 性能优化 - [x] 文档更新 - [ ] 其他，请描述： ## AI/Agent生成声明 - [x] AI辅助编写 See merge request: cann/ops-nn!11505
7 天前
CONTRIBUTING_DOCS.md
fix: Modify the AIDD docs issue Co-authored-by: zwj223<zhangwenjing55@h-partners.com> # message auto-generated for no-merge-commit merge: !8149 merge master into master fix: Modify the AIDD docs issue Created-by: zwj223 Commit-by: zwj223 Merged-by: cann-robot Description: ## 描述 修改AIDD扫描的核心资料问题 <!--在这里详细描述你的改动，包括改动的原因和所采取的方法。--> ## 关联的Issue <!-- 如果这个PR是为了解决特定的Issue，请在这里提供Issue链接。例如：关联Issue #000--> [#3939](https://gitcode.com/cann/ops-nn/issues/3939) ## 文档更新 <!--如果这个PR包含文档的更新，请在这里指出。例如：更新了README.md文件。--> ## 类型标签 <!-- [x] 表示选中 --> - [ ] Bug修复 - [ ] 新特性 - [ ] 性能优化 - [x] 文档更新 - [ ] 其他，请描述： ## AI/Agent生成声明 <!-- [x] 表示选中 --> - [ ] AI辅助编写 See merge request: cann/ops-nn!8149
2 个月前
QUICKSTART.md
修正UT依赖安装与AddExample调测、安装指引 Co-authored-by: yangyang016<yangyang306@hisilicon.com> # message auto-generated for no-merge-commit merge: !11986 merge master into master 修正UT依赖安装与AddExample调测、安装指引 Created-by: yangyang016 Commit-by: yangyang016 Merged-by: cann-robot Description: ## 描述 修复安装、UT依赖和AddExample调测指引中的不一致，确保文档与当前代码及依赖配置对应。 - tests/requirements.txt 新增 -r ../requirements.txt，使UT依赖安装统一包含项目根目录的依赖及版本约束。 - 安装文档区分仅编译与执行UT两种场景，明确UT依赖已包含根目录依赖，无需重复安装。 - 更新AddExample的printf示例，移除与当前实现不一致的旧Tiling代码，明确在 Init 中的插入位置，使用 AscendC::printf 和与 int64_t blockLength_ 对应的 %lld。 - 补充自定义算子包安装时报 shared library validation failed 的处理说明：确认CANN版本与构建环境兼容后，可按需使用 --force 跳过共享库依赖检查；同时说明运行时加载失败风险，不建议默认使用。 ## 关联的Issue 关联Issue #6699：https://gitcode.com/cann/ops-nn/issues/6699 ## 测试 - 已执行 git diff --check HEAD^ HEAD，通过。 - 已静态核对UT依赖引用路径，以及printf示例中的变量类型与插入位置。 - 未执行实际依赖安装、CANN环境下的编译、UT及算子包安装验证，相关验证待补充。 ## 文档更新 - docs/QUICKSTART.md：更新printf调测示例，补充安装共享库校验失败时的处理说明。 - docs/zh/install/quick_install.md：区分编译依赖与UT依赖的安装场景。 - docs/zh/install/compile.md：明确UT依赖包含根目录依赖约束。 ## 类型标签 - [x] Bug修复 - [ ] 新特性 - [ ] 性能优化 - [x] 文档更新 - [ ] 其他，请描述： ## AI/Agent生成声明 - [x] AI辅助编写 See merge request: cann/ops-nn!11986
15 天前
README.md
torch资料入口 Co-authored-by: cong-jiyu<congjiyu@h-partners.com> # message auto-generated for no-merge-commit merge: !9678 merge torch into master torch资料入口 Created-by: cong-jiyu Commit-by: cong-jiyu Merged-by: cann-robot Description: ## 描述 torch资料入口补充 ## 关联的Issue https://gitcode.com/cann/ops-nn/issues/3384 ## 测试 <!--描述进行了哪些测试来验证你的改动。--> ## 文档更新 docs/README.md ## 类型标签 <!-- [x] 表示选中 --> - [ ] Bug修复 - [ ] 新特性 - [ ] 性能优化 - [x] 文档更新 - [ ] 其他，请描述： ## AI/Agent生成声明 <!-- [x] 表示选中 --> - [ ] AI辅助编写 See merge request: cann/ops-nn!9678
1 个月前
README

文档中心

目录结构

Docs目录结构说明如下：

├── zh
  ├── context                            # 公共文档，如术语、基础概念等
  ├── debug                              # 算子调试指导文档
  │   ├── op_debug_prof.md
  │   ├── ...
  ├── develop                            # 算子开发指导文档
  │   ├── aicore_develop_guide.md
  │   ├── aicpu_develop_guide.md
  │   ├── ...
  ├── figures                            # 图片目录
  ├── install                            # 环境安装和编译指导文档
  │   ├── build.md
  │   ├── compile.md
  │   ├── quick_install.md
  │   └── ...
  ├── invocation                         # 算子调用指导文档（包括aclnn调用、图模式调用等）
  │   ├── quick_op_invocation.md
  │   ├── ...
  ├── menu_aclnn_api.md                  # 全量aclnn接口索引文件
  ├── menu_torch_api.md                  # 全量torch_extension接口索引文件
  ├── op_api_list.md                     # aclnn接口列表
  ├── op_list.md                         # 全量算子列表
  └── torch_api_list.md                  # torch_extension接口列表
├── CONTRIBUTING_DOCS.md                 # 文档贡献说明
├── QUICKSTART.md                        # 快速入门
└── README.md

进阶教程

指南类文档

文档 说明
源码构建指南 介绍联网/未联网场景下不同的源码构建方式和验证方法。
算子调用指南 介绍调用算子样例方法和不同算子调用方式（如PyTorch/aclnn/图等）。
标准算子开发指南 介绍如何基于标准工程定义算子原型、实现Tiling和Kernel，此类算子称为“标准算子”。
标准算子支持aclnn和图模式调用。
简易算子开发指南 介绍如何基于简易工程实现fast_kernel_launch，即<<<>>>方式，此类算子称为“简易算子”。
简易算子仅支持PyTorch调用。
算子调试调优 介绍常见的算子功能调试和性能调优方法（如数据采集和仿真流水等）。

API类文档

文档 说明
算子列表 介绍项目包含的所有算子清单。
aclnn API列表 介绍项目包含的所有算子aclnn API清单。为方便用户在Host侧调用算子，提供了C语言API，即aclnn前缀的API。
PyTorch API列表 介绍项目提供的torch_extension API清单，通过JIT编译桥接PyTorch与aclnn API，并通过GE Converter支持TorchAir图模式。

工具类文档

文档 说明
Simulator仿真工具 面向算子开发场景的SoC级仿真工具，用于分析运行在AI仿真器上AI任务在各阶段精度和性能数据。

更多文档

附录

文档 说明
算子基本概念 介绍算子领域相关的基础概念和术语，如量化/稀疏、数据类型、数据格式等。
build参数说明 介绍本项目build.sh参数功能和取值，包括源码编译、算子调用、调试等。