Star0
0
代码
代码
Issues
Pull Requests
Actions
项目讨论
Wiki
分析
Star0
0
cann-robotcann-robot迁移重构 LayerNormFusionPass 与 LayerNormInferenceFusionPass 两条融合规则
e8846ab8创建于 10 天前历史提交
文件最后提交记录最后更新时间
zh
迁移重构 LayerNormFusionPass 与 LayerNormInferenceFusionPass 两条融合规则 Co-authored-by: rk<wangpengbo26@huawei.com> # message auto-generated for no-merge-commit merge: !9533 merge layer_norm_pass into master 迁移重构 LayerNormFusionPass 与 LayerNormInferenceFusionPass 两条融合规则 Created-by: wangpengbo26 Commit-by: rk Merged-by: cann-robot Description: ## 描述 新增 LayerNormFusionPass 和 LayerNormInferenceFusionPass 两条 GE 自定义融合规则，将 LayerNorm 的计算图展开形式融合为 LayerNorm 算子，减少图执行时的算子下发数量和中间结果访存。同步补充设计文档和融合模式图示。 ### 改动原因 LayerNorm 在 GE 图中以展开形式存在（多个 ReduceMean、Sub、Mul、Add 等基础算子），执行效率低。新增融合规则将展开图模式匹配后替换为 LayerNorm 算子节点，提升执行性能。 ### 改动方法 1. **LayerNormFusionPass**（训练场景）： - 匹配训练版 LayerNorm 展开图：mean → SquaredDifference → Add(eps) → Mul → ReduceMean → Sub → Mul → Mul(rstd) → Mul(gamma) → Add(beta) - 支持交换律枚举（4 位），覆盖等价图拓扑变体 - 校验：keep_dims、axes 匹配、eps 位置、中间节点无外部消费者等 - 平台限制：NpuArch = 3510（Ascend 950PR/950DT） 2. **LayerNormInferenceFusionPass**（推理场景）： - 匹配推理版 LayerNorm 展开图：mean1 → mean2 → Rsqrt → mul1 → mul2 → mul3 → Sub → Add - 支持交换律枚举（6 位），覆盖等价图拓扑变体 - 校验：推理流判别（不含 mean 的 SquaredDifference）、keep_dims、axes 匹配等 - 平台限制：NpuArch = 3510（Ascend 950PR/950DT） 3. **设计文档**：新增 LayerNormFusionPass.md 和 LayerNormInferenceFusionPass.md，描述融合模式（含图示）、使用约束（不支持动态 shape、输入参数限制、ReduceMean/Sub 限制、数据类型仅支持 FLOAT32/FLOAT16）、支持的型号。 4. **融合模式图示**：新增 6 张 PNG 图片，展示融合前后的图结构。 5. **math_proto_stub.cpp**（+101）：新增 ReduceMean、SquaredDifference、Sub、Mul、Rsqrt 算子原型 stub，供融合规则 UT 构图使用。 涉及文件（15 个）： - norm/layer_norm/op_graph/fusion_pass/layer_norm_fusion_pass.cpp（+462） - norm/layer_norm/op_graph/fusion_pass/layer_norm_fusion_pass.h（+33） - norm/layer_norm/op_graph/fusion_pass/layernorm_inference_fusion_pass.cpp（+377） - norm/layer_norm/op_graph/fusion_pass/layernorm_inference_fusion_pass.h（+33） - norm/layer_norm/docs/LayerNormFusionPass.md（+46） - norm/layer_norm/docs/LayerNormInferenceFusionPass.md（+39） - docs/zh/figures/LayerNormFusionPass_1~4.png（+12） - docs/zh/figures/LayerNormInferenceFusionPass_1~2.png（+6） - norm/layer_norm/tests/ut/op_graph/test_layer_norm_fusion_pass.cpp（+317） - norm/layer_norm/tests/ut/op_graph/test_layernorm_inference_fusion_pass.cpp（+279） - common/stub/op_graph/math_proto_stub.cpp（+101） ## 关联的Issue - #5852 ## 测试 - LayerNormFusionPassTest：9 个 UT 用例，覆盖融合成功（form A/B、交换律操作数、共享 axes const）、不融合场景（keep_dims=false、axes 不匹配、eps 位置错误、中间节点有外部消费者）。 - LayerNormInferenceFusionPassTest：6 个 UT 用例，覆盖融合成功（含交换律操作数、共享 axes const）、不融合场景（keep_dims=false、axes 不匹配、训练流不融合）。 - 测试环境：Ascend950（NpuArch=3510）。 ## 文档更新 - 新增 norm/layer_norm/docs/LayerNormFusionPass.md：训练场景融合规则设计文档 - 新增 norm/layer_norm/docs/LayerNormInferenceFusionPass.md：推理场景融合规则设计文档 - 新增 6 张融合模式图示 ## 类型标签 - [ ] Bug修复 - [x] 新特性 - [ ] 性能优化 - [ ] 文档更新 - [ ] 其他，请描述： ## AI/Agent生成声明 - [x] AI辅助编写 See merge request: cann/ops-nn!9533
10 天前
CONTRIBUTING_DOCS.md
fix: Modify the AIDD docs issue Co-authored-by: zwj223<zhangwenjing55@h-partners.com> # message auto-generated for no-merge-commit merge: !8149 merge master into master fix: Modify the AIDD docs issue Created-by: zwj223 Commit-by: zwj223 Merged-by: cann-robot Description: ## 描述 修改AIDD扫描的核心资料问题 <!--在这里详细描述你的改动，包括改动的原因和所采取的方法。--> ## 关联的Issue <!-- 如果这个PR是为了解决特定的Issue，请在这里提供Issue链接。例如：关联Issue #000--> [#3939](https://gitcode.com/cann/ops-nn/issues/3939) ## 文档更新 <!--如果这个PR包含文档的更新，请在这里指出。例如：更新了README.md文件。--> ## 类型标签 <!-- [x] 表示选中 --> - [ ] Bug修复 - [ ] 新特性 - [ ] 性能优化 - [x] 文档更新 - [ ] 其他，请描述： ## AI/Agent生成声明 <!-- [x] 表示选中 --> - [ ] AI辅助编写 See merge request: cann/ops-nn!8149
1 个月前
QUICKSTART.md
公共文档同步修改 Co-authored-by: yolic<chenyuning1@huawei.com> # message auto-generated for no-merge-commit merge: !10337 merge readme0912 into master 公共文档同步修改 Created-by: yolic Commit-by: yolic Merged-by: cann-robot Description: ## 描述 <!--在这里详细描述你的改动，包括改动的原因和所采取的方法。--> 公共文档同步修改 ## 关联的Issue <!-- 如果这个PR是为了解决特定的Issue，请在这里提供Issue链接。例如：关联Issue #000--> 关联Issue [#5831](https://gitcode.com/cann/ops-nn/issues/5831) ## 测试 <!--描述进行了哪些测试来验证你的改动。--> ## 文档更新 <!--如果这个PR包含文档的更新，请在这里指出。例如：更新了README.md文件。--> 更新了CONTRIBUTING.md、docs/QUICKSTART.md、docs/zh/install/compile.md、docs/zh/install/dir_structure.md ## 类型标签 <!-- [x] 表示选中 --> - [ ] Bug修复 - [ ] 新特性 - [ ] 性能优化 - [x] 文档更新 - [ ] 其他，请描述： ## AI/Agent生成声明 <!-- [x] 表示选中 --> - [ ] AI辅助编写 See merge request: cann/ops-nn!10337
14 天前
README.md
torch资料入口 Co-authored-by: cong-jiyu<congjiyu@h-partners.com> # message auto-generated for no-merge-commit merge: !9678 merge torch into master torch资料入口 Created-by: cong-jiyu Commit-by: cong-jiyu Merged-by: cann-robot Description: ## 描述 torch资料入口补充 ## 关联的Issue https://gitcode.com/cann/ops-nn/issues/3384 ## 测试 <!--描述进行了哪些测试来验证你的改动。--> ## 文档更新 docs/README.md ## 类型标签 <!-- [x] 表示选中 --> - [ ] Bug修复 - [ ] 新特性 - [ ] 性能优化 - [x] 文档更新 - [ ] 其他，请描述： ## AI/Agent生成声明 <!-- [x] 表示选中 --> - [ ] AI辅助编写 See merge request: cann/ops-nn!9678
27 天前
README

文档中心

目录结构

Docs目录结构说明如下：

├── zh
  ├── context                            # 公共文档，如术语、基础概念等
  ├── debug                              # 算子调试指导文档
  │   ├── op_debug_prof.md
  │   ├── ...
  ├── develop                            # 算子开发指导文档
  │   ├── aicore_develop_guide.md
  │   ├── aicpu_develop_guide.md
  │   ├── ...
  ├── figures                            # 图片目录
  ├── install                            # 环境安装和编译指导文档
  │   ├── build.md
  │   ├── compile.md
  │   ├── quick_install.md
  │   └── ...
  ├── invocation                         # 算子调用指导文档（包括aclnn调用、图模式调用等）
  │   ├── quick_op_invocation.md
  │   ├── ...
  ├── menu_aclnn_api.md                  # 全量aclnn接口索引文件
  ├── menu_torch_api.md                  # 全量torch_extension接口索引文件
  ├── op_api_list.md                     # aclnn接口列表
  ├── op_list.md                         # 全量算子列表
  └── torch_api_list.md                  # torch_extension接口列表
├── CONTRIBUTING_DOCS.md                 # 文档贡献说明
├── QUICKSTART.md                        # 快速入门
└── README.md

进阶教程

指南类文档

文档 说明
源码构建指南 介绍联网/未联网场景下不同的源码构建方式和验证方法。
算子调用指南 介绍调用算子样例方法和不同算子调用方式（如PyTorch/aclnn/图等）。
标准算子开发指南 介绍如何基于标准工程定义算子原型、实现Tiling和Kernel，此类算子称为“标准算子”。
标准算子支持aclnn和图模式调用。
简易算子开发指南 介绍如何基于简易工程实现fast_kernel_launch，即<<<>>>方式，此类算子称为“简易算子”。
简易算子仅支持PyTorch调用。
算子调试调优 介绍常见的算子功能调试和性能调优方法（如数据采集和仿真流水等）。

API类文档

文档 说明
算子列表 介绍项目包含的所有算子清单。
aclnn API列表 介绍项目包含的所有算子aclnn API清单。为方便用户在Host侧调用算子，提供了C语言API，即aclnn前缀的API。
PyTorch API列表 介绍项目提供的torch_extension API清单，通过JIT编译桥接PyTorch与aclnn API，并通过GE Converter支持TorchAir图模式。

工具类文档

文档 说明
Simulator仿真工具 面向算子开发场景的SoC级仿真工具，用于分析运行在AI仿真器上AI任务在各阶段精度和性能数据。

更多文档

附录

文档 说明
算子基本概念 介绍算子领域相关的基础概念和术语，如量化/稀疏、数据类型、数据格式等。
build参数说明 介绍本项目build.sh参数功能和取值，包括源码编译、算子调用、调试等。