本项目是CANN提供的transformer类大模型算子库，实现网络在NPU上加速计算。

文件	最后提交记录	最后更新时间
.gitcode	新增pr的模板 Co-authored-by: cc-z<zhaochenchen11@huawei.com> # message auto-generated for no-merge-commit merge: !457 merge master into master 新增pr的模板 Created-by: cc-z Commit-by: cc-z Merged-by: turing_project1 Description: ## 描述 <!--在这里详细描述你的改动，包括改动的原因和所采取的方法。--> 新增pr新模板 ## 关联的Issue <!-- 如果这个PR是为了解决特定的Issue，请在这里提供Issue链接。例如：关联Issue #000--> <!-- 如果这个PR是为了解决特定的问题单，请在这里描述问题单单号。--> ## 测试 <!--描述进行了哪些测试来验证你的改动。包括但不限于二级冒烟、算子泛化等。--> ## 文档更新 <!--如果这个PR包含文档的更新，请在这里指出。例如：更新了README.md文件。--> ## 类型标签 <!-- [x] 表示选中 --> - [ ] Bug修复 - [x] 新特性 - [ ] 性能优化 - [ ] 文档更新 - [ ] 其他，请描述： See merge request: cann/ops-transformer!457	8 个月前
attention	约束BNSD_BSND16对齐 Co-authored-by: w30021953<wanglidong12@huawei.com> # message auto-generated for no-merge-commit merge: !1943 merge m2 into master 约束BNSD_BSND16对齐 Created-by: wld12 Commit-by: w30021953 Merged-by: cann-robot Description: ## 描述 <!--在这里详细描述你的改动，包括改动的原因和所采取的方法。--> ## 关联的Issue <!-- 如果这个PR是为了解决特定的Issue，请在这里提供Issue链接。例如：关联Issue #000--> <!-- 如果这个PR是为了解决特定的问题单，请在这里描述问题单单号。--> ## 测试 <!--描述进行了哪些测试来验证你的改动。包括但不限于二级冒烟、算子泛化等。--> ## 文档更新 <!--如果这个PR包含文档的更新，请在这里指出。例如：更新了README.md文件。--> ## 类型标签 <!-- [x] 表示选中 --> - [ ] Bug修复 - [ ] 新特性 - [ ] 性能优化 - [ ] 文档更新 - [ ] 其他，请描述： See merge request: cann/ops-transformer!1943	6 个月前
cmake	修复CMake构建脚本中JSON库头文件包含路径设置错误的问题 Co-authored-by: davon<liuwenda4@huawei.com> # message auto-generated for no-merge-commit merge: !1903 merge json into master 修复CMake构建脚本中JSON库头文件包含路径设置错误的问题 Created-by: Davon14272 Commit-by: davon Merged-by: cann-robot Description: ## 描述 <!--在这里详细描述你的改动，包括改动的原因和所采取的方法。--> 本次PR旨在修复CMake构建脚本中JSON库头文件包含路径设置错误的问题。原脚本在通过ExternalProject构建JSON库后，错误地将头文件包含路径指向了安装路径，而非实际的源码解压路径，导致编译时无法找到正确的头文件，影响了构建的可靠性。 ## 关联的Issue <!-- 如果这个PR是为了解决特定的Issue，请在这里提供Issue链接。例如：关联Issue #000--> <!-- 如果这个PR是为了解决特定的问题单，请在这里描述问题单单号。--> ## 测试 <!--描述进行了哪些测试来验证你的改动。包括但不限于二级冒烟、算子泛化等。--> ## 文档更新 <!--如果这个PR包含文档的更新，请在这里指出。例如：更新了README.md文件。--> ## 类型标签 <!-- [x] 表示选中 --> - [ ] Bug修复 - [ ] 新特性 - [ ] 性能优化 - [ ] 文档更新 - [ ] 其他，请描述： See merge request: cann/ops-transformer!1903	6 个月前
common	arch35gentask stub for compiling master with c25 toolkit Co-authored-by: ChenYiran<chenyiran6@huawei.com> # message auto-generated for no-merge-commit merge: !1711 merge c25_c into master arch35gentask stub for compiling master with c25 toolkit Created-by: ChenYiran Commit-by: ChenYiran Merged-by: cann-robot Description: ## 描述增加arch35gentask的打桩文件以满足使用c25 toolkit包对主线进行编译 ## 关联的Issue <!-- 如果这个PR是为了解决特定的Issue，请在这里提供Issue链接。例如：关联Issue #000--> <!-- 如果这个PR是为了解决特定的问题单，请在这里描述问题单单号。--> [#804](https://gitcode.com/cann/ops-transformer/issues/804) ## 测试 <!--描述进行了哪些测试来验证你的改动。包括但不限于二级冒烟、算子泛化等。--> ## 文档更新 <!--如果这个PR包含文档的更新，请在这里指出。例如：更新了README.md文件。--> 不涉及 ## 类型标签 <!-- [x] 表示选中 --> - [x] Bug修复 - [ ] 新特性 - [ ] 性能优化 - [ ] 文档更新 - [ ] 其他，请描述： See merge request: cann/ops-transformer!1711	6 个月前
docs	Add FFN figures for link of FFN markdowns	6 个月前
examples	fix invalid link Co-authored-by: Wei_NaChuan<weinachuan1@huawei.com> # message auto-generated for no-merge-commit merge: !1945 merge fix-guide-md into master fix invalid link Created-by: Wei_NaChuan Commit-by: Wei_NaChuan Merged-by: cann-robot Description: ## 描述 <!--在这里详细描述你的改动，包括改动的原因和所采取的方法。--> 修复无效链接，并补充test_add_example文件。 ## 关联的Issue <!-- 如果这个PR是为了解决特定的Issue，请在这里提供Issue链接。例如：关联Issue #000--> <!-- 如果这个PR是为了解决特定的问题单，请在这里描述问题单单号。--> ## 测试 <!--描述进行了哪些测试来验证你的改动。包括但不限于二级冒烟、算子泛化等。--> ![image.png](https://raw.gitcode.com/user-images/assets/7673863/705b9406-d8f2-4d41-bd16-430f5d7946c5/image.png 'image.png') ## 文档更新 <!--如果这个PR包含文档的更新，请在这里指出。例如：更新了README.md文件。--> ## 类型标签 <!-- [x] 表示选中 --> - [x] Bug修复 - [ ] 新特性 - [ ] 性能优化 - [x] 文档更新 - [ ] 其他，请描述： See merge request: cann/ops-transformer!1945	6 个月前
experimental	add mhc Co-authored-by: ElevenLiu<liuzhiwen@autokernel.cn> # message auto-generated for no-merge-commit merge: !1589 merge master into master add mhc Created-by: ElevenLiu Commit-by: LiuEleven;ElevenLiu Merged-by: cann-robot Description: ## 描述面向昇腾 NPU 的 mHC（Manifold-Constrained Hyper-Connections，流形约束超连接）算子 AscendC 实现，此算子由智子芯元 KernelCAT 智能体生成。 ## 关联的Issue 关联Issue #763 ## 测试 `bash # C++ cd build && LD_LIBRARY_PATH=./lib:$LD_LIBRARY_PATH ./test_multi_dtype # Python LD_LIBRARY_PATH=./build/lib:$LD_LIBRARY_PATH python mhc_pre_ops.py` ## 使用方式 `python import mhc_pre_ext x = torch.randn(B * N, S, D, device='npu') # [batch*streams, seq, dim] h = torch.randn(N, device='npu') # [streams] out = mhc_pre_ext.forward(x, h) # [batch, seq, dim]` ## 性能（对比 torch.einsum, Ascend 910B2） \| 算子 \| 加速比 \| \|----------\|--------\| \| mhc_pre \| 24x ~ 52x \| \| mhc_post \| 2x ~ 5x \| \| mhc_res \| 24x ~ 50x \| ## 文档更新更新了README.md文件 ## 类型标签 <!-- [x] 表示选中 --> - [ ] Bug修复 - [ ] 新特性 - [ ] 性能优化 - [x] 文档更新 - [x] 其他，请描述：新增开源贡献算子 See merge request: cann/ops-transformer!1589	6 个月前
ffn	Add FFN figures for link of FFN markdowns	6 个月前
gmm	update doc Co-authored-by: hyhhh14<huangyuehua6@huawei.com> # message auto-generated for no-merge-commit merge: !1992 merge update_doc into master update doc Created-by: hyhhh14 Commit-by: hyhhh14 Merged-by: cann-robot Description: ## 描述 <!--在这里详细描述你的改动，包括改动的原因和所采取的方法。--> GMM算子支持激活 md文档修改 ## 关联的Issue <!-- 如果这个PR是为了解决特定的Issue，请在这里提供Issue链接。例如：关联Issue #000--> <!-- 如果这个PR是为了解决特定的问题单，请在这里描述问题单单号。--> 关联Issue [#908](https://gitcode.com/cann/ops-transformer/issues/908) ## 测试 <!--描述进行了哪些测试来验证你的改动。包括但不限于二级冒烟、算子泛化等。--> ## 文档更新 <!--如果这个PR包含文档的更新，请在这里指出。例如：更新了README.md文件。--> ## 类型标签 <!-- [x] 表示选中 --> - [ ] Bug修复 - [ ] 新特性 - [ ] 性能优化 - [ ] 文档更新 - [ ] 其他，请描述： See merge request: cann/ops-transformer!1992	6 个月前
mc2	add inferGroupSize for mmar mmrs & agmm Co-authored-by: dylanHoo123<huzhijian3@hisilicon.com> # message auto-generated for no-merge-commit merge: !1814 merge master into master add inferGroupSize for mmar mmrs & agmm Created-by: dylanHoo123 Commit-by: dylanHoo123 Merged-by: cann-robot Description: ## 描述 <!--在这里详细描述你的改动，包括改动的原因和所采取的方法。--> ## 关联的Issue <!-- 如果这个PR是为了解决特定的Issue，请在这里提供Issue链接。例如：关联Issue #000--> <!-- 如果这个PR是为了解决特定的问题单，请在这里描述问题单单号。--> ## 测试 <!--描述进行了哪些测试来验证你的改动。包括但不限于二级冒烟、算子泛化等。--> ## 文档更新 <!--如果这个PR包含文档的更新，请在这里指出。例如：更新了README.md文件。--> ## 类型标签 <!-- [x] 表示选中 --> - [ ] Bug修复 - [ ] 新特性 - [ ] 性能优化 - [ ] 文档更新 - [ ] 其他，请描述： See merge request: cann/ops-transformer!1814	6 个月前
moe	950 上增加moe initroutingv3 pertoken pertensor hif8量化功能 Co-authored-by: zoujiamin123<zoujiamin1@huawei.com> # message auto-generated for no-merge-commit merge: !1929 merge revert-mr-1291-1771057090249-auto into master 950 上增加moe initroutingv3 pertoken pertensor hif8量化功能 Created-by: zoujiamin123 Commit-by: zoujiamin123 Merged-by: cann-robot Description: ## 描述 <!--在这里详细描述你的改动，包括改动的原因和所采取的方法。--> ## 关联的Issue <!-- 如果这个PR是为了解决特定的Issue，请在这里提供Issue链接。例如：关联Issue #000--> <!-- 如果这个PR是为了解决特定的问题单，请在这里描述问题单单号。--> ## 测试 <!--描述进行了哪些测试来验证你的改动。包括但不限于二级冒烟、算子泛化等。--> ## 文档更新 <!--如果这个PR包含文档的更新，请在这里指出。例如：更新了README.md文件。--> ## 类型标签 <!-- [x] 表示选中 --> - [ ] Bug修复 - [ ] 新特性 - [ ] 性能优化 - [ ] 文档更新 - [ ] 其他，请描述： See merge request: cann/ops-transformer!1929	6 个月前
posembedding	kv fix check shape Co-authored-by: HelloWord-LuXin<luxin67@h-partners.com> # message auto-generated for no-merge-commit merge: !1598 merge kv_shape into master kv fix check shape Created-by: HelloWord-LuXin Commit-by: HelloWord-LuXin Merged-by: cann-robot Description: ## 描述 <!--在这里详细描述你的改动，包括改动的原因和所采取的方法。--> KvRmsNormRopeCache算子不支持空tensor，文档增加相关描述； tiling校验对齐时，日志打印不清晰，增加相关日志打印； md资料约束少bfloat16的类型，增加了对bfloat16数据类型的描述； ## 关联的Issue <!-- 如果这个PR是为了解决特定的Issue，请在这里提供Issue链接。例如：关联Issue #000--> <!-- 如果这个PR是为了解决特定的问题单，请在这里描述问题单单号。--> https://gitcode.com/cann/ops-transformer/issues/885 ## 测试 <!--描述进行了哪些测试来验证你的改动。包括但不限于二级冒烟、算子泛化等。--> 冒烟，算子泛化，构造对应用例自测 ## 文档更新 <!--如果这个PR包含文档的更新，请在这里指出。例如：更新了README.md文件。--> 更新了aclnnKvRmsNormRopeCache.md文档； ## 类型标签 <!-- [x] 表示选中 --> - [x] Bug修复 - [ ] 新特性 - [ ] 性能优化 - [x] 文档更新 - [ ] 其他，请描述： See merge request: cann/ops-transformer!1598	6 个月前
scripts	Distribuebarrier算子支持950 Co-authored-by: Yuyu-Li<liyuyu6@huawei.com> # message auto-generated for no-merge-commit merge: !1218 merge old_context into master Distribuebarrier算子支持950 Created-by: Yuyu-Li Commit-by: Yuyu-Li Merged-by: cann-robot Description: ## 描述 DistribueBarrier算子在A3上已经支持，950需要支持该算子 ## 关联的Issue https://gitcode.com/cann/ops-transformer/issues/879 ## 测试本地用例测试 ## 文档更新更新了aclnnDistributeBarrier.md，aclnnDistributeBarrierV2.md文档 ## 类型标签 <!-- [x] 表示选中 --> - [ ] Bug修复 - [x] 新特性 - [ ] 性能优化 - [x] 文档更新 - [ ] 其他，请描述： See merge request: cann/ops-transformer!1218	6 个月前
tests	增加malprologUT覆盖率 Co-authored-by: y00956176<yangyibin12@huawei.com> # message auto-generated for no-merge-commit merge: !1879 merge master0213UT into master 增加malprologUT覆盖率 Created-by: yangyibin Commit-by: y00956176;yangyibin Merged-by: cann-robot Description: ## 描述 <!--在这里详细描述你的改动，包括改动的原因和所采取的方法。--> ## 关联的Issue <!-- 如果这个PR是为了解决特定的Issue，请在这里提供Issue链接。例如：关联Issue #000--> <!-- 如果这个PR是为了解决特定的问题单，请在这里描述问题单单号。--> ## 测试 <!--描述进行了哪些测试来验证你的改动。包括但不限于二级冒烟、算子泛化等。--> ## 文档更新 <!--如果这个PR包含文档的更新，请在这里指出。例如：更新了README.md文件。--> ## 类型标签 <!-- [x] 表示选中 --> - [ ] Bug修复 - [ ] 新特性 - [ ] 性能优化 - [ ] 文档更新 - [ ] 其他，请描述： See merge request: cann/ops-transformer!1879	6 个月前
torch_extension	Add MoeDistributeDispatchV2 to npu_ops_transformer Co-authored-by: GJQ<gaojiaqin@hisilicon.com> # message auto-generated for no-merge-commit merge: !915 merge master into master Add MoeDistributeDispatchV2 to npu_ops_transformer Created-by: Jiaqin Commit-by: GJQ Merged-by: cann-robot Description: ## 描述 <!--在这里详细描述你的改动，包括改动的原因和所采取的方法。--> ## 关联的Issue <!-- 如果这个PR是为了解决特定的Issue，请在这里提供Issue链接。例如：关联Issue #000--> <!-- 如果这个PR是为了解决特定的问题单，请在这里描述问题单单号。--> ## 测试 <!--描述进行了哪些测试来验证你的改动。包括但不限于二级冒烟、算子泛化等。--> ## 文档更新 <!--如果这个PR包含文档的更新，请在这里指出。例如：更新了README.md文件。--> ## 类型标签 <!-- [x] 表示选中 --> - [ ] Bug修复 - [x] 新特性 - [ ] 性能优化 - [ ] 文档更新 - [ ] 其他，请描述： See merge request: cann/ops-transformer!915	7 个月前
.clang-format	更新license Co-authored-by: PerrySkywalker<wangmingkang1@huawei.com> # message auto-generated for no-merge-commit merge: !568 merge lic into master 更新license Created-by: PerrySkywalker Commit-by: PerrySkywalker Merged-by: cann-robot Description: ## 描述更新license <!--在这里详细描述你的改动，包括改动的原因和所采取的方法。--> ## 关联的Issue <!-- 如果这个PR是为了解决特定的Issue，请在这里提供Issue链接。例如：关联Issue #000--> <!-- 如果这个PR是为了解决特定的问题单，请在这里描述问题单单号。--> ## 测试 <!--描述进行了哪些测试来验证你的改动。包括但不限于二级冒烟、算子泛化等。--> ## 文档更新 <!--如果这个PR包含文档的更新，请在这里指出。例如：更新了README.md文件。--> ## 类型标签 <!-- [x] 表示选中 --> - [ ] Bug修复 - [ ] 新特性 - [ ] 性能优化 - [ ] 文档更新 - [ ] 其他，请描述： See merge request: cann/ops-transformer!568	8 个月前
.gitignore	在 gitignore 里屏蔽 third_party Co-authored-by: coiline<baitian5@huawei.com> # message auto-generated for no-merge-commit merge: !608 merge gitignore into master 在 gitignore 里屏蔽 third_party Created-by: coiline Commit-by: coiline Merged-by: cann-robot Description: ## 描述 <!--在这里详细描述你的改动，包括改动的原因和所采取的方法。--> ## 关联的Issue <!-- 如果这个PR是为了解决特定的Issue，请在这里提供Issue链接。例如：关联Issue #000--> <!-- 如果这个PR是为了解决特定的问题单，请在这里描述问题单单号。--> ## 测试 <!--描述进行了哪些测试来验证你的改动。包括但不限于二级冒烟、算子泛化等。--> ## 文档更新 <!--如果这个PR包含文档的更新，请在这里指出。例如：更新了README.md文件。--> ## 类型标签 <!-- [x] 表示选中 --> - [ ] Bug修复 - [ ] 新特性 - [ ] 性能优化 - [ ] 文档更新 - [ ] 其他，请描述： See merge request: cann/ops-transformer!608	7 个月前
CHANGELOG.md	Transformer 更新Latest News Co-authored-by: lidongsheng<lidongsheng43@huawei.com> # message auto-generated for no-merge-commit merge: !771 merge docs into master Transformer 更新Latest News Created-by: qq_46353993 Commit-by: lidongsheng Merged-by: cann-robot Description: ## 描述 <!--在这里详细描述你的改动，包括改动的原因和所采取的方法。--> ## 关联的Issue <!-- 如果这个PR是为了解决特定的Issue，请在这里提供Issue链接。例如：关联Issue #000--> <!-- 如果这个PR是为了解决特定的问题单，请在这里描述问题单单号。--> ## 测试 <!--描述进行了哪些测试来验证你的改动。包括但不限于二级冒烟、算子泛化等。--> ## 文档更新 <!--如果这个PR包含文档的更新，请在这里指出。例如：更新了README.md文件。--> ## 类型标签 <!-- [x] 表示选中 --> - [ ] Bug修复 - [ ] 新特性 - [ ] 性能优化 - [ ] 文档更新 - [ ] 其他，请描述： See merge request: cann/ops-transformer!771	7 个月前
CMakeLists.txt	Capability enhancement: noaicpu option is supported. Co-authored-by: huang-chuhong<huangchuhong1@h-partners.com> # message auto-generated for no-merge-commit merge: !1595 merge master into master Capability enhancement: noaicpu option is supported. Created-by: huang-chuhong Commit-by: huang-chuhong Merged-by: cann-robot Description: ## 描述 Capability enhancement: noaicpu option is supported. 问题背景：mc62cm12a 场景是不需要用到毕昇编译器的，因此构建时并没有安装毕昇编译器的任何东西，但aicpu(包括tiling下沉)因为涉及device侧运行，需要用到毕昇的交叉工具链，所以会报错工具链找不到。解决方案：因为mc62cm12a 不需要执行aicpu算子，且不支持跑aicpu算子，因此利用--noaicpu参数选项，在构建aicpu算子的时候进行kernel隔离。 ## 关联的Issue https://gitcode.com/cann/ops-transformer/issues/774 ## 测试 <!--描述进行了哪些测试来验证你的改动。包括但不限于二级冒烟、算子泛化等。--> ## 文档更新 <!--如果这个PR包含文档的更新，请在这里指出。例如：更新了README.md文件。--> ## 类型标签 <!-- [x] 表示选中 --> - [ ] Bug修复 - [x] 新特性 - [ ] 性能优化 - [ ] 文档更新 - [ ] 其他，请描述： See merge request: cann/ops-transformer!1595	6 个月前
CONTRIBUTING.md	add contributing of document Co-authored-by: gitcode-chenjiao<chenjiao31@huawei.com> # message auto-generated for no-merge-commit merge: !1701 merge master into master add contributing of document Created-by: gitcode-chenjiao Commit-by: gitcode-chenjiao Merged-by: cann-robot Description: ## 描述 <!--在这里详细描述你的改动，包括改动的原因和所采取的方法。--> 更新了文档贡献指南. ## 关联的Issue <!-- 如果这个PR是为了解决特定的Issue，请在这里提供Issue链接。例如：关联Issue #000--> <!-- 如果这个PR是为了解决特定的问题单，请在这里描述问题单单号。--> 不需要关联issue ## 测试 <!--描述进行了哪些测试来验证你的改动。包括但不限于二级冒烟、算子泛化等。--> 不涉及功能测试，文档已检视。 ## 文档更新 <!--如果这个PR包含文档的更新，请在这里指出。例如：更新了README.md文件。--> 更新contributing类文档 ## 类型标签 <!-- [x] 表示选中 --> - [ ] Bug修复 - [ ] 新特性 - [ ] 性能优化 - [ x] 文档更新 - [ ] 其他，请描述： See merge request: cann/ops-transformer!1701	6 个月前
LICENSE	init	11 个月前
OAT.xml	fix license Co-authored-by: wang-minbo<wangminbo1@hisilicon.com> # message auto-generated for no-merge-commit merge: !1462 merge master into master fix license Created-by: wang-minbo Commit-by: wang-minbo Merged-by: cann-robot Description: ## 描述 <!--在这里详细描述你的改动，包括改动的原因和所采取的方法。-->修复transformer仓license ## 关联的Issue <!-- 如果这个PR是为了解决特定的Issue，请在这里提供Issue链接。例如：关联Issue #000-->https://gitcode.com/cann/ops-transformer/issues/657 <!-- 如果这个PR是为了解决特定的问题单，请在这里描述问题单单号。--> ## 测试 <!--描述进行了哪些测试来验证你的改动。包括但不限于二级冒烟、算子泛化等。--> ## 文档更新 <!--如果这个PR包含文档的更新，请在这里指出。例如：更新了README.md文件。--> ## 类型标签 <!-- [x] 表示选中 --> - [x] Bug修复 - [ ] 新特性 - [ ] 性能优化 - [ ] 文档更新 - [ ] 其他，请描述： See merge request: cann/ops-transformer!1462	7 个月前
QUICKSTART.md	solve the problem of garbled characters in the doc Co-authored-by: yangyang016<yangyang306@hisilicon.com> # message auto-generated for no-merge-commit merge: !876 merge master into master solve the problem of garbled characters in the doc Created-by: yangyang016 Commit-by: yangyang016 Merged-by: cann-robot Description: ## 描述 <!--在这里详细描述你的改动，包括改动的原因和所采取的方法。--> 解决文档中的乱码问题 ## 关联的Issue <!-- 如果这个PR是为了解决特定的Issue，请在这里提供Issue链接。例如：关联Issue #000--> <!-- 如果这个PR是为了解决特定的问题单，请在这里描述问题单单号。--> ## 测试 <!--描述进行了哪些测试来验证你的改动。包括但不限于二级冒烟、算子泛化等。--> ## 文档更新 <!--如果这个PR包含文档的更新，请在这里指出。例如：更新了README.md文件。--> ## 类型标签 <!-- [x] 表示选中 --> - [ ] Bug修复 - [ ] 新特性 - [ ] 性能优化 - [ ] 文档更新 - [ ] 其他，请描述： See merge request: cann/ops-transformer!876	7 个月前
README.md	add mhc Co-authored-by: ElevenLiu<liuzhiwen@autokernel.cn> # message auto-generated for no-merge-commit merge: !1589 merge master into master add mhc Created-by: ElevenLiu Commit-by: LiuEleven;ElevenLiu Merged-by: cann-robot Description: ## 描述面向昇腾 NPU 的 mHC（Manifold-Constrained Hyper-Connections，流形约束超连接）算子 AscendC 实现，此算子由智子芯元 KernelCAT 智能体生成。 ## 关联的Issue 关联Issue #763 ## 测试 `bash # C++ cd build && LD_LIBRARY_PATH=./lib:$LD_LIBRARY_PATH ./test_multi_dtype # Python LD_LIBRARY_PATH=./build/lib:$LD_LIBRARY_PATH python mhc_pre_ops.py` ## 使用方式 `python import mhc_pre_ext x = torch.randn(B * N, S, D, device='npu') # [batch*streams, seq, dim] h = torch.randn(N, device='npu') # [streams] out = mhc_pre_ext.forward(x, h) # [batch, seq, dim]` ## 性能（对比 torch.einsum, Ascend 910B2） \| 算子 \| 加速比 \| \|----------\|--------\| \| mhc_pre \| 24x ~ 52x \| \| mhc_post \| 2x ~ 5x \| \| mhc_res \| 24x ~ 50x \| ## 文档更新更新了README.md文件 ## 类型标签 <!-- [x] 表示选中 --> - [ ] Bug修复 - [ ] 新特性 - [ ] 性能优化 - [x] 文档更新 - [x] 其他，请描述：新增开源贡献算子 See merge request: cann/ops-transformer!1589	6 个月前
SECURITY.md	修改公共文档问题 Co-authored-by: cc-z<zhaochenchen11@huawei.com> # message auto-generated for no-merge-commit merge: !1022 merge master into master 修改公共文档问题 Created-by: cc-z Commit-by: cc-z Merged-by: cann-robot Description: ## 描述 <!--在这里详细描述你的改动，包括改动的原因和所采取的方法。--> 修改公共文档问题 ## 关联的Issue <!-- 如果这个PR是为了解决特定的Issue，请在这里提供Issue链接。例如：关联Issue #000--> <!-- 如果这个PR是为了解决特定的问题单，请在这里描述问题单单号。--> ## 测试 <!--描述进行了哪些测试来验证你的改动。包括但不限于二级冒烟、算子泛化等。--> ## 文档更新 <!--如果这个PR包含文档的更新，请在这里指出。例如：更新了README.md文件。--> ## 类型标签 <!-- [x] 表示选中 --> - [ ] Bug修复 - [ ] 新特性 - [ ] 性能优化 - [x] 文档更新 - [ ] 其他，请描述： See merge request: cann/ops-transformer!1022	7 个月前
Third_Party_Open_Source_Software_List.yaml	三方库下载缓存 Co-authored-by: LZH<liuzhihan2@h-partners.com> # message auto-generated for no-merge-commit merge: !1491 merge master into master 三方库下载缓存 Created-by: LZH_unofficial Commit-by: LZH Merged-by: cann-robot Description: ## 描述 <!--在这里详细描述你的改动，包括改动的原因和所采取的方法。--> ## 关联的Issue <!-- 如果这个PR是为了解决特定的Issue，请在这里提供Issue链接。例如：关联Issue #000--> <!-- 如果这个PR是为了解决特定的问题单，请在这里描述问题单单号。--> ## 测试 <!--描述进行了哪些测试来验证你的改动。包括但不限于二级冒烟、算子泛化等。--> ## 文档更新 <!--如果这个PR包含文档的更新，请在这里指出。例如：更新了README.md文件。--> ## 类型标签 <!-- [x] 表示选中 --> - [ ] Bug修复 - [ ] 新特性 - [ ] 性能优化 - [ ] 文档更新 - [ ] 其他，请描述： See merge request: cann/ops-transformer!1491	6 个月前
Third_Party_Open_Source_Software_Notice	更新protobuf版本 Co-authored-by: PerrySkywalker<wangmingkang1@huawei.com> # message auto-generated for no-merge-commit merge: !522 merge prof into master 更新protobuf版本 Created-by: PerrySkywalker Commit-by: PerrySkywalker Merged-by: cann-robot Description: ## 描述更新protobuf版本 ## 关联的Issue 关联Issue [#316](https://gitcode.com/cann/ops-transformer/issues/316) <!-- 如果这个PR是为了解决特定的Issue，请在这里提供Issue链接。例如：关联Issue #000--> <!-- 如果这个PR是为了解决特定的问题单，请在这里描述问题单单号。--> ## 测试 <!--描述进行了哪些测试来验证你的改动。包括但不限于二级冒烟、算子泛化等。--> ## 文档更新 <!--如果这个PR包含文档的更新，请在这里指出。例如：更新了README.md文件。--> ## 类型标签 <!-- [x] 表示选中 --> - [ ] Bug修复 - [ ] 新特性 - [ ] 性能优化 - [ ] 文档更新 - [ ] 其他，请描述： See merge request: cann/ops-transformer!522	8 个月前
build.sh	[build.sh] 静态库编译成功，增加相关提示与资料保持一致 Co-authored-by: huang-chuhong<huangchuhong1@h-partners.com> # message auto-generated for no-merge-commit merge: !1767 merge master into master [build.sh] 静态库编译成功，增加相关提示与资料保持一致 Created-by: huang-chuhong Commit-by: huang-chuhong Merged-by: cann-robot Description: ## 描述 [build.sh] 静态库编译成功，增加相关提示与资料保持一致补充 [SUCCESS] Build static lib success! ## 关联的Issue https://gitcode.com/cann/ops-transformer/issues/829 ## 测试 <!--描述进行了哪些测试来验证你的改动。包括但不限于二级冒烟、算子泛化等。--> ## 文档更新 <!--如果这个PR包含文档的更新，请在这里指出。例如：更新了README.md文件。--> ## 类型标签 <!-- [x] 表示选中 --> - [ ] Bug修复 - [ ] 新特性 - [ ] 性能优化 - [ ] 文档更新 - [ ] 其他，请描述： See merge request: cann/ops-transformer!1767	6 个月前
cann_3rd_lib_path_download.py	离线编译修改文档 Co-authored-by: davon<liuwenda4@huawei.com> # message auto-generated for no-merge-commit merge: !1792 merge Outdocs into master 离线编译修改文档 Created-by: Davon14272 Commit-by: davon Merged-by: cann-robot Description: ## 描述 <!--在这里详细描述你的改动，包括改动的原因和所采取的方法。--> 本次PR主要解决了项目文档的准确性与完整性，以及离线编译场景下依赖获取的易用性问题。具体包括：修正了文档中关于“算子调用”流程的模糊描述和错误的内部链接；重构了算子调用指南，补充了离线编译指导与静态库使用示例，使指引更结构化、清晰。同时，新增了一个自动化脚本，用于在无网络环境下下载关键的第三方编译依赖库，以提升项目的部署效率。 ## 关联的Issue <!-- 如果这个PR是为了解决特定的Issue，请在这里提供Issue链接。例如：关联Issue #000--> <!-- 如果这个PR是为了解决特定的问题单，请在这里描述问题单单号。--> 关联issue 469 ## 测试 <!--描述进行了哪些测试来验证你的改动。包括但不限于二级冒烟、算子泛化等。--> ## 文档更新 <!--如果这个PR包含文档的更新，请在这里指出。例如：更新了README.md文件。--> 更新了README.md、docs/zh/context/build_offline.md、docs/zh/context/build_offline.md、docs/zh/develop/aicore_develop_guide.md和docs/zh/invocation/quick_op_invocation.md ## 类型标签 <!-- [x] 表示选中 --> - [ ] Bug修复 - [ ] 新特性 - [ ] 性能优化 - [x] 文档更新 - [ ] 其他，请描述： See merge request: cann/ops-transformer!1792	6 个月前
classify_rule.yaml	modify classify rule Co-authored-by: wang-minbo<wangminbo1@hisilicon.com> # message auto-generated for no-merge-commit merge: !1165 merge master into master modify classify rule Created-by: wang-minbo Commit-by: wang-minbo Merged-by: cann-robot Description: ## 描述 <!--在这里详细描述你的改动，包括改动的原因和所采取的方法。--> ## 关联的Issue <!-- 如果这个PR是为了解决特定的Issue，请在这里提供Issue链接。例如：关联Issue #000--> <!-- 如果这个PR是为了解决特定的问题单，请在这里描述问题单单号。--> ## 测试 <!--描述进行了哪些测试来验证你的改动。包括但不限于二级冒烟、算子泛化等。--> ## 文档更新 <!--如果这个PR包含文档的更新，请在这里指出。例如：更新了README.md文件。--> ## 类型标签 <!-- [x] 表示选中 --> - [ ] Bug修复 - [ ] 新特性 - [ ] 性能优化 - [ ] 文档更新 - [ ] 其他，请描述： See merge request: cann/ops-transformer!1165	7 个月前
install_deps.sh	[fix]自适应install_deps.sh 的 sudo, 避免找不到 sudo 报错 Co-authored-by: WangLingfeng<wlf_x_contion@sina.com> # message auto-generated for no-merge-commit merge: !846 merge master into master [fix]自适应install_deps.sh 的 sudo, 避免找不到 sudo 报错 Created-by: wlf-darkmatter Commit-by: WangLingfeng Merged-by: cann-robot Description: ## 描述替换脚本中的 sudo 命令，自动监测是否存在 sudo，避免因为 sudo 找不到而执行失败 ![image.png](https://raw.gitcode.com/user-images/assets/7673863/f76c921b-218d-4ecb-86d1-7f2a04e93cd0/image.png 'image.png') ![image.png](https://raw.gitcode.com/user-images/assets/7673863/543d96bc-7233-4290-b619-9bd9ee0c0878/image.png 'image.png') 修复方案：改写 `sudo` 为 `$try_sudo`，当系统中没有 sudo 指令时，`try_sudo=""`为空；当系统中有 sudo 指令时，`try_sudo=“sudo"` ![image.png](https://raw.gitcode.com/user-images/assets/7673863/3ca35e0f-774d-4f1f-86cc-26e88c27fab4/image.png 'image.png') 修复结果： ![image.png](https://raw.gitcode.com/user-images/assets/7673863/760aa733-230f-479d-b142-24a125b81cb1/image.png 'image.png') ![image.png](https://raw.gitcode.com/user-images/assets/7673863/58d70d85-8c02-4fe3-b43e-fba6802942c9/image.png 'image.png') ## 类型标签 <!-- [x] 表示选中 --> - [x] Bug修复 - [ ] 新特性 - [ ] 性能优化 - [ ] 文档更新 - [ ] 其他，请描述： See merge request: cann/ops-transformer!846	6 个月前
requirements.txt	init	11 个月前
version.info	软件包依赖关系修改 Co-authored-by: liubo75<liubo75@huawei.com> # message auto-generated for no-merge-commit merge: !1739 merge master into master 软件包依赖关系修改 Created-by: liubo75 Commit-by: liubo75 Merged-by: cann-robot Description: ## 描述 <!--在这里详细描述你的改动，包括改动的原因和所采取的方法。--> ## 关联的Issue <!-- 如果这个PR是为了解决特定的Issue，请在这里提供Issue链接。例如：关联Issue #000--> <!-- 如果这个PR是为了解决特定的问题单，请在这里描述问题单单号。--> ## 测试 <!--描述进行了哪些测试来验证你的改动。包括但不限于二级冒烟、算子泛化等。--> ## 文档更新 <!--如果这个PR包含文档的更新，请在这里指出。例如：更新了README.md文件。--> ## 类型标签 <!-- [x] 表示选中 --> - [ ] Bug修复 - [ ] 新特性 - [ ] 性能优化 - [ ] 文档更新 - [ ] 其他，请描述： See merge request: cann/ops-transformer!1739	6 个月前

ops-transformer

🔥Latest News

[2026/02] 新支持算子mhc_post、mhc_pre、mhc_res。
[2026/01] 新支持算子grouped matmul<<<>>>调用示例，方便用户自定义使用。
[2026/01] 新支持算子fused_floyd_attention、fused_floyd_attention_grad、matmul_allto_all。
[2025/12] 新增QuickStart，指导新手零基础入门算子项目部署（支持Docker环境）、算子开发和贡献流程。
[2025/12] 优化指南类文档，聚焦算子开发指南，明确最小交付件和关键示例代码，针对Ascend/samples仓算子提供迁移本项目的指导。
[2025/12] 支持transformer类onnx算子插件，包括NPUFlashAttention、NPUMultiHeadAttention、NPUMoeComputeExpertTokens等。
[2025/12] 新支持算子kv_rms_norm_rope_cache、attention_update、attention_worker_scheduler、gather_pa_kv_cache、kv_quant_sparse_flash_attention、lightning_indexer_grad、mla_preprocess、mla_preprocess_v2、grouped_matmul_swiglu_quant_v2、attention_to_ffn、ffn_to_attention。
[2025/12] 开源算子支持Ascend 950PR/Ascend 950DT/KirinX90，可以通过CANN Simulator仿真工具开发调试。
[2025/11] 新支持算子kv_quant_sparse_flash_attention、lightning_indexer、quant_lightning_indexer、sparse_flash_attention。
[2025/11] 新支持示例算子rope_matrix和all_gather_add。
[2025/11] 新增算子开发工程模板NpuOpsTransformerExt，无缝集成PyTorch张量操作，支持自动微分和GPU/NPU统一接口。
[2025/10] 新增experimental目录，完善贡献指南，支持开发者调试并贡献自定义算子。
[2025/09] ops-transformer项目首次上线，开源算子支持Atlas A2/A3系列产品。

🚀概述

ops-transformer是CANN （Compute Architecture for Neural Networks）算子库中提供transformer类大模型计算的进阶算子库，包括attention类、moe类等算子，算子库架构图如下：

架构图

📝版本配套

本项目源码会跟随CANN软件版本发布，关于CANN软件版本与本项目标签的对应关系请参阅release仓库中的相应版本说明。请注意，为确保您的源码定制开发顺利进行，请选择配套的CANN版本与Gitcode标签源码，使用master分支可能存在版本不匹配的风险。

⚡️快速入门

若您希望从零到一了解并快速体验项目，请访问如下文档。可以先了解项目算子信息，再尝试算子调用、开发、贡献等操作。

算子列表：项目全量算子信息，方便快速查询。
QuickStart：端到端快速上手指南，包括搭建环境、编译部署、算子调用/开发/调试调优、贡献等过程。

📖学习教程

若您已完成快速入门学习，对本项目有了一定认知，并希望深入了解和体验项目，请访问如下文档。

这些文档提供了多样化的场景介绍和更全面的操作指导，方便您应用于各种AI业务场景。

环境部署：搭建基础环境的指南，提供了多种场景下第三方依赖和软件包安装方法等。
算子调用：算子源码编译和执行指南，提供了不同场景下算子包编译（包括联网/未联网等）和算子运行的方法（包括执行算子样例和UT）等。
算子开发：基于本项目工程开发新算子的指南，提供了创建算子工程、实现Tiling和Kernel核心交付件等指导。
算子调试调优：提供了常见的算子调试和调优方法，如DumpTensor、msProf、Simulator等。

除了上述指南，还提供了其他文档介绍，例如算子调用方式和流程、算子基本概念等，全量文档介绍请访问docs。

🔍目录结构

├── cmake                          # 项目工程编译目录
├── common                         # 项目公共头文件和公共源码
├── attention                      # attention类算子
│   ├── flash_attention_score      # flash_attention_score算子所有交付件
│   │   ├── CMakeLists.txt         # 算子编译配置文件
│   │   ├── docs                   # 算子说明文档
│   │   ├── examples               # 算子使用示例
│   │   ├── op_host                # 算子信息库、Tiling、InferShape相关实现目录
│   │   ├── op_kernel              # 算子Kernel目录
│   │   └── README.md              # 算子说明文档
│   ├── ...
│   └── CMakeLists.txt             # 算子编译配置文件
├── docs                           # 项目文档介绍
├── examples                       # 端到端算子开发和调用示例
├── experimental                   # 用户自定义算子存放目录
├── ...
├── moe                            # moe类算子
├── posembedding                   # posembedding类算子
├── scripts                        # 脚本目录，包含自定义算子、Kernel构建相关配置文件
├── tests                          # 测试工程目录
├── CMakeLists.txt
├── README.md
├── build.sh                       # 项目工程编译脚本
├── install_deps.sh                # 安装依赖包脚本
└── requirements.txt               # 本项目需要的第三方依赖包