ops-transformer

🔥Latest News

• [2026/02] 新支持算子mhc_post、mhc_pre、mhc_res。
• [2026/01] 新支持算子grouped_matmul<<<>>>调用示例，方便用户自定义使用。
• [2026/01] 新支持算子fused_floyd_attention、fused_floyd_attention_grad、matmul_allto_all。
• [2025/12] 新增QuickStart，指导新手零基础入门算子项目部署（支持Docker环境）、算子开发和贡献流程。
• [2025/12] 优化指南类文档，聚焦算子开发指南，明确最小交付件和关键示例代码，针对Ascend/samples仓算子提供迁移本项目的指导。
• [2025/12] 支持transformer类onnx算子插件，包括NPUFlashAttention、NPUMultiHeadAttention、NPUMoeComputeExpertTokens等。
• [2025/12] 新支持算子kv_rms_norm_rope_cache、attention_update、attention_worker_scheduler、gather_pa_kv_cache、kv_quant_sparse_flash_attention、lightning_indexer_grad、mla_preprocess、mla_preprocess_v2、grouped_matmul_swiglu_quant_v2、attention_to_ffn、ffn_to_attention。
• [2025/12] 开源算子支持Ascend 950PR/Ascend 950DT/KirinX90，可以通过CANN Simulator仿真工具开发调试。
• [2025/11] 新支持算子kv_quant_sparse_flash_attention、lightning_indexer、quant_lightning_indexer、sparse_flash_attention。
• [2025/11] 新支持示例算子rope_matrix和all_gather_add。
• [2025/11] 新增算子开发工程模板NpuOpsTransformerExt，无缝集成PyTorch张量操作，支持自动微分和GPU/NPU统一接口。
• [2025/10] 新增experimental目录，完善贡献指南，支持开发者调试并贡献自定义算子。
• [2025/09] ops-transformer项目首次上线，开源算子支持Atlas A2/A3系列产品。

🚀概述

ops-transformer是CANN （Compute Architecture for Neural Networks）算子库中提供transformer类大模型计算的进阶算子库，包括attention类、moe类等算子，算子库架构图如下：

📝版本配套

本项目源码会跟随CANN软件版本发布，关于CANN软件版本与本项目标签的对应关系请参阅release仓库中的相应版本说明 。 请注意，为确保您的源码定制开发顺利进行，请选择配套的CANN版本与Gitcode标签源码，使用master分支可能存在版本不匹配的风险。

⚡️快速入门

若您希望从零到一快速体验项目能力，请访问下述简易教程。

1. 环境部署：本文是QuickStart和各类教程的操作前提，请先完成基础环境搭建和源码下载。
2. QuickStart：针对源码编译、算子调用/开发/调试等关键能力，提供快速上手的简易指南。

📖学习教程

若您已学习完快速入门章节，对本项目有一定认知，并希望深入了解和体验项目，请访问下述详细教程。

1. 算子列表：提供全量算子信息，方便您查看算子分类和功能。
2. 算子调用：提供多种源码编译和执行算子样例（包括执行UT）的方法。
3. 算子开发：提供算子端到端开发指南，从零学习创建算子工程、实现Tiling和Kernel核心交付件。
4. 算子调试调优：提供常见算子调试和调优方法，如DumpTensor、msProf、Simulator等。

除了上述关键教程，还有其他文档介绍，例如算子调用方式、build参数说明、术语概念等，全量文档请访问docs。

🔍目录结构

关键目录如下，详细目录介绍参见项目目录。

├── cmake                          # 项目工程编译目录
├── common                         # 项目公共头文件和公共源码
├── attention                      # attention类算子
│   ├── flash_attention_score      # flash_attention_score算子所有交付件
│   │   ├── CMakeLists.txt         # 算子编译配置文件
│   │   ├── docs                   # 算子说明文档
│   │   ├── examples               # 算子使用示例
│   │   ├── op_graph               # 算子构图相关目录
│   │   ├── op_host                # 算子信息库、Tiling、InferShape相关实现目录
│   │   ├── op_api                 # 可选，算子aclnn接口实现目录，如未提供则表示此算子的aclnn接口会让工程自动生成
│   │   ├── op_kernel              # 算子kernel目录
│   │   └── README.md              # 算子介绍文档
│   ├── ...
│   └── CMakeLists.txt             # 算子编译配置文件
├── docs                           # 项目文档介绍
├── examples                       # 端到端算子开发和调用示例
├── experimental                   # 用户自定义算子存放目录
├── ...
├── moe                            # moe类算子
├── posembedding                   # posembedding类算子
├── scripts                        # 脚本目录，包含自定义算子、Kernel构建相关配置文件
├── tests                          # 测试工程目录
├── CMakeLists.txt
├── README.md
├── build.sh                       # 项目工程编译脚本
├── install_deps.sh                # 安装依赖包脚本
└── requirements.txt               # 本项目需要的第三方依赖包

💬相关信息

• 贡献指南
• 安全声明
• 许可证
• 所属SIG

🤝联系我们

本项目功能和文档正在持续更新和完善中，建议您关注最新版本。

• 问题反馈：通过GitCode【Issues】提交问题。

• 社区互动：通过GitCode【讨论】参与交流。

• 技术专栏：通过GitCode【Wiki】获取技术文章，如系列化教程、优秀实践等。

  技术专题	样例
  算子性能优化实践	FA算子性能优化实践和效果分析