ops-transformer

🔥Latest News

• [2026/07] A5上新支持算子quant_flash_attn，Dense Attention全量化场景专用，以及experimental目录新增同名算子支持A5的MxFP4全量化；chunk_gated_delta_rule算子支持A5；A5新增DSV4 dense训练阶段TopK筛选反向算子dense_lightning_indexer_grad_kl_loss、dense_lightning_indexer_softmax_lse；mc2新支持算子engram_fetch_grad。
• [2026/06] A5上新增支持sparse_flash_mla、mixed_quant_sparse_flash_mla以及对应的metadata算子，用于DSV4场景稀疏Attention计算。新增lightning_indexer_v2、quant_lightning_indexer_v2以及对应的metadata算子，用于DSV4场景TopK筛选。A5新增DSV4 sparse训练阶段Attention反向算子sparse_flash_mla_grad、sparse_lightning_indexer_kl_loss_grad；mc2新支持算子engram_fetch、engram_fetch_wait。
• [2026/05] fused_infer_attention_score算子A5上支持MxFP8全量化；A5上新支持算子flash_attn，Dense Attention非量化场景专用。
• [2026/04] mc2新支持算子mega_moe。
• [2026/03] recurrent_gated_delta_rule算子支持A5。
• [2026/02] 新支持算子mhc_post、mhc_pre、mhc_res。
• [2026/01] 新支持算子grouped_matmul<<<>>>调用示例，方便用户自定义使用。
• [2026/01] 新支持算子fused_floyd_attention、fused_floyd_attention_grad、matmul_allto_all。
• [2025/12] 新增QuickStart，指导新手零基础入门算子项目部署（支持Docker环境）、算子开发和贡献流程。
• [2025/12] 优化指南类文档，聚焦算子开发指南，明确最小交付件和关键示例代码，针对Ascend/samples仓算子提供迁移本项目的指导。
• [2025/12] 支持transformer类onnx算子插件，包括NPUFlashAttention、NPUMultiHeadAttention、NPUMoeComputeExpertTokens等。
• [2025/12] 新支持算子kv_rms_norm_rope_cache、attention_update、attention_worker_scheduler、gather_pa_kv_cache、kv_quant_sparse_flash_attention、lightning_indexer_grad、mla_preprocess、mla_preprocess_v2、grouped_matmul_swiglu_quant_v2、attention_to_ffn、ffn_to_attention。
• [2025/12] 开源算子支持NPU Simulator仿真工具开发调试。
• [2025/12] 开源算子支持Ascend 950PR/Ascend 950DT/KirinX90系列产品。
• [2025/11] 新支持算子kv_quant_sparse_flash_attention、lightning_indexer、quant_lightning_indexer、sparse_flash_attention。
• [2025/11] 新支持示例算子rope_matrix和all_gather_add。
• [2025/11] 新增算子开发工程模板NpuOpsTransformerExt，无缝集成PyTorch张量操作，支持自动微分和GPU/NPU统一接口。
• [2025/10] 新增experimental目录，完善贡献指南，支持开发者调试并贡献自定义算子。
• [2025/09] ops-transformer项目首次上线，开源算子支持Atlas A2/A3系列产品。

🚀概述

ops-transformer是CANN（Compute Architecture for Neural Networks）算子库中提供transformer类大模型计算的进阶算子库，包括attention类、moe类、mc2类等，覆盖各类attention、MoE计算、通算融合等场景，算子库在架构图中的位置如下。

📌版本配套

本项目源码会跟随CANN软件版本发布，关于CANN软件版本与本项目标签的对应关系请参阅release仓库中的相应版本说明。 请注意，为确保您的源码定制开发顺利进行，请选择配套的CANN版本与Gitcode标签源码，使用master分支可能存在版本不匹配的风险。

🛠️环境准备

环境部署是体验本项目能力的前提，请先完成NPU驱动、CANN包安装等，确保环境正常。

⬇️源码下载

环境准备好后，下载与CANN版本配套的分支源码，通用命令如下，${tag_version}替换为分支标签名。以9.0.0分支源码下载为例：

# 通用命令：git clone -b ${tag_version} https://gitcode.com/cann/ops-transformer.git
git clone -b 9.0.0 https://gitcode.com/cann/ops-transformer.git

说明：若环境中已存在配套分支源码，可跳过本步骤，例如CANNLab默认已提供最新版本CANN对应的源码。

📖学习教程

• 快速入门：从零开始快速体验项目核心基础能力，涵盖源码编译、算子调用、开发与调试等操作。
• 进阶教程：如需深入了解项目编译部署、算子调用、开发、调试调优等能力，请查阅文档中心获取详细指引。

💬相关信息

• 目录结构
• 贡献指南
• 安全声明
• 许可证
• 所属SIG
• [联系我们] 微信名：Clark_Dan

---

PS：本项目功能和文档正在持续更新和完善中，欢迎您关注最新版本。

• 问题反馈：通过GitCode【Issues】提交问题。
• 社区互动：通过GitCode【讨论】参与交流。
• 技术专栏：通过GitCode【Wiki】获取技术文章，如系列化教程、优秀实践等。

​