Ascend C算子开发指南

• 入门教程

  • Ascend C概述与学习路径
  • 环境准备
  • 快速入门

    • 异构系统与编程模型

    • 基于SIMD编程

      • HelloWorld
      • Add算子快速入门

    • 基于SIMT编程

      • HelloWorld
      • Gather算子快速入门

• 编程指南

  • 本文档组织结构

  • 编程模型

    • 异构系统

    • 编程模型概述

    • AI Core SIMD编程

      • 概述
      • 抽象硬件架构
      • 核函数
      • 基于指针的C语言编程
        • 基于语言扩展层C API编程
      • 基于Tensor的C++编程
        • 静态Tensor编程
        • Reg矢量计算编程
      • 基于TPipe和TQue编程
        • TPipe-TQue框架编程原理
        • TPipe-TQue框架编程范式

    • AI Core SIMT编程

      • 概述
      • 抽象硬件架构
      • 线程架构
      • 内存层级
      • 核函数
      • 同步机制
      • 编程示例

    • AI CPU编程

  • 编译与运行

    • 异步执行
    • 算子编译
      • 毕昇编译器
      • AI Core算子编译基本用法
      • AI CPU算子编译基本用法
      • RTC运行时编译
      • 约束说明

  • 语言扩展层

    • SIMD BuiltIn关键字
    • SIMT BuiltIn关键字
    • SIMD与SIMT混合编程BuiltIn关键字
    • SIMD语言扩展层C API
    • SIMT语言扩展层C API

  • C++类库API

    • 编程接口概述

    • 基础API

      • 概述

      • 接口分类说明

        • 连续计算API
        • 高维切分API

      • 常用操作速查指导

        • 如何使用掩码操作API
        • 如何使用归约计算API

    • 高阶API

      • 概述
      • 常用操作速查指导
        • 如何使用Tiling依赖的头文件
        • 如何使用Kernel侧临时空间

    • Utils API

  • 调试调优

    • 概述

    • 功能调试

      • CPU域孪生调试
      • NPU域上板调试

    • 性能调优

  • 高级编程

    • 硬件实现

      • 基本架构

      • 架构规格

        • NPU架构版本2002
        • NPU架构版本2201
        • NPU架构版本3002
        • NPU架构版本3510

      • 硬件约束

        • NPU架构版本2002
        • NPU架构版本2201

    • 高级AI-Core编程模型

      • SIMD与SIMT混合编程
        • 概述
        • 抽象硬件架构
        • 核函数与VF函数
        • 内存层级
        • 编程示例

    • 高级特性

      • Aclnn算子工程化开发

        • 概述
        • 创建算子工程
        • 算子原型定义
        • Kernel侧算子实现
        • Host侧Tiling实现
          • 基本流程
          • 通过TilingData传递属性信息
          • 使用高阶API时配套的Tiling实现
          • 使用标准C++语法定义Tiling结构体
          • Tiling模板编程
        • 算子包编译
          • 算子工程编译
          • 算子包部署
        • 算子动态库和静态库编译
        • 算子工程编译拓展
        • 单算子API调用

      • 算子入图开发

        • 概述
        • 基本开发流程
        • 开启Tiling下沉
        • SuperKernel开发
        • 图编译和图执行

      • AI框架算子适配

        • 概述

        • PyTorch框架

        • ONNX框架

          • 适配插件开发
          • 调用样例

        • TensorFlow框架

      • SIMT协作组

  • 附录

    • show_kernel_debug_data工具

    • msobjdump工具

    • optype_collector工具

    • 基于样例工程完成Kernel直调

    • 简易自定义算子工程

    • 常用操作

      • 如何开发动态输入算子
      • 如何在矢量编程时启用Vector Core
      • 如何使用workspace
      • 如何进行Tiling调测
      • 如何使用Tensor原地操作提升算子性能

    • FAQ

      • 核函数运行验证时算子存在精度问题
      • 运行验证时AllocTensor/FreeTensor失败
      • kernel侧获取Tiling信息不正确
      • Kernel编译时报错"error: out of jump/jumpc imm range"
      • 含有Matmul高阶API的算子精度问题
      • 算子工程编译时出现文件名过长报错
      • 调用算子时出现无法打开config.ini的报错
      • 算子包部署时出现权限不足报错

• 算子实践参考

  • 本文档组织结构

  • 异构计算

  • SIMD算子实现

    • 概述

    • 矢量编程

      • 概述

      • 基础矢量算子

      • TBuf的使用

      • 多核&Tiling切分

        • 概述
        • 多核Tiling
        • 尾块Tiling
        • 尾核Tiling
        • 尾核&尾块

      • DoubleBuffer场景

      • Broadcast场景

      • 非对齐场景

    • 矩阵编程（高阶API）

      • 基础知识
      • 算子实现
      • 特性场景
        • Matmul特性介绍
        • 多核对齐切分
        • 多核非对齐切分
        • 异步场景处理
        • 矩阵乘输出的量化/反量化
        • 矩阵乘输出的Channel拆分
        • 矩阵向量乘
        • 4:2稀疏矩阵乘
        • TSCM输入的矩阵乘
        • 矩阵乘输出的N方向对齐
        • 单次矩阵乘局部输出
        • AIC和AIV独立运行机制
        • MxMatmul场景
        • Batch Matmul基础功能
        • Batch Matmul复用Bias矩阵

    • 矩阵编程（基础API）

      • 耦合模式
      • 分离模式

    • 融合算子编程

      • CV融合

        • 基础知识
        • 算子实现

      • 通算融合

        • 基础知识
        • 算子实现
        • 特性场景

  • SIMT算子实现

    • 基础知识
    • 算子实现

  • SIMD与SIMT混合算子实现

    • 基础知识
    • 算子实现

  • 功能调试

    • 运行正常
    • 精度正常
    • 算子调试

  • 性能分析

    • 获取性能数据
    • 分析性能数据

  • SIMD算子性能优化

    • 优化建议总览表

    • Tiling策略

      • 核间负载均衡

    • 头尾开销优化

      • 设置合适的核数和算子Kernel类型
      • 限制TilingData结构大小
      • 避免TPipe在对象内创建和初始化
      • 核函数内删除Workspace相关冗余操作
      • 设置DCI编译选项来减少算子尾开销

    • 流水编排

      • 开启DoubleBuffer
      • 启用Iterate或IterateAll异步接口避免AIC/AIV同步依赖

    • 内存访问

      • 尽量一次搬运较大的数据块

      • GM地址尽量512B对齐

      • 高效的使用搬运API

      • 非对齐场景减少无效数据的搬运

      • 非连续搬运场景减少搬运次数

      • 避免同地址访问

      • 设置合理的L2 CacheMode

      • 算子与高阶API共享临时Buffer

      • 纯搬运类算子VECIN和VECOUT建议复用

      • 通过缩减Tensor ShapeInfo维度，优化栈空间

      • 避免UB的bank冲突

        • 概述
        • 避免bank冲突（NPU架构版本2201）
        • 避免bank冲突（NPU架构版本3510）

      • L2 Cache切分

    • 矢量计算

      • 通过Unified Buffer融合实现连续vector计算
      • Vector算子灵活运用Counter模式
      • 选择低延迟指令，优化归约操作性能
      • VF性能优化
        • VF循环优化
        • 指令双发优化
        • 连续非对齐场景优化
        • VF融合优化

    • 矩阵计算

      • 通过BT Buffer实现高效的bias计算
      • 通过FP Buffer存放量化参数实现高效随路量化
      • 通过L0C Buffer数据暂存实现高效的矩阵乘结果累加
      • 较小矩阵长驻L1 Buffer，仅分次搬运较大矩阵
      • Matmul开启AtomicAdd选项

  • SIMD与SIMT混合算子性能优化

    • 概述

    • 内存访问

      • 使用Unified Buffer提升内存访问效率

    • 指令优化

      • 整数除法的快速算法

    • 计算优化

      • 通过SIMT实现分支判断

    • 执行控制

      • 线程块数量配置优化

  • SIMT算子性能优化

    • 内存访问
      • 访存合并
      • 避免UB的Bank冲突
      • DCache访问优化
      • 通过类型对齐提升搬运效率
      • 使用短向量类型提升效率
    • 执行配置
      • 线程块数量配置优化
      • 合理配置线程数避免寄存器溢出

  • 优秀实践

    • FlashAttention算子性能调优案例

    • GroupedMatmul算子性能调优案例

    • MC²算子性能调优案例

    • Matmul性能调优案例

      • Matmul性能优化策略总览
      • Matmul算子优化Tiling策略
      • Matmul高阶API开启纯Cube模式
      • Matmul高阶API开启MDL模板
      • Matmul高阶API开启UnitFlag
      • Matmul高阶API开启Tiling全量常量化
      • Matmul高阶API开启L2 Cache切分
      • Matmul高阶API开启多核切K
      • Matmul高阶API开启多核K轴错峰访问内存
      • Matmul高阶API开启NBuffer33模板
      • Matmul高阶API开启IBShare模板共享B矩阵数据
      • Matmul高阶API开启IBShare模板共享A和B矩阵数据
      • AIV核上的ND2NZ格式转换
      • Matmul高阶API开启MTE2 Preload

    • SIMT实现InsertHashTable算子案例

• 跨代迁移兼容性指南

  • 概述
  • Ascend-C-API兼容策略
  • 3510架构迁移指导
    • 2201到3510架构变更
    • 2201迁移3510指导
      • 基础API迁移指导
      • 高阶API迁移指导
      • 算子编译迁移指导

• 技术附录

  • 概念原理和术语
    • 术语表
    • 神经网络和算子
      • 算子基本概念
      • 数据排布格式
    • 内存访问原理
      • Scalar读写数据
    • 性能优化技术原理
      • DoubleBuffer
  • C++标准支持
    • 概述
    • C/C++语法限制
      • 特性
      • 函数