Ascend C算子开发指南

• 入门教程

  • 什么是Ascend C
  • 环境准备
  • 快速入门

    • 简介

    • 基于SIMD编程

      • HelloWorld
      • Add自定义算子开发

    • 基于SIMT编程

      • HelloWorld
      • Add自定义算子开发

• 编程指南

  • 本文档组织结构

  • 编程模型

    • 异构并行编程模型

    • 编程模型概述

    • AI Core SIMD编程

      • 抽象硬件架构

      • 核函数

      • SIMD编程

        • 基于TPipe和TQue编程
        • 静态Tensor编程
        • Reg矢量计算编程
        • 基于语言扩展层C API编程

      • SIMD与SIMT混合编程

    • AI Core SIMT编程

      • 抽象硬件架构
      • 线程架构
      • 内存层级
      • 核函数
      • 同步机制
      • 编程示例

    • AI CPU编程

  • 编译与运行

    • AI Core SIMD编译

      • 算子编译简介
      • 通过bisheng命令行编译
      • 常用的编译选项
      • 通过CMake编译
      • RTC
      • 约束说明

    • AI Core SIMT编译

      • 算子编译简介
      • 通过bisheng命令行编译
      • 常用的编译选项
      • 通过CMake编译
      • 约束说明

    • AI CPU算子编译

    • 算子运行

  • 语言扩展层

    • SIMD BuiltIn关键字
    • SIMT BuiltIn关键字
    • SIMD语言扩展层C API
    • SIMT语言扩展层C API

  • C++类库API

    • 编程接口概述

    • 基础API

      • 概述

      • 接口分类说明

        • 连续计算API
        • 高维切分API

      • 常用操作速查指导

        • 如何使用掩码操作API
        • 如何使用归约计算API

    • 高阶API

      • 概述
      • 常用操作速查指导
        • 如何使用Tiling依赖的头文件
        • 如何使用Kernel侧临时空间

    • Utils API

  • 硬件实现

    • 基本架构

    • 架构规格

      • NPU架构版本200x
      • NPU架构版本220x
      • NPU架构版本300x
      • NPU架构版本351x

    • 硬件约束

      • NPU架构版本200x
      • NPU架构版本220x

  • 调试调优

    • 概述

    • 功能调试

      • CPU域孪生调试
      • NPU域上板调试

    • 性能调优

  • 兼容性指南

  • 概念原理和术语

    • 术语表

    • 神经网络和算子

      • 算子基本概念
      • 数据排布格式

    • 编程模型设计原理

    • 内存访问原理

      • Scalar读写数据

    • 性能优化技术原理

      • DoubleBuffer

  • 附录

    • C++标准支持

      • 概述
      • Device侧C/C++语法限制
        • 特性
        • 函数

    • 工程化算子开发

      • 概述

      • 创建算子工程

      • 算子原型定义

      • Kernel侧算子实现

      • Host侧Tiling实现

        • 基本流程
        • 通过TilingData传递属性信息
        • 使用高阶API时配套的Tiling实现
        • 使用标准C++语法定义Tiling结构体
        • Tiling模板编程

      • 算子包编译

        • 算子工程编译
        • 算子包部署

      • 算子动态库和静态库编译

      • 算子工程编译拓展

      • 单算子API调用

    • 算子入图（GE图）开发

      • 概述
      • 基本开发流程
      • 使能Tiling下沉
      • SuperKernel开发
      • 图编译和图执行

    • AI框架算子适配

      • 概述

      • PyTorch框架

      • ONNX框架

        • 适配插件开发
        • 调用样例

      • TensorFlow框架

    • show_kernel_debug_data工具

    • msobjdump工具

    • 基于样例工程完成Kernel直调

    • 简易自定义算子工程

    • 常用操作

      • 如何开发动态输入算子
      • 如何在矢量编程时使能Vector Core
      • 如何使用workspace
      • 如何进行Tiling调测
      • 如何使用Tensor原地操作提升算子性能

    • FAQ

      • 核函数运行验证时算子存在精度问题
      • 运行验证时AllocTensor/FreeTensor失败
      • kernel侧获取Tiling信息不正确
      • Kernel编译时报错"error: out of jump/jumpc imm range"
      • 含有Matmul高阶API的算子精度问题
      • 算子工程编译时出现文件名过长报错
      • 调用算子时出现无法打开config.ini的报错
      • 算子包部署时出现权限不足报错

• 算子实践参考

  • 本文档组织结构

  • 异构计算

  • SIMD算子实现

    • 概述

    • 矢量编程

      • 概述

      • 基础矢量算子

      • TBuf的使用

      • 多核&Tiling切分

        • 概述
        • 多核Tiling
        • 尾块Tiling
        • 尾核Tiling
        • 尾核&尾块

      • DoubleBuffer场景

      • Broadcast场景

      • 非对齐场景

    • 矩阵编程（高阶API）

      • 基础知识
      • 算子实现
      • 特性场景
        • Matmul特性介绍
        • 多核对齐切分
        • 多核非对齐切分
        • 异步场景处理
        • 矩阵乘输出的量化/反量化
        • 矩阵乘输出的Channel拆分
        • 矩阵向量乘
        • 4:2稀疏矩阵乘
        • TSCM输入的矩阵乘
        • 矩阵乘输出的N方向对齐
        • 单次矩阵乘局部输出
        • AIC和AIV独立运行机制
        • MxMatmul场景
        • Batch Matmul基础功能
        • Batch Matmul复用Bias矩阵

    • 矩阵编程（基础API）

      • 耦合模式
      • 分离模式

    • 融合算子编程

      • CV融合

        • 基础知识
        • 算子实现

      • 通算融合

        • 基础知识
        • 算子实现
        • 特性场景

  • SIMT算子实现

    • 基础知识
    • 算子实现

  • SIMD与SIMT混合算子实现

    • 基础知识
    • 算子实现

  • 功能调试

    • 运行正常
    • 精度正常
    • 算子调试

  • 性能分析

    • 获取性能数据
    • 分析性能数据

  • SIMD算子性能优化

    • 优化建议总览表

    • Tiling策略

      • 核间负载均衡

    • 头尾开销优化

      • 设置合适的核数和算子Kernel类型
      • 限制TilingData结构大小
      • 避免TPipe在对象内创建和初始化
      • 核函数内删除Workspace相关冗余操作
      • 设置DCI编译选项来减少算子尾开销

    • 流水编排

      • 使能DoubleBuffer
      • 使能Iterate或IterateAll异步接口避免AIC/AIV同步依赖

    • 内存访问

      • 尽量一次搬运较大的数据块

      • GM地址尽量512B对齐

      • 高效的使用搬运API

      • 非对齐场景减少无效数据的搬运

      • 非连续搬运场景减少搬运次数

      • 避免同地址访问

      • 设置合理的L2 CacheMode

      • 算子与高阶API共享临时Buffer

      • 纯搬运类算子VECIN和VECOUT建议复用

      • 通过缩减Tensor ShapeInfo维度，优化栈空间

      • 避免UB的bank冲突

        • 概述
        • 避免bank冲突（NPU架构版本220x）
        • 避免bank冲突（Atlas 350 加速卡）

      • L2 Cache切分

    • 矢量计算

      • 通过Unified Buffer融合实现连续vector计算
      • Vector算子灵活运用Counter模式
      • 选择低延迟指令，优化归约操作性能
      • VF性能优化
        • VF循环优化
        • 指令双发优化
        • 连续非对齐场景优化
        • VF融合优化

    • 矩阵计算

      • 通过BT Buffer实现高效的bias计算
      • 通过FP Buffer存放量化参数实现高效随路量化
      • 通过L0C Buffer数据暂存实现高效的矩阵乘结果累加
      • 较小矩阵长驻L1 Buffer，仅分次搬运较大矩阵
      • Matmul使能AtomicAdd选项

  • SIMD与SIMT混合算子性能优化

    • 内存访问

      • 使用Unified Buffer提升内存访问效率

    • 计算优化

      • 通过SIMT实现分支判断

  • 优秀实践

    • FlashAttention算子性能调优案例

    • GroupedMatmul算子性能调优案例

    • MC²算子性能调优案例

    • Matmul性能调优案例

      • Matmul性能优化策略总览
      • Matmul算子优化Tiling策略
      • Matmul高阶API使能纯Cube模式
      • Matmul高阶API使能MDL模板
      • Matmul高阶API使能UnitFlag
      • Matmul高阶API使能Tiling全量常量化
      • Matmul高阶API使能L2 Cache切分
      • Matmul高阶API使能多核切K
      • Matmul高阶API使能多核K轴错峰访问内存
      • Matmul高阶API使能NBuffer33模板
      • Matmul高阶API使能IBShare模板共享B矩阵数据
      • Matmul高阶API使能IBShare模板共享A和B矩阵数据
      • AIV核上的ND2NZ格式转换
      • Matmul高阶API使能MTE2 Preload

    • SIMT实现InsertHashTable算子案例

• 兼容性迁移指南

  • 兼容性说明
  • 351x架构迁移指导
    • 220x到351x架构变更
    • 220x迁移351x指导
      • 基础API迁移指导
      • 高阶API迁移指导
      • 算子编译迁移指导