Sub算子直调样例

概述

本样例演示了如何通过自定义核函数实现高性能的逐元素减法（Sub）运算。算子核心功能是完成两个形状相同的输入张量x与y的逐元素相减，即z = x - y。通过绕过AI框架、直接调用核函数的方式，有效避免了额外的调度开销，适用于对计算延迟和吞吐量有严格要求的场景。

支持的产品

• Atlas A3 训练系列产品/Atlas A3 推理系列产品
• Atlas A2 训练系列产品/Atlas A2 推理系列产品

目录结构介绍

├── sub  
│   ├── CMakeLists.txt    // 编译工程文件
│   └── sub_custom.asc    // Ascend C算子实现 & 调用样例

算子描述

• 算子功能：
  Sub算子实现了两个数据相减，返回相减结果的功能。对应的数学表达式为：

  z = x - y
  

• 算子规格：

  算子类型(OpType)	Sub
  算子输入	name	shape	data type	format
  	x	8 * 2048	float	ND
  	y	8 * 2048	float	ND
  算子输出	z	8 * 2048	float	ND
  核函数名	sub_custom

• 算子实现：
  Sub算子的数学表达式为：

  计算逻辑是：Ascend C提供的矢量计算接口的操作元素都为LocalTensor，输入数据需要先搬运进片上存储，然后使用计算接口完成两个输入参数相减，得到最终结果，再搬出到外部存储上。

  Sub算子的实现流程分为3个基本任务：CopyIn，Compute，CopyOut。CopyIn任务负责将Global Memory上的输入Tensor xGm和yGm搬运到Local Memory，分别存储在xLocal、yLocal，Compute任务负责对xLocal、yLocal执行减法操作，计算结果存储在zLocal中，CopyOut任务负责将输出数据从zLocal搬运至Global Memory上的输出Tensor zGm中。

  TilingData参数设计，TilingData参数本质上是和并行数据切分相关的参数，本样例算子使用了5个tiling参数：totalLength、tileNum。

  • 调用实现
    使用内核调用符<<<>>>调用核函数。

编译运行

在本样例根目录下执行如下步骤，编译并执行算子。

• 配置环境变量
  请根据当前环境上CANN开发套件包的安装方式，选择对应配置环境变量的命令。

  • 默认路径，root用户安装CANN软件包

    source /usr/local/Ascend/cann/set_env.sh
    

  • 默认路径，非root用户安装CANN软件包

    source $HOME/Ascend/cann/set_env.sh
    

  • 指定路径install_path，安装CANN软件包

    source ${install_path}/cann/set_env.sh
    

• 样例执行

  mkdir -p build && cd build;   # 创建并进入build目录
  cmake ..;make -j;             # 编译工程
  ./demo                        # 执行编译生成的可执行程序，执行样例
  

  执行结果如下，说明精度对比成功。

  [Success] Case accuracy is verification passed.