高阶API 基础Matmul样例
概述
调用Matmul API实现matmul样例。对输入的A、B矩阵做矩阵乘和加bias偏置的计算,计算公式为:C = A * B + Bias。
本样例支持的产品及CANN软件版本
| 产品 | CANN软件版本 |
|---|---|
| Ascend 950PR/Ascend 950DT | >= CANN 9.1.0 |
| Atlas A3 训练系列产品/Atlas A3 推理系列产品 | >= CANN 9.0.0 |
| Atlas A2 训练系列产品/Atlas A2 推理系列产品 | >= CANN 9.0.0 |
目录结构介绍
├── matmul
│ ├── scripts
│ │ ├── gen_data.py // 输入数据和真值数据生成脚本文件
│ │ └── verify_result.py // 真值对比文件
│ ├── CMakeLists.txt // 编译工程文件
│ ├── data_utils.h // 数据读入写出函数
│ ├── matmul.asc // Ascend C样例实现 & 调用样例
│ └── README.md // 样例介绍
样例描述
-
样例功能:
Matmul样例调用Matmul API对输入的A、B矩阵做矩阵乘和加bias偏置的计算,计算公式为:C = A * B + Bias。 -
样例规格:
本样例中:M = 128, N = 2048, K = 1024。
| 样例类型(OpType) | MatmulCustom | ||||
| 样例输入 | name | shape | data type | format | isTrans |
| a | [M, K] | half | ND | false | |
| b | [K, N] | half | ND | false | |
| bias | [1, N] | float | ND | - | |
| 样例输出 | c | [M, N] | float | ND | - |
| 核函数名 | matmul_custom | ||||
- 样例实现:
-
Kernel关键步骤
- 具体步骤如下:
- 创建Matmul对象。
- 初始化操作。
- 设置左矩阵A、右矩阵B、偏置矩阵Bias。
- 完成矩阵乘操作。
- 结束矩阵乘操作。
- 具体步骤如下:
-
Tiling关键步骤
- Ascend C提供一组Matmul Tiling API,方便用户获取Matmul kernel计算时所需的Tiling参数。只需要传入A/B/C矩阵等信息,调用API接口,即可获取到TCubeTiling结构体中的相关参数。
- 获取Tiling参数的流程如下:
- 创建一个Tiling对象。
- 设置A、B、C、Bias的参数类型信息;M、N、Ka、Kb形状信息等。
- 调用GetTiling接口,获取Tiling信息。
-
调用实现
使用内核调用符<<<>>>调用核函数。
-
编译运行
在本样例根目录下执行如下步骤,编译并执行样例。
-
配置环境变量
请根据当前环境上CANN开发套件包的安装方式,配置环境变量。source ${install_path}/cann/set_env.sh说明:
${install_path}为CANN包安装目录,未指定安装目录时默认安装至/usr/local/Ascend下。 -
样例执行
在本样例目录下执行如下命令。
mkdir -p build && cd build; # 创建并进入build目录 cmake -DCMAKE_ASC_ARCHITECTURES=dav-2201 ..;make -j; # 编译工程,默认npu模式 python3 ../scripts/gen_data.py # 生成测试输入数据 ./demo # 执行编译生成的可执行程序,执行样例 python3 ../scripts/verify_result.py output/output.bin output/golden.bin # 验证输出结果是否正确,确认算法逻辑正确使用 CPU调试 或 NPU仿真 模式时,添加
-DCMAKE_ASC_RUN_MODE=cpu或-DCMAKE_ASC_RUN_MODE=sim参数即可。示例如:
cmake -DCMAKE_ASC_RUN_MODE=cpu -DCMAKE_ASC_ARCHITECTURES=dav-2201 ..;make -j; # cpu调试模式 cmake -DCMAKE_ASC_RUN_MODE=sim -DCMAKE_ASC_ARCHITECTURES=dav-2201 ..;make -j; # NPU仿真模式注意: 切换编译模式前需清理 cmake 缓存,可在 build 目录下执行
rm CMakeCache.txt后重新 cmake。 -
编译选项说明
选项 可选值 说明 CMAKE_ASC_RUN_MODEnpu(默认)、cpu、sim运行模式:NPU 运行、CPU调试、NPU仿真 CMAKE_ASC_ARCHITECTURESdav-2201(默认)、dav-3510NPU 架构:dav-2201 对应 Atlas A2 训练系列产品/Atlas A2 推理系列产品和 Atlas A3 训练系列产品/Atlas A3 推理系列产品,dav-3510 对应 Ascend 950PR/Ascend 950DT -
执行结果
执行结果如下,说明精度对比成功。
test pass!