TransData样例
概述
本样例基于TransData高阶API实现数据排布格式转换功能,支持将输入数据的排布格式转换为目标排布格式。
本样例支持的产品及CANN软件版本
| 产品 | CANN软件版本 |
|---|---|
| Ascend 950PR/Ascend 950DT | >= CANN 9.1.0 |
| Atlas A3 训练系列产品/Atlas A3 推理系列产品 | >= CANN 9.0.0 |
| Atlas A2 训练系列产品/Atlas A2 推理系列产品 | >= CANN 9.0.0 |
目录结构介绍
├── transdata
│ ├── scripts
│ │ └── gen_data.py // 输入数据和真值数据生成脚本
│ ├── CMakeLists.txt // 编译工程文件
│ ├── data_utils.h // 数据读入写出函数
│ ├── transdata.asc // Ascend C样例实现 & 调用样例
│ └── README.md // 样例说明文档
样例描述
将输入数据的排布格式转换为目标排布格式。
除维度顺序变换外,其中涉及到C轴和N轴的拆分,具体转换方式为,C轴拆分为C1轴、C0轴,N轴拆分为N1轴、N0轴。对于位宽为16的数据类型的数据,C0和N0固定为16,C1和N1的计算公式如下:
C1=(C+C0−1)/C0C1 = (C + C0 - 1) / C0
N1=(N+N0−1)/N0N1 = (N + N0 - 1) / N0
本样例支持以下四种数据格式转换场景
场景1:NCDHW -> FRACTAL_Z_3D (mode = 1)
-
样例规格:
表1:场景1样例输入输出规格 样例类型(OpType) transdata 样例输入 name shape data type format src [16, 16, 1, 3, 5] half NCDHW 样例输出 dst [1, 1, 3, 5, 1, 16, 16] half FRACTAL_Z_3D 核函数名 transdata_custom 说明:
- 输入shape为[N, C, D, H, W] = [16, 16, 1, 3, 5]
- 输出shape为[D, C1, H, W, N1, N0, C0] = [1, 1, 3, 5, 1, 16, 16]
场景2:FRACTAL_Z_3D -> NCDHW (mode = 2)
-
样例规格:
表2:场景2样例输入输出规格 样例类型(OpType) transdata 样例输入 name shape data type format src [1, 1, 3, 5, 1, 16, 16] half FRACTAL_Z_3D 样例输出 dst [16, 16, 1, 3, 5] half NCDHW 核函数名 transdata_custom 说明:
- 输入shape为[D, C1, H, W, N1, N0, C0] = [1, 1, 3, 5, 1, 16, 16]
- 输出shape为[N, C, D, H, W] = [16, 16, 1, 3, 5]
- 这是场景1的逆操作
场景3:NCDHW -> NDC1HWC0 (mode = 3)
-
样例规格:
表3:场景3样例输入输出规格 样例类型(OpType) transdata 样例输入 name shape data type format src [16, 16, 1, 3, 5] half NCDHW 样例输出 dst [16, 1, 1, 3, 5, 16] half NDC1HWC0 核函数名 transdata_custom 说明:
- 输入shape为[N, C, D, H, W] = [16, 16, 1, 3, 5]
- 输出shape为[N, D, C1, H, W, C0] = [16, 1, 1, 3, 5, 16]
场景4:NDC1HWC0 -> NCDHW (mode = 4)
-
样例规格:
表4:场景4样例输入输出规格 样例类型(OpType) transdata 样例输入 name shape data type format src [16, 1, 1, 3, 5, 16] half NDC1HWC0 样例输出 dst [16, 16, 1, 3, 5] half NCDHW 核函数名 transdata_custom 说明:
- 输入shape为[N, D, C1, H, W, C0] = [16, 1, 1, 3, 5, 16]
- 输出shape为[N, C, D, H, W] = [16, 16, 1, 3, 5]
- 这是场景3的逆操作
编译运行
在本样例根目录下执行如下步骤,编译并执行样例。
-
配置环境变量
请根据当前环境上CANN开发套件包的安装方式,配置环境变量。source ${install_path}/cann/set_env.sh说明:
${install_path}为CANN包安装目录,未指定安装目录时默认安装至/usr/local/Ascend下。 -
样例执行
在本样例目录下执行如下命令。
SCENARIO=1 mkdir -p build && cd build; # 创建并进入build目录 cmake -DCMAKE_ASC_ARCHITECTURES=dav-2201 -DSCENARIO=$SCENARIO ..;make -j; # 编译工程,默认npu模式 python3 ../scripts/gen_data.py --mode $SCENARIO # 生成测试输入数据 ./demo # 执行编译生成的可执行程序,执行样例使用 CPU调试 或 NPU仿真 模式时,添加
-DCMAKE_ASC_RUN_MODE=cpu或-DCMAKE_ASC_RUN_MODE=sim参数即可。示例如:
cmake -DCMAKE_ASC_RUN_MODE=cpu -DCMAKE_ASC_ARCHITECTURES=dav-2201 -DSCENARIO=$SCENARIO ..;make -j; # cpu调试模式 cmake -DCMAKE_ASC_RUN_MODE=sim -DCMAKE_ASC_ARCHITECTURES=dav-2201 -DSCENARIO=$SCENARIO ..;make -j; # NPU仿真模式注意: 切换编译模式前需清理 cmake 缓存,可在 build 目录下执行
rm CMakeCache.txt后重新 cmake。 -
编译选项说明
选项 可选值 说明 CMAKE_ASC_RUN_MODEnpu(默认)、cpu、sim运行模式:NPU 运行、CPU调试、NPU仿真 CMAKE_ASC_ARCHITECTURESdav-2201(默认)、dav-3510NPU 架构:dav-2201 对应 Atlas A2 训练系列产品/Atlas A2 推理系列产品和 Atlas A3 训练系列产品/Atlas A3 推理系列产品,dav-3510 对应 Ascend 950PR/Ascend 950DT SCENARIO1(默认)、2、3、4场景:1=NCDHW→FRACTAL_Z_3D,2=FRACTAL_Z_3D→NCDHW,3=NCDHW→NDC1HWC0,4=NDC1HWC0→NCDHW -
执行结果
执行结果如下,说明精度对比成功。
test pass!