57_ascend950_matmul_full_dequant Example Readme
代码组织
├── 57_ascend950_matmul_full_dequant
│ ├── CMakeLists.txt # CMake编译文件
│ ├── README.md
│ └── matmul_full_dequant.cpp # 主文件
- 支持的量化模式
| X1的量化模式 | X2的量化模式 | 带有Bias |
|---|---|---|
| per_token | per_tensor | False |
| per_token | per_channel | False |
| per_tensor | per_channel | False |
| default | per_channel | False |
| per_token | per_tensor | True |
| per_token | per_channel | True |
| default | per_tensor | True |
| default | per_channel | True |
default模式：不采用任何量化模式
使用示例
- 获取代码之后编译相应的算子可执行文件，可参考quickstart，本用例为Ascend 950算子，编译时需加-DCATLASS_ARCH=3510
- 执行算子
# 编译指定用例
bash scripts/build.sh 57_ascend950_matmul_full_dequant -DCATLASS_ARCH=3510
# 生成测试样例
cd examples/57_ascend950_matmul_full_dequant
python3 scripts/gen_data.py --shape "64 64 64" --x1_quant_mode per_token --x2_quant_mode per_channel
# 带有bias使用下面的命令
# python3 scripts/gen_data.py --shape "64 64 64" --x1_quant_mode per_token --x2_quant_mode per_channel --has_bias
cd ../../output/bin
cp -r ../../examples/57_ascend950_matmul_full_dequant/input/ .
cp -r ../../examples/57_ascend950_matmul_full_dequant/output/ .
# 可执行文件名 |矩阵m轴|n轴|k轴|x1QuantMode|x2QuantMode|has_bias
# has_bias可选，默认不带有bias
./57_ascend950_matmul_full_dequant 64 64 64 per_token per_channel
# 带有bias使用下面命令执行，需要配合gen_data.py生成bias
# ./57_ascend950_matmul_full_dequant 64 64 64 per_token per_channel has_bias
执行结果如下，说明精度比对成功。
Compare success.