DynamicOptimizedQuantMatmulPerTokenBasic Example Readme

1 背景

基于泛化性要求，本样例在样例102之外，新增了处理量化Matmul的泛化工程实现，本样例目前支持PerToken-PerChannel量化Matmul基础模板。

量化被广泛应用于现代高性能计算的深度学习模型中，特别是在推理过程中。通过量化，模型可以在硬件上更高效地运行，减少计算资源的消耗和加速推理过程，同时降低模型的存储需求。

根据对算子的不同输入Tensor采用不同的量化计算级别，可将目前的量化分为不同的量化模式。目前支持的量化计算模式包括：PerToken量化和PerChannel量化。在以下的介绍中，m、n、k变量分别表示Tensor计算的不同轴大小。左矩阵、右矩阵分别指进行矩阵乘法计算的两个输入Tensor。

• PerToken量化：通常用于量化左矩阵，对每个Token（即左矩阵的一行）使用独立的量化参数进行计算。假设左矩阵shape为(m, k)，k为reduce轴，则生成的PerToken量化参数的shape为(m, )。

• PerChannel量化：通常用于量化右矩阵，对每个Channel（即右矩阵的一列）使用独立的量化参数进行计算。假设右矩阵shape为(k, n)，k为reduce轴，则生成的PerChannel量化参数的shape为(n, )。

一般左矩阵代表激活activation（A）、右矩阵代表权重weight（W），本样例目前支持左右矩阵输入数据类型为int8、对左矩阵进行PerToken量化+对右矩阵进行PerChannel量化的场景，可简记为W8A8 PerToken-PerChannel 全量化Matmul场景。

2 文档索引和约束说明

2.1 工程说明

泛化量化Matmul工程结构说明可参考：工程结构说明。本工程遵循与样例102类似的模板生成、Tiling计算、模板选择等流程，并根据量化Matmul计算特点进行了适配修改。

工程编译前会调用python脚本生成代码，具体包括调用各模板的外围代码，以及launch_map.h(包含tilingKey和具体Kernel的映射关系)。

本工程默认编译为动态库，编译完成执行样例前，请export动态库路径：

export LD_LIBRARY_PATH=/path/to/catlass/output/shared_lib/lib/:$LD_LIBRARY_PATH

2.2 工程结构

├── CMakeLists.txt
├── README.md
├── dynamic_optimized_quant_matmul_per_token_basic.cpp
├── impl
│   ├── kernel
│   │   ├── per_token_matmul_kernel.h
│   ├── scripts
│   │   ├── templates
│   │   │   ├── per_token_matmul_template.py
│   │   ├── utils
│   │   │   └── config.py
│   │   └── wrapper_code_gen.py
│   └── wrapper # 自动生成
│       ├── per_token_matmul_kernel_int8_t_layout00.cpp # 自动生成
│       ├── per_token_matmul_kernel_int8_t_layout01.cpp # 自动生成
│       ├── per_token_matmul_kernel_int8_t_layout10.cpp # 自动生成
│       ├── per_token_matmul_kernel_int8_t_layout11.cpp # 自动生成
└── include
    ├── do_tiling_b8.h
    ├── dynamic_optimized_matmul_w8a8.h
    ├── launch_map.h # 自动生成
    ├── platform_info.h
    ├── select_kernel_b8.h
    ├── tiling_params.h
    └── utils.h

2.2 模板文档

模板名称	说明
PerTokenBasicMatmul	PerToken 基础模板（文档待补充...）

2.3 约束说明

• A、B矩阵的数据类型支持int8。
• C矩阵的数据类型支持fp16。
• A、B、C矩阵的数据格式支持ND（RowMajor和ColumnMajor）。

使用示例

• 获取代码之后编译相应的算子可执行文件，可参考quickstart
• 执行算子

编译指定用例

bash scripts/build.sh 103_dynamic_optimized_quant_matmul_per_token_basic
export LD_LIBRARY_PATH=/path/to/catlass/output/shared_lib/lib/:$LD_LIBRARY_PATH
cd output/bin
# 可执行文件名 |矩阵m轴|n轴|k轴|LayoutA|LayoutB|Device ID
# 0 is RowMajor, 1 is ColumnMajor
./103_dynamic_optimized_quant_matmul_per_token_basic 256 512 1024 0 1 0

执行结果如下，说明精度比对成功。

Compare success.

如果需要进行批量性能测试，请注释掉精度比较代码，由于精度比较使用CPU计算golden，耗时较长。

---

当前样例输出数据类型为fp16，如需修改为bf16，请进行以下代码修改后重新编译执行：

• 在examples/103_dynamic_optimized_quant_matmul_per_token_basic/include/do_tiling_b8.h中，将所有DoTilingB8LayoutXX函数中使用的fp16_t替换为bfloat16。
• 在examples/103_dynamic_optimized_quant_matmul_per_token_basic/dynamic_optimized_quant_matmul_per_token_basic.cpp中，搜索fp16_t替换为bfloat16。
• 在examples/103_dynamic_optimized_quant_matmul_per_token_basic/impl/scripts/per_token_matmul_template.py中，将element_c由half替换为bfloat16_t。