Tiling (分块) 操作样例
本目录包含 PyPTO 中 Tiling 配置操作的使用示例，涵盖了 Cube Tiling 和 Vector Tiling。
总览介绍
Tiling 是昇腾 NPU 性能优化的核心。通过合理地划分张量分块，可以最大化硬件单元（如 Cube 单元和 Vector 单元）的并行利用率，并优化内存访问模式。
样例涵盖以下内容：
- Cube Tile Shapes: 专为矩阵乘法（Cube 运算）设计的 Tiling 配置。
- Vector Tile Shapes: 专为逐元素运算和向量运算设计的 Tiling 配置。
代码文件说明
tiling_config.py: 包含所有 Tiling 配置相关的示例。test_set_cube_tile_shapes_basic: Cube Tiling 基础用法。test_set_vec_tile_shapes_basic: Vector Tiling 基础用法。test_different_tile_shapes_on_results: 验证不同 Tiling 形状下计算结果的一致性。test_different_tile_shapes_on_runtime: 展示不同 Tiling 配置对运行性能的影响。
运行方法
环境准备
# 配置 CANN 环境变量
# 安装完成后请配置环境变量，请用户根据set_env.sh的实际路径执行如下命令。
# 上述环境变量配置只在当前窗口生效，用户可以按需将以上命令写入环境变量配置文件（如.bashrc文件）。
# 默认路径安装，以root用户为例（非root用户，将/usr/local替换为${HOME}）
source /usr/local/Ascend/ascend-toolkit/set_env.sh
# 设置设备 ID
export TILE_FWK_DEVICE_ID=0
运行样例
# 运行所有 Tiling 相关的示例
python3 tiling_config.py
# 列出所有可用的 Tiling 用例
python3 tiling_config.py --list
# 运行特定的用例
python3 tiling_config.py cube_tile::test_set_cube_tile_shapes_basic
核心 API 与概念
1. Cube Tiling (矩阵乘法)
Cube Tiling 配置三个维度的分块大小：M、K 和 N。
# 设置 Cube Tile 形状：[M_tile], [K_tile], [N_tile]
pypto.set_cube_tile_shapes([32, 32], [64, 64], [64, 64])
2. Vector Tiling (向量/逐元素运算)
Vector Tiling 的分块数量必须与张量的维度（1-4维）匹配。
# 设置 3 维张量的 Vector Tile 形状
pypto.set_vec_tile_shapes(1, 2, 8)
3. Tiling 对性能的影响
- 一致性: 无论如何划分 Tiling，最终的计算结果应当保持一致。
- 性能: 合理的 Tiling 形状可以显著减少 L1/L0 缓存与 Global Memory 之间的数据搬运次数，提升计算单元的利用率。
最佳实践
- 匹配算子类型: 矩阵运算使用 Cube Tiling，向量运算使用 Vector Tiling。
- 对齐硬件: 昇腾 NPU 硬件通常有特定的对齐要求（如 16x16 或 32x32），Tiling 形状建议参考硬件架构规格。
- 动态调整: 在开发复杂算子时，可以通过实验不同的 Tiling 组合来找到性能最优解。
注意事项
- Tiling 配置必须在 JIT 内核函数内部、实际计算发生之前进行。
- 验证分块大小时，请确保分块形状不大于张量的实际形状（除非开启了自动 Padding 机制）。