文件	最后提交记录	最后更新时间
CMakeLists.txt	add Ascend950_batched_matmul/grouped_matmul_slice_m_fixpipe_dequant; add 59, 61, 67, 70 for torch_catlass Co-authored-by: CheaterAbec<niyuhao2@huawei.com> Co-authored-by: init__zhb__<zhanghaobo6@huawei.com> # message auto-generated for no-merge-commit merge: !706 merge master into master add Ascend950_batched_matmul/grouped_matmul_slice_m_fixpipe_dequant; add 59, 61, 67, 70 for torch_catlass Created-by: CheaterAbec Commit-by: CheaterAbec;init__zhb__ Merged-by: cann-robot Description: ## 描述 <!--在这里详细描述你的改动，包括改动的原因和所采取的方法。--> 新增ascend950代际的batched_matmul和grouped_matmul_slice_m_fixpipe_dequant算子样例新增torch_catlass 59，61算子样例接口 ## 关联的Issue <!-- 如果这个PR是为了解决特定的Issue，请在这里提供Issue链接。--> ## 原因 <!--说明此次改动的目的、解决的问题等，应与类型标签匹配 --> ## 测试 <!--描述进行了哪些测试来验证你的改动。包括但不限于二级冒烟、算子泛化等。--> ## 文档更新 <!--如果这个PR包含文档的更新，请在这里指出。例如：更新了README.md文件。--> ## 类型标签 <!-- [x] 表示选中 --> - [ ] Bug修复 - [ ] 新特性 - [ ] 性能优化 - [ ] 文档更新 - [ ] 其他，请描述： See merge request: cann/catlass!706	2 个月前
README.md	部分文档关于样例ascend950支持情况的描述更新 Co-authored-by: sunhao_hw<sunhao203@huawei.com> # message auto-generated for no-merge-commit merge: !946 merge debug into master 部分文档关于样例ascend950支持情况的描述更新 Created-by: sunhao_hw Commit-by: sunhao_hw Merged-by: cann-robot Description: ## 描述 <!--在这里详细描述你的改动，包括改动的原因和所采取的方法。--> - 在01_quick_start文档中强调名称不带acend950样例的文档仅支持Atlas A2/A3 - 67_ascend950_batched_matmul样例的README未增加ascend950对应编译选项 ## 关联的Issue <!-- 如果这个PR是为了解决特定的Issue，请在这里提供Issue链接。--> ## 原因 <!--说明此次改动的目的、解决的问题等，应与类型标签匹配 --> ## 测试 <!--描述进行了哪些测试来验证你的改动。包括但不限于二级冒烟、算子泛化等。--> ## 文档更新 <!--如果这个PR包含文档的更新，请在这里指出。例如：更新了README.md文件。--> ## 类型标签 <!-- [x] 表示选中 --> - [ ] Bug修复 - [ ] 新特性 - [ ] 性能优化 - [x] 文档更新 - [ ] 其他，请描述： See merge request: cann/catlass!946	1 个月前
batched_matmul_tla.cpp	用pre-commit刷新主要文件的格式 Co-authored-by: Yuan Tao<yuantao313@outlook.com> Co-authored-by: yuantao<taoyuan18@huawei.com> # message auto-generated for no-merge-commit merge: !874 merge precommit into master 用pre-commit刷新主要文件的格式 Created-by: yuantao_ Commit-by: yuantao;Yuan Tao Merged-by: cann-robot Description: ## 描述刷新主要文件的格式，并补充关键字检查项，保证pre-commit能够通过 <!--在这里详细描述你的改动，包括改动的原因和所采取的方法。--> ## 关联的Issue <!-- 如果这个PR是为了解决特定的Issue，请在这里提供Issue链接。--> ## 原因 <!--说明此次改动的目的、解决的问题等，应与类型标签匹配 --> ## 测试 <!--描述进行了哪些测试来验证你的改动。包括但不限于二级冒烟、算子泛化等。--> ## 文档更新 <!--如果这个PR包含文档的更新，请在这里指出。例如：更新了README.md文件。--> ## 类型标签 <!-- [x] 表示选中 --> - [ ] Bug修复 - [ ] 新特性 - [ ] 性能优化 - [ ] 文档更新 - [ ] 其他，请描述： See merge request: cann/catlass!874	1 个月前

67_ascend950_batched_matmul

代码组织

├── 67_ascend950_batched_matmul
│   ├── CMakeLists.txt     # CMake编译文件
│   ├── README.md
│   └── batched_matmul.cpp # 主文件

使用示例

获取代码之后编译相应的算子可执行文件，可参考quickstart
执行算子

# 编译指定用例
bash scripts/build.sh 67_ascend950_batched_matmul -DCATLASS_ARCH=3510
cd output/bin
# 基本用法：可执行文件名 batch轴|m轴|n轴|k轴|Device ID
# Device ID 可选，默认为0
./67_ascend950_batched_matmul 5 256 512 1024 0

使用说明

BatchedMatmul当前支持的DispatchPolicy有MmadPingpong和MmadMultiBatch两种。

MmadPingpong

DispatchPolicy MmadPingpong支持以下几个模板参数：

模板参数	默认值	参数说明
ArchTag	无	指定架构型号
enableUnitFlag	false	是否开启Unitflag，开启L0C多缓冲时必须设置为false
useHF32	false	是否开启HF32，仅float类型支持
l0CStages	1	指定L0C的缓冲区数量，设置为2即可开启L0C双缓冲
enableL1Resident	false	是否开启L1常驻

MmadMultiBatch

DispatchPolicy MmadMultiBatch支持以下几个模板参数：

模板参数	默认值	参数说明
ArchTag	无	指定架构型号
useHF32	false	是否开启HF32，仅float类型支持
l0CStages	2	指定L0C的缓冲区数量，设置为2即可开启L0C双缓冲

当前L0A、L0B与L0C的缓冲区数量支持分开设置，默认情况下L0A、L0B与L0C的Stages都设置为2，开启Double Buffer。以下情况可尝试将l0CStages调大，开启多缓冲：

设矩阵Shape为M N K, L0上的分块大小为m0 n0 k0，L0A的分块大小l0ATileSize = m0 * k0 * sizeof(ElementA), L0B的分块大小l0BTileSize = n0 * k0 * sizeof(ElementB), L0C的分块大小l0CTileSize = m0 * n0 * sizeof(ElementC)。

则L0A一次能放下的batch数l0ABatches = L0A_SIZE / l0ABStages / l0ATileSize，L0B一次能放下的batch数l0BBatches = L0B_SIZE / l0ABStages / l0BTileSize，L0C一次能放下的batch数l0CBatches = L0C_SIZE / l0CStages / l0CTileSize。

当l0CBatches明显大于l0ABatches与l0BBatches时，可考虑将l0CStages调大，开启多缓冲。