Pull Request has been successfully merged by CANN-robot.
(Thank you for wangzitao's contribution.)变更摘要
本次变更围绕 Ascend960(DAV_9201/DAV_9202)HIF4 场景的 StreamK/Blaze 路由与 tiling key 整理:在 tensor-api 已适配 HIF4 scale 奇数坐标的前提下,移除 HIF4 baseK 必须为 64 偶数倍的 Blaze 限制及冗余的 IsHif4BlazeCapable 判断,使 HIF4 可正常进入 StreamK Blaze 路径;同时按架构重新划分 HIF4 tiling key 注册范围,并在内核侧补上 9201 batchC>1 的 Blaze 入口与 CMCT 分支的 BATCHMODE/APILEVEL 约束。
主要改动
- 移除 HIF4 baseK 偶数倍限制: 删除
QuantBatchMatmulInplaceAddMXBasicAPITiling::DoLibApiTiling中对baseK必须为MXFP_DIVISOR_SIZE * 2偶数倍的校验报错,以及adaptive_sliding_window_mx_basic_api_tiling中IsHif4BlazeCapable的声明与实现,IsWithoutBatchTilingData与GetApiLevel改为仅按IsTensorApiEnabled()和架构(DAV_3510/DAV_9201)判断是否走 Blaze。 - HIF4 纳入 StreamK 量化分流:
QBMMV3StreamKTiling960::IsCapable的量化能力判断新增inputParams_.isHif4PerGroup,使 HIF4 per-group 场景可进入 StreamK Blaze 路径。 - 按架构拆分 HIF4 tiling key 注册: 在
quant_batch_matmul_v3_apt_tiling_key.h中为 9201 保留/新增WITHOUT_BATCH + BLAZE(kernel type 0/1)与WITH_BATCH + BLAZE(仅TPL_NO_VEC_EPILOGUE_WITH_MMAPI,batch>1 不启用 A full load),并统一保留WITH_BATCH + BASIC的 CMCT basic 组合供 9201 fallback 与 9202 使用,删除原先 9202 不可达的注册。 - 补充 9201 batch Blaze 内核入口:
quant_batch_matmul_v3.cpp中新增TPL_WITH_BATCH + TPL_NO_VEC_EPILOGUE_WITH_MMAPI + TPL_API_LEVEL_BLAZE分支,实例化QUANT_BMMV3_MX_BLAZE_IMPL_CLASS;并对 9201 及非 9201 分支的QUANT_BMMV3_MX_CMCT_IMPL_CLASS入口补充TPL_BATCHMODE == TPL_WITH_BATCH与TPL_API_LEVEL_BASIC约束,使内核分支与 tiling key 对齐。
🧩 本次 Review 已使用自定义 Skill:


代码审查
检视结论
各文件检视情况
| 文件 | 结论 |
|---|---|
matmul/quant_batch_matmul_inplace_add/op_host/op_tiling/quant_batch_matmul_inplace_add_mx_basic_api_tiling.cpp |
无问题(删除的 baseK 检查在 IsCapable→IsMxBasicApiCapable() 含 hif4 时确实可命中,但基类侧同步解除了限制,useWithoutBatchTilingData_ 数据不再空白,删除自洽;UpdateTilingData/CopyV3WithoutBatchTilingData 的拷贝路径不受影响) |
matmul/quant_batch_matmul_v3/op_host/op_tiling/arch35/adaptive_sliding_window_mx_basic_api_tiling.cpp |
1 个 P3:解除 baseK 128 对齐限制后缺少与 hif4 crd2idx 修复版本对齐的门禁 |
matmul/quant_batch_matmul_v3/op_host/op_tiling/arch35/adaptive_sliding_window_mx_basic_api_tiling.h |
无问题(IsHif4BlazeCapable 声明已同步删除,全仓无残留引用) |
matmul/quant_batch_matmul_v3/op_host/op_tiling/arch35/qbmm_streamk_tiling_960.cpp |
1 个 P3:接纳 hif4 时缺少 x2 布局(ND)前提校验 |
matmul/quant_batch_matmul_v3/op_kernel/arch35/quant_batch_matmul_v3.cpp |
1 个 P2:新增 9201 batch Blaze 入口缺少 tiling key 三方一致性测试;另外与 key 注册表核对后,9201/9202 的 hif4 可下发 key(WITHOUT_BATCH+BLAZE {0,1}、WITH_BATCH+BLAZE {0}、WITH_BATCH+BASIC {0,1}、WITHOUT_BATCH+STREAMK+BLAZE)均有对应 kernel 分支,未发现缺口 |
matmul/quant_batch_matmul_v3/op_kernel/arch35/quant_batch_matmul_v3_apt_tiling_key.h |
1 个 P3:WITH_BATCH+BLAZE 仅注册 kerneltype 0,与 host 侧 GetKernelType() 缺少显式不变量兜底 |
计数
- P0/P1:0
- P2:1(新增路由缺少 tiling key 一致性测试)
- P3:3(kerneltype 注册不变量、StreamK hif4 布局前提、hif4 奇数 baseK 版本门禁)
总体风险判断
改动整体自洽:host 侧 IsWithoutBatchTilingData/GetApiLevel 的架构收窄、按架构拆分的 hif4 tiling key 注册与 kernel 新增的 WITH_BATCH+BLAZE 入口,在 9201/9202 的可下发 key 集合上互相对齐,isAFullLoad_ 要求 batchC == 1 也使“batch Blaze 仅有 kerneltype 0”这一限制在当前逻辑下成立,未发现会导致编译失败或必现数值错误的问题。主要风险集中在静默失败面:kernel 的 if-constexpr 链无兜底分支,key 未注册/未实现时会编出空 kernel 而不报错,而本 PR 明确“未进行设备侧数值验证”,因此建议合并前补齐上述 tiling key 断言类测试,并确认 hif4 奇数坐标 crd2idx 支持所属的最小 devkit 版本与 IsTensorapiCapable() 的 9.1.0 门禁一致。
| 类型 | 数量 |
|---|---|
| 🔴 阻塞 | 0 |
| 🟡 建议 | 1 |
💬 仅评论
🧩 本次 Review 已使用自定义 Skill:


/approve


Pull Request 已合并或已关闭。
If you want to solve this problem, you can click here to do it in the FAQs.


描述
改动原因
tensor-api crd2idx 已适配 HIF4 scale 的奇数坐标,baseK 不再要求 64 的偶数倍(128 对齐)。同时梳理 Ascend960(DAV_9201/DAV_9202)HIF4 的 StreamK/Blaze 路由与 tiling key,发现存在不可达注册,且缺少 9201 batchC>1 的
WITH_BATCH+BLAZEkey 与 kernel 入口。改动方法
AdaptiveSlidingWindowMXBasicAPITiling中 HIF4 baseK 必须为 64 偶数倍的 Blaze 限制,并删除冗余的IsHif4BlazeCapable判断;IsCapable纳入isHif4PerGroup,HIF4 可进入 StreamK Blaze;WITHOUT_BATCH+BLAZE、WITH_BATCH+BASIC,新增 batchC>1 的WITH_BATCH+BLAZE;9202 仅保留WITH_BATCH+BASIC,删除不可达注册;BATCHMODE与APILEVEL约束。关联的Issue
Closes #7549
https://gitcode.com/cann/ops-nn/issues/7549
测试
文档更新
无
类型标签
AI/Agent生成声明