Merged
fix/a6-kc-quant-core-ratio #14301
fix/a6-kc-quant-core-ratio #14301
Merged
huangyuxiaaaaaAdd on 28 days ago
huangyuxiaaaaa
huangyuxiaaaaaCollaborators
28 days ago

描述

all2allmm和mmall2all算子在A6上跑kc量化场景会出现卡死,修改相关核配比后精度pass

关联的Issue

测试

A5 RDV已过,上板精度pass

文档更新

类型标签

MC2 专项代码检视意见

针对 PR cann/ops-transformer#14301 的 MC2 变更完成专项静态检视。

  • 检视 revision:2d715c31d8cc54973a6450f3fb773f8ed118844c
  • 对比基线:upstream/master,merge-base 2734189379775d7d39dcf5f823eebff27c87b7ef
  • 变更范围:3 个文件,55 行新增、36 行删除
  • 目标:适配 A6(__NPU_ARCH__ == 9201)C:V=1:1,同时保留其他架构 C:V=1:2

检视结论

未发现阻塞合入的问题。

本次修改在同一编译期架构条件下统一处理了以下三组依赖关系:

  1. QBMM KC 动态量化 kernel 的跨核同步、AIV 到 AIC 的 block 映射、单核 M 切分均使用 CV_RATIO。A6 只等待/通知一个 AIV,其他架构维持两个 AIV,未发现等待与通知数量不匹配。
  2. FP8 per-token 动态量化的可用 AIV 核数改为 GetBlockNum() * AIV_TO_AIC_RATIO,A6 使用 1,其他架构使用 2,与实际 C:V 配比一致。
  3. MatmulAlltoAll 原生路径的 non-quant、KC 和 MX tiling key 在 A6 选择 ASCENDC_TPL_MIX_AIC_1_1,其他架构继续选择 ASCENDC_TPL_MIX_AIC_1_2;APACE 路径仍保持 ASCENDC_TPL_AIC_ONLY。

关键证据

  • mc2/3rd/quant_batch_matmul_v3/op_kernel/quant_batch_matmul_v3_base.h:52-57:CV_RATIO 在 9201 上为 1,其余架构为 2。
  • mc2/3rd/quant_batch_matmul_v3/op_kernel/arch35/qbmm_mix_online_dynamic.h:97-109:第二组 AIC/AIV 同步仅在 CV_RATIO == 2 时执行。
  • mc2/3rd/quant_batch_matmul_v3/op_kernel/arch35/qbmm_mix_online_dynamic.h:160-164:AIV block 映射按 CV_RATIO 计算。
  • mc2/3rd/quant_batch_matmul_v3/op_kernel/arch35/qbmm_mix_online_dynamic.h:348-359,394-409:dequant 和 GM→UB 搬运使用相同的 M 切分及偏移计算。
  • mc2/common/op_kernel/mc2_templates/quantization/fp8/fp8_dynamic_quant_pertoken.h:51-55,177-178:动态量化参与核数按架构配比计算。
  • mc2/matmul_allto_all/op_kernel/arch35/matmul_allto_all_tiling_key.h:39-43,64-86:A6 的三种原生模式统一选用 1:1 kernel type。

本地检查

  • pre-commit:通过;trailing whitespace、EOF、merge conflict、private key、clang-format、codespell、duplicate header、OAT 等适用检查全部通过。
  • git diff --check upstream/master...HEAD:通过。
  • 工作区状态:clean,当前分支与 origin/fix/a6-kc-quant-core-ratio 一致。

建议的动态验证

本地 Windows 环境不具备 A6 CANN 编译与多卡运行条件,建议合入前在 960DT(9201)补充以下验证:

  1. AlltoAllMatmul KC 动态量化:覆盖 singleCoreM=1、奇数 M、M 小于 AIC 核数、M 大于 AIC 核数,检查结果精度及无卡死。
  2. MatmulAlltoAll KC 动态量化:覆盖同一组边界,并检查通信与计算流水能够正常结束。
  3. MatmulAlltoAll non-quant 与 MX:各跑一个基本用例,确认新增 1:1 tiling key 在 A6 上能够正确编译和调度。
  4. A5 回归:至少执行一个 KC 动态量化用例,确认 1:2 分支行为保持不变。

本报告为静态代码检视和本地规范检查结论;A6 多卡运行结果需要由目标环境验证补齐。

likedislike
Pull Request has been successfully merged by CANN-robot.
(Thank you for huangyuxiaaaaa's contribution.)
huangyuxiaaaaahuangyuxiaaaaaCollaborators
28 days ago Created pull request, commit 27341893
huangyuxiaaaaahuangyuxiaaaaaCollaborators
28 days ago Pre merge succeeded (commit_id: cd2fc07932bfa4f5a11a0abdc92eb915ac7190f1)
huangyuxiaaaaahuangyuxiaaaaaCollaborators
28 days ago Force-pushed 38 commits:27341893-37 commits from branch master,040c5069-fix(mc2): use arch-specific core ratio for KC quantization
huangyuxiaaaaahuangyuxiaaaaaCollaborators
28 days ago Pre merge succeeded (commit_id: b9d6e918bbb78a6d9f79fc6eda41cbbad211e321)
CANN-robotCANN-robotCollaborators
28 days ago Added label: cann-cla/yes
56 messages are collapsed here。 See more
CANN-robotCANN-robotCollaborators
26 days ago Added label: approved
huangshuai59Collaborators
26 days ago Comments:

/lgtm

likedislike
CANN-robot
CANN-robotCollaborators
26 days ago Comments:

The following users do not have permission to comment /lgtm or /approve on any module in this PR:
/approve: 蔡雯雯
/lgtm: 蔡雯雯

likedislike
CANN-robotCANN-robotCollaborators
26 days ago Added label: lgtm
CANN-robotCANN-robotCollaborators
26 days ago Merged pull request