Closed
[L3] quant_flash_attn:experimental 的 C++ quant_mode 常量自称「与 cann_ops_transformer/ops/quant_flash_attn.py 的 QuantMode 对齐」,实际 4 个值各差一档且少一个成员;README 跟随头文件却又把用户指向主线枚举 #6295
eieieiAdd on  28 days agoClosed at  15 days ago
eieiei
eieiei
28 days ago Create

结论

experimental/attention/quant_flash_attn/op_host/quant_flash_attn_tiling_info.h 第 91 行自己声明与主线 Python 枚举对齐,但第 93–102 行的取值与该枚举有 4 个成员各差一档,并且缺少 1 个成员;实验 README 的枚举表跟随头文件(所以与头文件自洽),却在第 141 行告诉用户「枚举定义于 cann_ops_transformer.ops.quant_flash_attn」(即主线那份)。同一个实验算子的对外文档因此同时给出两套编号。

我没有修改任何文件:到底以哪一侧为准需要实现方判断(见文末三种)。

三份来源实测对照(全部取自 upstream/master)

枚举名 主线 Python QuantMode 实验 C++ constexpr 实验 README
A8C8_QKV_MXFP8_P_FP8_E4M3_PER_TENSOR_SOFTMAX_FP32 1 1 1
A8C8_QKV_MXFP8_P_MXFP8_SOFTMAX_FP32 2 2 2
A8C8_QKV_MXFP8_P_FP8_E4M3_PER_TENSOR_SOFTMAX_FP16 3 3 3
A8C8_QKV_MXFP8_P_MXFP8_SOFTMAX_FP16 4 4 4
A4C4_QKV_MXFP4_P_MXFP4_SOFTMAX_FP16 5 5 5
A8C8_QK_FP8_E4M3_PER_TOKEN_HEAD_..._SOFTMAX_FP32 6 6 6
A8C8_QKV_HIF8_PER_TENSOR_P_FP8_E4M3_PER_TENSOR_SOFTMAX_FP32 0 7 7
A4C4_QKV_HIF4_P_HIF4_LEVEL1_SOFTMAX_FP16 7 8 8
A4C4_QKV_HIF4_P_HIF4_LEVEL2_SOFTMAX_FP16 8 9 9
A4C4_QKV_HIF4_P_HIF4_LEVEL3_SOFTMAX_FP16 9 10 10
A4C4_QKV_HIF4_P_FP8_E4M3_SOFTMAX_FP16 10 无此常量 无此行

前 6 行完全一致,问题从 HIF8 这一项开始:主线把它定为 0,实验侧把它插到 7 的位置,于是后面三个 HIF4_LEVEL* 整体被推高一档,主线值为 10 的那一项在实验侧完全不存在。

锚点(文件:行号)

  • 自我声明与取值:experimental/attention/quant_flash_attn/op_host/quant_flash_attn_tiling_info.h:91(注释原文:// 对外 quant_mode 取值,与 cann_ops_transformer/ops/quant_flash_attn.py 的 QuantMode IntEnum 对齐。)、:93-102
  • 主线枚举真值:attention/quant_flash_attn/torch_extension/quant_flash_attn.py:24(class QuantMode(IntEnum))、:27(A8C8_QKV_HIF8_... = 0)、:34-37(LEVEL1=7 / LEVEL2=8 / LEVEL3=9 / A4C4_QKV_HIF4_P_FP8_E4M3_SOFTMAX_FP16 = 10)
  • 实验 README:experimental/attention/quant_flash_attn/README.md:141(指向主线包名)、:153-156(用 7/8/9/10 那套)
  • 主线文档与主线代码自洽,可作为对照基准:attention/quant_flash_attn/docs/torchapi_quant_flash_attn.md:162 起的枚举表里 HIF8 记的是 0

打包关系证据(为什么「cann_ops_transformer/ops/quant_flash_attn.py」就是上面那份主线文件)

仓内包根是 torch_extension/cann_ops_transformer/,各算子的 attention/<op>/torch_extension/<op>.py 被装配成 cann_ops_transformer.ops.<op>。同一模式的直接例子:attention/block_attn_res_prepare/tests/assets/spec.py:39 写着 "cann_ops_transformer.ops.block_attn_res_prepare": "BlockAttnResPrepareE2ETestSpec",而该模块正是 attention/block_attn_res_prepare/torch_extension/block_attn_res_prepare.py(其内部 from cann_ops_transformer.op_builder import ...)。

复核:

git ls-tree -r --name-only upstream/master | grep -c cann_ops_transformer
git grep -n 'cann_ops_transformer.ops.block_attn_res_prepare' upstream/master -- '*spec.py'

关于危害范围,我不夸大

头文件第 92 行同时写明:「全部取值均通过单参数校验;其中仅 1(MXFP8)/5(MXFP4) 已实现,其余在一致性/特性交叉校验中报错」。也就是说今天有人按文档传 8 或 10,会在交叉校验阶段报错,不会静默算错——所以我把它定为潜在缺陷而非当前可触发的错误结果。

真正的风险窗口在这些档位陆续实现之后:用户按实验 README 传 quant_mode=10 想要 LEVEL3,而按主线枚举 10 是 A4C4_QKV_HIF4_P_FP8_E4M3_SOFTMAX_FP16;届时如果交叉校验放开,就会走错档且没有任何一层会报错——两侧只是把数字解释成不同模式。另外文档层面现在是已经在误导的:同一算子两份 README 给出不同的数字表,且实验那份把读者指向一个与自己表格数值不同的定义处。

请维护者定方向(三选一,我没有替你选)

  • A:以主线 Python QuantMode 为准(0=HIF8,7/8/9=LEVEL1/2/3,10=HIF4_P_FP8_E4M3)⇒ 需改实验头文件常量与实验 README 表格,并补齐 10 对应的常量。若算子侧(kernel/AICPU 的 enum class QuantMode,同文件 120 行起)另有编号约定,则需一并核对该枚举,这条我不静态判定。
  • B:以实验 C++ 常量为准 ⇒ 需改主线 Python 枚举与主线文档;这会改变已发布 Python 接口的整数值语义,风险更大。
  • C:两侧本就应不同(实验分支独立编号)⇒ 那么至少要做两件事:删掉/改写第 91 行那句「与 … 对齐」的声明(它现在是错的),并在实验 README 第 141 行不再指向主线包名,同时补上缺失的那一档说明。

定向后可提交最小 PR:只动点名的 4 个文件里的枚举数值与一句误导注释,不做任何无关整理。

likedislike
周云飞周云飞Collaborators
27 days ago Assign cardiac_index as responsible person
周云飞
周云飞Collaborators
27 days ago Comments:

感谢详细对照,也感谢明确区分文档不一致与当前计算错误。

主线 Python 的 QuantMode 确实定义为:HIF8=0、HIF4 LEVEL1/2/3=7/8/9、HIF4_P_FP8_E4M3=10;_resolve_quant_mode 会将这些编号传给算子侧。结合您提供的实验头文件和 README 对照,“与主线对齐”的说明与实验编号存在冲突。不过,目前尚不能据此认定会静默算错;您提到的交叉校验拦截行为仍需结合实验实现确认。

若实验接口确实要复用主线枚举,优先考虑方案 A:对齐实验侧对外常量和 README,补齐缺失成员,并核对向 kernel/AICPU 内部枚举的映射。补齐常量不代表该模式已经支持。若两侧有意独立编号,则可采用方案 C,明确各自适用的接口、编号和未支持模式,避免继续引导用户混用。方案 B 会改变主线 Python 整数参数的含义,不宜仅为对齐实验侧而直接采用。

具体方向还需确认实验接口的兼容要求和内部映射,暂不把改动范围限定为枚举数值与文档。

likedislike
WwangjianhaoCollaborators
16 days ago Associated pull request
CANN-robotCANN-robotCollaborators
15 days ago Close issue
CANN-robotCANN-robotCollaborators
15 days ago Added label: resolved
周云飞
周云飞Collaborators
5 days ago Comments:

已通过 PR #14981 调整 experimental quant_flash_attn 的 C++ quant_mode 常量,并同步更新 README 枚举表:

  • HIF8 的值由 7 调整为 0;HIF4 Level 1、2、3 分别调整为 7、8、9。
  • 补充 A4C4_QKV_HIF4_P_FP8_E4M3_SOFTMAX_FP16,值为 10。

关联 PR:PR #14981

likedislike