Closed
[L3] quant_flash_attn:experimental 的 C++ quant_mode 常量自称「与 cann_ops_transformer/ops/quant_flash_attn.py 的 QuantMode 对齐」,实际 4 个值各差一档且少一个成员;README 跟随头文件却又把用户指向主线枚举 #6295
eieieiAdd on 28 days agoClosed at 15 days ago
27 days ago Assign cardiac_index as responsible person
周云飞
27 days ago Comments:
27 days ago Comments:
感谢详细对照,也感谢明确区分文档不一致与当前计算错误。
主线 Python 的 QuantMode 确实定义为:HIF8=0、HIF4 LEVEL1/2/3=7/8/9、HIF4_P_FP8_E4M3=10;_resolve_quant_mode 会将这些编号传给算子侧。结合您提供的实验头文件和 README 对照,“与主线对齐”的说明与实验编号存在冲突。不过,目前尚不能据此认定会静默算错;您提到的交叉校验拦截行为仍需结合实验实现确认。
若实验接口确实要复用主线枚举,优先考虑方案 A:对齐实验侧对外常量和 README,补齐缺失成员,并核对向 kernel/AICPU 内部枚举的映射。补齐常量不代表该模式已经支持。若两侧有意独立编号,则可采用方案 C,明确各自适用的接口、编号和未支持模式,避免继续引导用户混用。方案 B 会改变主线 Python 整数参数的含义,不宜仅为对齐实验侧而直接采用。
具体方向还需确认实验接口的兼容要求和内部映射,暂不把改动范围限定为枚举数值与文档。


16 days ago Associated pull request
15 days ago Close issue
15 days ago Added label: resolved
结论
experimental/attention/quant_flash_attn/op_host/quant_flash_attn_tiling_info.h第 91 行自己声明与主线 Python 枚举对齐,但第 93–102 行的取值与该枚举有 4 个成员各差一档,并且缺少 1 个成员;实验 README 的枚举表跟随头文件(所以与头文件自洽),却在第 141 行告诉用户「枚举定义于cann_ops_transformer.ops.quant_flash_attn」(即主线那份)。同一个实验算子的对外文档因此同时给出两套编号。我没有修改任何文件:到底以哪一侧为准需要实现方判断(见文末三种)。
三份来源实测对照(全部取自 upstream/master)
QuantModeconstexprA8C8_QKV_MXFP8_P_FP8_E4M3_PER_TENSOR_SOFTMAX_FP32A8C8_QKV_MXFP8_P_MXFP8_SOFTMAX_FP32A8C8_QKV_MXFP8_P_FP8_E4M3_PER_TENSOR_SOFTMAX_FP16A8C8_QKV_MXFP8_P_MXFP8_SOFTMAX_FP16A4C4_QKV_MXFP4_P_MXFP4_SOFTMAX_FP16A8C8_QK_FP8_E4M3_PER_TOKEN_HEAD_..._SOFTMAX_FP32A8C8_QKV_HIF8_PER_TENSOR_P_FP8_E4M3_PER_TENSOR_SOFTMAX_FP32A4C4_QKV_HIF4_P_HIF4_LEVEL1_SOFTMAX_FP16A4C4_QKV_HIF4_P_HIF4_LEVEL2_SOFTMAX_FP16A4C4_QKV_HIF4_P_HIF4_LEVEL3_SOFTMAX_FP16A4C4_QKV_HIF4_P_FP8_E4M3_SOFTMAX_FP16前 6 行完全一致,问题从
HIF8这一项开始:主线把它定为 0,实验侧把它插到 7 的位置,于是后面三个HIF4_LEVEL*整体被推高一档,主线值为 10 的那一项在实验侧完全不存在。锚点(文件:行号)
experimental/attention/quant_flash_attn/op_host/quant_flash_attn_tiling_info.h:91(注释原文:// 对外 quant_mode 取值,与 cann_ops_transformer/ops/quant_flash_attn.py 的 QuantMode IntEnum 对齐。)、:93-102attention/quant_flash_attn/torch_extension/quant_flash_attn.py:24(class QuantMode(IntEnum))、:27(A8C8_QKV_HIF8_... = 0)、:34-37(LEVEL1=7 / LEVEL2=8 / LEVEL3=9 /A4C4_QKV_HIF4_P_FP8_E4M3_SOFTMAX_FP16 = 10)experimental/attention/quant_flash_attn/README.md:141(指向主线包名)、:153-156(用 7/8/9/10 那套)attention/quant_flash_attn/docs/torchapi_quant_flash_attn.md:162起的枚举表里HIF8记的是 0打包关系证据(为什么「cann_ops_transformer/ops/quant_flash_attn.py」就是上面那份主线文件)
仓内包根是
torch_extension/cann_ops_transformer/,各算子的attention/<op>/torch_extension/<op>.py被装配成cann_ops_transformer.ops.<op>。同一模式的直接例子:attention/block_attn_res_prepare/tests/assets/spec.py:39写着"cann_ops_transformer.ops.block_attn_res_prepare": "BlockAttnResPrepareE2ETestSpec",而该模块正是attention/block_attn_res_prepare/torch_extension/block_attn_res_prepare.py(其内部from cann_ops_transformer.op_builder import ...)。复核:
git ls-tree -r --name-only upstream/master | grep -c cann_ops_transformer git grep -n 'cann_ops_transformer.ops.block_attn_res_prepare' upstream/master -- '*spec.py'关于危害范围,我不夸大
头文件第 92 行同时写明:「全部取值均通过单参数校验;其中仅 1(MXFP8)/5(MXFP4) 已实现,其余在一致性/特性交叉校验中报错」。也就是说今天有人按文档传 8 或 10,会在交叉校验阶段报错,不会静默算错——所以我把它定为潜在缺陷而非当前可触发的错误结果。
真正的风险窗口在这些档位陆续实现之后:用户按实验 README 传
quant_mode=10想要LEVEL3,而按主线枚举 10 是A4C4_QKV_HIF4_P_FP8_E4M3_SOFTMAX_FP16;届时如果交叉校验放开,就会走错档且没有任何一层会报错——两侧只是把数字解释成不同模式。另外文档层面现在是已经在误导的:同一算子两份 README 给出不同的数字表,且实验那份把读者指向一个与自己表格数值不同的定义处。请维护者定方向(三选一,我没有替你选)
QuantMode为准(0=HIF8,7/8/9=LEVEL1/2/3,10=HIF4_P_FP8_E4M3)⇒ 需改实验头文件常量与实验 README 表格,并补齐 10 对应的常量。若算子侧(kernel/AICPU 的enum class QuantMode,同文件 120 行起)另有编号约定,则需一并核对该枚举,这条我不静态判定。定向后可提交最小 PR:只动点名的 4 个文件里的枚举数值与一句误导注释,不做任何无关整理。