问题

query_quant_mode、key_quant_mode、value_quant_mode 在本仓中的npu_fused_infer_attention_score_v2调用都传递7，而Ascend Extension for PyTorch 文档中给出这几个参数的可选输入中，并不包含7。ops-transformer的9.1.0-beta.2分支、master分支支持输入7的参数只有sparseMode。

而测试表明输入7是可以运行的，是否表示这是一个未披露的功能？

位置

https://gitcode.com/Ascend/MindIE-SD/blob/master/mindiesd/quantization/layer.py#L304

        x = torch_npu.npu_fused_infer_attention_score_v2(q, k, v, input_layout="BNSD",
                                                            num_query_heads=n,
                                                            softmax_scale=1.0 / math.sqrt(d),
                                                            pre_tokens=2147483647,
                                                            next_tokens=2147483647,
                                                            query_quant_mode=7,
                                                            key_quant_mode=7,
                                                            value_quant_mode=7,
                                                            dequant_scale_query=q_scale,
                                                            dequant_scale_key=k_scale,
                                                            dequant_scale_value=v_scale,
                                                            out_dtype=query.dtype
                                                            )[0]

建议的替代/修复方案

欢迎加入社区，感谢您对社区的贡献 🎉!

ascend-robot成员

6月9日添加了label：document

lanwangli成员

6月16日评论：

收到你的问题！本 Issue 已标记为 document。

初步指引：文档问题已纳入修复计划。你可以通过以下链接获取最新文档：

若未解决，请补充：

已尝试的步骤
具体错误信息
环境版本

关联分析：

发现 PR #361 ([Test][ops]Cover MXFP4 quant flash attention) 可能与本 Issue 相关。
该 PR 状态：closed（未合入），目标分支：dev。
发现 PR #347 ([feature][ops]: add mxfp4 quant flash attention softmax variants) 可能与本 Issue 相关。
该 PR 状态：merged（未合入），目标分支：dev。
发现 PR #330 ([UT] fix block_sparse_attention ut) 可能与本 Issue 相关。
该 PR 状态：merged（未合入），目标分支：dev。

建议维护者确认关联关系。

lanwangli成员

6月16日评论：

收到你的问题！本 Issue 已标记为 document。

初步指引：文档问题已纳入修复计划。你可以通过以下链接获取最新文档：

若未解决，请补充：

已尝试的步骤
具体错误信息
环境版本

关联分析：

发现 PR #361 ([Test][ops]Cover MXFP4 quant flash attention) 可能与本 Issue 相关。
该 PR 状态：closed（未合入），目标分支：dev。
发现 PR #347 ([feature][ops]: add mxfp4 quant flash attention softmax variants) 可能与本 Issue 相关。
该 PR 状态：merged（未合入），目标分支：dev。
发现 PR #330 ([UT] fix block_sparse_attention ut) 可能与本 Issue 相关。
该 PR 状态：merged（未合入），目标分支：dev。

建议维护者确认关联关系。

mikasa955成员

6月27日评论：

蹲一蹲owner

lanwangli成员

7月2日评论：

收到你的问题！本 Issue 已标记为 question（ai-triaged）。

初步指引：
您反馈的 npu_fused_infer_attention_score_v2 函数参数 query_quant_mode 与 Ascend Extension for PyTorch 官方文档不一致的问题，维护团队已记录。

文档侧：当前仓库内调用传值 7 与官方文档枚举范围不一致，可能是文档版本滞后或内部扩展枚举未同步导致。
建议排查：请确认您使用的 CANN 版本与 ops-transformer 分支（9.1.0-beta.2）的兼容性，部分量化参数在较新版本中可能有扩展定义。
临时方案：若代码运行正常，可优先以代码实现为准，并关注后续版本发布说明；若运行时出现校验报错，请补充具体错误日志和 CANN 版本信息。

关联分析：

发现 PR #401 ([Quant]Optimize online quantization config and docs) 状态：merged，目标分支：dev，涉及量化配置与文档优化，可能修复或补充了相关参数说明。
发现 PR #358 ([Docs]Sync en/ docs to zh/, update README and README.en.md) 状态：merged，目标分支：dev，包含文档同步更新。

建议维护者确认文档同步范围，并核实 query_quant_mode 取值 7 的合法性定义。

若未解决，请补充：