/assign @PerrySkywalker


感谢提供详细的环境、数值分析和验证结果。本次反馈主要涉及 TTK 测试资产的参考计算、比较规则及输入预处理,不能据此判断算子内核存在缺陷。
问题分析
按报告中的分析,FlashAttn 在最终合并 sink,而内核在 P 舍入前引入 sink;两者顺序不同,会改变混合精度计算结果。MLA 的整块参考若省略每 112 个 KV token 的 P 舍入,也可能在较长 KV 输入下产生偏差。这两类差异都可能使正常 BF16 输出被误判,不能仅靠放宽容差处理。上述具体数值顺序仍需结合对应实现确认。
比较和预处理也需要分别保证正确性:attention 与 LSE 应各自使用 CSV 中对应的标准;三方比较应基于同一份输入生成独立 FP32 基准,并明确拒绝 NaN。metadata 若重建了用户已提供的具体槽,或参数被静默补齐、截断,实际执行的输入就可能偏离用例原意。
处理方向
您提出的调整方向是让混合精度参考对齐内核的实际计算顺序,普通比较回归 TTK 原生实现,同时限制 metadata 生成仅作用于动态槽,具体槽原样透传,对不合法参数明确报错。MLA 的 mask_mode=4 性能计数和 PA_BNBD 几何解析也应与数值比较分开确认,避免将统计问题与正确性问题混在一起。
已注意到关联 PR:https://gitcode.com/cann/ops-transformer/merge_requests/14474 。目前缺少该 PR 的实际变更内容及合入状态,以上仅说明报告中的处理方向,不代表 PR 已覆盖或问题已解决。
您提供的两方、三方真机抽测及独立 FP64 核验,为所列场景提供了验证依据;这些结果属于报告中的验证记录,适用范围仍限于所述 arch35 环境和算子包,不能外推到其他架构或 ACLGraph。三方 PASS 指标落盘的框架配套问题也需与数值判定区分。


问题描述
FlashAttn/FlashMla 的 TTK 资产存在普通比较器私有判定、双输出 CSV 容差不完整、metadata 重建和输入修复等问题。FlashAttn 的混合精度 golden 在最终合并 sink,与内核在 P 舍入前注入 sink 的顺序不一致,导致一批正常 BF16 用例产生误报;MLA 的整块参考遗漏每 112 个 KV token 的 P 舍入,较长 KV 的 BF16 两方比较也会误报。
环境信息
资产基线 bd24b0198616ebce125de861e8d6c61f12b69840;Ascend 950PR_9579 / arch35(28 AIC、56 AIV);CANN 9.3.0~weekly.20261014.01;sink conda 环境;TTK 基线 e5cfa884d59ef785c41f4f665af8486ee25a5d5e。
本次没有修改或重编算子内核,使用现有 FlashAttn 20261021 和 MLA review5387 f710da751 20261022 custom 包。未验证其他架构或 ACLGraph。
重现步骤
使用资产 spec.py 运行原生 close 与 cross_check,对比 BF16+sinks 和多 KV 块的输出;查看逐输出容差、PASS 指标及具体 metadata 槽是否保持原值。
预期结果
普通比较使用 TTK 原生实现;attention/LSE 分别读取 CSV 标准;三方使用同一输入的独立 FP32 基准;NaN 强制失败;metadata 仅为动态槽生成,具体槽原样透传;参数不静默补齐或截断。
日志与验证
FlashAttn 真机抽测两方 36/36、三方 36/36;包含 FP16/BF16、D/Dv=192/128 与 72/72、非零 sinks、mask_mode=0/4、有限及无界窗口。
MLA 真机抽测两方 46/46、三方 46/46;包含 BSND/BNSD/TND、三种 PA KV、非零 sinks、mask_mode=4 有限及无界窗口,并带原有 mask_mode=0/3 控制用例。
独立 FP64 核验 FlashAttn 928 个临时组合、MLA 46 个临时组合;未放宽输入范围或比较容差。
修改方案与范围
整理两算子 TTK 输入、预处理、golden、FP32 基准、三方指标与图封装,按当前内核数值顺序修正混合精度参考;统一 CSV 双输出标准,补齐 MLA mask_mode=4 的性能计数与 PA_BNBD 几何解析。
不新增正常功能用例:临时功能矩阵和真机结果留在仓库外;保留原有功能用例名称,每个算子只新增四条 metadata 输入拦截用例。
三方 PASS 指标落盘另有 TTK 框架配套修复,不影响数值判定。
关联 PR:https://gitcode.com/cann/ops-transformer/merge_requests/14474