已关闭
[FIA] 非量化 MLA tiling 下沉缺少新模板注册,旧模板转置输出偏移错误 #5226
PerrySkywalker创建于 28 天前关闭于 24 天前
28 天前 关联了pull request:[FIA][master] 修复 MLA 下沉模板注册和旧模板转置偏移
28 天前 关联了pull request:[FIA][9.2.0] 修复 MLA 下沉模板注册和旧模板转置偏移
28 天前 修改了issue 的描述
28 天前 修改了issue 的描述
游震
28 天前 评论:
28 天前 评论:
/assign @PerrySkywalker


28 天前 将 PerrySkywalker 设为负责人
24 天前 关闭了 issue
24 天前 添加了label:resolved
FIA 非量化 MLA 场景:B=1、T=52、Nq=5、Nkv=1、D=512、RoPE D=64,Q/KV actual_seq 均为 [52],K/V 共享,TND_NTD 输出,causal mask(sparse_mode=3)。
CANN_0828 实测:eager 和普通图模式通过,最大绝对误差约 0.00104;tiling 下沉失败,最大绝对误差约 2.21648。相同输入使用 TND 输出下沉通过,转置后与 TND_NTD eager 逐元素完全一致。
检查发现两处问题:
修复方案:将新 MLA tiling 文件加入设备库编译列表,并补齐旧模板 head 余数计算。master 和 9.2.0 分别提交修复。
关联修复 PR: