已关闭
[FIA] 非量化 MLA tiling 下沉缺少新模板注册,旧模板转置输出偏移错误 #5226
PerrySkywalker创建于 9月11日关闭于 9月15日
9月11日 关联了pull request:[FIA][master] 修复 MLA 下沉模板注册和旧模板转置偏移
9月11日 关联了pull request:[FIA][9.2.0] 修复 MLA 下沉模板注册和旧模板转置偏移
9月11日 修改了issue 的描述
9月11日 修改了issue 的描述
游震
9月11日 评论:
9月11日 评论:
/assign @PerrySkywalker


9月11日 将 PerrySkywalker 设为负责人
9月15日 关闭了 issue
9月15日 添加了label:resolved
FIA 非量化 MLA 场景:B=1、T=52、Nq=5、Nkv=1、D=512、RoPE D=64,Q/KV actual_seq 均为 [52],K/V 共享,TND_NTD 输出,causal mask(sparse_mode=3)。
CANN_0828 实测:eager 和普通图模式通过,最大绝对误差约 0.00104;tiling 下沉失败,最大绝对误差约 2.21648。相同输入使用 TND 输出下沉通过,转置后与 TND_NTD eager 逐元素完全一致。
检查发现两处问题:
修复方案:将新 MLA tiling 文件加入设备库编译列表,并补齐旧模板 head 余数计算。master 和 9.2.0 分别提交修复。
关联修复 PR: