已关闭
新增 Flash MLA 算子并优化 M96×112 流水与 FD 规约 #5229
PerrySkywalker创建于  9月11日关闭于  9月17日
PerrySkywalker
PerrySkywalker成员
9月11日 创建

新增 flash_mla_with_kvcache 与 flash_mla_with_kvcache_metadata,完善 tiling 校验、接口和文档,并优化 MLA 的 Cube/Vector 流水、L0 同步与 Flash Decode 规约。采用 M96×112 基本块和按分片数选择的 FD 16/8 行规约;调度不依赖固定 28 核重排。固定性能用例达到 90% MFU 目标,泛化精度仍有超阈值点,详见关联 PR 的测试说明。

对应 PR:https://gitcode.com/cann/ops-transformer/merge_requests/11808

likedislike
PerrySkywalkerPerrySkywalker成员
9月11日 关联了pull request:新增 Flash MLA 算子及 M96×112 流水性能优化
PerrySkywalkerPerrySkywalker成员
9月11日 修改了issue 的描述
游震成员
9月11日 评论:
likedislike
CANN-robotCANN-robot成员
9月11日 将 PerrySkywalker 设为负责人
CANN-robotCANN-robot成员
9月17日 关闭了 issue
CANN-robotCANN-robot成员
9月17日 添加了label:resolved