已关闭
新增 Flash MLA 算子并优化 M96×112 流水与 FD 规约 #5229
PerrySkywalker创建于 9月11日关闭于 9月17日
9月11日 关联了pull request:新增 Flash MLA 算子及 M96×112 流水性能优化
9月11日 修改了issue 的描述
游震
9月11日 评论:
9月11日 评论:
/assign @PerrySkywalker


9月11日 将 PerrySkywalker 设为负责人
9月17日 关闭了 issue
9月17日 添加了label:resolved
新增 flash_mla_with_kvcache 与 flash_mla_with_kvcache_metadata,完善 tiling 校验、接口和文档,并优化 MLA 的 Cube/Vector 流水、L0 同步与 Flash Decode 规约。采用 M96×112 基本块和按分片数选择的 FD 16/8 行规约;调度不依赖固定 28 核重排。固定性能用例达到 90% MFU 目标,泛化精度仍有超阈值点,详见关联 PR 的测试说明。
对应 PR:https://gitcode.com/cann/ops-transformer/merge_requests/11808