kv_quant_sparse_flash_attention 算子在 MLA decode 场景下存在性能优化空间,通过对 tiling 模板配置、service_vector_mla 实现及 kernel 侧逻辑进行优化,降低 vector 侧开销,提升算子性能。
提升 kv_quant_sparse_flash_attention 算子在长序列 decode 场景下的执行性能,降低推理时延。
关联 PR:https://gitcode.com/cann/ops-transformer/merge_requests/10428
Backgroud(背景信息)
kv_quant_sparse_flash_attention 算子在 MLA decode 场景下存在性能优化空间,通过对 tiling 模板配置、service_vector_mla 实现及 kernel 侧逻辑进行优化,降低 vector 侧开销,提升算子性能。
Benefit / Necessity (价值/作用)
提升 kv_quant_sparse_flash_attention 算子在长序列 decode 场景下的执行性能,降低推理时延。
Design(设计方案)
关联 PR:https://gitcode.com/cann/ops-transformer/merge_requests/10428