Closed
[Requirement|需求建议]: kv_quant_sparse_flash_attention算子性能优化 #4498
kdy18482276080Add on  Aug 22Closed at  Aug 25
kdy18482276080Collaborators
Aug 22 Create

Backgroud(背景信息)

kv_quant_sparse_flash_attention 算子在 MLA decode 场景下存在性能优化空间,通过对 tiling 模板配置、service_vector_mla 实现及 kernel 侧逻辑进行优化,降低 vector 侧开销,提升算子性能。

Benefit / Necessity (价值/作用)

提升 kv_quant_sparse_flash_attention 算子在长序列 decode 场景下的执行性能,降低推理时延。

Design(设计方案)

  1. 优化 template_tiling_key / tiling.cpp / tiling.h 中的 tiling 模板配置,提高切分效率
  2. 优化 service_vector_mla 实现,减少 vector 侧冗余计算与搬运开销
  3. 调整 kernel_mla_arch35 / common_arch35 / op_kernel 逻辑,减少同步与开销
  4. 通过 NPU 性能 profiling 采集结果验证优化收益

关联 PR:https://gitcode.com/cann/ops-transformer/merge_requests/10428

likedislike
Kkdy18482276080Collaborators
Aug 22 Assign kdy18482276080 as responsible person
CANN-robotCANN-robotCollaborators
Aug 25 Close issue
CANN-robotCANN-robotCollaborators
Aug 25 Added label: resolved