状态 (Status): Draft
作者 (Authors): lanwangli
创建日期 (Created): 2026-06-27
更新日期 (Updated): 2026-06-27
相关 Issue/PR: 待关联

1. 概述

1.1 简介

本 RFC 提议在 MindIE-SD 中上库 eagle_quant_block_sparse_attention 算子及对应 plugin 适配，提供面向 Ascend 950 / arch35 的量化块稀疏 Attention 能力。该算子将量化 Attention 与 Block Sparse Attention 两类优化叠加：在计算路径上对 Q/K 采用 INT8 量化，对 P/V 相关路径采用 FP8 低精度表示，并通过 block sparse mask 或 index 表达稀疏块选择，从而降低长序列 Attention 的计算量、访存压力和中间张量开销。

MindIE-SD 侧通过 CANN 自定义算子目录交付 op_host、op_api、op_kernel 和 tiling 实现；通过 libPTAExtensionOPS.so 注册 torch.ops.mindiesd.eagle_quant_block_sparse_attention；并在 mindiesd.layers._custom_ops 提供 Python wrapper 与 fake op，供上层模型按稳定接口调用。

1.2 动机

图像/视频生成模型中，Attention 是端到端推理的核心耗时来源之一。随着分辨率、帧数和序列长度增长，全量 Attention 的计算和访存成本快速上升。已有块稀疏 Attention 可以跳过低价值 block，量化 Attention 可以降低矩阵计算和数据搬运成本，但单独使用任一方案仍难以覆盖长序列、高吞吐场景的性能诉求。

eagle_quant_block_sparse_attention 的目标是把两类收益叠加：

不做该适配的影响包括：

1.3 目标

非目标

2. 方案拆分

为降低单 PR 评审和合入风险，本 RFC 对应的改动按互不重叠的 5 个 PR 拆分：

3. 接口说明

新增接口：

torch.ops.mindiesd.eagle_quant_block_sparse_attention(
    query, key, value, block_sparse_mask=None, block_shape=[128, 128],
    q_input_layout="BNSD", kv_input_layout="BNSD",
    num_key_value_heads=1, scale_value=1.0, inner_precise=4,
    actual_seq_lengths=None, actual_seq_lengths_kv=None,
    softmax_lse_flag=0,
    q_dequant_scale=None, k_dequant_scale=None, v_dequant_scale=None,
) -> (attention_out, softmax_lse)

核心约束：

• 支持 BNSD / TND 布局，Q 和 KV layout 需一致。
• TND 模式需要显式传入 actual_seq_lengths 与 actual_seq_lengths_kv。
• Q/K INT8 + PV FP8 量化路径需要传入对应 dequant scale。
• Ascend 950 路径当前要求 inner_precise=4。
• block_sparse_mask 支持 int8 mask 或 int32 index。

4. 测试计划

5. 风险与约束