Closed
[Requirement|需求建议]: SparseFlashAttention A2/A5 小 query 分核优化及 GLM-5.2 G64 C8/LSE 适配 #5823
-_-Add on  Oct 8Closed at  4 days ago
-_-
-_-
Oct 8 Create

一、背景信息 / Backgroud(必填)

SparseFlashAttention 在总 query 数较少、TopK 较大的 decode 场景下,仅按 query 分核难以充分利用计算核。本需求增加 KV/head 维度分核,降低 GLM-5.2 长上下文 decode 时延。关联实现:PR !13112。

本次适配范围:

  • A5 普通 SFA:G8、BF16、sparse mode=0/3,不返回 LSE。
  • A2 普通 SFA:G8/G64、BF16、sparse mode=0,支持返回 LSE 统计量。
  • A2 packed C8 V2:G8/G64、BF16 query/output、INT8 KV、sparse mode=0,支持返回 LSE 统计量。

本次优化不覆盖 A5 G64/LSE、A2 sparse mode=3、A3 及其他架构;具体 dtype、布局、量化和 TopK 约束见 3.2.1。未命中分核条件的既有合法配置保持原计算路径。

二、价值/作用 / Benefit / Necessity(必填)

  • 在 decode 小 workload 下利用空闲核并行处理 KV,保持原生 ACLNN 调用方式,不要求模型手动拆分普通 SFA 的 KV。
  • 针对 DCP 的短本地 KV 分片,G64 + LSE 使用 head 分核,并处理有效索引前缀、padding 和空分片,避免只增加 KV 分片却没有有效工作量。
  • 历史 G8 TopK=2048 单算子记录:A2 最高加速比约 2.076 倍,A5 约 3.988 倍。
  • 历史 GLM-5.2 AISBench 记录:64K/128K/256K 的 TPOT 分别下降 11.8%/13.1%/13.7%,PIL 分别下降 9.3%/13.8%/13.5%,TTFT 分别回退 0.6%/1.7%/1.4%。

三、设计方案 / Design(必填)

3.1 使能方式

通过原生 SFA / C8 V2 ACLNN 接口使用,由 host tiling 自动判断 kernel 能力与分核收益区间;不新增公共开关或改变现有合法输入的 API 语义。不满足新增分核条件的既有合法配置继续走原计算路径。

保留 C8 V1 的单输出 ABI;需要 DCP 统计量的调用使用 C8 V2 的输出/max/sum 接口。

3.2 总体设计

3.2.1 算子支持的数据类型和布局
路径 Query / 输出 KV G(query heads / KV heads) 布局 本次分核范围
A5 普通 SFA BF16 / BF16 BF16 8 Q=TND,KV=PA_BSND mode=0/3,不请求 LSE
A2 普通 SFA BF16 / BF16 BF16 8、64 Q=TND,KV=PA_BSND mode=0,可请求 FP32 softmax max/sum
A2 packed C8 V2 BF16 / BF16 INT8 packed KV 8、64 Q=TND,KV=PA_BSND mode=0,per-tile 量化,可请求 FP32 softmax max/sum

分核约束:N2=1、RoPE head dim=64、sparse block size=1、无 sinks。普通 SFA 的分核 TopK 范围为 256~2048;C8 为 1024~2048,并要求 quant mode=2、quant scale repo mode=1、tile size=128、packed head dim=656。

3.2.2 Host 侧设计
  • 将平台/kernel 能力筛选与 workload/分核数选择拆开,集中在 IsSplitKVSupported(),复用上游公共校验已经保证的约束,避免重复长条件判断。
  • 读取平台实际 AIC 数,结合总 query 数和 KV inner-block 数选取 2 的幂次分核数;无空闲核或没有足够 KV block 时保持原路径。
  • 普通 KV 分核最多 16 份;A5 inner block=128,A2 inner block=512。G64 C8 + LSE 改为 head 分核,最多 8 组。
  • workspace 布局区分 CANN 系统区与用户区,保留最新主干的事件类型限定和同步修正。
3.2.3 Kernel 侧设计
  • KV 分核先计算每份 attention 输出及 softmax max/sum,在 workspace 中用稳定 softmax 权重合并,LSE 与输出使用同一套统计量。
  • A5 mode=3 只在 causal window 覆盖完整 KV row 时拆分;短窗口或 padding 行保留原计算。
  • A2 G64 C8 + LSE 按 head 独占写回,保留 64-head stride 与各 batch 的累积 query 长度映射,避免不必要的跨核归并。
  • 在既有“有效索引前缀 + -1 后缀”的约束下,G64 C8/LSE 按有效长度限定计算;空本地分片写零输出与零 sum,使 max + log(sum) = -inf,可正确参与 DCP 合并。
  • G64 KV 归并每次处理至多 16 个 head,计算流水排空后复用 UB scratch,避免另分配临时统计量超过 A2 C8 kernel 的 UB 预算。

3.3 支持硬件

  • A2:Ascend 910B / arch22 / DAV_2201,单算子性能记录设备为 910B2。
  • A5:Ascend 950 / arch35,G8 单算子性能记录设备为 Ascend950DT_9582。

3.4 算子约束限制及兼容性

  • 公共输入校验和未命中新优化路径的 fallback 保留;其他 dtype/layout/sinks/mode 的新增分核不在本次范围。
  • 普通 SFA 使用 KV 分核;C8 V2 的 G64 + LSE 路径使用 head 分核。
  • 部署 GLM-5.2 时使用完整匹配的 SFA / C8 V1 / C8 V2 算子包。仅替换 V2 包会遗漏旧 SFA 调用所需的匹配 tiling/kernel metadata,不能用作模型服务包。
  • A2 旧运行时通过 native V2 bridge 接入 C8 V2。本 PR 修改 CANN 算子,运行时 bridge 与模型服务接入需单独配置。

四、性能实测

4.1 G8 单算子 B×Q 网格

测量时间:2026-09-28~09-30。统一输入:TopK=2048,物理 KV 长度=4096,N2=1,G8,BF16,TND / PA_BSND,mode=0,不返回 LSE。Q 为每个 batch 的 query 数,总 query 数为 B×Q。计时范围为 SFA 算子。

使用 NPU graph,每次回放包含 16 次算子调用,以 NPU Event 计时,单位为每次调用的 μs。baseline/with 分别使用相同源码关闭/开启分核的独立包。A2 每点取 11 个样本中位数;A5 为减轻共享设备右尾干扰,取两轮合计 102 个样本最小值。两平台统计口径不同,仅比较各平台开启/关闭分核的时延。数值及倍率沿用实验工作簿的舍入结果,倍率由未舍入测量值计算。

A2 without KV split(μs)
B \ Q Q=1 Q=2 Q=4 Q=8
1 84.377 86.148 86.244 89.244
2 86.934 87.154 89.681 91.882
4 87.310 89.892 91.670 148.079
8 89.531 91.982 147.622 205.720
A2 with KV split(μs)
B \ Q Q=1 Q=2 Q=4 Q=8
1 40.639 43.095 47.394 61.869
2 43.164 48.671 61.901 89.789
4 49.166 62.260 89.674 146.415
8 62.024 89.090 145.926 204.461
A2 倍率(without / with)
B \ Q Q=1 Q=2 Q=4 Q=8
1 2.076 1.999 1.820 1.442
2 2.014 1.791 1.449 1.023
4 1.776 1.444 1.022 1.011
8 1.443 1.032 1.012 1.006
A5 without KV split(μs)
B \ Q Q=1 Q=2 Q=4 Q=8
1 68.793 68.849 69.235 69.550
2 71.703 71.907 72.150 72.502
4 71.994 72.319 72.526 72.986
8 72.572 72.773 73.140 135.508
A5 with KV split(μs)
B \ Q Q=1 Q=2 Q=4 Q=8
1 17.795 17.733 19.752 27.246
2 17.981 20.231 27.932 43.628
4 20.072 27.875 43.452 73.131
8 28.086 43.680 73.125 135.741
A5 倍率(without / with)
B \ Q Q=1 Q=2 Q=4 Q=8
1 3.866 3.883 3.505 2.553
2 3.988 3.554 2.583 1.662
4 3.587 2.594 1.669 0.998
8 2.584 1.666 1.000 0.998

4.2 GLM-5.2 AISBench 端到端结果

2026-10-06 的成对 baseline/candidate 实测。每组每版本先 1 次 warmup,再串行测 10 个成功请求;每请求 1024 个输出 token,temperature=0、ignore EOS、prefix caching 关闭。同一 context 的两个版本使用相同权重、prompt 和服务配置。

Context 平台 TP / DCP 推测解码 KV / 算子路径
64K A5 TP8 / DCP1(without DCP) DSpark,7 speculative tokens BF16 普通 SFA,本地 G8,mode=3
128K A2 TP8 / DCP8 MTP,3 speculative tokens INT8 KV cache,G64 C8 V2 + LSE
256K A2 TP8 / DCP8 MTP,3 speculative tokens INT8 KV cache,G64 C8 V2 + LSE

A5:max sequences=1,max model len=73728,batched-token limit=8192,memory utilization=0.95;SFA C8/indexer C8/Pivot/DSA CP 关闭。A2:max sequences=4,max model len=268288,batched-token limit=8192,memory utilization=0.92,CP interleave=128;SFA C8 开启,indexer C8/Pivot/DSA CP 关闭,EP、Flashcomm1、fused MC2 开启。均为 FULL_DECODE_ONLY graph。A2 还需显式 kv_cache_dtype=int8,仅开启 SFA C8 配置不够。

128K 实际 chat 输入长度为 131084 token;256K 为 254595~262081 token。长文本 prompt 沿用已有成功评测配置,128K 保留对应长文末段与完整问题。

下表为请求均值,TTFT/TPOT/PIL 单位 ms;下降比例=(baseline-with)/baseline × 100%,保留一位小数,正数表示时延下降,负数表示回退。

Context 指标 baseline with partitioning 下降比例
64K TPOT 14.08471 12.42442 11.8%
64K TTFT 16811.41 16905.24 -0.6%
64K PIL 37.817 34.31507 9.3%
128K TPOT 34.02032 29.57474 13.1%
128K TTFT 63251.58 64297.77 -1.7%
128K PIL 106.8301 92.07262 13.8%
256K TPOT 35.10417 30.31214 13.7%
256K TTFT 155710.4 157817.2 -1.4%
256K PIL 108.718 94.08734 13.5%

以下为测试期间记录的 MTP acceptance,本次未调整精度配置,接受率小幅波动。

Context baseline acceptance with partitioning acceptance (baseline-with)/baseline
64K 0.232152 0.243453 -0.048679314
128K 0.718763 0.708791 0.013873836
256K 0.701212 0.703906 -0.003841919

TTFT/PIL/TPOT 从 AISBench 原始 time_points 计算;TPOT=(last_token_time-first_token_time)/1023,PIL 为首 token 后平均流式 chunk 间隔。推测解码下一个 chunk 可能含多个 token,因此 PIL 不等于 TPOT。

版本与可比性:上述 AISBench 数据采集于 master 同步和筛选重构之前,尚未针对最新主干重新测量。A2 的 baseline/candidate 均使用相同 native V2 bridge、query 拼接和 empty 统计量分配策略;仓库 wrapper 使用 full/zero 分配,复测时需固定分配策略。

历史 A2 完整候选包 SHA256:f44d7769f0b3011ed7f4eb890fcbbb598c9e56c420ebe12824ac8e26ae5730d8。历史候选累计源码 patch SHA256:45212d0e29ed008136322242f8337c3516aaa4c553797b6c9ac6469eafd349db,基于 c9561d1d2,不含后续 master 同步/host 重构。

五、正确性验证、复现及验收建议

代码与文档已 push 到 PR !13112,最终 head 为 1b4fcd499ea0dce11b4ad5ce155a41c0b5af78cd;新适配的 kernel 源码对应提交 2034354e277e376fc0baf71d8c17506d407663f0。详细配置、结果口径与限制见 PR 版本的复现说明。

本次正确性回归基于 master 1461cca857ff3b2018404c0275e80e7aa13a3fc9 同步后的源码重新构建。

2026-10-08 重新构建并隔离安装后的回归结果:

检查 结果
A5 host UT 11 passed
A2 SFA / C8 V1 / C8 V2 host UT 63 passed
A5 SFA 完整包 编译、隔离安装成功
A2 SFA / C8 V1 / C8 V2 完整包 编译、隔离安装成功
A5 SFA mode0/3 device 115 passed、4 skipped、1 known baseline xfailed
A2 普通 SFA G8/G64 output/LSE/graph 256 passed
A2 C8 V2,仓库 full/zero 分配 210 passed、30 skipped
A2 C8 V2,端到端 bridge empty 分配 210 passed、30 skipped

C8 每组跳过 30 个非 G64-with-LSE 的空分片组合;A5 的 xfail 为旧 baseline 已复现的 mode3 padding 非有限输出问题。两种 C8 wrapper 均使用当前仓库的 ACLNN common header。

本次正确性回归环境:构建使用 CANN 9.1.0,设备容器为 CANN 9.2.0、Python 3.11.10、torch 2.10.0+cpu;A5 torch_npu=2.10.0.post4,A2 torch_npu=2.10.0.post7.dev20260918。

本次新包文件 SHA256:A5 73fd8589a48899dcb2b0bfe81dd6d308083039eb7b7be74dd88ec688277be054;A2 完整包 1c50855baf8136a07d7b36043a2d7dd63e6a8b3d7719d0dff011f1b6edf6150b。已校验本地与设备侧包文件一致。

建议验收范围:

  1. 按独立 CPU softmax/反量化参考校验 output 和 LSE,覆盖 G8/G64、多 batch、padding、空本地分片、DCP 分片合并及 NPU graph replay,并分别报告通过、跳过与已知基线 xfail。
  2. 检查未命中分核能力和大 workload 的既有合法配置不被错误切换;保留上游同步修正与 V1/V2 ABI。
  3. 固定模型、prompt、TP/DCP、推测解码及 bridge 策略,补充最新主干成对多轮 AISBench,报告原始分布及接受率,复核 TPOT/PIL 收益并定位 TTFT 回退。

构建及 host 回归命令:

bash build.sh --ophost_test --soc=ascend950 --ops=sparse_flash_attention
bash build.sh --ophost_test --soc=ascend910b \
  --ops=sparse_flash_attention,kv_quant_sparse_flash_attention,kv_quant_sparse_flash_attention_v2
bash build.sh --pkg --soc=ascend950 --ops=sparse_flash_attention --vendor_name=sfa_verify_a5 -j8
bash build.sh --pkg --soc=ascend910b \
  --ops=sparse_flash_attention,kv_quant_sparse_flash_attention,kv_quant_sparse_flash_attention_v2 \
  --vendor_name=sfa_verify_a2 -j8

隔离安装匹配架构的 vendor 包后运行 PR 内 test_sfa_split_kv_arch35.py、test_sfa_split_kv_arch22.py 和 test_split_kv_arch22.py。C8 空分片还需用未初始化 output/LSE 分配策略验证,避免初始化掩盖未写回问题。不替换系统 CANN、不影响其他服务。

likedislike
-_--_-
Oct 8 Added label: requirement
-_--_-
Oct 8 Modify description of issue
-_--_-
Oct 8 Modify description of issue
-_--_-
Oct 8 Modify description of issue
游震Collaborators
Oct 8 Comments:

/assign @songjionghui

likedislike
CANN-robotCANN-robotCollaborators
Oct 8 Assign songjionghui as responsible person
游震Collaborators
Oct 8 Comments:

您好,已收到您提供的建议和关联的PR,能否麻烦您将涉及的A2 和A5 的部分分开描述(或拆分未两个独立的Issue/PR) 这样能帮助我们更准确地定位和评估每个改动,感谢您的配合!

likedislike
-_--_-
Oct 8 Associated pull request
-_-
-_-
Oct 8 Comments:

https://gitcode.com/cann/ops-transformer/merge_requests/13386 您好,已经分离出sfa单算子 a5的版本

likedislike
-_--_-
Oct 8 Associated pull request
周云飞
周云飞Collaborators
5 days ago Comments:

收到您补充的 A5 独立 PR !13386,感谢按平台拆分。

按本 Issue 描述,可分别评估 A5 的 G8、BF16、mode=0/3、无 LSE 优化,以及 A2 的 G8/G64 普通 SFA 和 C8 V2/LSE 适配。小 query 场景通过 KV/head 分核利用空闲核的方向有合理性,但收益取决于分核与归并开销;未命中条件时保留原路径、保持 C8 V1 ABI 是重要的兼容边界。

您提供的最新正确性回归与历史性能数据已区分清楚。历史 TPOT/PIL 收益尚不能直接代表最新主干效果,TTFT 的小幅回退也需一并评估。

likedislike
周云飞
周云飞Collaborators
4 days ago Comments:

感谢贡献。该 PR 当前与目标分支存在冲突,距离上次提交或作者跟进已有一段时间,需要重新同步目标分支并验证相关修改。结合当前维护安排,本次先关闭此 PR;如后续仍需推进,欢迎更新代码并重新提交。

likedislike
周云飞周云飞Collaborators
4 days ago changed custom state from 待办的 to 已拒绝
周云飞周云飞Collaborators
4 days ago Close issue
周云飞
周云飞Collaborators
4 days ago Comments:

PR #13413 已合入,为 A2/A3 的普通 SparseFlashAttention 小 query decode 增加了 Split-KV 分核路径:将稀疏 KV 索引分配到多个核,使用 FP32 保存分区结果和 softmax 统计量,并在同一 kernel 内归并;不满足分核条件的合法配置沿用原路径。分核计算还加入双 MM2 残差补偿,以减轻量化误差。

该改动保持原有接口及 LSE 约束;PR 描述中的指定 A2 场景性能测试显示,小 query 时延有所下降。

关联 PR:PR #13413

likedislike