Closed
[Requirement|需求建议]: SparseFlashAttention A2/A5 小 query 分核优化及 GLM-5.2 G64 C8/LSE 适配 #5823
-_-Add on Oct 8Closed at 4 days ago
Oct 8 Added label: requirement
Oct 8 Modify description of issue
Oct 8 Modify description of issue
Oct 8 Modify description of issue
游震
Oct 8 Comments:
Oct 8 Comments:
/assign @songjionghui


Oct 8 Assign songjionghui as responsible person
游震
Oct 8 Comments:
Oct 8 Comments:
您好,已收到您提供的建议和关联的PR,能否麻烦您将涉及的A2 和A5 的部分分开描述(或拆分未两个独立的Issue/PR) 这样能帮助我们更准确地定位和评估每个改动,感谢您的配合!


Oct 8 Associated pull request
-_-
Oct 8 Comments:
Oct 8 Comments:
https://gitcode.com/cann/ops-transformer/merge_requests/13386 您好,已经分离出sfa单算子 a5的版本


Oct 8 Associated pull request
周云飞
5 days ago Comments:
5 days ago Comments:
收到您补充的 A5 独立 PR !13386,感谢按平台拆分。
按本 Issue 描述,可分别评估 A5 的 G8、BF16、mode=0/3、无 LSE 优化,以及 A2 的 G8/G64 普通 SFA 和 C8 V2/LSE 适配。小 query 场景通过 KV/head 分核利用空闲核的方向有合理性,但收益取决于分核与归并开销;未命中条件时保留原路径、保持 C8 V1 ABI 是重要的兼容边界。
您提供的最新正确性回归与历史性能数据已区分清楚。历史 TPOT/PIL 收益尚不能直接代表最新主干效果,TTFT 的小幅回退也需一并评估。


周云飞
4 days ago Comments:
4 days ago Comments:
感谢贡献。该 PR 当前与目标分支存在冲突,距离上次提交或作者跟进已有一段时间,需要重新同步目标分支并验证相关修改。结合当前维护安排,本次先关闭此 PR;如后续仍需推进,欢迎更新代码并重新提交。


4 days ago changed custom state from 待办的 to 已拒绝
4 days ago Close issue
一、背景信息 / Backgroud(必填)
SparseFlashAttention 在总 query 数较少、TopK 较大的 decode 场景下,仅按 query 分核难以充分利用计算核。本需求增加 KV/head 维度分核,降低 GLM-5.2 长上下文 decode 时延。关联实现:PR !13112。
本次适配范围:
本次优化不覆盖 A5 G64/LSE、A2 sparse mode=3、A3 及其他架构;具体 dtype、布局、量化和 TopK 约束见 3.2.1。未命中分核条件的既有合法配置保持原计算路径。
二、价值/作用 / Benefit / Necessity(必填)
三、设计方案 / Design(必填)
3.1 使能方式
通过原生 SFA / C8 V2 ACLNN 接口使用,由 host tiling 自动判断 kernel 能力与分核收益区间;不新增公共开关或改变现有合法输入的 API 语义。不满足新增分核条件的既有合法配置继续走原计算路径。
保留 C8 V1 的单输出 ABI;需要 DCP 统计量的调用使用 C8 V2 的输出/max/sum 接口。
3.2 总体设计
3.2.1 算子支持的数据类型和布局
分核约束:N2=1、RoPE head dim=64、sparse block size=1、无 sinks。普通 SFA 的分核 TopK 范围为 256~2048;C8 为 1024~2048,并要求 quant mode=2、quant scale repo mode=1、tile size=128、packed head dim=656。
3.2.2 Host 侧设计
IsSplitKVSupported(),复用上游公共校验已经保证的约束,避免重复长条件判断。3.2.3 Kernel 侧设计
max + log(sum) = -inf,可正确参与 DCP 合并。3.3 支持硬件
3.4 算子约束限制及兼容性
四、性能实测
4.1 G8 单算子 B×Q 网格
测量时间:2026-09-28~09-30。统一输入:TopK=2048,物理 KV 长度=4096,N2=1,G8,BF16,TND / PA_BSND,mode=0,不返回 LSE。Q 为每个 batch 的 query 数,总 query 数为 B×Q。计时范围为 SFA 算子。
使用 NPU graph,每次回放包含 16 次算子调用,以 NPU Event 计时,单位为每次调用的 μs。baseline/with 分别使用相同源码关闭/开启分核的独立包。A2 每点取 11 个样本中位数;A5 为减轻共享设备右尾干扰,取两轮合计 102 个样本最小值。两平台统计口径不同,仅比较各平台开启/关闭分核的时延。数值及倍率沿用实验工作簿的舍入结果,倍率由未舍入测量值计算。
A2 without KV split(μs)
A2 with KV split(μs)
A2 倍率(without / with)
A5 without KV split(μs)
A5 with KV split(μs)
A5 倍率(without / with)
4.2 GLM-5.2 AISBench 端到端结果
2026-10-06 的成对 baseline/candidate 实测。每组每版本先 1 次 warmup,再串行测 10 个成功请求;每请求 1024 个输出 token,temperature=0、ignore EOS、prefix caching 关闭。同一 context 的两个版本使用相同权重、prompt 和服务配置。
A5:max sequences=1,max model len=73728,batched-token limit=8192,memory utilization=0.95;SFA C8/indexer C8/Pivot/DSA CP 关闭。A2:max sequences=4,max model len=268288,batched-token limit=8192,memory utilization=0.92,CP interleave=128;SFA C8 开启,indexer C8/Pivot/DSA CP 关闭,EP、Flashcomm1、fused MC2 开启。均为 FULL_DECODE_ONLY graph。A2 还需显式
kv_cache_dtype=int8,仅开启 SFA C8 配置不够。128K 实际 chat 输入长度为 131084 token;256K 为 254595~262081 token。长文本 prompt 沿用已有成功评测配置,128K 保留对应长文末段与完整问题。
下表为请求均值,TTFT/TPOT/PIL 单位 ms;下降比例=
(baseline-with)/baseline × 100%,保留一位小数,正数表示时延下降,负数表示回退。以下为测试期间记录的 MTP acceptance,本次未调整精度配置,接受率小幅波动。
TTFT/PIL/TPOT 从 AISBench 原始 time_points 计算;TPOT=
(last_token_time-first_token_time)/1023,PIL 为首 token 后平均流式 chunk 间隔。推测解码下一个 chunk 可能含多个 token,因此 PIL 不等于 TPOT。版本与可比性:上述 AISBench 数据采集于 master 同步和筛选重构之前,尚未针对最新主干重新测量。A2 的 baseline/candidate 均使用相同 native V2 bridge、query 拼接和
empty统计量分配策略;仓库 wrapper 使用 full/zero 分配,复测时需固定分配策略。历史 A2 完整候选包 SHA256:
f44d7769f0b3011ed7f4eb890fcbbb598c9e56c420ebe12824ac8e26ae5730d8。历史候选累计源码 patch SHA256:45212d0e29ed008136322242f8337c3516aaa4c553797b6c9ac6469eafd349db,基于c9561d1d2,不含后续 master 同步/host 重构。五、正确性验证、复现及验收建议
代码与文档已 push 到 PR !13112,最终 head 为
1b4fcd499ea0dce11b4ad5ce155a41c0b5af78cd;新适配的 kernel 源码对应提交2034354e277e376fc0baf71d8c17506d407663f0。详细配置、结果口径与限制见 PR 版本的复现说明。本次正确性回归基于 master
1461cca857ff3b2018404c0275e80e7aa13a3fc9同步后的源码重新构建。2026-10-08 重新构建并隔离安装后的回归结果:
C8 每组跳过 30 个非 G64-with-LSE 的空分片组合;A5 的 xfail 为旧 baseline 已复现的 mode3 padding 非有限输出问题。两种 C8 wrapper 均使用当前仓库的 ACLNN common header。
本次正确性回归环境:构建使用 CANN 9.1.0,设备容器为 CANN 9.2.0、Python 3.11.10、torch 2.10.0+cpu;A5 torch_npu=2.10.0.post4,A2 torch_npu=2.10.0.post7.dev20260918。
本次新包文件 SHA256:A5
73fd8589a48899dcb2b0bfe81dd6d308083039eb7b7be74dd88ec688277be054;A2 完整包1c50855baf8136a07d7b36043a2d7dd63e6a8b3d7719d0dff011f1b6edf6150b。已校验本地与设备侧包文件一致。建议验收范围:
构建及 host 回归命令:
隔离安装匹配架构的 vendor 包后运行 PR 内
test_sfa_split_kv_arch35.py、test_sfa_split_kv_arch22.py和test_split_kv_arch22.py。C8 空分片还需用未初始化 output/LSE 分配策略验证,避免初始化掩盖未写回问题。不替换系统 CANN、不影响其他服务。