已关闭
[Requirement|需求建议]: 新增TurboQuant4bit量化商发算子，支持A2、A3，适用于GLM5.1/5.2/5.3、Deepseek v4 flash模型 #5714
shenxiaolong188创建于 9月9日关闭于 9月28日
9月9日 将 shenxiaolong188 设为负责人
yuning_chen
9月9日 评论：
9月9日 评论：
收到需求建议，欢迎您参加 ops-nn sig 例会评审并申报相关议题，最近的例会议题申报及会议时间可见：https://etherpad-cann.meeting.osinfra.cn/p/sig-ops-nn
9月28日 关闭了 issue
9月28日 添加了label：resolved
Thanks for sending an requirement! Please fill in the following template to help quickly solve your problem.
Backgroud（背景信息）
1）背景：
针对客户在AI Coding等场景下，对GLM5.1高并发、长序列的需求启动了相关的难题攻关；TurboQuant 是 Google ICLR2026 提出、专门针对 LLM 动态 KV Cache 的向量量化压缩算法，核心解决长上下文推理显存爆炸问题，已成为VLLM的标配；我们系统分析了TurboQuant 4bit算法的原理，开发了相关的昇腾融合算子，并基于A2做了性能精度测试，TQ 4-bit 压缩腾出 KV 显存，换得更高并发与聚合吞吐。
在 AI Coding、合同审核、标书文档等场景下对 DeepSeek V4 系列模型长序列、高并发推理的需求，启动 TurboQuant 能力适配。
TurboQuant 是 Google ICLR 2026 提出的 LLM 动态 KV Cache 向量量化压缩算法，能够有效降低长上下文推理中的 KV Cache 显存占用。本需求将在 DeepSeek V4 系列模型的
当前TurboQuant量化已支持GLM系列模型，针对同样稀疏Attention的系列模型DeepSeek V4，量化技术同样适配，只需要针对shape进行泛化调整即可。
DSA Attention Backend 中兼容 TurboQuant，通过 4bit KV Cache 压缩释放显存，从而提升长序列场景下的并发能力与吞吐性能。
在 DeepSeek V4 系列模型的 DSA Attention Backend 中适配 TurboQuant 4bit KV Cache 压缩能力，并完成相关压缩算子、Attention 融合算子及 vLLM-Ascend 推理流程的兼容。
2）测试结果：
GLM：端到端收益（GLM5.1 W4A8 8卡A2），精度无损（与KV BF16比）的情况下，减少2.19倍KV cache显存占用，TTFT提速1.41倍，吞吐增加77%，并发翻倍（1→2）， 输出吞吐 +26%（20.61→25.97 tok/s），支持GLM5.2 A3单机16卡 1M 2并发。
Deepseek v4 flash：DeepSeek V4 Flash-W8A8 模型在 1M Input / 1K Output / 90% Shared Prefix 场景下：并发能力提升 2.5 倍，由 4 并发提升至 10 并发；最高 Total Tokens 单卡吞吐提升 31.8%，由 3910 tokens/s 提升至 5156 tokens/s。
3）关键事项澄清：
目前无A5环境，未做相关测评，未来可以基于TQ压缩以及其他量化压缩方法，辅助产品线提升产品竞争力；rope和 indexer的kv cache进行量化，当前是4bit量化，没有尝试3bit 2bit量化，后续可以继续研究；
测试结果:
Origin（信息来源）
南航、美的、移动等多个客户在AI coding、合同审核、标书文档等场景下，都提出了对长序列、高并发推理能力的需求
Benefit / Necessity （价值/作用）
满足多个客户在AI coding、合同审核、标书文档等长序列高并发的场景需求，降低GLM、 DeepSeek V4 系列模型在长序列推理场景下的 KV Cache 显存占用，提升系统并发能力和整体吞吐，满足多并发超长上下文业务场景中的部署需求。
Design（设计方案）