量化基础 量化术语百科词条

英文名称:Quantization Basics 应用领域:大语言模型量化压缩、推理加速、KVCache 压缩


一句话定位

本目录独立成篇,集中介绍量化领域的基础术语,是阅读量化模式等知识词条的前置知识,按术语拆分为以下词条:

术语 词条 内容
量化 / 反量化 量化与反量化 量化/反量化公式、scale/zero_point、静态/动态、量化粒度、对称性
数据类型 FP16 / BF16 数据类型:FP16 / BF16 16位浮点格式,未量化基准
数据类型 INT8 数据类型:INT8 8位整数格式
数据类型 INT4 数据类型:INT4 4位整数格式
数据类型 FP8 数据类型:FP8(E4M3) 8位浮点格式
数据类型 MXFP8 / MXFP4 数据类型:MXFP8 / MXFP4 块级共享指数格式

建议按顺序阅读:先读量化与反量化理解量化机制,再按需查阅各数据类型词条;量化带来的计算收益(整数 GEMM)在量化模式中展开。


WxAy 记法

模式名常用 WxAy 记法(如 W8A8、W4A4)表示线性层量化权重(W)与激活(A)的位宽组合,其中 y 是可选后缀,表示数据类型或参数获取方式(如 W8A8 静态、W4A4 MX 动态)。完整说明见量化模式「如何理解一个量化模式」一节。


关联流程


关联词条

  • 量化模式:目标阅读对象,本目录词条是其前置基础知识。
  • 线性层量化:下位概念,WxAy 记法与 GEMM 的具体应用。
  • KVCache 量化:下位概念,量化在缓存 K/V 张量上的应用。
  • FA 量化:下位概念,量化在注意力矩阵运算上的应用。

参考资料

  1. 量化模式