量化基础 量化术语百科词条
英文名称:Quantization Basics 应用领域:大语言模型量化压缩、推理加速、KVCache 压缩
一句话定位
本目录独立成篇,集中介绍量化领域的基础术语,是阅读量化模式等知识词条的前置知识,按术语拆分为以下词条:
| 术语 | 词条 | 内容 |
|---|---|---|
| 量化 / 反量化 | 量化与反量化 | 量化/反量化公式、scale/zero_point、静态/动态、量化粒度、对称性 |
| 数据类型 FP16 / BF16 | 数据类型:FP16 / BF16 | 16位浮点格式,未量化基准 |
| 数据类型 INT8 | 数据类型:INT8 | 8位整数格式 |
| 数据类型 INT4 | 数据类型:INT4 | 4位整数格式 |
| 数据类型 FP8 | 数据类型:FP8(E4M3) | 8位浮点格式 |
| 数据类型 MXFP8 / MXFP4 | 数据类型:MXFP8 / MXFP4 | 块级共享指数格式 |
建议按顺序阅读:先读量化与反量化理解量化机制,再按需查阅各数据类型词条;量化带来的计算收益(整数 GEMM)在量化模式中展开。
WxAy 记法
模式名常用 WxAy 记法(如 W8A8、W4A4)表示线性层量化中权重(W)与激活(A)的位宽组合,其中 y 是可选后缀,表示数据类型或参数获取方式(如 W8A8 静态、W4A4 MX 动态)。完整说明见量化模式「如何理解一个量化模式」一节。
关联流程
关联词条
- 量化模式:目标阅读对象,本目录词条是其前置基础知识。
- 线性层量化:下位概念,WxAy 记法与 GEMM 的具体应用。
- KVCache 量化:下位概念,量化在缓存 K/V 张量上的应用。
- FA 量化:下位概念,量化在注意力矩阵运算上的应用。
参考资料
- 《量化模式》