已关闭
【文档质量】量化介绍.md 以 1bit 举例 MX 量化,但本仓 MX 接口文档只体现 FLOAT4/FLOAT8,易让人误以为支持 1bit #3639
brian66237创建于  6月27日关闭于  7月27日
brian66237
6月27日 创建

问题类型:概念讲解 / 术语可能有误
文档:docs/zh/context/量化介绍.md
严重程度:会让人困惑 / 走弯路或误判,但能恢复


问题

量化介绍说 MX 量化「在极低比特下(如 1bit)保持模型精度」;但本仓 MX 相关接口文档里,量化目标类型都是 FLOAT4/FLOAT8(最低 4bit),没有 1bit 的支撑,这个举例容易让读者误以为该仓支持 1bit。

读者会遇到什么

读者可能据此以为 ops-nn 的 MX 量化能到 1bit,产生错误预期。

文档原文

docs/zh/context/量化介绍.md(第 59 行)·「如 1bit」举例:

  59 | - MX量化:本质是Microscaling量化,通过动态调整缩放因子,在极低比特下(如1bit)保持模型精度。这里指pergroup-pergroup量化模式(简称G-G量化模式),是对于量化参数类型为FLOAT8_E8M0且group size为32的特例。

代码原文 / 实际情况(去仓核对)

docs/zh/op_api_list.md(第 66 行)·本仓 MX 反量化接口:对象是 FLOAT4/FLOAT8:

  66 | | [aclnnAntiMxQuant](../../quant/anti_mx_quant/docs/aclnnAntiMxQuant.md) | 将调用aclnnDynamicMxQuant/aclnnDynamicMxQuantV2量化得到的FLOAT4/FLOAT8的Tensor反量化为FLOAT16/BFLOAT16/FLOAT32格式。 | - | 默认确定性实现 |

本仓其它 MX 接口(DynamicMxQuant / SwigluMxQuant 等)文档也都落在 FLOAT4/FLOAT8,未见 1bit。

代码位置(完整指引)

  • 量化介绍.md:59 「在极低比特下(如 1bit)保持模型精度」
  • op_api_list.md:66 aclnnAntiMxQuant:反量化对象为 FLOAT4/FLOAT8
  • 本仓 MX 量化/反量化接口目标类型均为 FLOAT4 类 / FLOAT8 类(最低 4bit)

建议改为

把「如 1bit」这个举例去掉或改成与本仓实际支持一致(如 FLOAT4/FLOAT8);若确有 1bit 支持,补上对应接口/说明。

likedislike
oscillated
oscillated成员
6月27日 评论:

您好,感谢反馈,问题已收到,当前 @caiwenwen 正在跟踪处理。

likedislike
oscillatedoscillated成员
6月30日 将 caiwenwen 设为负责人
Ccaiwenwen成员
7月17日 将 yolic 设为负责人
Ccaiwenwen成员
7月17日 移除了负责人 caiwenwen
yuning_chen
yuning_chen成员
7月20日 评论:

您好,感谢反馈,问题已收到,当前 @yang-di52 正在跟踪处理。

likedislike
yuning_chenyuning_chen成员
7月20日 将 yang-di52 设为负责人
Yyang-di52成员
7月27日 关联了pull request:更新mx量化的描述
CANN-robotCANN-robot成员
7月27日 关闭了 issue
CANN-robotCANN-robot成员
7月27日 添加了label:resolved