Closed
[Bug-Report|缺陷反馈]: moeinitroutingv3 mxfp8量化对于nan、INF、-Inf处理逻辑不一致 #4358
cpy_123456Add on  Aug 17Closed at  Aug 24
cpy_123456Collaborators
Aug 17 Create

Thanks for sending an issue! Please fill in the following template to help quickly solve your problem.

Describe the current behavior / 问题描述 (Mandatory / 必填)

MoeInitRoutingV3 MXFP8量化规格文档

概述

本文档描述了 Ascend NPU Arch35 架构下 MoE(混合专家模型)路由操作中使用的三个 FP8 量化 Kernel。这些 Kernel 在 Gather 操作的同时执行不同策略的 FP8 量化,以实现高效的数据路由与计算。


1. MXFP8 量化 Kernel

文件:moe_v3_gather_mxfp8_quant.h

类名:MoeGatherOutMxfp8Quant<T, U, CLAMP_AMAX>

功能描述

执行 MX(Microscaling)FP8 量化,每个 scale 因子对应 32 个元素。

量化参数

参数 值 说明
块大小(Block Size) 32 每个 scale 因子对应的元素个数
Scale 类型 FP8 E8M0 8 位纯指数格式
数据类型 FP16/BF16 → FP8 (E4M3/E5M2) 输入到输出的类型转换
CLAMP_AMAX 模板参数 是否将 amax 钳位到最小阈值

数学公式

Scale 计算

对于每 32 个元素的块:
1. amax = max(|x[i]|),i ∈ [0, 31]

2. 若 CLAMP_AMAX 为 true:
   amax = max(amax, 0.0001)  // BF16 位模式:0x38d2

3. roundedScale = ceil(log2(amax / fp8Max))
   其中 fp8Max = 1.75(E4M3)或 57344(E5M2)

4. mxScale = roundedScale(以 FP8 E8M0 格式存储)
   invScale = 2^(-roundedScale)(以 BF16 格式存储)

量化计算

x_quant[i] = round_to_fp8(x[i] * invScale)
其中 FP8 类型为 E4M3 或 E5M2

特殊值处理

输入:NaN / Inf / -Inf

输出 值 原因
expandedScale E8M0 NaN (0xFF) amax >= 0x7f80 → mxScale = FP8_E8M0_NAN_VAL
expandedx (E5M2) 0 SAT 模式将 NaN 饱和为 0
expandedx (E4M3) 0 SAT 模式将 NaN 饱和为 0

输入:全零

输出 值 原因
expandedScale 0 amax == 0 → mxScale = 0
expandedx 0 x * invScale = 0

关键实现细节

  1. Amax 计算(vfComputeAmax,第 34-98 行):

    • FP16 输入:先转换为 BF16,再计算绝对值
    • BF16 输入:直接计算绝对值
    • 采用分层规约:两两比较 → 块级最大值
  2. Scale 计算(vfComputeRoundScale,第 100-198 行):

    • 提取指数位:expBits = amax >> 7
    • 检测尾数溢出:mantBits > 0x0060 → 指数加 1
    • 处理特殊情况:零值、Inf/NaN、下溢
  3. 数据量化(vfComputeData,第 200-313 行):

    • FP16 路径:转为 FP32,乘以 invScale,cast 为 FP8
    • BF16 路径:直接乘以 invScale,转为 FP32,cast 为 FP8
    • 采用奇偶交织处理提高效率

Tiling 参数

来自 MoeInitRoutingV3Arch35TilingData:

  • cols:隐藏维度大小(必须为 32 的倍数)
  • validScaleCols:ceil(cols / 32)
  • scaleCols:ceil_align(validScaleCols, 2)(向上对齐到偶数)

expandedScale 输出形状

根据 infershape 定义,MXFP8 的 expandedScale 为 2D 形状:

expandedScale: [outNum, ceil_align(ceil(cols / 32), 2)]

其中:

  • 第一维 outNum = n * k
  • 第二维 ceil_align(ceil(cols / 32), 2):每 32 个元素对应一个 scale 因子,向上对齐到偶数

2. FP8 PerBlock 量化 Kernel

文件:moe_v3_gather_fp8_perblock_quant.h

类名:MoeGatherOutFP8PerBlockQuant<T, U>

功能描述

执行 FP8 逐块量化,每个块包含 128 个元素,使用 FP32 类型的 scale 因子。

量化参数

参数 值 说明
块大小(Block Size) 128 每个 scale 因子对应的元素个数
Scale 类型 FP32 32 位浮点 scale
数据类型 FP16/BF16 → FP8 (E4M3/E5M2) 输入到输出的类型转换
FP8 最大值 448.0 (E4M3) / 57344.0 (E5M2) FP8 格式最大可表示值

数学公式

Scale 计算

对于每 128 个元素的块:
1. amax = max(|x[i]|),i ∈ [0, 127]

2. scale = amax / fp8MaxValue
   其中 fp8MaxValue = 448.0(E4M3)或 57344.0(E5M2)

3. 若 amax >= FP32_INF (0x7f800000):
   scale = FP32_NAN (0x7fc00000)

量化计算

x_quant[i] = round_to_fp8(x[i] / scale)
其中 FP8 类型为 E4M3 或 E5M2

特殊值处理

输入:NaN / Inf / -Inf

输出 值 原因
expandedScale FP32 NaN (0x7FC00000) scaleReg >= 0x7f800000 → 写入 NaN
expandedx (E5M2) 0 SAT 模式将 NaN 饱和为 0
expandedx (E4M3) 0 SAT 模式将 NaN 饱和为 0

输入:全零

输出 值 原因
expandedScale 0.0 amax = 0 → scale = 0
expandedx 0 x / scale = 0(或饱和为 0)

关键实现细节

  1. 双块处理(ComputeVF,第 34-231 行):

    • 每次迭代处理 2 个块(256 个元素)以提高效率
    • 使用精确掩码处理末尾的部分块
    • 奇数块数量时单独处理尾部块
  2. Scale 计算(第 79-89 行,第 93-103 行):

    • 通过位掩码计算绝对值:abs = x & 0x7fff
    • 使用向量规约求块内最大值
    • 检测 Inf/NaN 并将 scale 替换为 NaN
  3. 量化计算(第 106-130 行):

    • 将输入转换为 FP32
    • 除以 scale 因子
    • 以饱和模式 cast 为 FP8

Tiling 参数

来自 MoeInitRoutingV3Arch35TilingData:

  • cols:隐藏维度大小(必须为 128 的倍数)
  • validScaleCols:ceil(cols / 128)
  • scaleCols:ceil_align(validScaleCols, 2)(向上对齐到偶数)

expandedScale 输出形状

根据 infershape 定义,PerBlock 的 expandedScale 为 3D 形状:

expandedScale: [outNum, ceil(cols / 256), 2]

其中:

  • 第一维 outNum = n * k
  • 第二维 ceil(cols / 256):每 256 个元素(2 个 128 块)为一组
  • 第三维 2:每组包含 2 个 scale 因子(对应 2 个 128 块)

注意:Kernel 内部计算时 scaleCols = ceil_align(ceil(cols/128), 2),但输出形状按 [outNum, ceil(cols/256), 2] 组织,两者元素总数相同。


3. FP8 Group 量化 Kernel

文件:moe_v3_gather_fp8_group_quant.h

类名:MoeV3GatherFP8GroupQuant<T, U, CLAMP_AMAX>

功能描述

执行 FP8 逐组动态量化,每组包含 128 个元素,使用 FP32 类型的 scale 因子,采用基于指数的 scale 计算方式。

量化参数

参数 值 说明
组大小(Group Size) 128 每个 scale 因子对应的元素个数
Scale 类型 FP32 32 位浮点 scale
数据类型 FP16/BF16 → FP8 (E4M3/E5M2) 输入到输出的类型转换
CLAMP_AMAX 模板参数 是否将 amax 钳位到最小阈值

数学公式

Scale 计算

对于每 128 个元素的组:
1. amax = max(|x[i]|),i ∈ [0, 127]

2. 若 CLAMP_AMAX 为 true:
   amax = max(amax, 0.0001)

3. 从 amax(FP32)中提取指数和尾数:
   expBits = (amax >> 23) & 0xFF
   mantBits = amax & 0x7FFFFF

4. 计算舍入后的指数:
   roundedExp = expBits - fp8Emax + (mantBits > 0x600000 ? 1 : 0)
   若 roundedExp == 0:roundedExp = 1
   若 roundedExp > 254:roundedExp = 1

5. scale = 2^(roundedExp - 127)(以 FP32 存储)
   invScale = 2^(254 - roundedExp - 127)(以 FP32 存储)

6. 若 amax >= FP32_INF (0x7F800000):
   scale = FP32_NAN (0x7FC00000)
   invScale = FP32_NAN (0x7FC00000)

量化计算

x_quant[i] = round_to_fp8(x[i] * invScale)
其中 FP8 类型为 E4M3 或 E5M2

特殊值处理

输入:NaN / Inf / -Inf

输出 值 原因
expandedScale FP32 NaN (0x7FC00000) amax >= 0x7F800000 → 写入 NaN
expandedx (E5M2) 0 SAT 模式将 NaN 饱和为 0
expandedx (E4M3) 0 SAT 模式将 NaN 饱和为 0

输入:全零

输出 值 原因
expandedScale 2^(-126)(最小正规数) roundedExp = 1 → scale = 2^(-126)
expandedx 0 x * invScale = 0

关键实现细节

  1. 三阶段计算(Compute,第 552-588 行):

    • 阶段 1:VfComputeAmax — 计算组内绝对值最大值
    • 阶段 2:VfComputeRoundScale — 计算 scale 和 invScale
    • 阶段 3:VfComputeData — 使用 invScale 量化数据
  2. Amax 计算(VfComputeAmax,第 55-118 行):

    • 支持 FP16 和 BF16 输入
    • 将 128 个元素拆分为两个 64 元素的半块
    • 使用向量规约高效求最大值
    • 可选的钳位操作以防止下溢
  3. Scale 计算(VfComputeRoundScale,第 120-196 行):

    • 使用位操作提取指数
    • 处理尾数溢出检测
    • 特殊处理 Inf/NaN 值
    • 同时计算 scale 和 invScale
  4. 数据量化(VfComputeData,第 198-259 行):

    • 将 invScale 广播到所有元素
    • 输入乘以 invScale
    • 以饱和模式 cast 为 FP8
    • 使用精确掩码处理尾部元素

Tiling 参数

来自 MoeInitRoutingV3Arch35TilingData:

  • cols:隐藏维度大小(必须为 128 的倍数)
  • scaleCols:ceil(cols / 128)

expandedScale 输出形状

根据 infershape 定义,Group 的 expandedScale 为 2D 形状:

expandedScale: [outNum, ceil(cols / 128)]

其中:

  • 第一维 outNum = n * k
  • 第二维 ceil(cols / 128):每 128 个元素对应一个 scale 因子

三者对比表

特性 MXFP8 PerBlock Group
块/组大小 32 128 128
Scale 类型 FP8 E8M0 FP32 FP32
Scale 计算方式 基于指数位运算 基于浮点除法 基于指数位运算
量化公式 x * invScale x / scale x * invScale
CLAMP_AMAX 支持(模板参数) 不支持 支持(模板参数)
输入类型 FP16, BF16 FP16, BF16 FP16, BF16
输出类型 FP8 E4M3/E5M2 FP8 E4M3/E5M2 FP8 E4M3/E5M2
expandedScale 形状 [outNum, ceil_align(ceil(cols/32), 2)] [outNum, ceil(cols/256), 2] [outNum, ceil(cols/128)]
expandedScale 维度数 2D 3D 2D
NaN 时 Scale 输出 E8M0 NaN (0xFF) FP32 NaN (0x7FC00000) FP32 NaN (0x7FC00000)
全零时 Scale 输出 0 0.0 2^(-126)(最小正规数)
Gather Copy 支持 不支持 支持
Scatter Copy 支持 支持 支持

维度规格

输入维度

张量 数据类型 形状 说明
x FP16/BF16 [n, cols] 原始输入张量,n 为 token 数量,cols 为隐藏维度
expert_idx INT32 [n, k] 路由索引,k 为 top-k 值,每个 token 选择 k 个专家
scale 可选 视 quant_mode 而定 量化 scale 输入,三种量化模式下可为 None
offset 可选 视 quant_mode 而定 量化 offset 输入,仅 static quant 时需要

注意:三个量化 Kernel(MXFP8、PerBlock、Group)的 scale 输入均为 None(不需要提供),scale 由 Kernel 内部动态计算。

输出维度

expandedX

形状 说明
[xOutNum, cols] 2D,xOutNum = min(activeNum, n*k)(activeNum 为 0 或 -1 时取 n*k)

注意:当前三种量化 Kernel 均不支持 DROP_PAD 模式。

expandedScale(三种量化 Kernel 对比)

Kernel quant_mode 形状 Scale 类型 说明
MXFP8 2/3/16/17 [outNum, ceil_align(ceil(cols/32), 2)] FP8 E8M0 2D,scaleCols 向上对齐到偶数
PerBlock 11/12 [outNum, ceil(cols/256), 2] FP32 3D,每 256 个元素(2 个 128 块)为一组,第三维为 2
Group 4/5/14/15 [outNum, ceil(cols/128)] FP32 2D,无额外对齐

关键区别:expandedX 第一维为 xOutNum,expandedScale 第一维为 outNum。当 activeNum < n*k 时,两者第一维不同。

outNum 与 xOutNum 的计算

outNum = n * k
xOutNum = min(activeNum, n * k)  // activeNum 为 0 或 -1 时,xOutNum = n * k

Scale 列数详细计算

Kernel 块大小 Scale 维度计算 输出形状
MXFP8 32 dim1 = ceil_align(ceil(cols/32), 2) [outNum, dim1]
PerBlock 128 dim1 = ceil(cols/256), dim2 = 2 [outNum, dim1, 2]
Group 128 dim1 = ceil(cols/128) [outNum, dim1]

维度示例

假设 n=8, k=2, cols=512, activeNum=-1(即 outNum=16, xOutNum=16):

Kernel x 输入形状 expandedX 输出形状 expandedScale 输出形状
MXFP8 [8, 512] [16, 512] [16, 16] (E8M0),ceil_align(ceil(512/32), 2) = 16
PerBlock [8, 512] [16, 512] [16, 2, 2] (FP32),ceil(512/256) = 2
Group [8, 512] [16, 512] [16, 4] (FP32),ceil(512/128) = 4

假设 n=4, k=1, cols=192, activeNum=-1(即 outNum=4, xOutNum=4):

Kernel x 输入形状 expandedX 输出形状 expandedScale 输出形状
MXFP8 [4, 192] [4, 192] [4, 6] (E8M0),ceil_align(ceil(192/32), 2) = 6
PerBlock [4, 192] [4, 192] [4, 1, 2] (FP32),ceil(192/256) = 1
Group [4, 192] [4, 192] [4, 2] (FP32),ceil(192/128) = 2

假设 n=8, k=2, cols=512, activeNum=10(即 outNum=16, xOutNum=10):

Kernel x 输入形状 expandedX 输出形状 expandedScale 输出形状
MXFP8 [8, 512] [10, 512] [16, 16] (E8M0)
PerBlock [8, 512] [10, 512] [16, 2, 2] (FP32)
Group [8, 512] [10, 512] [16, 4] (FP32)

注意:当 activeNum < n*k 时,expandedX 第一维为 10(xOutNum),expandedScale 第一维为 16(outNum)。

维度关系图

输入 x: [n, cols]                    输入 expert_idx: [n, k]
         │                                      │
         │                                      │
         ▼                                      ▼
    ┌─────────────────────────────────────────────────────────────┐
    │                    Gather 操作                               │
    │  根据路由索引从 x 中读取数据,每行读取 cols 个元素              │
    │  outNum = n * k                                              │
    │  xOutNum = min(activeNum, n * k)                             │
    └─────────────────────────────────────────────────────────────┘
         │                                    │
         ▼                                    ▼
量化计算(按块/组处理 cols 维度)
         │
         ├──────────────────────────────────────────────────────────┐
         │                                                          │
         ▼                                                          ▼
expandedX: [xOutNum, cols]                    expandedScale: [outNum, ...]
(每行 cols 个 FP8 元素)                        形状取决于量化模式:
                                                - MXFP8:    [outNum, ceil_align(ceil(cols/32), 2)]
                                                - PerBlock: [outNum, ceil(cols/256), 2]
                                                - Group:    [outNum, ceil(cols/128)]

公共参数

输入张量

参数 类型 说明
x FP16/BF16 输入张量,形状为 [n, cols]
expert_idx INT32 路由索引,形状为 [n, k]
scale 可选 量化 scale 输入,三种量化模式下可为 None
offset 可选 量化 offset 输入,仅 static quant 时需要

输出张量

参数 类型 说明
expandedX FP8 (E4M3/E5M2) 量化后的输出张量,形状为 [xOutNum, cols]
expandedScale FP8 E8M0 / FP32 Scale 因子,形状取决于量化模式(见上方对比表)

Tiling 数据字段

字段 类型 说明
coreNum INT64 使用的 NPU 核心数量
n INT64 批次大小
k INT64 Top-k 值
cols INT64 隐藏维度
actualExpertNum INT64 活跃专家数量
rowIdxType INT64 0=Gather 模式,1=Scatter 模式
useGatherCopy INT64 是否使用 Gather Copy 优化

特殊值常量

常量 值 说明
FP16_EMASK_AND_INF_VAL 0x7C00 FP16 指数掩码 / Inf 值
BF16_EMASK_AND_INF_VAL 0x7F80 BF16 指数掩码 / Inf 值
FP32_INF_VALUE 0x7F800000 FP32 Inf 位模式
FP32_NAN_VALUE 0x7FC00000 FP32 NaN 位模式
BF16_NAN_VAL 0x7F81 BF16 NaN 值
FP8_E8M0_NAN_VAL 0xFF FP8 E8M0 NaN 值
FP8_E4M3_MAX_VALUE 448.0 FP8 E4M3 最大值
FP8_E5M2_MAX_VALUE 57344.0 FP8 E5M2 最大值

异常处理

溢出检测

所有 Kernel 在 Arch3510 上禁用溢出模式:

#if (__NPU_ARCH__ == 3510)
    SetCtrlSpr<OVERFLOW_MODE_CTRL, OVERFLOW_MODE_CTRL>(0);
#endif

饱和模式

所有 FP8 类型转换使用饱和模式(SatMode::SAT),具体行为:

  • 超出 FP8 最大值的数值被钳位到最大可表示值
  • NaN 被转换为 0
  • 下溢值被安全处理

性能考量

  1. 向量化:所有 Kernel 使用 SIMD 向量指令,向量寄存器宽度为 256 字节
  2. 双缓冲:使用基于队列的流水线,配置 2 个缓冲区以实现计算与访存的重叠
  3. 交织处理:MXFP8 使用奇偶元素交织以提高数据搬移效率
  4. 块对齐:所有 Kernel 要求输入维度对齐到块/组大小
  5. Gather vs Scatter:当多个输出引用同一输入行时,Gather Copy 优化可减少冗余的内存读取

参考资料

  • MXFP8 规范:OCP Microscaling Formats (MX) v1.0
  • FP8 格式:FP8 Formats for Deep Learning (NVIDIA, ARM, Intel)
  • Ascend C 编程指南:华为 CANN 文档

Environment / 环境信息 (Mandatory / 必填)

950

Steps to reproduce the issue / 重现步骤 (Mandatory / 必填)

moeinitroutingv3 mxfp8量化对于nan、INF、-Inf

Describe the expected behavior / 预期结果 (Mandatory / 必填)

输出expandedx为0,expanedscale为nan

是

Special notes for this issue/备注 (Optional / 选填)

likedislike
Ccpy_123456Collaborators
Aug 17 Added label: bug-report
weihao18Collaborators
Aug 17 Comments:

/assign @cpy_123456

likedislike
CANN-robotCANN-robotCollaborators
Aug 17 Assign cpy_123456 as responsible person
Ccpy_123456Collaborators
Aug 17 Modify description of issue
CANN-robotCANN-robotCollaborators
Aug 24 Close issue
CANN-robotCANN-robotCollaborators
Aug 24 Added label: resolved