已关闭
moe_init_routing_v3 INT4动态量化支持 #2977
Huang-Peng创建于  6月8日关闭于  6月10日
Huang-Peng
6月8日 创建

背景

当前 moe_init_routing_v3 算子支持 INT8 动态量化(quantMode=1),但不支持 INT4 动态量化输出。为满足大模型推理场景中 INT4 量化需求,需新增 INT4 动态量化路径。

方案

新增 quantMode=13 (INT4_DYNAMIC_QUANT) 用于 INT4 动态量化:

  • INT4 对称量化,scale 分母为 7 (2^(4-1)-1)
  • 输出沿 H 维每两个 INT4 打包为 1 字节 (uint8 承载)
  • 仅支持 FP32/BF16 输入、dropPadMode=0、H 为偶数

关联 PR

https://gitcode.com/cann/ops-transformer/merge_requests/6392

likedislike
HHuang-Peng
6月8日 添加了label:feature
huang-chuhong成员
6月8日 评论:

/assign @Huang-Peng

likedislike
CANN-robotCANN-robot成员
6月8日 将 Huang-Peng 设为负责人
CANN-robotCANN-robot成员
6月10日 关闭了 issue
CANN-robotCANN-robot成员
6月10日 添加了label:resolved