当前 moe_init_routing_v3 算子支持 INT8 动态量化(quantMode=1),但不支持 INT4 动态量化输出。为满足大模型推理场景中 INT4 量化需求,需新增 INT4 动态量化路径。
新增 quantMode=13 (INT4_DYNAMIC_QUANT) 用于 INT4 动态量化:
https://gitcode.com/cann/ops-transformer/merge_requests/6392
/assign @Huang-Peng
背景
当前 moe_init_routing_v3 算子支持 INT8 动态量化(quantMode=1),但不支持 INT4 动态量化输出。为满足大模型推理场景中 INT4 量化需求,需新增 INT4 动态量化路径。
方案
新增 quantMode=13 (INT4_DYNAMIC_QUANT) 用于 INT4 动态量化:
关联 PR
https://gitcode.com/cann/ops-transformer/merge_requests/6392