MiniMax-M2 量化说明

模型介绍

MiniMax-M2.7 是 MiniMax 开源的大语言模型。msModelSlim 已适配 MiniMax-M2.7 的 W8A8、W8A8C8 与 W8A8 MXFP8 一键量化实践，量化结果可用于 vLLM Ascend 推理。

使用前准备

• 安装 msModelSlim 工具，详情请参见《msModelSlim工具安装指南》。
• 由于模型量化对显存要求较高，请确保在满足模型加载和校准数据处理需求的环境下执行。

支持的模型版本与量化策略

模型系列	模型版本	HuggingFace链接	W8A8	W8A8 MXFP8	W8A16	W4A8	W8A8C8	W4A8C8	稀疏量化	KV Cache	Attention	量化命令
MiniMax-M2	MiniMax-M2.7	MiniMax-M2.7	✅	✅			✅			✅		W8A8 / W8A8 MXFP8 / W8A8C8

量化权重生成

使用示例

请将${MODEL_PATH}替换为用户实际浮点权重路径，${SAVE_PATH}替换为量化权重保存路径。

MiniMax-M2.7 W8A8量化

生成 MiniMax-M2.7 模型 W8A8 量化权重：

msmodelslim quant \
  --model_path ${MODEL_PATH} \
  --save_path ${SAVE_PATH} \
  --device npu \
  --model_type MiniMax-M2.7 \
  --quant_type w8a8 \
  --trust_remote_code True

该一键量化命令匹配使用的量化配置文件为minimax_m27_w8a8.yaml，可以在其中查看具体的量化策略。

MiniMax-M2.7 W8A8C8量化

生成 MiniMax-M2.7 模型 W8A8C8 量化权重：

msmodelslim quant \
  --model_path ${MODEL_PATH} \
  --save_path ${SAVE_PATH} \
  --device npu \
  --model_type MiniMax-M2.7 \
  --quant_type w8a8c8 \
  --trust_remote_code True

该一键量化命令匹配使用的量化配置文件为minimax_m27_w8a8c8.yaml，可以在其中查看具体的量化策略。

MiniMax-M2.7 W8A8 MXFP8量化

生成 MiniMax-M2.7 模型 W8A8 MXFP8 量化权重：

msmodelslim quant \
  --model_path ${MODEL_PATH} \
  --save_path ${SAVE_PATH} \
  --device npu \
  --model_type MiniMax-M2.7 \
  --quant_type w8a8 \
  --tag Atlas_A5_Interface \
  --trust_remote_code True

该一键量化命令匹配使用的量化配置文件为minimax_m27_w8a8_mxfp8.yaml，可以在其中查看具体的量化策略。