Step3.5-Flash 量化说明

模型介绍

Step-3.5-Flash 是 StepFun AI 开源的大语言模型，采用 MoE 架构并包含 MTP（Multi-Token Prediction）模块。msModelSlim 已适配 Step-3.5-Flash 的 W8A8 一键量化实践，当前量化配置主要覆盖 MoE experts 线性层动态量化，量化结果可用于昇腾推理场景。

使用前准备

• 安装 msModelSlim 工具，详情请参见《msModelSlim工具安装指南》。

• 需要安装 transformers 4.57.1 及以上、5.0.0 以下版本：

  pip install "transformers>=4.57.1,<5.0.0"
  

• 由于模型量化对显存要求较高，请确保在满足模型加载和校准数据处理需求的环境下执行。

支持的模型版本与量化策略

模型系列	模型版本	HuggingFace链接	W8A8	W8A16	W4A8	W8A8C8	W4A8C8	稀疏量化	KV Cache	Attention	量化命令
Step3.5	Step-3.5-Flash	Step-3.5-Flash	✅								W8A8

量化权重生成

使用示例

请将${MODEL_PATH}替换为用户实际浮点权重路径，${SAVE_PATH}替换为量化权重保存路径。

Step-3.5-Flash W8A8量化

生成 Step-3.5-Flash 模型 W8A8 量化权重：

msmodelslim quant \
  --model_path ${MODEL_PATH} \
  --save_path ${SAVE_PATH} \
  --device npu \
  --model_type Step-3.5-Flash \
  --quant_type w8a8 \
  --trust_remote_code True

该一键量化命令匹配使用的量化配置文件为step3_5_moe_w8a8.yaml，可以在其中查看具体的量化策略。