MindStudio ModelSlim 使用指南

1. 功能概述

MindStudio ModelSlim（msModelSlim） 是昇腾生态下的高性能模型压缩工具，支持稠密 LLM、MoE 及多模态模型的量化与压缩，开发者可通过命令行与配置快速调优并导出适配 MindIE、vLLM-Ascend 等框架的模型，在昇腾 AI 处理器上高效部署。

本目录文档分为业务流程指南与工具使用指南两类，可根据实际需求选择查阅。

业务流程指南

功能模块	说明	适用场景
量化精度调优	系统化调优方法论：离群值抑制、量化策略、校准集与回退	精度不达标时的人工调优路径

工具使用指南

功能模块	说明	适用场景
一键量化	集成主流大模型量化最佳实践，支持多种量化算法与导出格式，开箱即用	推荐首选，适用于支持一键量化的模型
敏感层分析	多维度评估各层量化敏感度，为量化配置调优提供数据支撑	量化精度调优、定位精度瓶颈
自动调优	根据精度目标自动迭代搜索量化配置，全流程自动化	精度不达标时无需人工反复调参
调试模式	保存量化过程上下文，便于排查问题与算法分析	问题定位、算法研究

2. 业务流程指南

2.1 量化精度调优

当量化精度未达预期时，可按「确认精度问题可信 → 调整离群值抑制 → 调整量化策略 → 调整校准集 → 量化回退」的递进路径进行系统调优。

详细方法请参见《量化精度调优指南》。

3. 工具使用指南

3.1 一键量化

一键量化基于 msModelSlim 最佳实践库，自动匹配最优配置，并通过 YAML 自由组合量化流水线。除命令行参数外，还支持：

• 多种量化算法：离群值抑制、线性量化、KV Cache、FA3 等，算法总览与配置字段详见《量化算法说明》。
• 多种导出格式：AscendV1、compressed-tensors、MindIE-SD 等，格式选型与兼容性详见《量化格式支持矩阵》。

详细使用方法请参见《一键量化使用指南》。

3.2 敏感层分析

敏感层分析用于多维度评估各层对量化的敏感程度，帮助精准定位应回退或提升位宽的层，为量化配置调优提供数据支撑。

详细使用方法请参见《敏感层分析使用指南》。

3.3 自动调优

自动调优功能可根据精度目标自动迭代搜索最优量化配置，量化与评估全流程自动化，无需人工反复调参。

详细使用方法请参见《自动调优使用指南》。

3.4 调试模式

调试模式是一键量化的高级特性，启用后会在量化完成时保存过程上下文（中间结果、统计与张量信息等），便于问题排查与算法分析。

详细使用方法请参见《调试模式使用指南》。