MindStudio ModelSlim

Simple, fast, and lean—msModelSlim is all you need.

昇腾模型压缩工具

✨ 最新消息

🔹 [2026.08.07]

🔹 [2026.07.15]

新增对 Gemma4 Dense gemma-4-31B-it（W8A8）、Gemma4 MoE gemma-4-26B-A4B-it（W8A8）模型的量化支持

🗂️ 更多历史更新（点击展开）

🔹 [2026.07.07]

🔹 [2026.06.01]

🔹 [2026.04.01]

📄 更多历史更新记录，请参见《最新消息》。

MindStudio ModelSlim（msModelSlim） 是昇腾生态下的高性能模型压缩工具，支持稠密LLM、MoE及多模态模型的量化与压缩。开发者可通过命令行与配置快速调优并导出适配 MindIE、vLLM-Ascend 等框架的模型，在昇腾AI处理器上高效部署。

它能为你带来什么：

🚀 推理加速：量化后显著降低显存占用，提升推理吞吐与部署成本效率（例如 Qwen3.6-27B 模型原始权重50+GB，量化后30+GB，显存节约40%）。
🎯 开箱即用：集成主流大模型量化最佳实践，msmodelslim quant 一条命令完成量化。
🔧 精度可控：提供敏感层分析、自动调优与精度反馈闭环，量化精度可量化、可调优。
🧩 生态友好：导出的量化权重无缝接入 vLLM-Ascend 等主流推理框架。

手把手教你完成端到端模型量化，请参见《快速入门》：

msModelSlim已发布到PyPI，可通过pip直接安装。

# 安装 msModelSlim（最新版本已更新到PyPI源）
pip install msmodelslim

# 验证安装：打印命令行帮助信息即表示安装成功
msmodelslim --help

更多安装方式，请参见《安装指南》。

想了解msModelSlim如何使用？ 可按需选择入口：

更多使用指南，请参见《使用指南》。

不懂 W4A8/W8A8 等量化术语？ 请参见《推理加速知识库》。

需要模型量化调优的典型场景？ 请参见《msModelSlim 典型案例》。

遇到了问题？ 请参见《FAQ》。

为提升文档查阅效率，我们提供多种高效检索方式：
🔹 AI 智能体（msagent）：msModelSlim 量化能力已集成至 msagent 智能体，通过自然语言交互即可自动完成模型量化任务。
🔹 AI 问答（DeepWiki）：自然语言问答，快速把握项目架构与模块关系。

想要贡献力量？ 具体请参见《贡献指南》。

欢迎大家为社区做贡献。如果有任何疑问或建议，请提交 Issues，我们会尽快回复。感谢您的支持。

即时互动（微信群）	官方资讯（公众号）	深度支持（助手/论坛）
_{扫码加入技术交流群}	_{扫码关注官方公众号}	扫码入群并关注公众号，直达 MindStudio 用户与开发者最快捷的交流平台：快速提问：与社区小伙伴即时探讨技术问题掌握动态：第一时间获取版本发布与功能更新通知经验共享：与广大开发者交流最佳实践与实战心得更多支持渠道：👉 昇腾助手： 👉 昇腾论坛：