| 文件 | 最后提交记录 | 最后更新时间 |
|---|---|---|
| 5 个月前 | ||
| 5 个月前 | ||
| 2 个月前 | ||
| 1 个月前 | ||
| 2 个月前 | ||
| 5 个月前 | ||
| 1 年前 | ||
| 1 年前 | ||
| 3 个月前 | ||
| 8 个月前 | ||
| 5 个月前 | ||
| 2 个月前 | ||
| 3 个月前 | ||
| 2 个月前 | ||
| 7 个月前 | ||
| 5 个月前 | ||
| 5 个月前 | ||
| 3 个月前 |
msModelSlim
🔥🔥🔥Latest News
2026年1月
- 📦 msModelSlim 已完成迁仓，新仓库地址：https://gitcode.com/Ascend/msmodelslim，欢迎大家使用
2025年12月
- 🎯 msModelSlim 支持量化精度反馈自动调优，可根据精度需求自动搜索最优量化配置
- 🎨 msModelSlim 支持自主量化多模态理解模型，支持多模态理解模型的量化接入
- ⚡ msModelSlim 一键量化支持多卡量化，支持分布式逐层量化，提升大模型量化效率
- 🚀 msModelSlim 支持 DeepSeek-V3.2 W8A8 量化，单卡64G显存、100G内存即可执行
- 🚀 msModelSlim 支持 DeepSeek-V3.2-Exp W4A8 量化，单卡64G显存、100G内存即可执行
- 🚀 msModelSlim 支持 Qwen3-VL-235B-A22B W8A8 量化
2025年11月
- 🚀 msModelSlim 模型适配支持插件化和配置注册，支持依赖预检
2025年10月
- 🚀 msModelSlim 支持 Qwen3-235B-A22B W4A8、Qwen3-30B-A3B W4A8 量化。vLLM Ascend已支持量化模型推理部署 部署指导
2025年9月
- 🚀 msModelSlim 支持 DeepSeek-V3.2-Exp W8A8 量化，单卡64G显存，100G内存即可执行
- 🚀 msModelSlim 现已解决Qwen3-235B-A22B在W8A8量化下频繁出现"游戏副本"等异常token的问题 Qwen3-MoE 量化推荐实践
- 🚀 msModelSlim 支持DeepSeek R1 W4A8 per-channel 量化【Prototype】
- 🤝 msModelSlim 支持大模型量化敏感层分析
2025年8月
- 🎨 msModelSlim 支持 Wan2.1 模型一键量化
- 📊 msModelSlim 支持大模型逐层量化，显著降低大模型量化内存占用
- ⚙️ msModelSlim 支持大模型 SSZ 权重量化算法，通过迭代搜索最优缩放因子和偏移量提升量化精度
注： Prototype特性未经过充分验证，可能存在不稳定和bug问题，beta表示非商用特性
msModelSlim简介
msModelSlim，全称MindStudio ModelSlim，昇腾模型压缩工具。
昇腾模型压缩工具，一个以加速为目标、压缩为技术、昇腾为根本的亲和压缩工具。包含量化和压缩等一系列推理优化技术，旨在加速大语言稠密模型、MoE模型、多模态理解模型、多模态生成模型等。
昇腾AI模型开发用户可以灵活调用Python API接口，适配算法和模型，完成精度性能调优，并支持导出不同格式模型，通过MindIE、vLLM Ascend等推理框架在昇腾AI处理器上运行。
安装指南
具体安装步骤请查看安装指南。
快速入门
快速入门旨在帮助用户快速通过一键量化的方式完成大模型量化功能。
具体快速入门请查看快速入门。
支持矩阵
支持矩阵旨在以表格形式呈现不同功能和模型已适配场景的情况。
具体支持矩阵请查看支持矩阵。
功能指南
功能指南基于msModelSlim不同架构下的功能支持情况，提供功能使用说明和接口说明。
具体功能指南请查看功能指南。
自主量化
面向需要将自有模型接入 msModelSlim 的开发者，提供自主将模型接入msModelSlim一键量化的指导。
具体模型接入指南请查看自主量化模型接入指南。
案例集
案例集通过具体的文字说明和代码示例，以实际应用场景为基础，旨在指导用户快速熟悉特定场景下msModelSlim工具的使用，包括一些精度调优方法等，msModelSlim将持续完善案例集。
具体案例集请查看案例集。
常见问题
相关FAQ请参考链接：FAQ
其他资源
免责声明
致msModelSlim使用者
- msModelSlim工具依赖的transformers、PyTorch等第三方开源软件，均由第三方社区提供和维护，因第三方开源软件导致的问题的修复依赖相关社区的贡献和反馈。您应理解，msModelSlim仓库不保证第三方开源软件本身的问题进行修复，也不保证会测试或纠正所有第三方开源软件的漏洞和错误。
- 在您使用msModelSlim工具时，工具通常会从硬盘中读取您从互联网所下载的模型权重（通过您提供的命令行参数或配置文件）。使用非可信的模型权重可能会导致未知的安全风险，建议您在使用工具前通过SHA256校验等方法，确保模型权重可信后再传递给工具。
- 出于安全性及权限最小化角度考虑，您不应以root等高权限账户使用msModelSlim工具，建议您使用普通用户权限安装执行。
- 用户须自行保证最小权限原则（如禁止 other 用户可写，常见如禁止 666、777）。
- 使用 msModelSlim 工具请确保执行用户的 umask 值大于等于 0027，否则会导致生成的量化模型数据所在目录和权限过大。
- 若要查看 umask 的值，可执行命令：umask
- 若要修改 umask 的值，可执行命令：umask 新的取值
- 请确保原始模型数据存放和量化模型数据保存在不含软链接的当前用户目录下，否则可能会引起安全问题。
致数据集所有者
如果您不希望您的数据集在msModelSlim中的模型被提及，或希望更新msModelSlim中的模型关于您的数据集的描述，请在Gitcode提issue，msModelSlim将根据您的issue要求删除或更新您的数据集描述。衷心感谢您对msModelSlim的理解和贡献。
License声明
msModelSlim提供的模型，若其模型目录中包含License文件，则遵循该文件中的许可协议。若未包含License文件，则默认适用Apache 2.0许可证。
致谢
msModelSlim 由华为公司的下列部门及昇腾生态合作伙伴联合贡献：
华为公司：
- 计算产品线
- 2012实验室
感谢来自社区的每一个PR，欢迎贡献 msModelSlim 。