MindStudio-ModelSlim（msModelSlim）是MindStudio全流程工具链推出的模型量化压缩工具。
| 文件 | 最后提交记录 | 最后更新时间 |
|---|---|---|
[Doc] 重组中文资料目录并同步导航与链接 Co-authored-by: joejoezhou<zhourongchen1@huawei.com> # message auto-generated for no-merge-commit merge: !761 merge feature/docs-dirs into master [Doc] 重组中文资料目录并同步导航与链接 Created-by: joejoezhou Commit-by: joejoezhou Merged-by: ascend-robot Description: # PR 提交说明 提交前请阅读 [贡献指南](https://gitcode.com/Ascend/msmodelslim/blob/master/docs/zh/contributing/contributing_guide.md)，开发者文档：[模型接入指南](../docs/zh/knowledge_base/model/integrating_models.md) PR 标题前缀：[Feature]、[Bugfix]、[Doc]、[Test]（与 CONTRIBUTING 一致） ## 1. 影响面评估 **接口变更（按需）：** 无 **输出件变更（按需）：** 无 **非兼容变更（按需）：** 无 **SIG 评审结论（按需）：** 无 ## 2. 修改描述 **修改背景（可选）：** 中文资料目录层级混乱，流程与概念混杂，导航与相对链接随历史迁移积累了失效路径。 **修改目的：** 重组 docs/zh 目录结构，统一以流程指南/知识库/案例参考三类文档分层，并同步导航、索引与全库相关链接。 **修改内容：** - docs：新增推理加速知识库 knowledge_base，按 knowledge_base / user_guide / contributing / api_reference / best_practices / legal 重组中文资料 - docs：每个算法单独子目录、每个调优策略单独子目录、每个量化格式单独子目录 - docs：更新流程指南，区分业务流程和工具使用流程；算法总览补齐子算法 - docs：修复迁移后失效/过时链接，同步 mkdocs 导航（仅改路径，顶层序号与 master 一致） - docs：按评审意见修正相对路径、书名号外层、文档链接书名号与完整句句号 - docs：PR 模板中模型接入路径对齐新目录；清除 V0 案例残留 ## 3. 功能验证 冒烟由 CI 门禁检查，无需填写「冒烟是否通过」。 - [x] 功能自验 - [ ] 本地自验用例截图（请勿包含个人信息；可附复现命令） ## 4. 自检（请逐项确认，不适用标 N/A） **典型安全编码问题** - [x] 是否已校验外部数据（N/A） - [x] 是否未采集或打印敏感信息（N/A） - [x] 是否已正确设置文件权限（N/A） - [x] 是否充分考虑浮点运算溢出、除零等异常场景（N/A） - [x] 是否已对正则表达式做 ReDos 检查（N/A） **DT** - [x] 是否具备 UT 测试用例看护（路径：用例路径；未添加请说明原因）：文档重组，无代码逻辑变更，不新增 UT - [x] 是否需要添加冒烟：否 See merge request: Ascend/msmodelslim!761 | 2 个月前 | |
【msmodelslim】刷新文件头部声明和版权 Co-authored-by: caishengcheng<caishengcheng@huawei.com> # message auto-generated for no-merge-commit merge: !28 merge license into master 【msmodelslim】刷新文件头部声明和版权 Created-by: caishengcheng Commit-by: caishengcheng Merged-by: ascend-robot Description: 【msmodelslim】刷新文件头部声明和版权 See merge request: Ascend/msmodelslim!28 | 8 个月前 | |
[feature] support kimi_k3 model adapter Co-authored-by: xyxin_006<xyxin_hit@163.com> # message auto-generated for no-merge-commit merge: !789 merge model/kimi_k3 into master [feature] support kimi_k3 model adapter Created-by: xyxin_006 Commit-by: xyxin_006 Merged-by: ascend-robot Description: # PR 提交说明 提交前请阅读 [贡献指南](https://gitcode.com/Ascend/msmodelslim/blob/master/docs/zh/contributing/contributing_guide.md)，开发者文档：[模型接入指南](../docs/zh/knowledge_base/model/integrating_models.md) PR 标题前缀：[Feature]、[Bugfix]、[Doc]、[Test]（与 CONTRIBUTING 一致） ## 1. 影响面评估 **接口变更（按需）：** 新增能力（兼容扩展） - 新增模型类型 Kimi-K3 及适配器入口（config/config.ini → msmodelslim.model.kimi_k3） - 新增实践配置 lab_practice/kimi_k3/kimi_k3_w4a8.yaml 与示例文档 **输出件变更（按需）：** 无 **非兼容变更（按需）：** 无 **SIG 评审结论（按需）：** 无 ## 2. 修改描述 **修改背景：** Kimi-K3 为原生多模态大模型（混合注意力 KDA/MLA + Latent MoE），权重以 compressed-tensors MXFP4 存储，体量大、结构复杂。社区此前缺少对应模型适配器与 W4A8 实践配置 **修改目的：** 接入 Kimi-K3 模型适配器，支持语言侧 Decoder 的 W4A8 混合量化（含 MXFP4 加载反量化、EP、QuaRot、FA3）；并让 VLM 量化服务支持 auto / dp_layer_wise，与 LLM 侧调度对齐，便于多卡加速。 **修改内容：** - msmodelslim/model/kimi_k3 - 新增 KimiK3ModelAdapter：layer-wise 加载、多模态校准数据（image+text）、IterSmooth 子图配置（KDA/MLA/FFN） - convert_mxfp4_to_bf16：compressed-tensors MXFP4（weight_packed + E8M0 scale）反量化为 BF16 nn.Linear - ep_patches：对权重目录内 KimiSparseMoeBlock 做 EP monkey-patch（本地 expert 分片 + DP gather / all_reduce），不改权重仓 modeling_*.py - quarot：离线 QuaRot 的 ln fuse / rotate map（含 EP 本地 expert 的 rot_latent） - runtime_patches：NPU 上用纯 PyTorch 路径替换易超时的 FLA KDA Triton 核 - FA3：在 KimiMLAAttention（absorb MLA）注入 placeholder，对接 Ascend MLA FA - msmodelslim/model/common/utils.py：抽取 resolve_expert_ep_range，统一 EP expert 范围计算 - config/config.ini：注册 kimi_k3 - lab_practice/kimi_k3/kimi_k3_w4a8.yaml：新增 W4A8 实践配置 - example/multimodal_vlm/Kimi-K3/README.md、docs/zh/knowledge_base/model/README.md、docs/zh/user_guide/usage_quick_quantization.md：补充 Kimi-K3 与 VLM DP 说明 - test/cases/model/kimi_k3/*、test/cases/core/quant_service/multimodal_vlm_v1/、test/cases/utils/test_distributed.py：补充 UT ## 3. 功能验证 冒烟由 CI 门禁检查，无需填写「冒烟是否通过」。 - [x] 功能自验 - [ ] 本地自验用例截图（请勿包含个人信息；可附复现命令） **复现步骤（可选）：** bash # 依赖 pip install transformers==4.57.6 compressed-tensors==0.13.0 pip install -U fla-core # Kimi-K3 W4A8 一键量化（推荐多卡；runner 默认 auto） msmodelslim quant \ --model_path ${model_path} \ --save_path ${save_path} \ --device npu:0,1,2,3,4,5,6,7 \ --model_type Kimi-K3 \ --quant_type w4a8 \ --trust_remote_code True 说明：实践配置见 lab_practice/kimi_k3/kimi_k3_w4a8.yaml（expert W4A8 + latent/shared W8A8）；校准数据需同时包含 image 与 text。EP 由适配器侧处理，与 runner DP 相互独立、可叠加；使用 DP 时配置中的处理器/算法需支持分布式执行。 ## 4. 自检（请逐项确认，不适用标 N/A） **典型安全编码问题** - [x] 是否已校验外部数据（模型路径 / runner / offload_device / expert 数与 world_size 整除校验等） - [x] 是否未采集或打印敏感信息 - [x] N/A 是否已正确设置文件权限 - [x] N/A 是否充分考虑浮点运算溢出、除零等异常场景 - [x] N/A 是否已对正则表达式做 ReDos 检查 **DT** - [x] 是否具备 UT 测试用例看护（路径：test/cases/model/kimi_k3/、test/cases/core/quant_service/multimodal_vlm_v1/test_multimodal_vlm_modelslim_v1_quant_service.py、test/cases/utils/test_distributed.py） - [x] 是否需要添加冒烟：否 See merge request: Ascend/msmodelslim!789 | 1 个月前 | |
[Docs]优化资料文档 | 1 个月前 | |
根据《MindStudio 统一命令行方案》对各类参数进行统一规范化，同时考虑msmodelslim本身需求，保留了下划线形式。增加了版本参数命令和完善了help命令 Co-authored-by: Rigel_Chen<chenruijie9@huawei.com> # message auto-generated for no-merge-commit merge: !805 merge cli-standardization into master [Bugfix]命令行参数优化与help提示优化 Created-by: Rigel_Chen Commit-by: Rigel_Chen Merged-by: ascend-robot Description: # PR 提交说明 提交前请阅读 [贡献指南](https://gitcode.com/Ascend/msmodelslim/blob/master/docs/zh/contributing/contributing_guide.md)，开发者文档：[模型接入指南](../docs/zh/knowledge_base/model/integrating_models.md) PR 标题前缀：[Feature]、[Bugfix]、[Doc]、[Test]（与 CONTRIBUTING 一致） ## 1. 影响面评估 **接口变更（按需）：** 有 > 备注：CLI 命令行参数接口发生变更： --topk → --top_k、--calib_dataset → --calibration_dataset、--pattern → --patterns、--tag → --tags 旧 snake_case 写法保留为隐藏兼容别名，仍可解析但触发弃用告警；不在 --help 中展示 新增顶层 --version / -V 参数 新增统一日志开关 --log_level、-v/--verbose、-q/--quiet 布尔参数 --trust_remote_code 改为 flag 用法（兼容旧 True/False 值写法） **输出件变更（按需）：** 无 > 备注：若无变更请保留「无」；涉及导出格式、产物路径等请在此项补充说明。 **非兼容变更（按需）：** 无 > 备注：若无变更请保留「无」；若有非兼容变更请说明迁移方式。 **SIG 评审结论（按需）：** 无 > 提醒：非兼容、安全风险等高危 PR 须经 SIG 评审后合入；无则保留「无」。 ## 2. 修改描述 **修改背景（可选）：** 当前 msmodelslim CLI 参数命名与 MindStudio 工具链其他工具不一致（snake_case、缺少 --version、帮助信息不完整），导致用户跨工具学习成本高、AI Agent 难以自动化调用 **修改目的：** 依据《MindStudio 工具链命令行统一规范化设计方案》，将 msmodelslim 的 CLI 参数体系收敛到统一规范（kebab-case 长选项、--version、统一日志开关、统一帮助信息），同时通过隐藏兼容别名保证存量脚本零中断。 **修改内容：** cli：长选项统一为 kebab-case，旧 snake_case 降级为隐藏兼容别名并触发一次性弃用告警 cli：新增顶层 --version / -V 版本查询参数（含 MindStudio Logo、Git commit hash、Copyright、License） cli：新增统一日志开关 --log-level {debug,info,warning,error}、-v/--verbose、-q/--quiet，并按冲突裁决规则生效 cli：布尔参数 --trust-remote-code 改为 flag 用法（兼容旧 True/False 值写法） cli：带值参数补齐语义化取值占位符（metavar） cli：帮助信息补全，含用途、必填参数清单、示例、默认值标注 cli：优化帮助 formatter，--help 仅展示规范名、隐藏旧别名 （在此填写） **概念域参考（填写提示）：** - cli：命令行 quant / analyze / tune - app：最佳实践量化、量化分析、精度反馈自动调优等 - core：算法、量化服务、调度、张量量化、调优策略、最佳实践、上下文等 - infra：模型适配、调优计划/历史/缓存、测评服务等 - utils：日志、错误处理、插件等 ## 3. 功能验证 冒烟由 CI 门禁检查，无需填写「冒烟是否通过」。 - [x] 功能自验 - [ ] 本地自验用例截图（请勿包含个人信息；可附复现命令） **复现步骤（可选）：** bash msmodelslim --version msmodelslim --help msmodelslim quant --help msmodelslim analyze linear --help msmodelslim tune --help # 旧别名弃用告警验证 msmodelslim quant --model_path ./dummy --save_path ./dummy-out --model_type Qwen2.5-7B-Instruct --help ## 4. 自检（请逐项确认，不适用标 N/A） **典型安全编码问题** - [x] 是否已校验外部数据 - [x] 是否未采集或打印敏感信息 - [x] 是否已正确设置文件权限 → N/A（纯 CLI 解析逻辑，无文件权限变更） - [x] 是否充分考虑浮点运算溢出、除零等异常场景 → N/A（不涉及浮点运算） - [x] 是否已对正则表达式做 ReDos 检查 → N/A（未新增正则表达式） **DT** - [x] 是否具备 UT 测试用例看护（路径：用例路径；未添加请说明原因） - [ ] 是否需要添加冒烟：否（若「是」请说明冒烟场景及对应用途） See merge request: Ascend/msmodelslim!805 | 1 个月前 | |
【重构】多模态生成模型量化服务重构wan2.2/hunyuanvideo【增加资料和配置】 Co-authored-by: xiaoheng181<eudemoniaxh@163.com> # message auto-generated for no-merge-commit merge: !495 merge sd_refactor_docs_and_examples into master 【重构】多模态生成模型量化服务重构wan2.2/hunyuanvideo【增加资料和配置】 Created-by: xiaoheng181 Commit-by: xiaoheng181 Merged-by: ascend-robot Description: 感谢您贡献的Pull Request！ 在提交之前，请务必阅读 [CONTRIBUTING.md](https://gitcode.com/Ascend/msmodelslim/blob/master/CONTRIBUTING.md)。 Thanks for sending a pull request! BEFORE SUBMITTING, PLEASE READ [CONTRIBUTING.md](https://gitcode.com/Ascend/msmodelslim/blob/master/CONTRIBUTING.md). ## PR描述 (What this PR does / why we need it?) - 请明确说明您提交PR的变更内容。本部分旨在概述所做的变更，以及此PR是如何解决该问题的。请尽可能地提供有助于评审人员更高效、更快速完成检视审查的实用说明。 本 PR 是多模态生成（multimodal_sd_modelslim_v1）重构的第五笔（资料），依赖 PR1～PR4 代码均已合入（或本分支已堆叠包含全部代码提交）。同步用户文档、示例与 lab 资产，使对外说明与重构后的 inference_config / dataset / 场景化 model_type 一致。 开发者指南 docs/zh/developer_guide/integrating_multimodal_generation_model.md 新增多模态生成模型接入指南（接口分区、Wan2.2 场景化结构、Hunyuan 参数桥接、双专家与校准数据约定等）。 用户指南 docs/zh/feature_guide/quick_quantization_v1/usage.md 补充/调整一键量化中 inference_config、dataset、多模态 SD 相关说明。 示例 example/multimodal_sd/Wan2_2/README.md Wan2.2 场景化 model_type 与配置示例说明。 Lab lab_calib/wan2_2_*、lab_calib/hunyuanvideo/ 分场景校准数据索引与样例图。 Lab lab_practice/wan2_2/*.yaml、lab_practice/hunyuan_video/*.yaml 与 inference_config / dataset 对齐的实践配置。 配置 config/config.ini 与 Wan2.2 场景化 model_type、loader 注册等保持一致。 - 请说明为何需要这些更改，例如具体的使用场景或bug描述。 代码 PR 单独合入后，用户若仍按旧 model_config 文档操作易配置失败；本 PR 将接入方式、YAML 样例与 lab 资产一次性对齐，降低合入后的使用成本。 依赖：请在 PR1～PR4 全部合入 master 后再合本 PR（或确认 target 分支已包含全部代码变更）。 - 关联issue号（如果有）。 - Please clarify what changes you are proposing. The purpose of this section is to outline the changes and how this PR fixes the issue. If possible, please consider writing useful notes for better and faster reviews in your PR. - Please clarify why the changes are needed. For instance, the use case and bug description. - Related issue number (if any) ## 面向用户的变更 (Does this PR introduce _any_ user-facing change)? - 请注意，这里指的是**任何**面向用户的变更，包括但不限于API、用户界面或其他使用方式上的变更。 有（文档与示例层面）。 新增/更新面向用户的 Markdown 说明与 lab YAML、校准数据索引。 无 生产 Python 逻辑变更；行为以已合入的代码 PR 为准。 - Note that it means *any* user-facing change including all aspects such as API, interface or other behavior changes. ## 功能验证 (How was this patch tested?) 请确认CI已通过增量及存量的单元测试用例。 如果本次测试方式与常规单元测试不同，请详细说明您的测试步骤(最好提供完整的可复现的操作路径及关键截图)，以便Committer能够快速复现验证，也便于后续的维护。 如果未添加测试，请说明未添加的原因，以及为何难添加测试。 - [_] 功能自验 - [_] 本地自验截图(涉及个人标识符等敏感信息请注意脱敏) - [_] 新增/变更内容是否已新增/适配UT测试用例看护 CI passed with new added/existing test. If it was tested in a way different from regular unit tests, please clarify how you tested step by step, ideally copy and paste-able, so that other reviewers can test and check, and descendants can verify in the future. If tests were not added, please describe why they were not added and/or why it was difficult to add. - [_] Self-verification of the feature. - [_] Screenshot of local self-verification (please anonymize any sensitive information such as personal identifiers) - [_] Have new or modified unit test (UT) cases been added or adapted to cover the newly added or changed content? See merge request: Ascend/msmodelslim!495 | 3 个月前 | |
【bugfix】GLM-5.1 量化配置移除 layer78 排除项，和性能出口对齐 Co-authored-by: qq_46439621<wanlongze1@huawei.com> # message auto-generated for no-merge-commit merge: !840 merge glm51_yaml_update into master 【bugfix】GLM-5.1 量化配置移除 layer78 排除项，和性能出口对齐 Created-by: qq_46439621 Commit-by: qq_46439621 Merged-by: ascend-robot Description: # PR 提交说明 提交前请阅读 https://gitcode.com/Ascend/msmodelslim/blob/master/docs/zh/contributing/contributing_guide.md ，开发者文档：[模型接入指南](../docs/zh/knowledge_base/model/integrating_models.md) PR 标题前缀：[Feature]、[Bugfix]、[Doc]、[Test]（与 CONTRIBUTING 一致） ## 1. 影响面评估 **接口变更（按需）：** 无 > 备注：若无变更请保留「无」；涉及 CLI、API、YAML 等请在此项补充说明。 **输出件变更（按需）：** 无 > 备注：若无变更请保留「无」；涉及导出格式、产物路径等请在此项补充说明。 **非兼容变更（按需）：** 无 > 备注：若无变更请保留「无」；若有非兼容变更请说明迁移方式。 **SIG 评审结论（按需）：** 无 > 提醒：非兼容、安全风险等高危 PR 须经 SIG 评审后合入；无则保留「无」。 ## 2. 修改描述 **修改背景（可选）：** GLM-5.1 量化案例 yaml 配置中，model.layers.78.* 作为硬编码的层排除项，仅针对特定故障层的规避方案，属历史遗留的个案处理，会导致同网络结构在其他模型规模或版本下量化范围不一致，且难以维护。 **修改目的：** 移除量化 yaml 配置中硬编码的 model.layers.78.* 层排除项，恢复按模型结构自动进行量化分层的逻辑，提升配置通用性与可维护性。 **修改内容：** - app/最佳实践量化：移除 GLM-5.1 W8A8/W8A8C8/W4A8/W4A8C8 共 4 个量化案例 yaml 中 model.layers.78.* 的层排除项（self_attn、mlp、mlp.experts 三处 exclude 列表），并同步清理 w4a8/w4a8c8 中 mlp.experts 对应的空 exclude 块。 **首先，78层为MTP，MTP不影响模型精度，然后这里是为了和性能出口保持一致，所以做如下更新** ## 3. 功能验证 冒烟由 CI 门禁检查，无需填写「冒烟是否通过」。 - [ ] 功能自验 - [ ] 本地自验用例截图（请勿包含个人信息；可附复现命令） **复现步骤（可选）：** bash # 在此粘贴可复现命令 ## 4. 自检（请逐项确认，不适用标 N/A） **典型安全编码问题** - [ ] N/A 是否已校验外部数据 - [ ] N/A 是否未采集或打印敏感信息 - [ ] N/A 是否已正确设置文件权限 - [ ] N/A 是否充分考虑浮点运算溢出、除零等异常场景 - [ ] N/A 是否已对正则表达式做 ReDos 检查 **DT** - [ ] N/A 是否具备 UT 测试用例看护（路径：用例路径；未添加请说明原因） - [ ] N/A 是否需要添加冒烟：否（若「是」请说明冒烟场景及对应用途） See merge request: Ascend/msmodelslim!840 | 1 个月前 | |
【msmodelslim】目录整改后目录文件同步修改 Co-authored-by: caishengcheng<caishengcheng@huawei.com> # message auto-generated for no-merge-commit merge: !38 merge dir into master 【msmodelslim】目录整改后目录文件同步修改 Created-by: caishengcheng Commit-by: caishengcheng Merged-by: ascend-robot Description: 【msmodelslim】目录整改后目录文件同步修改 See merge request: Ascend/msmodelslim!38 | 8 个月前 | |
根据《MindStudio 统一命令行方案》对各类参数进行统一规范化，同时考虑msmodelslim本身需求，保留了下划线形式。增加了版本参数命令和完善了help命令 Co-authored-by: Rigel_Chen<chenruijie9@huawei.com> # message auto-generated for no-merge-commit merge: !805 merge cli-standardization into master [Bugfix]命令行参数优化与help提示优化 Created-by: Rigel_Chen Commit-by: Rigel_Chen Merged-by: ascend-robot Description: # PR 提交说明 提交前请阅读 [贡献指南](https://gitcode.com/Ascend/msmodelslim/blob/master/docs/zh/contributing/contributing_guide.md)，开发者文档：[模型接入指南](../docs/zh/knowledge_base/model/integrating_models.md) PR 标题前缀：[Feature]、[Bugfix]、[Doc]、[Test]（与 CONTRIBUTING 一致） ## 1. 影响面评估 **接口变更（按需）：** 有 > 备注：CLI 命令行参数接口发生变更： --topk → --top_k、--calib_dataset → --calibration_dataset、--pattern → --patterns、--tag → --tags 旧 snake_case 写法保留为隐藏兼容别名，仍可解析但触发弃用告警；不在 --help 中展示 新增顶层 --version / -V 参数 新增统一日志开关 --log_level、-v/--verbose、-q/--quiet 布尔参数 --trust_remote_code 改为 flag 用法（兼容旧 True/False 值写法） **输出件变更（按需）：** 无 > 备注：若无变更请保留「无」；涉及导出格式、产物路径等请在此项补充说明。 **非兼容变更（按需）：** 无 > 备注：若无变更请保留「无」；若有非兼容变更请说明迁移方式。 **SIG 评审结论（按需）：** 无 > 提醒：非兼容、安全风险等高危 PR 须经 SIG 评审后合入；无则保留「无」。 ## 2. 修改描述 **修改背景（可选）：** 当前 msmodelslim CLI 参数命名与 MindStudio 工具链其他工具不一致（snake_case、缺少 --version、帮助信息不完整），导致用户跨工具学习成本高、AI Agent 难以自动化调用 **修改目的：** 依据《MindStudio 工具链命令行统一规范化设计方案》，将 msmodelslim 的 CLI 参数体系收敛到统一规范（kebab-case 长选项、--version、统一日志开关、统一帮助信息），同时通过隐藏兼容别名保证存量脚本零中断。 **修改内容：** cli：长选项统一为 kebab-case，旧 snake_case 降级为隐藏兼容别名并触发一次性弃用告警 cli：新增顶层 --version / -V 版本查询参数（含 MindStudio Logo、Git commit hash、Copyright、License） cli：新增统一日志开关 --log-level {debug,info,warning,error}、-v/--verbose、-q/--quiet，并按冲突裁决规则生效 cli：布尔参数 --trust-remote-code 改为 flag 用法（兼容旧 True/False 值写法） cli：带值参数补齐语义化取值占位符（metavar） cli：帮助信息补全，含用途、必填参数清单、示例、默认值标注 cli：优化帮助 formatter，--help 仅展示规范名、隐藏旧别名 （在此填写） **概念域参考（填写提示）：** - cli：命令行 quant / analyze / tune - app：最佳实践量化、量化分析、精度反馈自动调优等 - core：算法、量化服务、调度、张量量化、调优策略、最佳实践、上下文等 - infra：模型适配、调优计划/历史/缓存、测评服务等 - utils：日志、错误处理、插件等 ## 3. 功能验证 冒烟由 CI 门禁检查，无需填写「冒烟是否通过」。 - [x] 功能自验 - [ ] 本地自验用例截图（请勿包含个人信息；可附复现命令） **复现步骤（可选）：** bash msmodelslim --version msmodelslim --help msmodelslim quant --help msmodelslim analyze linear --help msmodelslim tune --help # 旧别名弃用告警验证 msmodelslim quant --model_path ./dummy --save_path ./dummy-out --model_type Qwen2.5-7B-Instruct --help ## 4. 自检（请逐项确认，不适用标 N/A） **典型安全编码问题** - [x] 是否已校验外部数据 - [x] 是否未采集或打印敏感信息 - [x] 是否已正确设置文件权限 → N/A（纯 CLI 解析逻辑，无文件权限变更） - [x] 是否充分考虑浮点运算溢出、除零等异常场景 → N/A（不涉及浮点运算） - [x] 是否已对正则表达式做 ReDos 检查 → N/A（未新增正则表达式） **DT** - [x] 是否具备 UT 测试用例看护（路径：用例路径；未添加请说明原因） - [ ] 是否需要添加冒烟：否（若「是」请说明冒烟场景及对应用途） See merge request: Ascend/msmodelslim!805 | 1 个月前 | |
[Feature] :集成 Gitleaks 本地离线密钥扫描功能 Co-authored-by: tanxiangyuu<tanxiangyu2@huawei.com> # message auto-generated for no-merge-commit merge: !714 merge master0709 into master [Feature] :集成 Gitleaks 本地离线密钥扫描功能 Created-by: tanxiangyuu Commit-by: tanxiangyuu Merged-by: ascend-robot Description: # PR 提交说明 提交前请阅读 [CONTRIBUTING.md](https://gitcode.com/Ascend/msmodelslim/blob/master/docs/zh/contributing/contributing_guide.md)，开发者文档：[模型接入指南](https://msmodelslim.readthedocs.io/zh-cn/latest/zh/development_guide/integrating_models) PR 标题前缀：[Feature] ## 1. 影响面评估 **接口变更（按需）：** 无 > 备注：若无变更请保留「无」；涉及 CLI、API、YAML 等请在此项补充说明。 **输出件变更（按需）：** 无 > 备注：若无变更请保留「无」；涉及导出格式、产物路径等请在此项补充说明。 **非兼容变更（按需）：** 无 > 备注：若无变更请保留「无」；若有非兼容变更请说明迁移方式。 **SIG 评审结论（按需）：** 无 > 提醒：非兼容、安全风险等高危 PR 须经 SIG 评审后合入；无则保留「无」。 ## 2. 修改描述 **修改背景（可选）：** 本 PR 在 pre-commit 阶段集成 Gitleaks 本地离线二进制扫描 **修改目的：**（本 PR 要达成什么目标） 用于在代码提交前自动检测硬编码密钥（AWS/Git/SSH/OBS 等），防止敏感凭证泄露到代码仓库。 **修改内容：**（按「概念 - 变化」分条，示例：core/算法：新增 SmoothQuant 离群值抑制） 1. .pre-commit-config.yaml：新增 gitleaks-offline-scan local hook，使用本地 gitleaks 二进制执行 protect 命令，在 pre-commit 阶段对暂存文件进行密钥扫描 2. pre-commit/.gitleaks.toml：新增 Gitleaks 配置文件，继承官方内置全套检测规则（useDefault = true），并提供自定义规则、全局白名单、行内屏蔽等扩展配置示例 **概念域参考（填写提示）：** - pre-commit - 密钥泄露是常见的安全风险，开发者可能在代码中硬编码 AK/SK、Token 等敏感信息 - 通过 pre-commit hook 在提交前拦截，从源头防止凭证进入 Git 历史 - 使用本地离线二进制扫描，无需网络连接，不依赖外部服务 ## 3. 功能验证 冒烟由 CI 门禁检查，无需填写「冒烟是否通过」。 - [x] 功能自验 - [x] 本地自验用例截图（请勿包含个人信息；可附复现命令） **复现步骤（可选）：** bash # 在此粘贴可复现命令 ## 4. 自检（请逐项确认，不适用标 N/A） **典型安全编码问题** - [x] 是否已校验外部数据 - [x] 是否未采集或打印敏感信息 - [x] 是否已正确设置文件权限 - [x] 是否充分考虑浮点运算溢出、除零等异常场景 - [x] 是否已对正则表达式做 ReDos 检查 **DT** - [x] 是否具备 UT 测试用例看护（路径：用例路径；未添加请说明原因） - [x] 是否需要添加冒烟：否（若「是」请说明冒烟场景及对应用途） See merge request: Ascend/msmodelslim!714 | 2 个月前 | |
【msmodelslim】刷新文件头部声明和版权 Co-authored-by: caishengcheng<caishengcheng@huawei.com> # message auto-generated for no-merge-commit merge: !28 merge license into master 【msmodelslim】刷新文件头部声明和版权 Created-by: caishengcheng Commit-by: caishengcheng Merged-by: ascend-robot Description: 【msmodelslim】刷新文件头部声明和版权 See merge request: Ascend/msmodelslim!28 | 8 个月前 | |
【msmodelslim】刷新文件头部声明和版权 Co-authored-by: caishengcheng<caishengcheng@huawei.com> # message auto-generated for no-merge-commit merge: !28 merge license into master 【msmodelslim】刷新文件头部声明和版权 Created-by: caishengcheng Commit-by: caishengcheng Merged-by: ascend-robot Description: 【msmodelslim】刷新文件头部声明和版权 See merge request: Ascend/msmodelslim!28 | 8 个月前 | |
【msmodelslim】【Feature】重构量化格式知识库 Co-authored-by: anreywmh<18845895998@163.com> # message auto-generated for no-merge-commit merge: !821 merge w_quant_format_docs into master 【msmodelslim】【Feature】重构量化格式知识库 Created-by: anreywmh Commit-by: anreywmh Merged-by: ascend-robot Description: # PR 提交说明 提交前请阅读 [贡献指南](https://gitcode.com/Ascend/msmodelslim/blob/master/docs/zh/contributing/contributing_guide.md)，开发者文档：[模型接入指南](../docs/zh/knowledge_base/model/integrating_models.md) PR 标题前缀：[Feature]、[Bugfix]、[Doc]、[Test]（与 CONTRIBUTING 一致） ## 1. 影响面评估 **接口变更（按需）：** 无 > 备注：若无变更请保留「无」；涉及 CLI、API、YAML 等请在此项补充说明。 **输出件变更（按需）：** 无 > 备注：若无变更请保留「无」；涉及导出格式、产物路径等请在此项补充说明。 **非兼容变更（按需）：** 无 > 备注：若无变更请保留「无」；若有非兼容变更请说明迁移方式。 **SIG 评审结论（按需）：** 无 > 提醒：非兼容、安全风险等高危 PR 须经 SIG 评审后合入；无则保留「无」。 ## 2. 修改描述 **修改背景（可选）：** 量化格式资料原先结构不统一：总词条与子格式职责边界不清，模式支持与交付件说明分散或缺失，MindIE-SD 缺少独立词条/使用指南，新建格式资料缺少可执行的场景约定，导致选型、核对产物与接入新格式成本高。 **修改目的：** 按「总词条（格式地图）+ 各格式词条 + 使用指南」重构 quantization_format 知识库，打通与量化模式词条、一键量化指南的导航，并登记 docs-management 新建场景与资料规范约定，便于后续按同一口径增补格式资料。 **修改内容：** - 知识库 / 量化格式总词条：重组《量化格式》README，补充格式地图与关联导航，明确格式与算法、模式的职责边界。 - 知识库 / AscendV1：按「概述 → 原理 → 实现 → 导出产物 → 模式支持 → 各模式交付件 → 适用场景 → 关联」重组词条；新增《AscendV1 使用指南》（适配 / 配置 / 执行）；模式支持表链接至 quantization_mode。 - 知识库 / compressed-tensors：同步重组词条与交付件说明；新增使用指南；模式列改为可跳转链接。 - 知识库 / MindIE-SD：新增 mindie_sd/ 词条与使用指南；一键量化文档中相关路径由 mindie/ 对齐为 mindie_sd/。 - 知识库 / 接入指南：更新《量化格式接入指南》，与格式地图及资料新建场景衔接。 - 治理 / 资料规范：新增 §3.3「量化格式资料约定」（目录、命名、模式链接、总词条同步要求）。 - skill / docs-management：登记并完善 add-quantization-format 场景（含 QF 校验、模式链接禁止空占位）；公共清单口径对齐 CE-01~CE-06。 ## 3. 功能验证 冒烟由 CI 门禁检查，无需填写「冒烟是否通过」。 - [x] 功能自验 - [ ] 本地自验用例截图（请勿包含个人信息；可附复现命令） **复现步骤（可选）：** bash # 文档类变更，人工核对即可 # 1. 打开格式地图，确认三格式词条与使用指南链接可解析 ls docs/zh/knowledge_base/quantization_format/*/ # 2. 抽查词条「量化模式支持」列是否指向 quantization_mode 真实路径 # 3. 核对使用指南是否含适配 / 配置 / 执行 # 4. 核对 docs_standards README §3.3 与 add-quantization-format 场景描述一致  See merge request: Ascend/msmodelslim!821 | 1 个月前 | |
根据《MindStudio 统一命令行方案》对各类参数进行统一规范化，同时考虑msmodelslim本身需求，保留了下划线形式。增加了版本参数命令和完善了help命令 Co-authored-by: Rigel_Chen<chenruijie9@huawei.com> # message auto-generated for no-merge-commit merge: !805 merge cli-standardization into master [Bugfix]命令行参数优化与help提示优化 Created-by: Rigel_Chen Commit-by: Rigel_Chen Merged-by: ascend-robot Description: # PR 提交说明 提交前请阅读 [贡献指南](https://gitcode.com/Ascend/msmodelslim/blob/master/docs/zh/contributing/contributing_guide.md)，开发者文档：[模型接入指南](../docs/zh/knowledge_base/model/integrating_models.md) PR 标题前缀：[Feature]、[Bugfix]、[Doc]、[Test]（与 CONTRIBUTING 一致） ## 1. 影响面评估 **接口变更（按需）：** 有 > 备注：CLI 命令行参数接口发生变更： --topk → --top_k、--calib_dataset → --calibration_dataset、--pattern → --patterns、--tag → --tags 旧 snake_case 写法保留为隐藏兼容别名，仍可解析但触发弃用告警；不在 --help 中展示 新增顶层 --version / -V 参数 新增统一日志开关 --log_level、-v/--verbose、-q/--quiet 布尔参数 --trust_remote_code 改为 flag 用法（兼容旧 True/False 值写法） **输出件变更（按需）：** 无 > 备注：若无变更请保留「无」；涉及导出格式、产物路径等请在此项补充说明。 **非兼容变更（按需）：** 无 > 备注：若无变更请保留「无」；若有非兼容变更请说明迁移方式。 **SIG 评审结论（按需）：** 无 > 提醒：非兼容、安全风险等高危 PR 须经 SIG 评审后合入；无则保留「无」。 ## 2. 修改描述 **修改背景（可选）：** 当前 msmodelslim CLI 参数命名与 MindStudio 工具链其他工具不一致（snake_case、缺少 --version、帮助信息不完整），导致用户跨工具学习成本高、AI Agent 难以自动化调用 **修改目的：** 依据《MindStudio 工具链命令行统一规范化设计方案》，将 msmodelslim 的 CLI 参数体系收敛到统一规范（kebab-case 长选项、--version、统一日志开关、统一帮助信息），同时通过隐藏兼容别名保证存量脚本零中断。 **修改内容：** cli：长选项统一为 kebab-case，旧 snake_case 降级为隐藏兼容别名并触发一次性弃用告警 cli：新增顶层 --version / -V 版本查询参数（含 MindStudio Logo、Git commit hash、Copyright、License） cli：新增统一日志开关 --log-level {debug,info,warning,error}、-v/--verbose、-q/--quiet，并按冲突裁决规则生效 cli：布尔参数 --trust-remote-code 改为 flag 用法（兼容旧 True/False 值写法） cli：带值参数补齐语义化取值占位符（metavar） cli：帮助信息补全，含用途、必填参数清单、示例、默认值标注 cli：优化帮助 formatter，--help 仅展示规范名、隐藏旧别名 （在此填写） **概念域参考（填写提示）：** - cli：命令行 quant / analyze / tune - app：最佳实践量化、量化分析、精度反馈自动调优等 - core：算法、量化服务、调度、张量量化、调优策略、最佳实践、上下文等 - infra：模型适配、调优计划/历史/缓存、测评服务等 - utils：日志、错误处理、插件等 ## 3. 功能验证 冒烟由 CI 门禁检查，无需填写「冒烟是否通过」。 - [x] 功能自验 - [ ] 本地自验用例截图（请勿包含个人信息；可附复现命令） **复现步骤（可选）：** bash msmodelslim --version msmodelslim --help msmodelslim quant --help msmodelslim analyze linear --help msmodelslim tune --help # 旧别名弃用告警验证 msmodelslim quant --model_path ./dummy --save_path ./dummy-out --model_type Qwen2.5-7B-Instruct --help ## 4. 自检（请逐项确认，不适用标 N/A） **典型安全编码问题** - [x] 是否已校验外部数据 - [x] 是否未采集或打印敏感信息 - [x] 是否已正确设置文件权限 → N/A（纯 CLI 解析逻辑，无文件权限变更） - [x] 是否充分考虑浮点运算溢出、除零等异常场景 → N/A（不涉及浮点运算） - [x] 是否已对正则表达式做 ReDos 检查 → N/A（未新增正则表达式） **DT** - [x] 是否具备 UT 测试用例看护（路径：用例路径；未添加请说明原因） - [ ] 是否需要添加冒烟：否（若「是」请说明冒烟场景及对应用途） See merge request: Ascend/msmodelslim!805 | 1 个月前 | |
[Bugfix] fix: support pip install -e with single-source data directories Co-authored-by: rookie_hongchuan<hongchuan6@h-partners.com> # message auto-generated for no-merge-commit merge: !379 merge fix/pip-editable-single-datasource into master [Bugfix] fix: support pip install -e with single-source data directories Created-by: rookie_hongchuan Commit-by: rookie_hongchuan Merged-by: ascend-robot Description: ## 1. 影响面评估 **接口变更（按需）：** 无 **输出件变更（按需）：** 无 **非兼容变更（按需）：** 无 **SIG 评审结论（按需）：** 无 ## 2. 修改描述 **修改背景：** pip install -e . 可编辑安装后，CLI 入口通过 __file__ + ../../lab_practice 查找数据目录，但 msmodelslim/lab_practice 在源码树内不存在（数据实际在 repo 根 ./lab_practice），导致路径找不到。 **修改目的：** pip install -e . 开箱可用，支持源码调试工作流。 **修改内容：** - setup.py：develop 命令时创建符号链接 msmodelslim/{config,lab_practice,lab_calib} → ./{config,lab_practice,lab_calib}，消除双份副本问题。所有平台优先尝试 os.symlink()，失败时降级 shutil.copytree() 并提示用户同步修改。安全性方面，安全模块 get_valid_read_path 内部已调 os.path.realpath() 解析符号链接，不阻塞运行 - setup.py：_ensure_data_symlinks() 内已有 copytree 残留时 shutil.rmtree 清理后重建 symlink，避免 stale 副本 ## 3. 功能验证 环境：8× Ascend 910B2，模型 Qwen3-32B（62GB, 64层） ### 3.1 pip install -e . 可编辑安装 bash $ source .venv/bin/activate $ pip install -e . --no-deps $ ls -la msmodelslim/config msmodelslim/lab_practice msmodelslim/lab_calib lrwxrwxrwx. msmodelslim/config -> ../config lrwxrwxrwx. msmodelslim/lab_practice -> ../lab_practice lrwxrwxrwx. msmodelslim/lab_calib -> ../lab_calib $ python3 -c "import msmodelslim; print(msmodelslim.__file__)" <workspace>/msmodelslim/__init__.py # 指向源码树 $ msmodelslim --help usage: msmodelslim [-h] {quant,analyze,tune} ... 结论：develop 模式正常，符号链接自动创建，__file__ 指向源码树。 ### 3.2 一键量化（Qwen3-32B W8A16, 全量 64 层） bash $ source .venv/bin/activate $ source tools/quant-env.sh $ echo y | msmodelslim quant \ --model_type Qwen3-32B \ --model_path /data/models/Qwen3_32B \ --save_path /tmp/qwen3-w8a16-test \ --device npu:0,1,2,3,4,5,6,7 \ --quant_type w8a16 # 关键日志： # Using model adapter Qwen3ModelAdapter. # Init model success # Run processor LinearQuantProcessor for "model.layers.0" ... "model.layers.63" # Save safetensors files to /tmp/qwen3-w8a16-test successfully # ===========SUCCESS=========== 结论：develop 模式下 msmodelslim 全流程正常（模型加载 → best practice → 逐层量化 → safetensors 保存均通过）。 ### 3.3 bash install.sh 常规安装 bash $ bash install.sh $ pip show msmodelslim Location: .../site-packages $ msmodelslim --help usage: msmodelslim [-h] {quant,analyze,tune} ... 结论：常规安装不受影响，包正确安装到 site-packages。 ### 3.4 交替安装（develop ↔ regular 互切） bash $ pip install -e . && pip show msmodelslim # → 源码树 $ bash install.sh && pip show msmodelslim # → site-packages 结论：可反复切换，无残留冲突。 ### 3.5 安全模块兼容性 get_valid_read_path 内部调用 os.path.realpath() 解析符号链接，仅打印 warning 不阻断，CLI 入口无需额外处理。 ## 4. 自检 **典型安全编码问题** - [x] 是否已校验外部数据：N/A，未涉及外部输入 - [x] 是否未采集或打印敏感信息：是 - [x] 是否已正确设置文件权限：N/A，符号链接继承源文件权限 - [x] 是否充分考虑浮点运算溢出、除零等异常场景：N/A，不涉及数值计算 - [x] 是否已对正则表达式做 ReDos 检查：N/A，不涉及正则 **DT** - [x] 是否具备 UT 测试用例看护：已有 tests/test_setup.py 相关用例 - [x] 是否需要添加冒烟：否 See merge request: Ascend/msmodelslim!379 | 3 个月前 | |
[Docs]优化资料文档 | 1 个月前 | |
【docs】资料架构重构，并将资料托管至readthedocs。 Co-authored-by: keith_wa<keith_wwa@163.com> # message auto-generated for no-merge-commit merge: !109 merge pr_docs_re_copy into master 【docs】资料架构重构，并将资料托管至readthedocs。 Created-by: keith_wa Commit-by: keith_wa Merged-by: ascend-robot Description: 1. 动机 (Motivation) 内容上： 优化导航结构：原目录结构逻辑不清晰、目录层级深且链接复杂。 提升阅读体验：原 traditional_quantization_v0 目录下存在 20+ 个零散文档，内容分布碎片化，用户难以快速建立完整的技术全景认知。 消除内容冗余：多个文档之间存在重复的依赖说明、操作流程及参数介绍，增加了维护成本及版本不一致的风险。 呈现上： 提供专业资料托管：原docs/目录结构不清晰、目录名/文档名不直观（英文），跳转繁琐且无搜索功能。 2. 修改点 (Changes) 2.1 重新梳理目录结构  2.2. 文档整合与重构 V0及传统量化核心文档合并：将 20 多个零散文档按功能维度深度整合为 10篇核心指南： # V0框架文档导航（已停止演进） 本目录文档按模型类型与任务场景重排，便于按需求快速定位。 ## 一、传统模型量化与校准 - [传统模型量化与校准](traditional_model_quantization_and_calibration.md) - 包含 PyTorch/ONNX/MindSpore 训练后量化与 QAT。 ## 二、大模型量化与压缩 - [大模型量化与校准](foundation_model_quantization_and_calibration.md) - 包含低显存量化、混合校准数据集、FA3 量化。 - [压缩与结构优化（大模型为主）](foundation_model_compression.md) - 包含稀疏量化与权重压缩、长序列压缩、权重压缩流程、低秩分解。 ## 三、训练加速与模型改造 - [训练加速与模型改造](pruning_and_distillation.md) - 包含重要性剪枝、Transformer 剪枝、Sparse tool、模型蒸馏。 - [稀疏加速训练](sparse_acceleration_training.md) - 包含宽度扩增与深度扩增模型的稀疏训练加速流程。 ## 四、工具与生态适配 - [辅助工具与专项指导](compression_utils.md) - 包含量化权重格式说明与 MindSpeed 适配器。 - [伪量化精度测试工具](fake_quantization_accuracy_testing_tool.md) - 包含 Precision Tool 使用方式与测试流程。 - [多模态生成模型推理优化](inference_optimization_for_multimodal_generative_model.md) - 包含 DiT 缓存优化与自适应采样优化流程。 - [常见代码示例](quantization_and_sparse_quantization_scenario_import_code_examples.md) - 包含常见量化/稀疏量化场景导入代码样例。 2.3 配置readthedocs文档托管： https://modelslim.readthedocs.io/zh-cn/latest/ 2.4 配置deepwiki： https://deepwiki.com/Keithwwa/ModelSlim 3. 验证： 3.1. gimini代码检视： https://github.com/Keithwwa/ModelSlim/pull/1 See merge request: Ascend/msmodelslim!109 | 7 个月前 | |
【msmodelslim】资料问题整改 Co-authored-by: caishengcheng<caishengcheng@huawei.com> # message auto-generated for no-merge-commit merge: !18 merge docs into master 【msmodelslim】资料问题整改 Created-by: caishengcheng Commit-by: caishengcheng Merged-by: ascend-robot Description: 【msmodelslim】资料问题整改 See merge request: Ascend/msmodelslim!18 | 8 个月前 | |
【msmodelslim】cleancode Co-authored-by: caishengcheng<caishengcheng@huawei.com> | 9 个月前 | |
[Docs]优化资料文档 | 1 个月前 | |
【master】【docs】：链接有效性修改；doctools检查问题修改 Co-authored-by: zzm30<zhengzhimin1@h-partners.com> # message auto-generated for no-merge-commit merge: !690 merge master into master 【master】【docs】：链接有效性修改；doctools检查问题修改 Created-by: zzm30 Commit-by: zzm30 Merged-by: ascend-robot Description: # PR 提交说明 提交前请阅读 [CONTRIBUTING.md](https://gitcode.com/Ascend/msmodelslim/blob/master/docs/zh/contributing/contributing_guide.md)，开发者文档：[模型接入指南](https://msmodelslim.readthedocs.io/zh-cn/latest/zh/development_guide/integrating_models) PR 标题前缀：[Feature]、[Bugfix]、[Doc]、[Test]（与 CONTRIBUTING 一致） ## 1. 影响面评估 **接口变更（按需）：** 无 > 备注：若无变更请保留「无」；涉及 CLI、API、YAML 等请在此项补充说明。 **输出件变更（按需）：** 无 > 备注：若无变更请保留「无」；涉及导出格式、产物路径等请在此项补充说明。 **非兼容变更（按需）：** 无 > 备注：若无变更请保留「无」；若有非兼容变更请说明迁移方式。 **SIG 评审结论（按需）：** 无 > 提醒：非兼容、安全风险等高危 PR 须经 SIG 评审后合入；无则保留「无」。 ## 2. 修改描述 **修改背景（可选）：**（问题现象、使用场景等） **修改目的：**（本 PR 要达成什么目标） **修改内容：**（按「概念 - 变化」分条，示例：core/算法：新增 SmoothQuant 离群值抑制） 1. 链接有效性修改； 2. doctools检查问题修改。 **概念域参考（填写提示）：** - cli：命令行 quant / analyze / tune - app：最佳实践量化、量化分析、精度反馈自动调优等 - core：算法、量化服务、调度、张量量化、调优策略、最佳实践、上下文等 - infra：模型适配、调优计划/历史/缓存、测评服务等 - utils：日志、错误处理、插件等 ## 3. 功能验证 - [x] 功能自验 - [ ] 本地自验用例截图（请勿包含个人信息；可附复现命令） ## 4. 自检（请逐项确认，不适用标 N/A） **典型安全编码问题** - [x] 是否已校验外部数据 - [x] 是否未采集或打印敏感信息 - [x] 是否已正确设置文件权限 - [x] 是否充分考虑浮点运算溢出、除零等异常场景 - [x] 是否已对正则表达式做 ReDos 检查 **DT** - [x] 是否具备 UT 测试用例看护 资料修改 - [ ] 是否需要添加冒烟：否 - [ ] 是否具备 UT 测试用例看护（路径：用例路径；未添加请说明原因） - [ ] 是否需要添加冒烟：否（若「是」请说明冒烟场景及对应用途） See merge request: Ascend/msmodelslim!690 | 2 个月前 | |
[Feature] add full UT support: -e FULL_UT=true triggers all test cases Co-authored-by: tanxiangyuu<tanxiangyu2@huawei.com> # message auto-generated for no-merge-commit merge: !783 merge feat/full-ut into master [Feature] add full UT support: -e FULL_UT=true triggers all test cases Created-by: tanxiangyuu Commit-by: tanxiangyuu Merged-by: ascend-robot Description: # PR 提交说明 提交前请阅读 [贡献指南](https://gitcode.com/Ascend/msmodelslim/blob/master/docs/zh/contributing/contributing_guide.md)，开发者文档：[模型接入指南](../docs/zh/knowledge_base/model/integrating_models.md) PR 标题前缀：[Feature] add full UT support via test -e full_ut=true ## 1. 影响面评估 **接口变更（按需）：** 有 > 备注： build.py 新增 -e full_ut=true 选项，与 test 命令组合使用触发全量单元测试。原有 test 命令行为不变，-e 其余 KEY=VALUE 格式兼容。 > > 变更范围：build.py 的 test 分支增加 full_ut 判断，顶层增加 -e 解析逻辑，不涉及 CLI、API、YAML。 **输出件变更（按需）：** 无 > 备注：全量 UT 模式下不产生构建产物；正常构建路径产物不变。 **非兼容变更（按需）：** 无 > 备注：test 命令行为完全不变，仅新增选项，无迁移成本。 **SIG 评审结论（按需）：** 无 ## 2. 修改描述 **修改背景（可选）：** 当前 python build.py test 仅执行 run_ut.sh --modelslim_v1（精简 UT 子集），在需要跑全量 UT case 时缺少统一的入口。 **修改目的：** 提供一键全量 UT 能力，安装全量依赖并运行全部测试用例（13 个模块 + smoke）。 **修改内容：** - build：新增 _prepare_all_dependencies() 方法，安装 requirements_all.txt 全量依赖 - build：新增 requirements_all.txt 文件，聚合运行时 + 测试框架 + 核心 ML + ONNX + 多模态等依赖 - build：顶层解析 -e 选项，test 命令下 full_ut=true 时安装全量依赖并执行全部测试用例 **概念域参考（填写提示）：** - cli：命令行 quant / analyze / tune - app：最佳实践量化、量化分析、精度反馈自动调优等 - core：算法、量化服务、调度、张量量化、调优策略、最佳实践、上下文等 - infra：模型适配、调优计划/历史/缓存、测评服务等 - utils：日志、错误处理、插件等 ## 3. 功能验证 冒烟由 CI 门禁检查，无需填写「冒烟是否通过」。 - [x] 功能自验 - [ ] 本地自验用例截图（请勿包含个人信息；可附复现命令） **复现步骤（可选）：** bash # 全量 UT（安装全量依赖 + 执行全部用例） python build.py test -e full_ut=true # 全量 UT（跳过依赖安装，仅执行用例） python build.py test local -e full_ut=true # 原有精简 UT 不受影响 python build.py test python build.py test local # 正常构建不受影响 python build.py python build.py -v 2.0.0 ## 4. 自检（请逐项确认，不适用标 N/A） **典型安全编码问题** - [ ] N/A 是否已校验外部数据 - [ ] N/A 是否未采集或打印敏感信息 - [ ] N/A 是否已正确设置文件权限 - [ ] N/A 是否充分考虑浮点运算溢出、除零等异常场景 - [ ] N/A 是否已对正则表达式做 ReDos 检查 **DT** - [ ] N/A 是否具备 UT 测试用例看护：N/A（构建脚本变更，非业务逻辑代码） - [ ] N/A 是否需要添加冒烟：否 See merge request: Ascend/msmodelslim!783 | 2 个月前 | |
【msmodelslim】刷新文件头部声明和版权 Co-authored-by: caishengcheng<caishengcheng@huawei.com> # message auto-generated for no-merge-commit merge: !28 merge license into master 【msmodelslim】刷新文件头部声明和版权 Created-by: caishengcheng Commit-by: caishengcheng Merged-by: ascend-robot Description: 【msmodelslim】刷新文件头部声明和版权 See merge request: Ascend/msmodelslim!28 | 8 个月前 | |
【docs】增加权重量化使用指南、敏感层分析使用指南、新模型量化调优流程文档 Co-authored-by: xyxin_006<xiayingxin1@huawei.com> # message auto-generated for no-merge-commit merge: !822 merge doc_optim into master 【docs】增加权重量化使用指南、敏感层分析使用指南、新模型量化调优流程文档 Created-by: xyxin_006 Commit-by: xyxin_006 Merged-by: ascend-robot Description: # PR 提交说明 提交前请阅读贡献指南，开发者文档：模型接入指南 PR 标题前缀：[Feature]、[Bugfix]、[Doc]、[Test]（与 CONTRIBUTING 一致） ## 1. 影响面评估 接口变更（按需）： 无 输出件变更（按需）： 无 非兼容变更（按需）： 无 SIG 评审结论（按需）： 无 ## 2. 修改描述 修改背景（可选）： 新模型从方案设计到测评发布、以及按 linear / layer / attn 做敏感层分析的业务路径，此前缺少按流程指南规范编写的端到端文档；原《量化敏感层分析工具使用指南》将工具说明与流程操作混在一篇，不利于按 scope 执行与维护。 修改目的： 补齐「新模型量化调优 → 权重量化」主链路文档；将敏感层分析拆为三篇按 scope 的使用指南，并清理旧工具指南及其引用，使文档可跳转、可执行。 修改内容： - docs/用户指南：新增《新模型量化调优流程》（process_new_model_quantization_tuning.md），覆盖方案设计 → 权重量化 → 算子与组图 → 测评 → 发布，以及不达标时的方案修订闭环。 - docs/用户指南：新增《权重量化使用指南》（usage_weight_quantization.md），覆盖预检、下载浮点模型、模型适配、编写配置、执行 msmodelslim quant、校验交付件。 - docs/用户指南：按 scope 新增三篇敏感层分析使用指南： - 《线性层敏感层分析使用指南》（usage_sensitive_linear_analysis.md，analyze linear） - 《层级敏感层分析使用指南》（usage_sensitive_layer_wise_analysis.md，analyze layer） - 《Attention 敏感层分析使用指南》（usage_sensitive_attn_analysis.md，analyze attn） - docs/用户指南：删除原《量化敏感层分析工具使用指南》（usage_sensitive_layer_analysis.md），相关引用改挂到上述三篇或对应章节锚点。 - docs/用户指南：将《量化精度调优指南》文件名调整为 process_quantization_precision_tuning.md，并同步更新引用。 - docs/用户指南：更新 README.md 导航；mkdocs.yml 敏感层分析入口改为三篇新指南。 - docs/最佳实践、算法说明、调优策略、调试模式等：同步修正对旧敏感层分析文档 / 精度调优文档的链接。 ## 3. 功能验证 冒烟由 CI 门禁检查，无需填写「冒烟是否通过」。 - [x] 功能自验（文档链接与目录已本地核对；文档门禁通过） - [ ] 本地自验用例截图（请勿包含个人信息；可附复现命令） 复现步骤（可选）： N/A（纯文档变更） ## 4. 自检（请逐项确认，不适用标 N/A） 典型安全编码问题 - [x] 是否已校验外部数据（N/A：纯文档变更） - [x] 是否未采集或打印敏感信息（N/A：纯文档变更） - [x] 是否已正确设置文件权限（N/A：纯文档变更） - [x] 是否充分考虑浮点运算溢出、除零等异常场景（N/A：纯文档变更） - [x] 是否已对正则表达式做 ReDos 检查（N/A：纯文档变更） DT - [x] 是否具备 UT 测试用例看护（N/A：纯文档变更，未改代码逻辑） - [x] 是否需要添加冒烟：否（纯文档变更） See merge request: Ascend/msmodelslim!822 | 1 个月前 | |
【msmodelslim】【UT】补充format存量代码UT，行覆盖率大于90 Co-authored-by: anreywmh<18845895998@163.com> # message auto-generated for no-merge-commit merge: !513 merge w_ut into master 【msmodelslim】【UT】补充format存量代码UT，行覆盖率大于90 Created-by: anreywmh Commit-by: anreywmh Merged-by: ascend-robot Description: 感谢您贡献的Pull Request！ 在提交之前，请务必阅读 [CONTRIBUTING.md](https://gitcode.com/Ascend/msmodelslim/blob/master/CONTRIBUTING.md)。 Thanks for sending a pull request! BEFORE SUBMITTING, PLEASE READ [CONTRIBUTING.md](https://gitcode.com/Ascend/msmodelslim/blob/master/CONTRIBUTING.md). ## PR描述 (What this PR does / why we need it?) - 请明确说明您提交PR的变更内容。本部分旨在概述所做的变更，以及此PR是如何解决该问题的。请尽可能地提供有助于评审人员更高效、更快速完成检视审查的实用说明。 补充format下的UT测试用例 :/home/wangminghua/msmodelslim/test# python3 -m coverage report \ --include="*/msmodelslim/format/*" \ --show-missing Name Stmts Miss Cover Missing ----------------------------------------------------------------------------------------------------------------------------------------------------------------- /home/wangminghua/msmodelslim/msmodelslim/format/__init__.py 19 0 100% /home/wangminghua/msmodelslim/msmodelslim/format/ascendV1_format/__init__.py 2 0 100% /home/wangminghua/msmodelslim/msmodelslim/format/ascendV1_format/ascendV1.py 12 0 100% /home/wangminghua/msmodelslim/msmodelslim/format/ascendV1_format/ascendV1_json_writer_factory_infra.py 14 0 100% /home/wangminghua/msmodelslim/msmodelslim/format/ascendV1_format/ascendV1_tensors_writer_factory_infra.py 15 0 100% /home/wangminghua/msmodelslim/msmodelslim/format/base.py 49 2 96% 71, 76 /home/wangminghua/msmodelslim/msmodelslim/format/common/__init__.py 2 0 100% /home/wangminghua/msmodelslim/msmodelslim/format/common/deqscale.py 11 0 100% /home/wangminghua/msmodelslim/msmodelslim/format/common/pack.py 42 0 100% /home/wangminghua/msmodelslim/msmodelslim/format/compressed_tensors_format/__init__.py 3 0 100% /home/wangminghua/msmodelslim/msmodelslim/format/compressed_tensors_format/compressed_tensors.py 125 0 100% /home/wangminghua/msmodelslim/msmodelslim/format/compressed_tensors_format/compressed_tensors_json_reader_factory_infra.py 12 0 100% /home/wangminghua/msmodelslim/msmodelslim/format/compressed_tensors_format/compressed_tensors_json_writer_factory_infra.py 12 0 100% /home/wangminghua/msmodelslim/msmodelslim/format/compressed_tensors_format/compressed_tensors_safetensors_writer_factory_infra.py 15 0 100% /home/wangminghua/msmodelslim/msmodelslim/format/compressed_tensors_format/config/__init__.py 0 0 100% /home/wangminghua/msmodelslim/msmodelslim/format/compressed_tensors_format/config/base.py 22 0 100% /home/wangminghua/msmodelslim/msmodelslim/format/compressed_tensors_format/quantization/__init__.py 0 0 100% /home/wangminghua/msmodelslim/msmodelslim/format/compressed_tensors_format/quantization/quant_args.py 171 9 95% 46, 184, 190, 203, 214, 222, 233, 263, 353 /home/wangminghua/msmodelslim/msmodelslim/format/compressed_tensors_format/quantization/quant_config.py 41 0 100% /home/wangminghua/msmodelslim/msmodelslim/format/compressed_tensors_format/quantization/quant_config_builder.py 147 6 96% 99, 102, 118, 187, 235, 239 /home/wangminghua/msmodelslim/msmodelslim/format/compressed_tensors_format/quantization/quant_scheme.py 57 1 98% 96 /home/wangminghua/msmodelslim/msmodelslim/format/interface.py 21 0 100% /home/wangminghua/msmodelslim/msmodelslim/format/mindie_format/__init__.py 2 0 100% /home/wangminghua/msmodelslim/msmodelslim/format/mindie_format/mindie.py 12 0 100% /home/wangminghua/msmodelslim/msmodelslim/format/mindie_format/mindie_json_writer_factory_infra.py 14 0 100% /home/wangminghua/msmodelslim/msmodelslim/format/mindie_format/mindie_tensors_writer_factory_infra.py 15 0 100% /home/wangminghua/msmodelslim/msmodelslim/format/registry.py 39 0 100% ----------------------------------------------------------------------------------------------------------------------------------------------------------------- TOTAL 874 18 98% - 请说明为何需要这些更改，例如具体的使用场景或bug描述。 - 关联issue号（如果有）。 - Please clarify what changes you are proposing. The purpose of this section is to outline the changes and how this PR fixes the issue. If possible, please consider writing useful notes for better and faster reviews in your PR. - Please clarify why the changes are needed. For instance, the use case and bug description. - Related issue number (if any) ## 面向用户的变更 (Does this PR introduce _any_ user-facing change)? - 请注意，这里指的是**任何**面向用户的变更，包括但不限于API、用户界面或其他使用方式上的变更。 - Note that it means *any* user-facing change including all aspects such as API, interface or other behavior changes. ## 功能验证 (How was this patch tested?) 请确认CI已通过增量及存量的单元测试用例。 如果本次测试方式与常规单元测试不同，请详细说明您的测试步骤(最好提供完整的可复现的操作路径及关键截图)，以便Committer能够快速复现验证，也便于后续的维护。 如果未添加测试，请说明未添加的原因，以及为何难添加测试。 - [_] 功能自验  - [_] 本地自验截图(涉及个人标识符等敏感信息请注意脱敏) - [_] 新增/变更内容是否已新增/适配UT测试用例看护 CI passed with new added/existing test. If it was tested in a way different from regular unit tests, please clarify how you tested step by step, ideally copy and paste-able, so that other reviewers can test and check, and descendants can verify in the future. If tests were not added, please describe why they were not added and/or why it was difficult to add. - [_] Self-verification of the feature. - [_] Screenshot of local self-verification (please anonymize any sensitive information such as personal identifiers) - [_] Have new or modified unit test (UT) cases been added or adapted to cover the newly added or changed content? See merge request: Ascend/msmodelslim!513 | 3 个月前 | |
feat(dts): wave backend, scheduler and DP runner (2/2) Co-authored-by: rookie_hongchuan<hongchuan6@h-partners.com> # message auto-generated for no-merge-commit merge: !353 merge dts/infra-source-2 into master feat(dts): wave backend, scheduler and DP runner (2/2) Created-by: rookie_hongchuan Commit-by: rookie_hongchuan Merged-by: ascend-robot Description: ## 内容 - WaveDTSBackend、DistributedTaskScheduler、DPLayerWiseRunner 集成与 requirements.txt 更新。 ## 拆分说明 - 源码第 2 笔，相对 part 1 新增约 849 行。 - 分支 **基于 dts/infra-source-1**。建议在 **part 1 已合入 master** 后将本分支 **rebase 到最新 master** 再合并，避免与 part 1 重复变更。 - UT / 文档 MR 请在 **两笔源码均合入后** 再合并。 See merge request: Ascend/msmodelslim!353 | 4 个月前 | |
[Feature] 版本号修改为26.1.0 Co-authored-by: 李明宇<limingyu35@h-partners.com> # message auto-generated for no-merge-commit merge: !678 merge master-version-0701 into master [Feature] 版本号修改为26.1.0 Created-by: code_mingming Commit-by: 李明宇 Merged-by: ascend-robot Description: # PR 提交说明 ## 1. 影响面评估 **接口变更（按需）：** 无 > 备注：若无变更请保留「无」；涉及 CLI、API、YAML 等请在此项补充说明。 **输出件变更（按需）：** 无 > 备注：若无变更请保留「无」；涉及导出格式、产物路径等请在此项补充说明。 **非兼容变更（按需）：** 无 > 备注：若无变更请保留「无」；若有非兼容变更请说明迁移方式。 **SIG 评审结论（按需）：** 无 > 提醒：非兼容、安全风险等高危 PR 须经 SIG 评审后合入；无则保留「无」。 ## 2. 修改描述 **修改背景（可选）：**（问题现象、使用场景等） **修改目的：**（本 PR 要达成什么目标） 版本号修改为26.1.0 **修改内容：**（按「概念 - 变化」分条，示例：core/算法：新增 SmoothQuant 离群值抑制） 版本号修改为26.1.0 ## 3. 功能验证 冒烟由 CI 门禁检查，无需填写「冒烟是否通过」。 - [x] 功能自验 - [x] 本地自验用例截图（请勿包含个人信息；可附复现命令）  **复现步骤（可选）：** bash python3 setup.py bdist_wheel ## 4. 自检（请逐项确认，不适用标 N/A） **典型安全编码问题** - [x] 是否已校验外部数据 N/A - [x] 是否未采集或打印敏感信息 N/A - [x] 是否已正确设置文件权限 N/A - [x] 是否充分考虑浮点运算溢出、除零等异常场景 N/A - [x] 是否已对正则表达式做 ReDos 检查 N/A **DT** - [ ] 是否具备 UT 测试用例看护（路径：用例路径；未添加请说明原因）N/A - [ ] 是否需要添加冒烟：否（若「是」请说明冒烟场景及对应用途）N/A See merge request: Ascend/msmodelslim!678 | 2 个月前 |
MindStudio ModelSlim
Simple, fast, and lean—msModelSlim is all you need.
昇腾模型压缩工具
✨ 最新消息
🔹 [2026.08.07]
- 多模态理解模型支持多卡分布式逐层量化，提升多模态理解模型量化效率
- 新增对
Kimi-K3（W4A8）模型的量化支持
🔹 [2026.07.15]
- 新增对 Gemma4 Dense
gemma-4-31B-it（W8A8）、Gemma4 MoEgemma-4-26B-A4B-it（W8A8）模型的量化支持
🗂️ 更多历史更新（点击展开）
🔹 [2026.07.07]
- 新增对腾讯混元
Hy3（W8A8）模型的量化支持
🔹 [2026.06.01]
- 新增对
InternVL3_5-38B（W8A8）、InternVL3_5-241B-A28B（W8A8）模型的量化支持 - 新增对
Kimi-K2.6（W4A8）模型的量化支持
🔹 [2026.04.01]
- 新增对
DeepSeek-V4-Flash（W8A8）模型的量化支持 - 新增对
Kimi-K2.5（W4A8）模型的量化支持
📄 更多历史更新记录，请参见《最新消息》。
ℹ️ 简介
MindStudio ModelSlim（msModelSlim） 是昇腾生态下的高性能模型压缩工具，支持稠密LLM、MoE及多模态模型的量化与压缩。开发者可通过命令行与配置快速调优并导出适配 MindIE、vLLM-Ascend 等框架的模型，在昇腾AI处理器上高效部署。
它能为你带来什么：
- 🚀 推理加速：量化后显著降低显存占用，提升推理吞吐与部署成本效率（例如 Qwen3.6-27B 模型原始权重50+GB，量化后30+GB，显存节约40%）。
- 🎯 开箱即用：集成主流大模型量化最佳实践，
msmodelslim quant一条命令完成量化。 - 🔧 精度可控：提供敏感层分析、自动调优与精度反馈闭环，量化精度可量化、可调优。
- 🧩 生态友好：导出的量化权重无缝接入 vLLM-Ascend 等主流推理框架。
🚀 快速开始
手把手教你完成端到端模型量化，请参见《快速入门》：
📦 安装指南
msModelSlim已发布到PyPI，可通过pip直接安装。
# 安装 msModelSlim（最新版本已更新到PyPI源）
pip install msmodelslim
# 验证安装：打印命令行帮助信息即表示安装成功
msmodelslim --help
更多安装方式，请参见《安装指南》。
📘 使用指南
想了解msModelSlim如何使用？ 可按需选择入口：
| 业务流程 | 对应工具/功能 |
|---|---|
| 《新模型量化调优流程》 | 权重量化、敏感层分析 |
| 《精度调优方法》 | 敏感层分析、自动调优、调试模式 |
| 《主流模型量化部署》 | 一键量化 |
| 《量化推理精度异常定位》 | 调试模式 |
更多使用指南，请参见《使用指南》。
📚 知识库
不懂 W4A8/W8A8 等量化术语？ 请参见《推理加速知识库》。
💡 典型案例
需要模型量化调优的典型场景？ 请参见《msModelSlim 典型案例》。
❓ FAQ
遇到了问题？ 请参见《FAQ》。
🌌 智能检索
为提升文档查阅效率，我们提供多种高效检索方式：
🔹 AI 智能体（msagent）：msModelSlim 量化能力已集成至 msagent 智能体，通过自然语言交互即可自动完成模型量化任务。
🔹 AI 问答（DeepWiki）：自然语言问答，快速把握项目架构与模块关系。
🛠️ 贡献指南
想要贡献力量？ 具体请参见《贡献指南》。
⚖️ 相关说明
🔹 《版本说明》
🔹 《许可证声明》
🔹 《安全声明》
🔹 《免责声明》
🤝 建议与交流
欢迎大家为社区做贡献。如果有任何疑问或建议，请提交 Issues，我们会尽快回复。感谢您的支持。
| 即时互动（微信群） | 官方资讯（公众号） | 深度支持（助手/论坛） |
|---|---|---|
 扫码加入技术交流群 |
 扫码关注官方公众号 |
扫码入群并关注公众号，直达 MindStudio 用户与开发者最快捷的交流平台： 快速提问： 与社区小伙伴即时探讨技术问题 掌握动态： 第一时间获取版本发布与功能更新通知 经验共享： 与广大开发者交流最佳实践与实战心得 更多支持渠道：👉 昇腾助手：  👉 昇腾论坛： |
🙏 致谢
本工具由华为公司的下列部门联合贡献：
🔹 昇腾计算MindStudio开发部
🔹 昇腾计算生态使能部
🔹 昇腾计算技术开发部
🔹 2012实验室
感谢来自社区的每一个 PR，欢迎贡献！