MindStudio-ModelSlim（msModelSlim）是MindStudio全流程工具链推出的模型量化压缩工具。
| 文件 | 最后提交记录 | 最后更新时间 |
|---|---|---|
[Feature] 引入基于 DevContainer 的高效开发环境 Co-authored-by: LeeQT<liqitong@huawei.com> # message auto-generated for no-merge-commit merge: !940 merge dev/devcontainer-env into master [Feature] 引入基于 DevContainer 的高效开发环境 Created-by: LeeQT Commit-by: LeeQT Merged-by: ascend-robot Description: PR 标题前缀：[Feature] ## 1. 影响面评估 **接口变更：** 无 **输出件变更：** 无 **非兼容变更：** 无 **SIG 评审结论：** 无 ## 2. 修改描述 **修改背景：** 开发者需按 MSOT 指南手动拉镜像并用 ctr_in.py 初始化，才能复现与 CI 一致的环境，成本高。 **修改目的：** 提供 VS Code Dev Container 底座，在 MindStudio 标准构建镜像中一键拉起与 CI 一致的环境。 **修改内容：** - devcontainer：新增 .devcontainer（devcontainer.json / initialize.sh / init.sh / post-create.sh / README.md），引用 SWR 预置镜像、固定 /workspace 挂载、缓存 bind 持久化、初始化分步日志与 pre-commit 后台预热 - .vscode：新增 tasks / launch / settings，封装构建、UT、Lint 任务与 Python 调试 - 治理：补充 .gitignore；.gitattributes 强制 *.sh 用 LF；.pre-commit-config.yaml 对 devcontainer/.vscode 的 JSONC 豁免 check-json - 单测：UT 任务自动先装测试依赖，规避 No module named pytest ## 3. 功能验证 - [x] 功能自验（离线：bash -n、JSONC 解析、文档公共清单已通过；容器内 UT 冒烟待真机验证） - [x] 本地自验用例截图（请勿包含个人信息；可附复现命令） **复现步骤：** bash # VS Code：Dev Containers: Reopen in Container # Terminal → Run Task → msmodelslim: UT reduced (modelslim_v1) ## 4. 自检（请逐项确认，不适用标 N/A） **典型安全编码问题** - [x] 是否已校验外部数据：N/A（仅 shell/JSONC 配置，无外部输入解析） - [x] 是否未采集或打印敏感信息：是（仅把宿主 git 身份同步到容器内 .gitconfig） - [x] 是否已正确设置文件权限：是（脚本 100755、.host-gitconfig 600、容器内数据副本 640） - [x] 是否充分考虑浮点运算溢出、除零等异常场景：N/A - [x] 是否已对正则表达式做 ReDos 检查：N/A（仅 openEuler repo URL 前缀替换） **DT** - [x] 是否具备 UT 测试用例看护：未新增（改动仅 devcontainer/构建脚本，不影响产品逻辑；既有 UT 与 CI 冒烟不变） - [x] 是否需要添加冒烟：否 See merge request: Ascend/msmodelslim!940 | 1 个月前 | |
[Doc] 将英文文档、example 与 skills 中的 CLI 示例对齐当前命令行规范 补齐 --config、--device/--device_id 与 trust_remote_code 小写 true/false 的残留旧写法，并同步 load 配置示例与 issue 模板。 Co-authored-by: Cursor <cursoragent@cursor.com> | 26 天前 | |
[Feature] 引入基于 DevContainer 的高效开发环境 Co-authored-by: LeeQT<liqitong@huawei.com> # message auto-generated for no-merge-commit merge: !940 merge dev/devcontainer-env into master [Feature] 引入基于 DevContainer 的高效开发环境 Created-by: LeeQT Commit-by: LeeQT Merged-by: ascend-robot Description: PR 标题前缀：[Feature] ## 1. 影响面评估 **接口变更：** 无 **输出件变更：** 无 **非兼容变更：** 无 **SIG 评审结论：** 无 ## 2. 修改描述 **修改背景：** 开发者需按 MSOT 指南手动拉镜像并用 ctr_in.py 初始化，才能复现与 CI 一致的环境，成本高。 **修改目的：** 提供 VS Code Dev Container 底座，在 MindStudio 标准构建镜像中一键拉起与 CI 一致的环境。 **修改内容：** - devcontainer：新增 .devcontainer（devcontainer.json / initialize.sh / init.sh / post-create.sh / README.md），引用 SWR 预置镜像、固定 /workspace 挂载、缓存 bind 持久化、初始化分步日志与 pre-commit 后台预热 - .vscode：新增 tasks / launch / settings，封装构建、UT、Lint 任务与 Python 调试 - 治理：补充 .gitignore；.gitattributes 强制 *.sh 用 LF；.pre-commit-config.yaml 对 devcontainer/.vscode 的 JSONC 豁免 check-json - 单测：UT 任务自动先装测试依赖，规避 No module named pytest ## 3. 功能验证 - [x] 功能自验（离线：bash -n、JSONC 解析、文档公共清单已通过；容器内 UT 冒烟待真机验证） - [x] 本地自验用例截图（请勿包含个人信息；可附复现命令） **复现步骤：** bash # VS Code：Dev Containers: Reopen in Container # Terminal → Run Task → msmodelslim: UT reduced (modelslim_v1) ## 4. 自检（请逐项确认，不适用标 N/A） **典型安全编码问题** - [x] 是否已校验外部数据：N/A（仅 shell/JSONC 配置，无外部输入解析） - [x] 是否未采集或打印敏感信息：是（仅把宿主 git 身份同步到容器内 .gitconfig） - [x] 是否已正确设置文件权限：是（脚本 100755、.host-gitconfig 600、容器内数据副本 640） - [x] 是否充分考虑浮点运算溢出、除零等异常场景：N/A - [x] 是否已对正则表达式做 ReDos 检查：N/A（仅 openEuler repo URL 前缀替换） **DT** - [x] 是否具备 UT 测试用例看护：未新增（改动仅 devcontainer/构建脚本，不影响产品逻辑；既有 UT 与 CI 冒烟不变） - [x] 是否需要添加冒烟：否 See merge request: Ascend/msmodelslim!940 | 1 个月前 | |
【msmodelslim】刷新文件头部声明和版权 Co-authored-by: caishengcheng<caishengcheng@huawei.com> # message auto-generated for no-merge-commit merge: !28 merge license into master 【msmodelslim】刷新文件头部声明和版权 Created-by: caishengcheng Commit-by: caishengcheng Merged-by: ascend-robot Description: 【msmodelslim】刷新文件头部声明和版权 See merge request: Ascend/msmodelslim!28 | 9 个月前 | |
[Feature] 接入 DeepSeek-V4-Pro-0813 W4A4C8 配置 Co-authored-by: Rigel_Chen<chenruijie9@huawei.com> # message auto-generated for no-merge-commit merge: !968 merge feature/deepseek-v4-pro-0813-w4a4c8 into master [Feature] 接入 DeepSeek-V4-Pro-0813 W4A4C8 配置 Created-by: Rigel_Chen Commit-by: Rigel_Chen Merged-by: ascend-robot Description: # PR 提交说明 ## 1. 影响面评估 **接口变更（按需）：** 无 **输出件变更（按需）：** 无 **非兼容变更（按需）：** 无 **SIG 评审结论（按需）：** 无 ## 2. 修改描述 **修改背景（可选）：** 官方 DeepSeek-V4-Pro-0813 结构与 DeepSeek-V4-Pro-DSpark / Flash-0731 相同（投机解码模块键名为 mtp.0/1/2）。Flash-0731 已按同一方式合入；Pro-0813 本地已验证可直接复用 加载路径。 **修改目的：** 在已有 DSpark 加载路径上注册官方 0813 模型名，支持一键 W4A4C8 量化；MTP 不量化并以 FLOAT 落盘。 **修改内容：** - infra：config.ini 将 DeepSeek-V4-Pro-0813 注册到 deepseek_v4_dspark - app：新增 lab_practice/deepseek_v4/deepseek_v4_pro_w4a4c8.yaml ## 3. 功能验证 - [x] 功能自验 - [ ] 本地自验用例截图（请勿包含个人信息；可附复现命令） **复现步骤（可选）：** bash msmodelslim quant \ --model_path <DeepSeek-V4-Pro-0813 原始权重> \ --save_path <...-w4a4c8> \ --model_type DeepSeek-V4-Pro-0813 \ --config lab_practice/deepseek_v4/deepseek_v4_pro_w4a4c8.yaml \ --device npu --device_id 0 1 2 3 4 5 6 7 \ --trust_remote_code true ## 4. 自检（请逐项确认，不适用标 N/A） **典型安全编码问题** - [ ] 是否已校验外部数据 - [ ] 是否未采集或打印敏感信息 - [ ] 是否已正确设置文件权限 - [ ] 是否充分考虑浮点运算溢出、除零等异常场景 - [ ] 是否已对正则表达式做 ReDos 检查 **DT** - [ ] 是否具备 UT 测试用例看护（路径：用例路径；未添加请说明原因） - [ ] 是否需要添加冒烟：否（若「是」请说明冒烟场景及对应用途） See merge request: Ascend/msmodelslim!968 | 26 天前 | |
Merge remote-tracking branch 'upstream/master' into docs-fix | 24 天前 | |
[Doc]修复遗留的旧参数问题 Co-authored-by: Rigel_Chen<chenruijie9@huawei.com> # message auto-generated for no-merge-commit merge: !974 merge docs-fix into master [Doc]修复遗留的旧参数问题 Created-by: Rigel_Chen Commit-by: Rigel_Chen Merged-by: ascend-robot Description: # PR 提交说明 提交前请阅读 [贡献指南](https://gitcode.com/Ascend/msmodelslim/blob/master/docs/zh/contributing/contributing_guide.md)，开发者文档：[模型接入指南](../docs/zh/knowledge_base/model/integrating_models.md) PR 标题前缀：[Feature]、[Bugfix]、[Doc]、[Test]（与 CONTRIBUTING 一致） ## 1. 影响面评估 **接口变更（按需）：** 无 > 备注：若无变更请保留「无」；涉及 CLI、API、YAML 等请在此项补充说明。 **输出件变更（按需）：** 无 > 备注：若无变更请保留「无」；涉及导出格式、产物路径等请在此项补充说明。 **非兼容变更（按需）：** 无 > 备注：若无变更请保留「无」；若有非兼容变更请说明迁移方式。 **SIG 评审结论（按需）：** 无 > 提醒：非兼容、安全风险等高危 PR 须经 SIG 评审后合入；无则保留「无」。 ## 2. 修改描述 **修改背景（可选）：**（问题现象、使用场景等） **修改目的：** 修复残留的旧参数文档问题 **修改内容：**（按「概念 - 变化」分条，示例：core/算法：新增 SmoothQuant 离群值抑制） tag->tags,config_path->config **概念域参考（填写提示）：** - cli：命令行 quant / analyze / tune - app：最佳实践量化、量化分析、精度反馈自动调优等 - core：算法、量化服务、调度、张量量化、调优策略、最佳实践、上下文等 - infra：模型适配、调优计划/历史/缓存、测评服务等 - utils：日志、错误处理、插件等 ## 3. 功能验证 冒烟由 CI 门禁检查，无需填写「冒烟是否通过」。 - [ ] 功能自验 - [ ] 本地自验用例截图（请勿包含个人信息；可附复现命令） **复现步骤（可选）：** bash # 在此粘贴可复现命令 ## 4. 自检（请逐项确认，不适用标 N/A） **典型安全编码问题** - [ ] 是否已校验外部数据 - [ ] 是否未采集或打印敏感信息 - [ ] 是否已正确设置文件权限 - [ ] 是否充分考虑浮点运算溢出、除零等异常场景 - [ ] 是否已对正则表达式做 ReDos 检查 **DT** - [ ] 是否具备 UT 测试用例看护（路径：用例路径；未添加请说明原因） - [ ] 是否需要添加冒烟：否（若「是」请说明冒烟场景及对应用途） See merge request: Ascend/msmodelslim!974 | 25 天前 | |
[Feature] Qwen3.5/3.6模型FA混合量化：QK-MXFP8 动态 + V-MXFP8 PerChannel 静态 Co-authored-by: joejoezhou<zhourongchen1@huawei.com> # message auto-generated for no-merge-commit merge: !934 merge feature/qwen35-397b-fa-mxfp8 into master [Feature] Qwen3.5/3.6模型FA混合量化：QK-MXFP8 动态 + V-MXFP8 PerChannel 静态 Created-by: joejoezhou Commit-by: joejoezhou Merged-by: ascend-robot Description: ## 1. 影响面评估 **接口变更（按需）：** 无。 **输出件变更（按需）：** AscendV1 格式新增 FA 混合量化量化 QK_MXFP8_DYNAMIC_V_MXFP8_PER_CHANNEL。 **非兼容变更（按需）：** 无 **SIG 评审结论（按需）：** 无 ## 2. 修改描述 **修改背景（可选）：** Qwen3.5-397B 全量化（线性层 W4A4 / W8A8）需要注意力部分配套低比特方案。Q/K 参与得分计算、随输入分布变化，宜动态免校准；V 承接缓存写入，若沿用 MX per-block 按 32 元素分块，head_dim 不是 32 整数倍时行尾会留下不足 32 元素的尾块，V 缓存随 decode 逐 token 追加，反复 padding 代价高。因此 Q/K 走 MXFP8 per-block 动态，V 改走 per-channel 静态，将 head 并入通道维跨整条序列共享 E8M0 指数，从根上消除尾块，量化参数离线固化并与 KVCache 量化的通道语义对齐。 **修改目的：** 为 Qwen3.5-397B 提供 Q/K MXFP8 per-block 动态 + V MXFP8 per-channel 静态的注意力混合量化能力，打通 IR、校准、AscendV1 落盘与模型适配全链路，并补齐对应量化模式资料。 **修改内容：** - 量化模式：新增 MXFP8FakeQuantActivationPerChannel（FA V 分支 MXFP8 per-channel 静态伪量化层） - 量化格式：AscendV1 支持 per-channel 静态分支的类型串拼装与 uint8 scale 落盘，多卡 merge 阶段跨 rank 聚合分支状态统一拼串 - FA3 量化：支持 per-channel 静态分支（离线校准取参）；动态分支免校准，校准阶段不再空转 per-head 统计 - 数据格式：mxfp per-block 量化削减整份 fp32 临时，降低 FA3 校准显存峰值 - 模型适配：qwen3_5_moe 注入 full_attention 层 FA3 量化、跳过 linear_attention 层 - 校准集：新增 qwen3_cot_vlm_text 校准集，超长样本按段落截断至 8k，避免校准 OOM - docs：新增《FA QK-MXFP8 动态 / V-MXFP8 PerChannel 静态量化》词条，同步 FA 量化模式索引、量化模式总览表及 AscendV1 quant_type 取值规则与落盘说明 ## 3. 功能验证 - [x] 功能自验：本地单测通过（190 个用例） - [ ] 本地自验用例截图（请勿包含个人信息；可附复现命令） ## 4. 自检（请逐项确认，不适用标 N/A） **典型安全编码问题** - [x] 是否已校验外部数据 - [x] 是否未采集或打印敏感信息 - [x] 是否已正确设置文件权限 - [x] 是否充分考虑浮点运算溢出、除零等异常场景 - [x] 是否已对正则表达式做 ReDos 检查 **DT** - [x] 是否具备 UT 测试用例看护：test_cases/ir/test_mxfp8_activation_static.py、test_cases/ir/api/impl/test_mxfp8_per_channel_quantization.py、test_ascendv1.py、test_ascendv1_distributed.py、test_fa3_processor.py 等 - [ ] 是否需要添加冒烟：否 See merge request: Ascend/msmodelslim!934 | 1 个月前 | |
[Doc] 将英文文档、example 与 skills 中的 CLI 示例对齐当前命令行规范 补齐 --config、--device/--device_id 与 trust_remote_code 小写 true/false 的残留旧写法，并同步 load 配置示例与 issue 模板。 Co-authored-by: Cursor <cursoragent@cursor.com> | 26 天前 | |
【msmodelslim】目录整改后目录文件同步修改 Co-authored-by: caishengcheng<caishengcheng@huawei.com> # message auto-generated for no-merge-commit merge: !38 merge dir into master 【msmodelslim】目录整改后目录文件同步修改 Created-by: caishengcheng Commit-by: caishengcheng Merged-by: ascend-robot Description: 【msmodelslim】目录整改后目录文件同步修改 See merge request: Ascend/msmodelslim!38 | 8 个月前 | |
[Doc]修复遗留的旧参数问题 Co-authored-by: Rigel_Chen<chenruijie9@huawei.com> # message auto-generated for no-merge-commit merge: !974 merge docs-fix into master [Doc]修复遗留的旧参数问题 Created-by: Rigel_Chen Commit-by: Rigel_Chen Merged-by: ascend-robot Description: # PR 提交说明 提交前请阅读 [贡献指南](https://gitcode.com/Ascend/msmodelslim/blob/master/docs/zh/contributing/contributing_guide.md)，开发者文档：[模型接入指南](../docs/zh/knowledge_base/model/integrating_models.md) PR 标题前缀：[Feature]、[Bugfix]、[Doc]、[Test]（与 CONTRIBUTING 一致） ## 1. 影响面评估 **接口变更（按需）：** 无 > 备注：若无变更请保留「无」；涉及 CLI、API、YAML 等请在此项补充说明。 **输出件变更（按需）：** 无 > 备注：若无变更请保留「无」；涉及导出格式、产物路径等请在此项补充说明。 **非兼容变更（按需）：** 无 > 备注：若无变更请保留「无」；若有非兼容变更请说明迁移方式。 **SIG 评审结论（按需）：** 无 > 提醒：非兼容、安全风险等高危 PR 须经 SIG 评审后合入；无则保留「无」。 ## 2. 修改描述 **修改背景（可选）：**（问题现象、使用场景等） **修改目的：** 修复残留的旧参数文档问题 **修改内容：**（按「概念 - 变化」分条，示例：core/算法：新增 SmoothQuant 离群值抑制） tag->tags,config_path->config **概念域参考（填写提示）：** - cli：命令行 quant / analyze / tune - app：最佳实践量化、量化分析、精度反馈自动调优等 - core：算法、量化服务、调度、张量量化、调优策略、最佳实践、上下文等 - infra：模型适配、调优计划/历史/缓存、测评服务等 - utils：日志、错误处理、插件等 ## 3. 功能验证 冒烟由 CI 门禁检查，无需填写「冒烟是否通过」。 - [ ] 功能自验 - [ ] 本地自验用例截图（请勿包含个人信息；可附复现命令） **复现步骤（可选）：** bash # 在此粘贴可复现命令 ## 4. 自检（请逐项确认，不适用标 N/A） **典型安全编码问题** - [ ] 是否已校验外部数据 - [ ] 是否未采集或打印敏感信息 - [ ] 是否已正确设置文件权限 - [ ] 是否充分考虑浮点运算溢出、除零等异常场景 - [ ] 是否已对正则表达式做 ReDos 检查 **DT** - [ ] 是否具备 UT 测试用例看护（路径：用例路径；未添加请说明原因） - [ ] 是否需要添加冒烟：否（若「是」请说明冒烟场景及对应用途） See merge request: Ascend/msmodelslim!974 | 25 天前 | |
[Feature] Qwen3.5/3.6模型FA混合量化：QK-MXFP8 动态 + V-MXFP8 PerChannel 静态 Co-authored-by: joejoezhou<zhourongchen1@huawei.com> # message auto-generated for no-merge-commit merge: !934 merge feature/qwen35-397b-fa-mxfp8 into master [Feature] Qwen3.5/3.6模型FA混合量化：QK-MXFP8 动态 + V-MXFP8 PerChannel 静态 Created-by: joejoezhou Commit-by: joejoezhou Merged-by: ascend-robot Description: ## 1. 影响面评估 **接口变更（按需）：** 无。 **输出件变更（按需）：** AscendV1 格式新增 FA 混合量化量化 QK_MXFP8_DYNAMIC_V_MXFP8_PER_CHANNEL。 **非兼容变更（按需）：** 无 **SIG 评审结论（按需）：** 无 ## 2. 修改描述 **修改背景（可选）：** Qwen3.5-397B 全量化（线性层 W4A4 / W8A8）需要注意力部分配套低比特方案。Q/K 参与得分计算、随输入分布变化，宜动态免校准；V 承接缓存写入，若沿用 MX per-block 按 32 元素分块，head_dim 不是 32 整数倍时行尾会留下不足 32 元素的尾块，V 缓存随 decode 逐 token 追加，反复 padding 代价高。因此 Q/K 走 MXFP8 per-block 动态，V 改走 per-channel 静态，将 head 并入通道维跨整条序列共享 E8M0 指数，从根上消除尾块，量化参数离线固化并与 KVCache 量化的通道语义对齐。 **修改目的：** 为 Qwen3.5-397B 提供 Q/K MXFP8 per-block 动态 + V MXFP8 per-channel 静态的注意力混合量化能力，打通 IR、校准、AscendV1 落盘与模型适配全链路，并补齐对应量化模式资料。 **修改内容：** - 量化模式：新增 MXFP8FakeQuantActivationPerChannel（FA V 分支 MXFP8 per-channel 静态伪量化层） - 量化格式：AscendV1 支持 per-channel 静态分支的类型串拼装与 uint8 scale 落盘，多卡 merge 阶段跨 rank 聚合分支状态统一拼串 - FA3 量化：支持 per-channel 静态分支（离线校准取参）；动态分支免校准，校准阶段不再空转 per-head 统计 - 数据格式：mxfp per-block 量化削减整份 fp32 临时，降低 FA3 校准显存峰值 - 模型适配：qwen3_5_moe 注入 full_attention 层 FA3 量化、跳过 linear_attention 层 - 校准集：新增 qwen3_cot_vlm_text 校准集，超长样本按段落截断至 8k，避免校准 OOM - docs：新增《FA QK-MXFP8 动态 / V-MXFP8 PerChannel 静态量化》词条，同步 FA 量化模式索引、量化模式总览表及 AscendV1 quant_type 取值规则与落盘说明 ## 3. 功能验证 - [x] 功能自验：本地单测通过（190 个用例） - [ ] 本地自验用例截图（请勿包含个人信息；可附复现命令） ## 4. 自检（请逐项确认，不适用标 N/A） **典型安全编码问题** - [x] 是否已校验外部数据 - [x] 是否未采集或打印敏感信息 - [x] 是否已正确设置文件权限 - [x] 是否充分考虑浮点运算溢出、除零等异常场景 - [x] 是否已对正则表达式做 ReDos 检查 **DT** - [x] 是否具备 UT 测试用例看护：test_cases/ir/test_mxfp8_activation_static.py、test_cases/ir/api/impl/test_mxfp8_per_channel_quantization.py、test_ascendv1.py、test_ascendv1_distributed.py、test_fa3_processor.py 等 - [ ] 是否需要添加冒烟：否 See merge request: Ascend/msmodelslim!934 | 1 个月前 | |
【msmodelslim】刷新文件头部声明和版权 Co-authored-by: caishengcheng<caishengcheng@huawei.com> # message auto-generated for no-merge-commit merge: !28 merge license into master 【msmodelslim】刷新文件头部声明和版权 Created-by: caishengcheng Commit-by: caishengcheng Merged-by: ascend-robot Description: 【msmodelslim】刷新文件头部声明和版权 See merge request: Ascend/msmodelslim!28 | 9 个月前 | |
【msmodelslim】刷新文件头部声明和版权 Co-authored-by: caishengcheng<caishengcheng@huawei.com> # message auto-generated for no-merge-commit merge: !28 merge license into master 【msmodelslim】刷新文件头部声明和版权 Created-by: caishengcheng Commit-by: caishengcheng Merged-by: ascend-robot Description: 【msmodelslim】刷新文件头部声明和版权 See merge request: Ascend/msmodelslim!28 | 9 个月前 | |
[Doc]修复遗留的旧参数问题 Co-authored-by: Rigel_Chen<chenruijie9@huawei.com> # message auto-generated for no-merge-commit merge: !974 merge docs-fix into master [Doc]修复遗留的旧参数问题 Created-by: Rigel_Chen Commit-by: Rigel_Chen Merged-by: ascend-robot Description: # PR 提交说明 提交前请阅读 [贡献指南](https://gitcode.com/Ascend/msmodelslim/blob/master/docs/zh/contributing/contributing_guide.md)，开发者文档：[模型接入指南](../docs/zh/knowledge_base/model/integrating_models.md) PR 标题前缀：[Feature]、[Bugfix]、[Doc]、[Test]（与 CONTRIBUTING 一致） ## 1. 影响面评估 **接口变更（按需）：** 无 > 备注：若无变更请保留「无」；涉及 CLI、API、YAML 等请在此项补充说明。 **输出件变更（按需）：** 无 > 备注：若无变更请保留「无」；涉及导出格式、产物路径等请在此项补充说明。 **非兼容变更（按需）：** 无 > 备注：若无变更请保留「无」；若有非兼容变更请说明迁移方式。 **SIG 评审结论（按需）：** 无 > 提醒：非兼容、安全风险等高危 PR 须经 SIG 评审后合入；无则保留「无」。 ## 2. 修改描述 **修改背景（可选）：**（问题现象、使用场景等） **修改目的：** 修复残留的旧参数文档问题 **修改内容：**（按「概念 - 变化」分条，示例：core/算法：新增 SmoothQuant 离群值抑制） tag->tags,config_path->config **概念域参考（填写提示）：** - cli：命令行 quant / analyze / tune - app：最佳实践量化、量化分析、精度反馈自动调优等 - core：算法、量化服务、调度、张量量化、调优策略、最佳实践、上下文等 - infra：模型适配、调优计划/历史/缓存、测评服务等 - utils：日志、错误处理、插件等 ## 3. 功能验证 冒烟由 CI 门禁检查，无需填写「冒烟是否通过」。 - [ ] 功能自验 - [ ] 本地自验用例截图（请勿包含个人信息；可附复现命令） **复现步骤（可选）：** bash # 在此粘贴可复现命令 ## 4. 自检（请逐项确认，不适用标 N/A） **典型安全编码问题** - [ ] 是否已校验外部数据 - [ ] 是否未采集或打印敏感信息 - [ ] 是否已正确设置文件权限 - [ ] 是否充分考虑浮点运算溢出、除零等异常场景 - [ ] 是否已对正则表达式做 ReDos 检查 **DT** - [ ] 是否具备 UT 测试用例看护（路径：用例路径；未添加请说明原因） - [ ] 是否需要添加冒烟：否（若「是」请说明冒烟场景及对应用途） See merge request: Ascend/msmodelslim!974 | 25 天前 | |
【bugfix】修复多卡时样本分片在特定情况下数组越界 Co-authored-by: zhangz200102<zhangzheng183@huawei.com> # message auto-generated for no-merge-commit merge: !976 merge bugfix/issue567 into master 【bugfix】修复多卡时样本分片在特定情况下数组越界 Created-by: zhangz200102 Commit-by: zhangz200102 Merged-by: ascend-robot Description: # PR 提交说明 提交前请阅读 [贡献指南](https://gitcode.com/Ascend/msmodelslim/blob/master/docs/zh/contributing/contributing_guide.md)，开发者文档：[模型接入指南](../docs/zh/knowledge_base/model/integrating_models.md) PR 标题前缀：[Feature]、[Bugfix]、[Doc]、[Test]（与 CONTRIBUTING 一致） ## 1. 影响面评估 **接口变更（按需）：** 无 > 备注：若无变更请保留「无」；涉及 CLI、API、YAML 等请在此项补充说明。 **输出件变更（按需）：** 无 > 备注：若无变更请保留「无」；涉及导出格式、产物路径等请在此项补充说明。 **非兼容变更（按需）：** 无 > 备注：若无变更请保留「无」；若有非兼容变更请说明迁移方式。 **SIG 评审结论（按需）：** 无 > 提醒：非兼容、安全风险等高危 PR 须经 SIG 评审后合入；无则保留「无」。 ## 2. 修改描述 **修改背景（可选）：**（问题现象、使用场景等） 详见关联issue：https://gitcode.com/Ascend/msmodelslim/issues/567 **修改目的：**（本 PR 要达成什么目标） 解决多卡伪量化场景，在（样本数<0.5*卡数）时，由复制样本产生的数组越界问题 **修改内容：**（按「概念 - 变化」分条，示例：core/算法：新增 SmoothQuant 离群值抑制） core：修改infer_engine的dp分支的样本处理逻辑（取余操作替代切片） **概念域参考（填写提示）：** - cli：命令行 quant / analyze / tune - app：最佳实践量化、量化分析、精度反馈自动调优等 - core：算法、量化服务、调度、张量量化、调优策略、最佳实践、上下文等 - infra：模型适配、调优计划/历史/缓存、测评服务等 - utils：日志、错误处理、插件等 ## 3. 功能验证 冒烟由 CI 门禁检查，无需填写「冒烟是否通过」。 - [x] 功能自验 - [x] 本地自验用例截图（请勿包含个人信息；可附复现命令）  **复现步骤（可选）：** bash msmodelslim eval \ --model_type DeepSeek-V3.1-Terminus \ --model_path /mnt/weight/DeepSeek_V31_Terminus_w8a8c8 \ --device npu \ --device_id 10 11 12 13 \ --prompt_file /home/zhangzheng/common_scripts/fake_quant/test_question_1.json \ --max_new_tokens 5 ## 4. 自检（请逐项确认，不适用标 N/A） **典型安全编码问题** - [x] 是否已校验外部数据 N/A - [x] 是否未采集或打印敏感信息 N/A - [x] 是否已正确设置文件权限 N/A - [x] 是否充分考虑浮点运算溢出、除零等异常场景 N/A - [x] 是否已对正则表达式做 ReDos 检查 N/A **DT** - [x] 是否具备 UT 测试用例看护（路径：用例路径；未添加请说明原因） test/cases/core/infer_engine/dp_fake_quant/test_dp_sharding.py - [x] 是否需要添加冒烟：否（若「是」请说明冒烟场景及对应用途） See merge request: Ascend/msmodelslim!976 | 25 天前 | |
[Feature] 引入基于 DevContainer 的高效开发环境 Co-authored-by: LeeQT<liqitong@huawei.com> # message auto-generated for no-merge-commit merge: !940 merge dev/devcontainer-env into master [Feature] 引入基于 DevContainer 的高效开发环境 Created-by: LeeQT Commit-by: LeeQT Merged-by: ascend-robot Description: PR 标题前缀：[Feature] ## 1. 影响面评估 **接口变更：** 无 **输出件变更：** 无 **非兼容变更：** 无 **SIG 评审结论：** 无 ## 2. 修改描述 **修改背景：** 开发者需按 MSOT 指南手动拉镜像并用 ctr_in.py 初始化，才能复现与 CI 一致的环境，成本高。 **修改目的：** 提供 VS Code Dev Container 底座，在 MindStudio 标准构建镜像中一键拉起与 CI 一致的环境。 **修改内容：** - devcontainer：新增 .devcontainer（devcontainer.json / initialize.sh / init.sh / post-create.sh / README.md），引用 SWR 预置镜像、固定 /workspace 挂载、缓存 bind 持久化、初始化分步日志与 pre-commit 后台预热 - .vscode：新增 tasks / launch / settings，封装构建、UT、Lint 任务与 Python 调试 - 治理：补充 .gitignore；.gitattributes 强制 *.sh 用 LF；.pre-commit-config.yaml 对 devcontainer/.vscode 的 JSONC 豁免 check-json - 单测：UT 任务自动先装测试依赖，规避 No module named pytest ## 3. 功能验证 - [x] 功能自验（离线：bash -n、JSONC 解析、文档公共清单已通过；容器内 UT 冒烟待真机验证） - [x] 本地自验用例截图（请勿包含个人信息；可附复现命令） **复现步骤：** bash # VS Code：Dev Containers: Reopen in Container # Terminal → Run Task → msmodelslim: UT reduced (modelslim_v1) ## 4. 自检（请逐项确认，不适用标 N/A） **典型安全编码问题** - [x] 是否已校验外部数据：N/A（仅 shell/JSONC 配置，无外部输入解析） - [x] 是否未采集或打印敏感信息：是（仅把宿主 git 身份同步到容器内 .gitconfig） - [x] 是否已正确设置文件权限：是（脚本 100755、.host-gitconfig 600、容器内数据副本 640） - [x] 是否充分考虑浮点运算溢出、除零等异常场景：N/A - [x] 是否已对正则表达式做 ReDos 检查：N/A（仅 openEuler repo URL 前缀替换） **DT** - [x] 是否具备 UT 测试用例看护：未新增（改动仅 devcontainer/构建脚本，不影响产品逻辑；既有 UT 与 CI 冒烟不变） - [x] 是否需要添加冒烟：否 See merge request: Ascend/msmodelslim!940 | 1 个月前 | |
[Feature] 引入基于 DevContainer 的高效开发环境 Co-authored-by: LeeQT<liqitong@huawei.com> # message auto-generated for no-merge-commit merge: !940 merge dev/devcontainer-env into master [Feature] 引入基于 DevContainer 的高效开发环境 Created-by: LeeQT Commit-by: LeeQT Merged-by: ascend-robot Description: PR 标题前缀：[Feature] ## 1. 影响面评估 **接口变更：** 无 **输出件变更：** 无 **非兼容变更：** 无 **SIG 评审结论：** 无 ## 2. 修改描述 **修改背景：** 开发者需按 MSOT 指南手动拉镜像并用 ctr_in.py 初始化，才能复现与 CI 一致的环境，成本高。 **修改目的：** 提供 VS Code Dev Container 底座，在 MindStudio 标准构建镜像中一键拉起与 CI 一致的环境。 **修改内容：** - devcontainer：新增 .devcontainer（devcontainer.json / initialize.sh / init.sh / post-create.sh / README.md），引用 SWR 预置镜像、固定 /workspace 挂载、缓存 bind 持久化、初始化分步日志与 pre-commit 后台预热 - .vscode：新增 tasks / launch / settings，封装构建、UT、Lint 任务与 Python 调试 - 治理：补充 .gitignore；.gitattributes 强制 *.sh 用 LF；.pre-commit-config.yaml 对 devcontainer/.vscode 的 JSONC 豁免 check-json - 单测：UT 任务自动先装测试依赖，规避 No module named pytest ## 3. 功能验证 - [x] 功能自验（离线：bash -n、JSONC 解析、文档公共清单已通过；容器内 UT 冒烟待真机验证） - [x] 本地自验用例截图（请勿包含个人信息；可附复现命令） **复现步骤：** bash # VS Code：Dev Containers: Reopen in Container # Terminal → Run Task → msmodelslim: UT reduced (modelslim_v1) ## 4. 自检（请逐项确认，不适用标 N/A） **典型安全编码问题** - [x] 是否已校验外部数据：N/A（仅 shell/JSONC 配置，无外部输入解析） - [x] 是否未采集或打印敏感信息：是（仅把宿主 git 身份同步到容器内 .gitconfig） - [x] 是否已正确设置文件权限：是（脚本 100755、.host-gitconfig 600、容器内数据副本 640） - [x] 是否充分考虑浮点运算溢出、除零等异常场景：N/A - [x] 是否已对正则表达式做 ReDos 检查：N/A（仅 openEuler repo URL 前缀替换） **DT** - [x] 是否具备 UT 测试用例看护：未新增（改动仅 devcontainer/构建脚本，不影响产品逻辑；既有 UT 与 CI 冒烟不变） - [x] 是否需要添加冒烟：否 See merge request: Ascend/msmodelslim!940 | 1 个月前 | |
[Feature] 引入基于 DevContainer 的高效开发环境 Co-authored-by: LeeQT<liqitong@huawei.com> # message auto-generated for no-merge-commit merge: !940 merge dev/devcontainer-env into master [Feature] 引入基于 DevContainer 的高效开发环境 Created-by: LeeQT Commit-by: LeeQT Merged-by: ascend-robot Description: PR 标题前缀：[Feature] ## 1. 影响面评估 **接口变更：** 无 **输出件变更：** 无 **非兼容变更：** 无 **SIG 评审结论：** 无 ## 2. 修改描述 **修改背景：** 开发者需按 MSOT 指南手动拉镜像并用 ctr_in.py 初始化，才能复现与 CI 一致的环境，成本高。 **修改目的：** 提供 VS Code Dev Container 底座，在 MindStudio 标准构建镜像中一键拉起与 CI 一致的环境。 **修改内容：** - devcontainer：新增 .devcontainer（devcontainer.json / initialize.sh / init.sh / post-create.sh / README.md），引用 SWR 预置镜像、固定 /workspace 挂载、缓存 bind 持久化、初始化分步日志与 pre-commit 后台预热 - .vscode：新增 tasks / launch / settings，封装构建、UT、Lint 任务与 Python 调试 - 治理：补充 .gitignore；.gitattributes 强制 *.sh 用 LF；.pre-commit-config.yaml 对 devcontainer/.vscode 的 JSONC 豁免 check-json - 单测：UT 任务自动先装测试依赖，规避 No module named pytest ## 3. 功能验证 - [x] 功能自验（离线：bash -n、JSONC 解析、文档公共清单已通过；容器内 UT 冒烟待真机验证） - [x] 本地自验用例截图（请勿包含个人信息；可附复现命令） **复现步骤：** bash # VS Code：Dev Containers: Reopen in Container # Terminal → Run Task → msmodelslim: UT reduced (modelslim_v1) ## 4. 自检（请逐项确认，不适用标 N/A） **典型安全编码问题** - [x] 是否已校验外部数据：N/A（仅 shell/JSONC 配置，无外部输入解析） - [x] 是否未采集或打印敏感信息：是（仅把宿主 git 身份同步到容器内 .gitconfig） - [x] 是否已正确设置文件权限：是（脚本 100755、.host-gitconfig 600、容器内数据副本 640） - [x] 是否充分考虑浮点运算溢出、除零等异常场景：N/A - [x] 是否已对正则表达式做 ReDos 检查：N/A（仅 openEuler repo URL 前缀替换） **DT** - [x] 是否具备 UT 测试用例看护：未新增（改动仅 devcontainer/构建脚本，不影响产品逻辑；既有 UT 与 CI 冒烟不变） - [x] 是否需要添加冒烟：否 See merge request: Ascend/msmodelslim!940 | 1 个月前 | |
【docs】资料架构重构，并将资料托管至readthedocs。 Co-authored-by: keith_wa<keith_wwa@163.com> # message auto-generated for no-merge-commit merge: !109 merge pr_docs_re_copy into master 【docs】资料架构重构，并将资料托管至readthedocs。 Created-by: keith_wa Commit-by: keith_wa Merged-by: ascend-robot Description: 1. 动机 (Motivation) 内容上： 优化导航结构：原目录结构逻辑不清晰、目录层级深且链接复杂。 提升阅读体验：原 traditional_quantization_v0 目录下存在 20+ 个零散文档，内容分布碎片化，用户难以快速建立完整的技术全景认知。 消除内容冗余：多个文档之间存在重复的依赖说明、操作流程及参数介绍，增加了维护成本及版本不一致的风险。 呈现上： 提供专业资料托管：原docs/目录结构不清晰、目录名/文档名不直观（英文），跳转繁琐且无搜索功能。 2. 修改点 (Changes) 2.1 重新梳理目录结构  2.2. 文档整合与重构 V0及传统量化核心文档合并：将 20 多个零散文档按功能维度深度整合为 10篇核心指南： # V0框架文档导航（已停止演进） 本目录文档按模型类型与任务场景重排，便于按需求快速定位。 ## 一、传统模型量化与校准 - [传统模型量化与校准](traditional_model_quantization_and_calibration.md) - 包含 PyTorch/ONNX/MindSpore 训练后量化与 QAT。 ## 二、大模型量化与压缩 - [大模型量化与校准](foundation_model_quantization_and_calibration.md) - 包含低显存量化、混合校准数据集、FA3 量化。 - [压缩与结构优化（大模型为主）](foundation_model_compression.md) - 包含稀疏量化与权重压缩、长序列压缩、权重压缩流程、低秩分解。 ## 三、训练加速与模型改造 - [训练加速与模型改造](pruning_and_distillation.md) - 包含重要性剪枝、Transformer 剪枝、Sparse tool、模型蒸馏。 - [稀疏加速训练](sparse_acceleration_training.md) - 包含宽度扩增与深度扩增模型的稀疏训练加速流程。 ## 四、工具与生态适配 - [辅助工具与专项指导](compression_utils.md) - 包含量化权重格式说明与 MindSpeed 适配器。 - [伪量化精度测试工具](fake_quantization_accuracy_testing_tool.md) - 包含 Precision Tool 使用方式与测试流程。 - [多模态生成模型推理优化](inference_optimization_for_multimodal_generative_model.md) - 包含 DiT 缓存优化与自适应采样优化流程。 - [常见代码示例](quantization_and_sparse_quantization_scenario_import_code_examples.md) - 包含常见量化/稀疏量化场景导入代码样例。 2.3 配置readthedocs文档托管： https://modelslim.readthedocs.io/zh-cn/latest/ 2.4 配置deepwiki： https://deepwiki.com/Keithwwa/ModelSlim 3. 验证： 3.1. gimini代码检视： https://github.com/Keithwwa/ModelSlim/pull/1 See merge request: Ascend/msmodelslim!109 | 7 个月前 | |
【msmodelslim】资料问题整改 Co-authored-by: caishengcheng<caishengcheng@huawei.com> # message auto-generated for no-merge-commit merge: !18 merge docs into master 【msmodelslim】资料问题整改 Created-by: caishengcheng Commit-by: caishengcheng Merged-by: ascend-robot Description: 【msmodelslim】资料问题整改 See merge request: Ascend/msmodelslim!18 | 9 个月前 | |
【msmodelslim】cleancode Co-authored-by: caishengcheng<caishengcheng@huawei.com> | 9 个月前 | |
[Doc] FAQ 资料规范整改、文档链接修复与版本说明导航清理 Co-authored-by: LeeQT<liqitong@huawei.com> # message auto-generated for no-merge-commit merge: !967 merge docs-release-notes-faq into master [Doc] FAQ 资料规范整改、文档链接修复与版本说明导航清理 Created-by: LeeQT Commit-by: LeeQT Merged-by: ascend-robot Description: 提交前请阅读 [贡献指南](https://gitcode.com/Ascend/msmodelslim/blob/master/docs/zh/contributing/contributing_guide.md)，开发者文档：[模型接入指南](https://gitcode.com/Ascend/msmodelslim/blob/master/docs/zh/knowledge_base/model/integrating_models.md) ## 1. 影响面评估 **接口变更（按需）：** 无 **输出件变更（按需）：** 无 **非兼容变更（按需）：** 无 **SIG 评审结论（按需）：** 无 ## 2. 修改描述 **修改背景（可选）：** - FAQ 各篇标题编号不符合《公共校验清单》CE-13 的要求：二级标题误用 x.x、三级标题完全无序号。 - 硬件兼容篇在 FAQ 条目下架后，残留的引言文案沿用了「精度与调优」的表述，与主题不符。 - README 存在失效链接（msagent 文档大小写不符导致 404）与标点缺失。 - 上游 3d342f33 删除了 docs/zh/release_notes/release_notes.md，但 mkdocs.yml 的导航条目仍指向该文件，形成悬空引用。 **修改目的：** 使 FAQ 资料满足《msModelSlim 资料规范》，修复文档失效链接，清理悬空导航引用。 **修改内容：** - docs/support/faq*：按 CE-13 补齐标题编号——二级标题由 x.x 改为 x，三级标题补 x.x，同级序号连续；同步修正 4 篇引言与 2 篇预留分类中「新增条目按 1.x 顺序追加」的指引文字。 - docs/support/faq.md：修订记录由 3 条（v2.1/v2.0/v1.0）合并为 v1.0 单行，并按时间升序记录；分类索引中「硬件兼容」一行改为预留分类描述；frontmatter keywords 调整。 - docs/support/faq_hardware.md：FAQ 条目下架，参照预留分类样式补全——修正原引言误用「精度与调优」文案的问题，补充硬件兼容相关指引文档链接与新增条目约定。 - docs/support/faq_installation.md：将「操作系统版本，或通过以下命令规避」拆为「升级操作系统版本」「通过以下命令规避」两条独立的解决方法。 - docs/support/faq_warning.md：新增条目约定补充「关联文档（可选）」，匹配后续条目结构。 - README：最新消息 改指 GitCode Releases「发行版说明」页面；量化收益描述补齐「W8A8 量化后」；快速开始 行补句末句号；修正「AI 智能体（msagent）」文档链接大小写（Quantizer.md → quantizer.md，原链接 404）。 - mkdocs.yml：移除「九、附录」中指向已删除文件的「版本说明」导航条目。 **备注（合并冲突处理）：** 本分支曾重写 docs/zh/release_notes/release_notes.md，与上游 3d342f33 的删除操作构成 modify/delete 冲突。经确认接受上游删除，本分支的版本说明重写不再合入；同时补齐上游遗漏的 mkdocs.yml 悬空引用清理。当前分支已合并 center/master（3d342f33），无冲突。 ## 3. 功能验证 冒烟由 CI 门禁检查，无需填写「冒烟是否通过」。 - [x] 功能自验 - [ ] 本地自验用例截图（N/A：本 PR 为纯文档变更，无界面可截图；校验以脚本方式进行，见下） **复现步骤（可选）：** bash cd <repo_root> # 1) 标题编号校验（CE-13）：一级标题不带序号，二级须为 x，三级须为 x.x，同级连续 grep -nE '^#{1,3} ' docs/zh/support/faq*.md # 2) 篇内相对链接可达性校验：列出所有 ](../xxx.md) 链接并确认目标文件存在 grep -ohE '\]\(\.\.?/[^)#]+\)' docs/zh/support/faq*.md | tr -d ']()' | sort -u | while read -r p; do [ -e "docs/zh/support/$p" ] && echo "OK $p" || echo "BROKEN $p" done # 3) 确认 docs 内已无指向已删除 release_notes.md 的链接 grep -rn 'release_notes/release_notes\.md' docs/ mkdocs.yml || echo "无悬空引用" 本地校验结果：docs/zh/support/ 下 7 篇 FAQ 全部满足 CE-13；篇内 15 处相对链接全部可解析到仓库内实际文件；代码围栏均标注语言（CE-11）；docs/ 与 mkdocs.yml 中已无指向已删除文件的引用。 ## 4. 自检（请逐项确认，不适用标 N/A） **典型安全编码问题** - [x] 是否已校验外部数据 - [x] 是否未采集或打印敏感信息 - [x] 是否已正确设置文件权限 - [x] 是否充分考虑浮点运算溢出、除零等异常场景 - [x] 是否已对正则表达式做 ReDos 检查 **DT** - [x] 是否具备 UT 测试用例看护（路径：用例路径；未添加请说明原因） - [x] 是否需要添加冒烟：否（若「是」请说明冒烟场景及对应用途） --- 🤖 Generated with [Claude Code](https://claude.com/claude-code) See merge request: Ascend/msmodelslim!967 | 26 天前 | |
【docs】：产品系列名称整改；英文26.1.0更新入master分支 Co-authored-by: zzm30<zhengzhimin1@h-partners.com> # message auto-generated for no-merge-commit merge: !928 merge master into master 【docs】：产品系列名称整改；英文26.1.0更新入master分支 Created-by: zzm30 Commit-by: zzm30 Merged-by: ascend-robot Description: # PR 提交说明 提交前请阅读 [CONTRIBUTING.md](https://gitcode.com/Ascend/msmodelslim/blob/master/docs/zh/contributing/contributing_guide.md)，开发者文档：[模型接入指南](../docs/zh/development_guide/integrating_models.md) PR 标题前缀：[Feature]、[Bugfix]、[Doc]、[Test]（与 CONTRIBUTING 一致） ## 1. 影响面评估 **接口变更（按需）：** 无 > 备注：若无变更请保留「无」；涉及 CLI、API、YAML 等请在此项补充说明。 **输出件变更（按需）：** 无 > 备注：若无变更请保留「无」；涉及导出格式、产物路径等请在此项补充说明。 **非兼容变更（按需）：** 无 > 备注：若无变更请保留「无」；若有非兼容变更请说明迁移方式。 **SIG 评审结论（按需）：** 无 > 提醒：非兼容、安全风险等高危 PR 须经 SIG 评审后合入；无则保留「无」。 ## 2. 修改描述 **修改背景（可选）：** 文档硬件产品形态内容统一；英文26.1.0合入master分支，后续再做差异化翻译。 **修改目的：** 整改产品系列名称问题。 **修改内容：** 1. 产品系列名称整改； 2. 英文26.1.0更新入master分支。 **概念域参考（填写提示）：** - cli：命令行 quant / analyze / tune - app：最佳实践量化、量化分析、精度反馈自动调优等 - core：算法、量化服务、调度、张量量化、调优策略、最佳实践、上下文等 - infra：模型适配、调优计划/历史/缓存、测评服务等 - utils：日志、错误处理、插件等 ## 3. 功能验证 - [x] 功能自验 - [ ] 本地自验用例截图（请勿包含个人信息；可附复现命令） ## 4. 自检（请逐项确认，不适用标 N/A） **典型安全编码问题** - [x] 是否已校验外部数据 - [x] 是否未采集或打印敏感信息 - [x] 是否已正确设置文件权限 - [x] 是否充分考虑浮点运算溢出、除零等异常场景 - [x] 是否已对正则表达式做 ReDos 检查 **DT** - [x] 是否具备 UT 测试用例看护 资料修改 - [ ] 是否需要添加冒烟：否 See merge request: Ascend/msmodelslim!928 | 1 个月前 | |
[Feature] add full UT support: -e FULL_UT=true triggers all test cases Co-authored-by: tanxiangyuu<tanxiangyu2@huawei.com> # message auto-generated for no-merge-commit merge: !783 merge feat/full-ut into master [Feature] add full UT support: -e FULL_UT=true triggers all test cases Created-by: tanxiangyuu Commit-by: tanxiangyuu Merged-by: ascend-robot Description: # PR 提交说明 提交前请阅读 [贡献指南](https://gitcode.com/Ascend/msmodelslim/blob/master/docs/zh/contributing/contributing_guide.md)，开发者文档：[模型接入指南](../docs/zh/knowledge_base/model/integrating_models.md) PR 标题前缀：[Feature] add full UT support via test -e full_ut=true ## 1. 影响面评估 **接口变更（按需）：** 有 > 备注： build.py 新增 -e full_ut=true 选项，与 test 命令组合使用触发全量单元测试。原有 test 命令行为不变，-e 其余 KEY=VALUE 格式兼容。 > > 变更范围：build.py 的 test 分支增加 full_ut 判断，顶层增加 -e 解析逻辑，不涉及 CLI、API、YAML。 **输出件变更（按需）：** 无 > 备注：全量 UT 模式下不产生构建产物；正常构建路径产物不变。 **非兼容变更（按需）：** 无 > 备注：test 命令行为完全不变，仅新增选项，无迁移成本。 **SIG 评审结论（按需）：** 无 ## 2. 修改描述 **修改背景（可选）：** 当前 python build.py test 仅执行 run_ut.sh --modelslim_v1（精简 UT 子集），在需要跑全量 UT case 时缺少统一的入口。 **修改目的：** 提供一键全量 UT 能力，安装全量依赖并运行全部测试用例（13 个模块 + smoke）。 **修改内容：** - build：新增 _prepare_all_dependencies() 方法，安装 requirements_all.txt 全量依赖 - build：新增 requirements_all.txt 文件，聚合运行时 + 测试框架 + 核心 ML + ONNX + 多模态等依赖 - build：顶层解析 -e 选项，test 命令下 full_ut=true 时安装全量依赖并执行全部测试用例 **概念域参考（填写提示）：** - cli：命令行 quant / analyze / tune - app：最佳实践量化、量化分析、精度反馈自动调优等 - core：算法、量化服务、调度、张量量化、调优策略、最佳实践、上下文等 - infra：模型适配、调优计划/历史/缓存、测评服务等 - utils：日志、错误处理、插件等 ## 3. 功能验证 冒烟由 CI 门禁检查，无需填写「冒烟是否通过」。 - [x] 功能自验 - [ ] 本地自验用例截图（请勿包含个人信息；可附复现命令） **复现步骤（可选）：** bash # 全量 UT（安装全量依赖 + 执行全部用例） python build.py test -e full_ut=true # 全量 UT（跳过依赖安装，仅执行用例） python build.py test local -e full_ut=true # 原有精简 UT 不受影响 python build.py test python build.py test local # 正常构建不受影响 python build.py python build.py -v 2.0.0 ## 4. 自检（请逐项确认，不适用标 N/A） **典型安全编码问题** - [ ] N/A 是否已校验外部数据 - [ ] N/A 是否未采集或打印敏感信息 - [ ] N/A 是否已正确设置文件权限 - [ ] N/A 是否充分考虑浮点运算溢出、除零等异常场景 - [ ] N/A 是否已对正则表达式做 ReDos 检查 **DT** - [ ] N/A 是否具备 UT 测试用例看护：N/A（构建脚本变更，非业务逻辑代码） - [ ] N/A 是否需要添加冒烟：否 See merge request: Ascend/msmodelslim!783 | 2 个月前 | |
【msmodelslim】刷新文件头部声明和版权 Co-authored-by: caishengcheng<caishengcheng@huawei.com> # message auto-generated for no-merge-commit merge: !28 merge license into master 【msmodelslim】刷新文件头部声明和版权 Created-by: caishengcheng Commit-by: caishengcheng Merged-by: ascend-robot Description: 【msmodelslim】刷新文件头部声明和版权 See merge request: Ascend/msmodelslim!28 | 9 个月前 | |
[Doc] 量化算法、PTQ对应资料内容整体整改 Co-authored-by: qq_46439621<wanlongze1@huawei.com> # message auto-generated for no-merge-commit merge: !972 merge ziliao_fix_0914 into master [Doc] 量化算法、PTQ对应资料内容整体整改 Created-by: qq_46439621 Commit-by: qq_46439621 Merged-by: ascend-robot Description: # PR 描述 **PR 标题：** [Doc] 规范化PTQ与量化算法知识库文档（词条去私有化、使用指南流程重构、接入指南精简、格式整改、旧接入文档移除重定向）并补全权重转换 CLI/YAML/多卡说明 **涉及提交：** - 08cb03a3 [Doc] 规范化PTQ与量化算法知识库文档：词条去私有化、使用指南流程重构与格式整改、旧接入文档移除重定向、产品系列名称规范化，并补全权重转换 CLI/YAML/多卡说明（110 个文件，+4286/-5918） 提交前请阅读 [贡献指南](https://gitcode.com/Ascend/msmodelslim/blob/master/docs/zh/contributing/contributing_guide.md)，开发者文档：[PTQ 接入指南](https://gitcode.com/Ascend/msmodelslim/blob/master/docs/zh/knowledge_base/ptq/README.md) PR 标题前缀：[Feature]、[Bugfix]、[Doc]、[Test]（与 CONTRIBUTING 一致） ## 1. 影响面评估 **接口变更（按需）：** 无 > 备注：本 PR 为纯文档变更，不涉及 CLI、API、YAML 等接口。 **输出件变更（按需）：** 无 > 备注：不涉及导出格式、产物路径等。 **非兼容变更（按需）：** 无 > 备注：仅知识库文档内容整改，无行为变更，无需迁移。 **SIG 评审结论（按需）：** 无 > 说明：非兼容、安全风险等高危项均不涉及。 ## 2. 修改描述 **修改背景（可选）：** 知识库 docs/zh/knowledge_base/ptq 与 docs/zh/knowledge_base/quantization_algorithms 两个目录的资料经测试反馈存在以下问题： 1. 词条（term）文件掺杂 modelslim 特有特性（逐层量化、runner 等），不符合「词条讲述通用量化特性」的定位，且未按[词条模板](docs/zh/contributing/development_guide/docs_standards/01_term_glossary_template.md)组织； 2. 校准集数量表述不统一，需统一为推荐 50 条；W4A16 相关内容按规范不应体现；部分文档残留明显 AI 味提示词； 3. PTQ 使用指南流程总览与操作步骤结构冗余，缺少可直达的操作路径； 4. 量化算法使用指南（usage）整体流程不完整，缺少前置的「模型适配」阶段（未体现 msmodelslim/model/interface_hub.py 相关接口），且缺少指向 user guide 的更多信息跳转链接； 5. 格式低错：标题层级、标点符号，term 词条章节分隔方式不统一，usage/integration_guide 步骤间残留多余分隔线，流程图长节点未换行、缺少流程总览图； 6. knowledge_base/model 目录下三个旧接入文档（integrating_models.md、integrating_multimodal_generation_model.md、integrating_multimodal_understanding_model.md）与新 ptq 接入指南内容重复且已废弃，需移除并重定向全库引用； 7. 权重转换 CLI 命令文档与 modelslim_convert 配置协议说明不完整，缺少 CLI 命令、YAML 配置与多卡执行等关键说明；知识库部分 README 与实际目录结构不一致。 **修改目的：** 规范化 PTQ 与量化算法知识库文档，使术语词条聚焦通用量化特性、使用指南形成「适配 → 校准集 → 保存格式 → 算法 → runner → 量化命令」的完整可操作路径、接入指南聚焦接口职责并串联实际案例，统一文档格式规范，移除废弃旧接入文档并统一引用入口至 ptq 接入指南，补全权重转换 CLI/YAML/多卡资料并纠正知识库结构，提升资料准确性、一致性与易用性。 **修改内容：** - **docs / PTQ 词条**：PTQ、LLM、VLM、DiT、权重转换等 term 词条剥离 modelslim 特有内容（逐层量化、runner 等），按词条模板重构，删减量化特点篇幅，重点突出 LLM/VLM/DiT 三类模型的量化特点。 - **docs / PTQ 使用指南**：usage_large_language_model_quantization.md 等 usage 文档去掉流程总览与操作步骤旧结构，统一按步骤 1-6（模型适配 V1 interface → 选择校准集 → 选择保存格式 → 选择算法 → runner → 量化命令）重写，补充静态量化/动态量化 yaml 与 W8A8 完整示例配置及命令行；校准集统一为推荐 50 条。 - **docs / PTQ 接入指南**：LLM/VLM/DiT 三篇 integration_guide 精简大段代码展示，聚焦接口含义与输入输出说明，补充 DeepSeek、Kimi 等实际模型量化案例的跳转链接，并与使用指南去重（V1 Interface 介绍收敛至接入指南，使用指南以链接引用）。 - **docs / 量化算法词条**：quantization_algorithms 下 33 个算法目录的 term 词条去私有化表述，统一校准集推荐 50 条，删除 W4A16 相关内容，清理 AI 味提示词，修正标题与标点格式。 - **docs / 量化算法使用指南**：usage 文档在流程开头新增「模型适配」阶段，覆盖 msmodelslim/msmodelslim/model/interface_hub.py 涉及的适配接口（先适配、后算法）；文末统一新增「更多量化信息」跳转链接至 [权重量化使用指南](https://gitcode.com/Ascend/msmodelslim/blob/master/docs/zh/user_guide/usage_weight_quantization.md)；整体格式参考 usage_quarot.md 对齐。 - **docs / 格式整改**：知识库 term 词条章节统一以 --- 分隔；usage/integration_guide 删除步骤间多余分隔线；使用指南新增流程总览图并优化流程图长节点换行（涉及 ptq、quantization_algorithms 等 47 个文件）。 - **docs / 旧接入文档移除重定向**：移除 knowledge_base/model 目录下三个旧接入文档（integrating_models.md、integrating_multimodal_generation_model.md、integrating_multimodal_understanding_model.md），best_practices、user_guide、knowledge_base、mkdocs.yml 等全库引用统一重定向至 ptq 目录下对应接入指南（llm/vlm/dit 三类 integration_guide），消除死链与内容重复（23 个文件）。 - **docs / 权重转换资料补全**：msmodelslim quant CLI 文档补全权重转换命令说明；modelslim_convert 配置协议说明补充 YAML 配置与多卡执行等字段说明；纠正 knowledge_base 及 parallel 目录 README 与实际结构不一致问题。 - **docs / 流程总览与死链收尾**：llm/vlm/dit 三篇 usage 流程总览「前置条件：模型适配」改为独立文字段落，阶段列表与流程图节点对齐；修复 skills、example 中引用已删除文档的残留死链；Wan2.2 W4A4F4 案例产品系列名称规范化（昇腾950PR&950DT → Ascend 950PR&950DT）。 **概念域参考：** - core：量化算法词条与使用指南（33 个算法的 term/usage） - infra：模型适配（interface_hub 接口）相关文档、PTQ 使用/接入指南 ## 3. 功能验证 本 PR 为纯文档变更，不涉及代码路径，冒烟由 CI 门禁检查。 - [x] 功能自验（文档本地渲染预览、文内互链与外链可达性人工检查、与源码 interface_hub.py 接口一致性核对） - [ ] 本地自验用例截图：N/A（纯文档变更，无运行时输出） **复现步骤（可选）：** bash # 查看本 PR 全部改动（也可直接查看分支整体 diff：git diff upstream/master..ziliao_fix_wlz -- docs/ skills/ example/） git diff 08cb03a3^..08cb03a3 -- docs/zh mkdocs.yml skills example # 本地预览（可选） # 使用任意 Markdown 渲染工具查看上述文档渲染效果 ## 4. 自检（请逐项确认，不适用标 N/A） **典型安全编码问题** - [ ] 是否已校验外部数据：N/A（纯文档变更，无代码） - [ ] 是否未采集或打印敏感信息：N/A（纯文档变更，无代码；文档内容不含密钥等敏感信息，gitleaks 扫描因本机缺少二进制跳过，已人工核对无敏感信息） - [ ] 是否已正确设置文件权限：N/A（纯文档变更） - [ ] 是否充分考虑浮点运算溢出、除零等异常场景：N/A（纯文档变更） - [ ] 是否已对正则表达式做 ReDos 检查：N/A（纯文档变更） **DT** - [ ] 是否具备 UT 测试用例看护：N/A（纯文档变更，不涉及代码逻辑，无新增/变更用例路径） - [ ] 是否需要添加冒烟：否（纯文档变更，无功能场景） See merge request: Ascend/msmodelslim!972 | 25 天前 | |
【msmodelslim】【UT】补充format存量代码UT，行覆盖率大于90 Co-authored-by: anreywmh<18845895998@163.com> # message auto-generated for no-merge-commit merge: !513 merge w_ut into master 【msmodelslim】【UT】补充format存量代码UT，行覆盖率大于90 Created-by: anreywmh Commit-by: anreywmh Merged-by: ascend-robot Description: 感谢您贡献的Pull Request！ 在提交之前，请务必阅读 [CONTRIBUTING.md](https://gitcode.com/Ascend/msmodelslim/blob/master/CONTRIBUTING.md)。 Thanks for sending a pull request! BEFORE SUBMITTING, PLEASE READ [CONTRIBUTING.md](https://gitcode.com/Ascend/msmodelslim/blob/master/CONTRIBUTING.md). ## PR描述 (What this PR does / why we need it?) - 请明确说明您提交PR的变更内容。本部分旨在概述所做的变更，以及此PR是如何解决该问题的。请尽可能地提供有助于评审人员更高效、更快速完成检视审查的实用说明。 补充format下的UT测试用例 :/home/wangminghua/msmodelslim/test# python3 -m coverage report \ --include="*/msmodelslim/format/*" \ --show-missing Name Stmts Miss Cover Missing ----------------------------------------------------------------------------------------------------------------------------------------------------------------- /home/wangminghua/msmodelslim/msmodelslim/format/__init__.py 19 0 100% /home/wangminghua/msmodelslim/msmodelslim/format/ascendV1_format/__init__.py 2 0 100% /home/wangminghua/msmodelslim/msmodelslim/format/ascendV1_format/ascendV1.py 12 0 100% /home/wangminghua/msmodelslim/msmodelslim/format/ascendV1_format/ascendV1_json_writer_factory_infra.py 14 0 100% /home/wangminghua/msmodelslim/msmodelslim/format/ascendV1_format/ascendV1_tensors_writer_factory_infra.py 15 0 100% /home/wangminghua/msmodelslim/msmodelslim/format/base.py 49 2 96% 71, 76 /home/wangminghua/msmodelslim/msmodelslim/format/common/__init__.py 2 0 100% /home/wangminghua/msmodelslim/msmodelslim/format/common/deqscale.py 11 0 100% /home/wangminghua/msmodelslim/msmodelslim/format/common/pack.py 42 0 100% /home/wangminghua/msmodelslim/msmodelslim/format/compressed_tensors_format/__init__.py 3 0 100% /home/wangminghua/msmodelslim/msmodelslim/format/compressed_tensors_format/compressed_tensors.py 125 0 100% /home/wangminghua/msmodelslim/msmodelslim/format/compressed_tensors_format/compressed_tensors_json_reader_factory_infra.py 12 0 100% /home/wangminghua/msmodelslim/msmodelslim/format/compressed_tensors_format/compressed_tensors_json_writer_factory_infra.py 12 0 100% /home/wangminghua/msmodelslim/msmodelslim/format/compressed_tensors_format/compressed_tensors_safetensors_writer_factory_infra.py 15 0 100% /home/wangminghua/msmodelslim/msmodelslim/format/compressed_tensors_format/config/__init__.py 0 0 100% /home/wangminghua/msmodelslim/msmodelslim/format/compressed_tensors_format/config/base.py 22 0 100% /home/wangminghua/msmodelslim/msmodelslim/format/compressed_tensors_format/quantization/__init__.py 0 0 100% /home/wangminghua/msmodelslim/msmodelslim/format/compressed_tensors_format/quantization/quant_args.py 171 9 95% 46, 184, 190, 203, 214, 222, 233, 263, 353 /home/wangminghua/msmodelslim/msmodelslim/format/compressed_tensors_format/quantization/quant_config.py 41 0 100% /home/wangminghua/msmodelslim/msmodelslim/format/compressed_tensors_format/quantization/quant_config_builder.py 147 6 96% 99, 102, 118, 187, 235, 239 /home/wangminghua/msmodelslim/msmodelslim/format/compressed_tensors_format/quantization/quant_scheme.py 57 1 98% 96 /home/wangminghua/msmodelslim/msmodelslim/format/interface.py 21 0 100% /home/wangminghua/msmodelslim/msmodelslim/format/mindie_format/__init__.py 2 0 100% /home/wangminghua/msmodelslim/msmodelslim/format/mindie_format/mindie.py 12 0 100% /home/wangminghua/msmodelslim/msmodelslim/format/mindie_format/mindie_json_writer_factory_infra.py 14 0 100% /home/wangminghua/msmodelslim/msmodelslim/format/mindie_format/mindie_tensors_writer_factory_infra.py 15 0 100% /home/wangminghua/msmodelslim/msmodelslim/format/registry.py 39 0 100% ----------------------------------------------------------------------------------------------------------------------------------------------------------------- TOTAL 874 18 98% - 请说明为何需要这些更改，例如具体的使用场景或bug描述。 - 关联issue号（如果有）。 - Please clarify what changes you are proposing. The purpose of this section is to outline the changes and how this PR fixes the issue. If possible, please consider writing useful notes for better and faster reviews in your PR. - Please clarify why the changes are needed. For instance, the use case and bug description. - Related issue number (if any) ## 面向用户的变更 (Does this PR introduce _any_ user-facing change)? - 请注意，这里指的是**任何**面向用户的变更，包括但不限于API、用户界面或其他使用方式上的变更。 - Note that it means *any* user-facing change including all aspects such as API, interface or other behavior changes. ## 功能验证 (How was this patch tested?) 请确认CI已通过增量及存量的单元测试用例。 如果本次测试方式与常规单元测试不同，请详细说明您的测试步骤(最好提供完整的可复现的操作路径及关键截图)，以便Committer能够快速复现验证，也便于后续的维护。 如果未添加测试，请说明未添加的原因，以及为何难添加测试。 - [_] 功能自验  - [_] 本地自验截图(涉及个人标识符等敏感信息请注意脱敏) - [_] 新增/变更内容是否已新增/适配UT测试用例看护 CI passed with new added/existing test. If it was tested in a way different from regular unit tests, please clarify how you tested step by step, ideally copy and paste-able, so that other reviewers can test and check, and descendants can verify in the future. If tests were not added, please describe why they were not added and/or why it was difficult to add. - [_] Self-verification of the feature. - [_] Screenshot of local self-verification (please anonymize any sensitive information such as personal identifiers) - [_] Have new or modified unit test (UT) cases been added or adapted to cover the newly added or changed content? See merge request: Ascend/msmodelslim!513 | 4 个月前 | |
[Feature] msmodelslim 消减 wcmatch/pygtrie 第三方依赖 Co-authored-by: Rigel_Chen<chenruijie9@huawei.com> # message auto-generated for no-merge-commit merge: !835 merge remove-unnecessary-deps into master [Feature] msmodelslim 消减 wcmatch/pygtrie 第三方依赖 Created-by: Rigel_Chen Commit-by: Rigel_Chen Merged-by: ascend-robot Description: # PR 提交说明 提交前请阅读 [贡献指南](https://gitcode.com/Ascend/msmodelslim/blob/master/docs/zh/contributing/contributing_guide.md)，开发者文档：[模型接入指南](../docs/zh/knowledge_base/model/integrating_models.md) PR 标题前缀：[Feature]、[Bugfix]、[Doc]、[Test]（与 CONTRIBUTING 一致） ## 1. 影响面评估 **接口变更（按需）：** 无 > 备注：若无变更请保留「无」；涉及 CLI、API、YAML 等请在此项补充说明。 **输出件变更（按需）：** 无 > 备注：若无变更请保留「无」；涉及导出格式、产物路径等请在此项补充说明。 **非兼容变更（按需）：** 无 > 备注：若无变更请保留「无」；若有非兼容变更请说明迁移方式。 **SIG 评审结论（按需）：** 无 > 提醒：非兼容、安全风险等高危 PR 须经 SIG 评审后合入；无则保留「无」。 ## 2. 修改描述 **修改背景（可选）：** 专项要求，对组件主动依赖进行分析，清理无关依赖 **修改目的：** 降低客户安装上手难度 **修改内容：** 从核心 requirements.txt 削减以下 3 项： | 依赖 | 策略 | 替代方案 | 主要触点 | |------|------|----------|----------| | **wcmatch** | 自研轻量替代后删声明 | brace 展开 + 标准库 fnmatch | utils/config_map.py；lab_practice 存在 {1,2,3} 层名写法 | | **pygtrie** | 自研前缀冲突检测后删声明 | dict/字符串前缀集合实现同路径/父子路径冲突 | utils/distributed/.../wave.py | | **requests** | urllib.request 封装后删声明 | timeout / 禁重定向 / SSL / JSON POST；异常映射 | utils/security/request.py；infra/vllm_ascend_server.py；infra/evaluation/precheck | **概念域参考（填写提示）：** - cli：命令行 quant / analyze / tune - app：最佳实践量化、量化分析、精度反馈自动调优等 - core：算法、量化服务、调度、张量量化、调优策略、最佳实践、上下文等 - infra：模型适配、调优计划/历史/缓存、测评服务等 - utils：日志、错误处理、插件等 ## 3. 功能验证 冒烟由 CI 门禁检查，无需填写「冒烟是否通过」。 - [x] 功能自验 - [x] 本地自验用例截图（请勿包含个人信息；可附复现命令） **复现步骤（可选）：** bash # 在此粘贴可复现命令 ## 4. 自检（请逐项确认，不适用标 N/A） **典型安全编码问题** - [x] 是否已校验外部数据 - [x] 是否未采集或打印敏感信息 - [x] 是否已正确设置文件权限 - [ ] 是否充分考虑浮点运算溢出、除零等异常场景 - [x] 是否已对正则表达式做 ReDos 检查 **DT** - [x] 是否具备 UT 测试用例看护（路径：用例路径；未添加请说明原因） - [ ] 是否需要添加冒烟：否（若「是」请说明冒烟场景及对应用途） See merge request: Ascend/msmodelslim!835 | 1 个月前 | |
[bugfix] 版本时间改用服务器时间，帮助按真实终端宽度换行 Co-authored-by: tanxiangyuu<tanxiangyu2@huawei.com> Co-authored-by: Rigel_Chen<chenruijie9@huawei.com> # message auto-generated for no-merge-commit merge: !975 merge cli-bugfix into master [bugfix] 版本时间改用服务器时间，帮助按真实终端宽度换行 Created-by: Rigel_Chen Commit-by: Rigel_Chen;tanxiangyuu Merged-by: ascend-robot Description: # PR 提交说明 提交前请阅读 [贡献指南](https://gitcode.com/Ascend/msmodelslim/blob/master/docs/zh/contributing/contributing_guide.md)，开发者文档：[模型接入指南](../docs/zh/knowledge_base/model/integrating_models.md) PR 标题前缀：[Feature]、[Bugfix]、[Doc]、[Test]（与 CONTRIBUTING 一致） ## 1. 影响面评估 **接口变更（按需）：** 无 > 备注：若无变更请保留「无」；涉及 CLI、API、YAML 等请在此项补充说明。 **输出件变更（按需）：** 无 > 备注：若无变更请保留「无」；涉及导出格式、产物路径等请在此项补充说明。 **非兼容变更（按需）：** 无 > 备注：若无变更请保留「无」；若有非兼容变更请说明迁移方式。 **SIG 评审结论（按需）：** 无 > 提醒：非兼容、安全风险等高危 PR 须经 SIG 评审后合入；无则保留「无」。 ## 2. 修改描述 **修改背景（可选）：**（问题现象、使用场景等） **修改目的：** 根据测试要求，将构建时间修正为服务器时间，并将帮助命令行按终端适应 **修改内容：** msmodelslim/cli/__main__.py ：修改显示为服务器时间，并将排版改为始终适应终端 setup.py：获取版本信息为分支信息而非大版本信息 **概念域参考（填写提示）：** - cli：命令行 quant / analyze / tune - app：最佳实践量化、量化分析、精度反馈自动调优等 - core：算法、量化服务、调度、张量量化、调优策略、最佳实践、上下文等 - infra：模型适配、调优计划/历史/缓存、测评服务等 - utils：日志、错误处理、插件等 ## 3. 功能验证 冒烟由 CI 门禁检查，无需填写「冒烟是否通过」。 - [ ] 功能自验 - [ ] 本地自验用例截图（请勿包含个人信息；可附复现命令） **复现步骤（可选）：** bash # 在此粘贴可复现命令 ## 4. 自检（请逐项确认，不适用标 N/A） **典型安全编码问题** - [ ] 是否已校验外部数据 - [ ] 是否未采集或打印敏感信息 - [ ] 是否已正确设置文件权限 - [ ] 是否充分考虑浮点运算溢出、除零等异常场景 - [ ] 是否已对正则表达式做 ReDos 检查 **DT** - [ ] 是否具备 UT 测试用例看护（路径：用例路径；未添加请说明原因） - [ ] 是否需要添加冒烟：否（若「是」请说明冒烟场景及对应用途） See merge request: Ascend/msmodelslim!975 | 25 天前 |
MindStudio ModelSlim
Simple, fast, and lean—msModelSlim is all you need.
昇腾模型压缩工具
简体中文 | English
✨ 最新消息
🔹 [2026.09.03]
- 新增对
Step-3.7-Flash（W8A8 MXFP8）多模态模型的量化支持
🔹 [2026.08.07]
- 多模态理解模型支持多卡分布式逐层量化，提升多模态理解模型量化效率
- 新增对
Kimi-K3（W4A8）模型的量化支持
🔹 [2026.09.02]
- 完善 Gemma4 Dense
gemma-4-31B-it的 MXFP8/MXFP4 混合量化最佳实践 - 完善 Gemma4 MoE
gemma-4-26B-A4B-it的 MXFP8/MXFP4 混合量化最佳实践
🔹 [2026.07.15]
- 新增对 Gemma4 Dense
gemma-4-31B-it（W8A8）、Gemma4 MoEgemma-4-26B-A4B-it（W8A8）模型的量化支持
🗂️ 更多历史更新（点击展开）
🔹 [2026.07.07]
- 新增对腾讯混元
Hy3（W8A8）模型的量化支持
🔹 [2026.06.01]
- 新增对
InternVL3_5-38B（W8A8）、InternVL3_5-241B-A28B（W8A8）模型的量化支持 - 新增对
Kimi-K2.6（W4A8）模型的量化支持
🔹 [2026.04.01]
- 新增对
DeepSeek-V4-Flash（W8A8）模型的量化支持 - 新增对
Kimi-K2.5（W4A8）模型的量化支持
📄 更多历史更新记录，请参见《发行版说明》。
ℹ️ 简介
MindStudio ModelSlim（msModelSlim） 是昇腾生态下的高性能模型压缩工具，支持稠密LLM、MoE及多模态模型的量化与压缩。开发者可通过命令行与配置快速调优并导出适配 MindIE、vLLM-Ascend 等框架的模型，在昇腾AI处理器上高效部署。
它能为你带来什么：
- 🚀 推理加速：量化后显著降低显存占用，提升推理吞吐与部署成本效率（例如 Qwen3.6-27B 模型原始权重50+GB，W8A8量化后30+GB，显存节约40%）。
- 🎯 开箱即用：集成主流大模型量化最佳实践，
msmodelslim quant一条命令完成量化。 - 🔧 精度可控：提供敏感层分析、自动调优与精度反馈闭环，量化精度可量化、可调优。
- 🧩 生态友好：导出的量化权重无缝接入 vLLM-Ascend 等主流推理框架。
🚀 快速开始
手把手教你完成端到端模型量化，请参见《快速入门》。
📦 安装指南
msModelSlim已发布到PyPI，可通过pip直接安装。
# 安装 msModelSlim（最新版本已更新到PyPI源）
pip install msmodelslim
# 验证安装：打印命令行帮助信息即表示安装成功
msmodelslim --help
更多安装方式，请参见《安装指南》。
📘 使用指南
想了解msModelSlim如何使用？ 可按需选择入口：
| 业务流程 | 对应工具/功能 |
|---|---|
| 《新模型量化调优流程》 | 权重量化、敏感层分析 |
| 《精度调优方法》 | 敏感层分析、自动调优、调试模式 |
| 《主流模型量化部署》 | 一键量化 |
| 《量化推理精度异常定位》 | 调试模式 |
更多使用指南，请参见《使用指南》。
📚 知识库
不懂 W4A8/W8A8 等量化术语？ 请参见《推理加速知识库》。
💡 典型案例
需要模型量化调优的典型场景？ 请参见《msModelSlim 典型案例》。
❓ FAQ
遇到了问题？ 请参见《FAQ》。
🌌 智能检索
为提升文档查阅效率，我们提供多种高效检索方式：
🔹 AI 智能体（msagent）：msModelSlim 量化能力已集成至 msagent 智能体，通过自然语言交互即可自动完成模型量化任务。
🔹 AI 问答（DeepWiki）：自然语言问答，快速把握项目架构与模块关系。
🛠️ 贡献指南
想要贡献力量？ 具体请参见《贡献指南》。
⚖️ 相关说明
🔹 《版本说明》
🔹 《许可证声明》
🔹 《安全声明》
🔹 《免责声明》
🤝 建议与交流
欢迎大家为社区做贡献。如果有任何疑问或建议，请提交 Issues，我们会尽快回复。感谢您的支持。
| 即时互动（微信群） | 官方资讯（公众号） | 深度支持（助手/论坛） |
|---|---|---|
 扫码加入技术交流群 |
 扫码关注官方公众号 |
扫码入群并关注公众号，直达 MindStudio 用户与开发者最快捷的交流平台： 快速提问： 与社区小伙伴即时探讨技术问题 掌握动态： 第一时间获取版本发布与功能更新通知 经验共享： 与广大开发者交流最佳实践与实战心得 更多支持渠道：👉 昇腾助手：  👉 昇腾论坛： |
🙏 致谢
本工具由华为公司的下列部门联合贡献：
🔹 昇腾计算MindStudio开发部
🔹 昇腾计算生态使能部
🔹 昇腾计算技术开发部
🔹 2012实验室
感谢来自社区的每一个 PR，欢迎贡献！