| 文件 | 最后提交记录 | 最后更新时间 |
|---|---|---|
【docs】新增VLM（Kimi-K3）新模型量化案例 Co-authored-by: zhangz200102<zhangzheng183@huawei.com> # message auto-generated for no-merge-commit merge: !830 merge docs/practice_k3 into master 【docs】新增VLM（Kimi-K3）新模型量化案例 Created-by: zhangz200102 Commit-by: zhangz200102 Merged-by: ascend-robot Description: # PR 提交说明 提交前请阅读 [贡献指南](https://gitcode.com/Ascend/msmodelslim/blob/master/docs/zh/contributing/contributing_guide.md)，开发者文档：[模型接入指南](../docs/zh/knowledge_base/model/integrating_models.md) PR 标题前缀：[Feature]、[Bugfix]、[Doc]、[Test]（与 CONTRIBUTING 一致） ## 1. 影响面评估 **接口变更（按需）：** 无 > 备注：若无变更请保留「无」；涉及 CLI、API、YAML 等请在此项补充说明。 **输出件变更（按需）：** 无 > 备注：若无变更请保留「无」；涉及导出格式、产物路径等请在此项补充说明。 **非兼容变更（按需）：** 无 > 备注：若无变更请保留「无」；若有非兼容变更请说明迁移方式。 **SIG 评审结论（按需）：** 无 > 提醒：非兼容、安全风险等高危 PR 须经 SIG 评审后合入；无则保留「无」。 ## 2. 修改描述 **修改背景（可选）：**（问题现象、使用场景等） **修改目的：**（本 PR 要达成什么目标） 新增VLM模型案例，帮助用户理解模型适配与量化过程。 **修改内容：**（按「概念 - 变化」分条，示例：core/算法：新增 SmoothQuant 离群值抑制） docs/zh/best_practices：新增Kimi-K3量化案例 （在此填写） **概念域参考（填写提示）：** - cli：命令行 quant / analyze / tune - app：最佳实践量化、量化分析、精度反馈自动调优等 - core：算法、量化服务、调度、张量量化、调优策略、最佳实践、上下文等 - infra：模型适配、调优计划/历史/缓存、测评服务等 - utils：日志、错误处理、插件等 ## 3. 功能验证 冒烟由 CI 门禁检查，无需填写「冒烟是否通过」。 - [ ] 功能自验 - [ ] 本地自验用例截图（请勿包含个人信息；可附复现命令） **复现步骤（可选）：** bash # 在此粘贴可复现命令 ## 4. 自检（请逐项确认，不适用标 N/A） **典型安全编码问题** - [ ] 是否已校验外部数据 - [ ] 是否未采集或打印敏感信息 - [ ] 是否已正确设置文件权限 - [ ] 是否充分考虑浮点运算溢出、除零等异常场景 - [ ] 是否已对正则表达式做 ReDos 检查 **DT** - [ ] 是否具备 UT 测试用例看护（路径：用例路径；未添加请说明原因） - [ ] 是否需要添加冒烟：否（若「是」请说明冒烟场景及对应用途） See merge request: Ascend/msmodelslim!830 | 25 天前 | |
【docs】新增LLM新模型量化案例和一键量化案例 Co-authored-by: qq_46439621<wanlongze1@huawei.com> # message auto-generated for no-merge-commit merge: !801 merge dsv4_flash_demo_0803 into master 【docs】新增LLM新模型量化案例和一键量化案例 Created-by: qq_46439621 Commit-by: qq_46439621 Merged-by: ascend-robot Description: # PR 提交说明 提交前请阅读 [贡献指南](https://gitcode.com/Ascend/msmodelslim/blob/master/docs/zh/contributing/contributing_guide.md)，开发者文档：[模型接入指南](../docs/zh/knowledge_base/model/integrating_models.md) PR 标题前缀：[Feature]、[Bugfix]、[Doc]、[Test]（与 CONTRIBUTING 一致） ## 1. 影响面评估 **接口变更（按需）：** 无 > 备注：纯文档新增，不涉及 CLI、API、YAML 等接口变更。 **输出件变更（按需）：** 无 > 备注：不涉及导出格式、产物路径等变更。 **非兼容变更（按需）：** 无 > 备注：无。 **SIG 评审结论（按需）：** 无 > 提醒：非兼容、安全风险等高危 PR 须经 SIG 评审后合入；无则保留「无」。 ## 2. 修改描述 **修改背景（可选）：** 需要为 DeepSeek-V4-Flash W8A8 与 DeepSeek-V4-Pro W4A8 提供可复现的量化接入与精度验证案例文档，沉淀新模型接入、一键量化、部署评测的全流程经验。 **修改目的：** 新增 LLM 新模型量化案例与一键量化案例文档，覆盖从模型接入、量化方案设计、适配器开发、一键量化到 vLLM Ascend 部署与精度验证的完整闭环，供后续同类模型接入参考。 **修改内容：**（按「概念 - 变化」分条） - app/文档：新增 DeepSeek-V4-Flash W8A8 一键量化案例（ docs/zh/best_practices/deepseek_v4_flash_w8a8_quick_quantization_case.md），覆盖 W8A8 一键量化、vLLM Ascend 部署与 GPQA 精度验证。 - app/文档：新增 DeepSeek-V4-Pro W4A8 新模型量化接入案例（docs/zh/best_practices/deepseek_v4_pro_w4a8_new_llm_quantization_case.md），覆盖新模型结构梳理、W4A8 混合量化方案（QuaRot + Flex AWQ SSZ + 混合量化）、模型适配器与量化 yaml 开发、一键量化、权重完整性检查、多节点部署与精度验证。 **概念域参考（填写提示）：** - app：最佳实践量化、量化分析、精度反馈自动调优等 → **本次变更所属概念域** - cli：命令行 quant / analyze / tune - core：算法、量化服务、调度、张量量化、调优策略、最佳实践、上下文等 - infra：模型适配、调优计划/历史/缓存、测评服务等 - utils：日志、错误处理、插件等 ## 3. 功能验证 冒烟由 CI 门禁检查，无需填写「冒烟是否通过」。 - [x] 功能自验（文档内容核对：章节结构完整、命令与配置可执行、精度数据与验收口径一致） - [ ] 本地自验用例截图（请勿包含个人信息；可附复现命令） **复现步骤（可选）：** bash # 文档类变更，无代码复现步骤；内容核对通过 ## 4. 自检（请逐项确认，不适用标 N/A） **典型安全编码问题** - [ ] 是否已校验外部数据 → N/A（纯文档变更） - [ ] 是否未采集或打印敏感信息 → N/A（纯文档变更，文档中路径均已使用环境变量约定） - [ ] 是否已正确设置文件权限 → N/A（纯文档变更） - [ ] 是否充分考虑浮点运算溢出、除零等异常场景 → N/A（纯文档变更） - [ ] 是否已对正则表达式做 ReDos 检查 → N/A（纯文档变更） **DT** - [ ] 是否具备 UT 测试用例看护（路径：用例路径；未添加请说明原因）→ N/A（纯文档变更，不涉及代码逻辑，无需 UT） - [ ] 是否需要添加冒烟：否（纯文档变更，不涉及功能代码） See merge request: Ascend/msmodelslim!801 | 1 个月前 | |
【docs】增加权重量化使用指南、敏感层分析使用指南、新模型量化调优流程文档 Co-authored-by: xyxin_006<xiayingxin1@huawei.com> # message auto-generated for no-merge-commit merge: !822 merge doc_optim into master 【docs】增加权重量化使用指南、敏感层分析使用指南、新模型量化调优流程文档 Created-by: xyxin_006 Commit-by: xyxin_006 Merged-by: ascend-robot Description: # PR 提交说明 提交前请阅读贡献指南，开发者文档：模型接入指南 PR 标题前缀：[Feature]、[Bugfix]、[Doc]、[Test]（与 CONTRIBUTING 一致） ## 1. 影响面评估 接口变更（按需）： 无 输出件变更（按需）： 无 非兼容变更（按需）： 无 SIG 评审结论（按需）： 无 ## 2. 修改描述 修改背景（可选）： 新模型从方案设计到测评发布、以及按 linear / layer / attn 做敏感层分析的业务路径，此前缺少按流程指南规范编写的端到端文档；原《量化敏感层分析工具使用指南》将工具说明与流程操作混在一篇，不利于按 scope 执行与维护。 修改目的： 补齐「新模型量化调优 → 权重量化」主链路文档；将敏感层分析拆为三篇按 scope 的使用指南，并清理旧工具指南及其引用，使文档可跳转、可执行。 修改内容： - docs/用户指南：新增《新模型量化调优流程》（process_new_model_quantization_tuning.md），覆盖方案设计 → 权重量化 → 算子与组图 → 测评 → 发布，以及不达标时的方案修订闭环。 - docs/用户指南：新增《权重量化使用指南》（usage_weight_quantization.md），覆盖预检、下载浮点模型、模型适配、编写配置、执行 msmodelslim quant、校验交付件。 - docs/用户指南：按 scope 新增三篇敏感层分析使用指南： - 《线性层敏感层分析使用指南》（usage_sensitive_linear_analysis.md，analyze linear） - 《层级敏感层分析使用指南》（usage_sensitive_layer_wise_analysis.md，analyze layer） - 《Attention 敏感层分析使用指南》（usage_sensitive_attn_analysis.md，analyze attn） - docs/用户指南：删除原《量化敏感层分析工具使用指南》（usage_sensitive_layer_analysis.md），相关引用改挂到上述三篇或对应章节锚点。 - docs/用户指南：将《量化精度调优指南》文件名调整为 process_quantization_precision_tuning.md，并同步更新引用。 - docs/用户指南：更新 README.md 导航；mkdocs.yml 敏感层分析入口改为三篇新指南。 - docs/最佳实践、算法说明、调优策略、调试模式等：同步修正对旧敏感层分析文档 / 精度调优文档的链接。 ## 3. 功能验证 冒烟由 CI 门禁检查，无需填写「冒烟是否通过」。 - [x] 功能自验（文档链接与目录已本地核对；文档门禁通过） - [ ] 本地自验用例截图（请勿包含个人信息；可附复现命令） 复现步骤（可选）： N/A（纯文档变更） ## 4. 自检（请逐项确认，不适用标 N/A） 典型安全编码问题 - [x] 是否已校验外部数据（N/A：纯文档变更） - [x] 是否未采集或打印敏感信息（N/A：纯文档变更） - [x] 是否已正确设置文件权限（N/A：纯文档变更） - [x] 是否充分考虑浮点运算溢出、除零等异常场景（N/A：纯文档变更） - [x] 是否已对正则表达式做 ReDos 检查（N/A：纯文档变更） DT - [x] 是否具备 UT 测试用例看护（N/A：纯文档变更，未改代码逻辑） - [x] 是否需要添加冒烟：否（纯文档变更） See merge request: Ascend/msmodelslim!822 | 26 天前 | |
【docs】新增VLM（Kimi-K3）新模型量化案例 Co-authored-by: zhangz200102<zhangzheng183@huawei.com> # message auto-generated for no-merge-commit merge: !830 merge docs/practice_k3 into master 【docs】新增VLM（Kimi-K3）新模型量化案例 Created-by: zhangz200102 Commit-by: zhangz200102 Merged-by: ascend-robot Description: # PR 提交说明 提交前请阅读 [贡献指南](https://gitcode.com/Ascend/msmodelslim/blob/master/docs/zh/contributing/contributing_guide.md)，开发者文档：[模型接入指南](../docs/zh/knowledge_base/model/integrating_models.md) PR 标题前缀：[Feature]、[Bugfix]、[Doc]、[Test]（与 CONTRIBUTING 一致） ## 1. 影响面评估 **接口变更（按需）：** 无 > 备注：若无变更请保留「无」；涉及 CLI、API、YAML 等请在此项补充说明。 **输出件变更（按需）：** 无 > 备注：若无变更请保留「无」；涉及导出格式、产物路径等请在此项补充说明。 **非兼容变更（按需）：** 无 > 备注：若无变更请保留「无」；若有非兼容变更请说明迁移方式。 **SIG 评审结论（按需）：** 无 > 提醒：非兼容、安全风险等高危 PR 须经 SIG 评审后合入；无则保留「无」。 ## 2. 修改描述 **修改背景（可选）：**（问题现象、使用场景等） **修改目的：**（本 PR 要达成什么目标） 新增VLM模型案例，帮助用户理解模型适配与量化过程。 **修改内容：**（按「概念 - 变化」分条，示例：core/算法：新增 SmoothQuant 离群值抑制） docs/zh/best_practices：新增Kimi-K3量化案例 （在此填写） **概念域参考（填写提示）：** - cli：命令行 quant / analyze / tune - app：最佳实践量化、量化分析、精度反馈自动调优等 - core：算法、量化服务、调度、张量量化、调优策略、最佳实践、上下文等 - infra：模型适配、调优计划/历史/缓存、测评服务等 - utils：日志、错误处理、插件等 ## 3. 功能验证 冒烟由 CI 门禁检查，无需填写「冒烟是否通过」。 - [ ] 功能自验 - [ ] 本地自验用例截图（请勿包含个人信息；可附复现命令） **复现步骤（可选）：** bash # 在此粘贴可复现命令 ## 4. 自检（请逐项确认，不适用标 N/A） **典型安全编码问题** - [ ] 是否已校验外部数据 - [ ] 是否未采集或打印敏感信息 - [ ] 是否已正确设置文件权限 - [ ] 是否充分考虑浮点运算溢出、除零等异常场景 - [ ] 是否已对正则表达式做 ReDos 检查 **DT** - [ ] 是否具备 UT 测试用例看护（路径：用例路径；未添加请说明原因） - [ ] 是否需要添加冒烟：否（若「是」请说明冒烟场景及对应用途） See merge request: Ascend/msmodelslim!830 | 25 天前 | |
【docs】增加权重量化使用指南、敏感层分析使用指南、新模型量化调优流程文档 Co-authored-by: xyxin_006<xiayingxin1@huawei.com> # message auto-generated for no-merge-commit merge: !822 merge doc_optim into master 【docs】增加权重量化使用指南、敏感层分析使用指南、新模型量化调优流程文档 Created-by: xyxin_006 Commit-by: xyxin_006 Merged-by: ascend-robot Description: # PR 提交说明 提交前请阅读贡献指南，开发者文档：模型接入指南 PR 标题前缀：[Feature]、[Bugfix]、[Doc]、[Test]（与 CONTRIBUTING 一致） ## 1. 影响面评估 接口变更（按需）： 无 输出件变更（按需）： 无 非兼容变更（按需）： 无 SIG 评审结论（按需）： 无 ## 2. 修改描述 修改背景（可选）： 新模型从方案设计到测评发布、以及按 linear / layer / attn 做敏感层分析的业务路径，此前缺少按流程指南规范编写的端到端文档；原《量化敏感层分析工具使用指南》将工具说明与流程操作混在一篇，不利于按 scope 执行与维护。 修改目的： 补齐「新模型量化调优 → 权重量化」主链路文档；将敏感层分析拆为三篇按 scope 的使用指南，并清理旧工具指南及其引用，使文档可跳转、可执行。 修改内容： - docs/用户指南：新增《新模型量化调优流程》（process_new_model_quantization_tuning.md），覆盖方案设计 → 权重量化 → 算子与组图 → 测评 → 发布，以及不达标时的方案修订闭环。 - docs/用户指南：新增《权重量化使用指南》（usage_weight_quantization.md），覆盖预检、下载浮点模型、模型适配、编写配置、执行 msmodelslim quant、校验交付件。 - docs/用户指南：按 scope 新增三篇敏感层分析使用指南： - 《线性层敏感层分析使用指南》（usage_sensitive_linear_analysis.md，analyze linear） - 《层级敏感层分析使用指南》（usage_sensitive_layer_wise_analysis.md，analyze layer） - 《Attention 敏感层分析使用指南》（usage_sensitive_attn_analysis.md，analyze attn） - docs/用户指南：删除原《量化敏感层分析工具使用指南》（usage_sensitive_layer_analysis.md），相关引用改挂到上述三篇或对应章节锚点。 - docs/用户指南：将《量化精度调优指南》文件名调整为 process_quantization_precision_tuning.md，并同步更新引用。 - docs/用户指南：更新 README.md 导航；mkdocs.yml 敏感层分析入口改为三篇新指南。 - docs/最佳实践、算法说明、调优策略、调试模式等：同步修正对旧敏感层分析文档 / 精度调优文档的链接。 ## 3. 功能验证 冒烟由 CI 门禁检查，无需填写「冒烟是否通过」。 - [x] 功能自验（文档链接与目录已本地核对；文档门禁通过） - [ ] 本地自验用例截图（请勿包含个人信息；可附复现命令） 复现步骤（可选）： N/A（纯文档变更） ## 4. 自检（请逐项确认，不适用标 N/A） 典型安全编码问题 - [x] 是否已校验外部数据（N/A：纯文档变更） - [x] 是否未采集或打印敏感信息（N/A：纯文档变更） - [x] 是否已正确设置文件权限（N/A：纯文档变更） - [x] 是否充分考虑浮点运算溢出、除零等异常场景（N/A：纯文档变更） - [x] 是否已对正则表达式做 ReDos 检查（N/A：纯文档变更） DT - [x] 是否具备 UT 测试用例看护（N/A：纯文档变更，未改代码逻辑） - [x] 是否需要添加冒烟：否（纯文档变更） See merge request: Ascend/msmodelslim!822 | 26 天前 | |
【Docs】Qwen3-32B W8A8精度调优案例按通用案例模板重构 Co-authored-by: tanxiangyuu<tanxiangyu2@huawei.com> # message auto-generated for no-merge-commit merge: !807 merge master into master 【Docs】Qwen3-32B W8A8精度调优案例按通用案例模板重构 Created-by: tanxiangyuu Commit-by: tanxiangyuu Merged-by: ascend-robot Description: # PR 提交说明 提交前请阅读 [贡献指南](https://gitcode.com/Ascend/msmodelslim/blob/master/docs/zh/contributing/contributing_guide.md)，开发者文档：[模型接入指南](../docs/zh/knowledge_base/model/integrating_models.md) PR 标题前缀：[Doc] ## 1. 影响面评估 **接口变更（按需）：** 无 > 备注：纯文档改动，不涉及 CLI、API、YAML 等。 **输出件变更（按需）：** 无 > 备注：不涉及导出格式、产物路径等。 **非兼容变更（按需）：** 无 > 备注：文档结构重构，不涉及任何行为变更。 **SIG 评审结论（按需）：** 无 > 提醒：纯文档改动，无代码与非兼容变更，不涉及 SIG 评审。 ## 2. 修改描述 **修改背景（可选）：** docs/zh/best_practices/qwen3_32b_w8a8_precision_tuning_case.md 为自由格式编写的案例文档，未遵循《通用案例模板》（docs/zh/contributing/development_guide/general_case_template.md），与新增案例文档（如 deepseek_v4_flash_w8a8_quick_quantization_case.md、deepseek_v4_pro_w4a8_new_llm_quantization_case.md）的结构不一致，案例评审口径不统一。 **修改目的：** 将本案例按通用案例模板重构，对齐案例编写规范，并通过《通用案例检查清单》（general_case_checklist.md）逐项校验。 **修改内容：** - docs/案例：Qwen3-32B W8A8 精度调优案例重构为模板 7 节结构（案例背景 → 环境与版本 → 输入和交付件 → 操作步骤 → 结果与经验 → 异常处理 → 附录） - docs/案例：操作步骤补齐「目标 / 输入 / 操作 / 输出 / 记录 / 下一步」六要素，关键命令与 YAML 配置以代码块给出，保证可执行可追溯 - docs/案例：新增「环境与版本」（产品形态、依赖及版本、本次前置事实）与「输入和交付件」（含验收方式）章节 - docs/案例：背景补充关联流程链接（《量化精度调优指南》），经验总结补充适用边界 - docs/案例：删除模板说明注释；案例实测数据（AIME25/GPQA 精度、量化时间）保持不变 **概念域参考：** 纯文档改动，不涉及 cli / app / core / infra / utils 代码域。 ## 3. 功能验证 冒烟由 CI 门禁检查，无需填写「冒烟是否通过」。 - [x] 功能自验（文档类：模板结构校验与内容一致性比对，无运行行为） - [x] 本地自验用例截图（请勿包含个人信息；可附复现命令）——文档改动无运行截图，复现命令如下 **复现步骤（可选）：** ## 4. 自检（请逐项确认，不适用标 N/A） **典型安全编码问题**（纯文档改动，无代码逻辑，逐项 N/A） - [ ] N/A是否已校验外部数据 — N/A（无代码逻辑；文档未引入外部数据输入） - [ ] N/A是否未采集或打印敏感信息 — N/A（无代码逻辑；文档未包含账号、密钥、内网地址等敏感信息） - [ ] N/A是否已正确设置文件权限 — N/A（无代码逻辑） - [ ] N/A是否充分考虑浮点运算溢出、除零等异常场景 — N/A（无代码逻辑） - [ ] N/A是否已对正则表达式做 ReDos 检查 — N/A（无代码逻辑） **DT** - [ ] N/A 是否具备 UT 测试用例看护（路径：用例路径；未添加请说明原因）— N/A（纯文档改动；案例文档由 general_case_checklist.md 校验条目看护） - [ ] 是否需要添加冒烟：否（若「是」请说明冒烟场景及对应用途）——文档类改动不涉及运行行为 See merge request: Ascend/msmodelslim!807 | 25 天前 | |
[Doc] 新增 Wan2.2-T2V 模型w4a4f4量化案例 Co-authored-by: 李明宇<limingyu35@h-partners.com> # message auto-generated for no-merge-commit merge: !820 merge master-example-0805 into master [Doc] 新增 Wan2.2-T2V 模型w4a4f4量化案例 Created-by: code_mingming Commit-by: 李明宇 Merged-by: ascend-robot Description: # PR 提交说明 ## 1. 影响面评估 **接口变更（按需）：** 无 **输出件变更（按需）：** 无 **非兼容变更（按需）：** 无 **SIG 评审结论（按需）：** 无 ## 2. 修改描述 **修改背景（可选）：**（问题现象、使用场景等） **修改目的：** 新增 Wan2.2-T2V 模型w4a4f4量化案例 **修改内容：** 新增 docs/zh/best_practices/wan2_2_w4a4f4_verification_case.md 文档，覆盖以下内容： - 案例背景与验证目标（精度） - 模型相关信息与验证范围声明 - 环境与版本依赖说明 - 输入与交付件定义 - 完整操作步骤：环境准备、W4A4F4量化执行、VBench-1.0-mini评测子集准备、浮点/量化模型VBench评测推理 - 精度测试设计与结果表（含VBench Quality Score、Semantic Score、Total Score对比） - 经验总结与常见问题排查 ## 3. 功能验证 冒烟由 CI 门禁检查，无需填写「冒烟是否通过」。 - [x] 功能自验 - [ ] 本地自验用例截图（请勿包含个人信息；可附复现命令）  **复现步骤（可选）：** bash # 在此粘贴可复现命令 ## 4. 自检（请逐项确认，不适用标 N/A） **典型安全编码问题** - [x] 是否已校验外部数据N/A - [x] 是否未采集或打印敏感信息N/A - [x] 是否已正确设置文件权限N/A - [x] 是否充分考虑浮点运算溢出、除零等异常场景N/A - [x] 是否已对正则表达式做 ReDos 检查N/A **DT** - [x] 是否具备 UT 测试用例看护 N/A - [x] 是否需要添加冒烟：——文档类改动不涉及运行行为 See merge request: Ascend/msmodelslim!820 | 25 天前 |
典型案例
| 案例 | 案例名称 |
|---|---|
| Kimi-K3 新模型 W4A8 量化 | Kimi-K3 新模型 W4A8 量化案例 |
| v1框架Qwen3-32B 精度调优 | v1框架Qwen3-32B w8a8精度调优案例 |
| 权重转换 | msModelSlim量化权重转AutoAWQ&AutoGPTQ使用指南 |
| DiT模型量化验证案例 | Wan2.2 W4A4F4量化验证案例 |