| 文件 | 最后提交记录 | 最后更新时间 |
|---|---|---|
[Feature] 接入 DeepSeek-V4-flash-0731 W4A4C8 配置 Co-authored-by: Rigel_Chen<chenruijie9@huawei.com> # message auto-generated for no-merge-commit merge: !936 merge feature/deepseek-v4-0731-0813 into master [Feature] 接入 DeepSeek-V4-flash-0731 W4A4C8 配置 Created-by: Rigel_Chen Commit-by: Rigel_Chen Merged-by: ascend-robot Description: # PR 提交说明 提交前请阅读 [贡献指南](https://gitcode.com/Ascend/msmodelslim/blob/master/docs/zh/contributing/contributing_guide.md)，开发者文档：[模型接入指南](../docs/zh/knowledge_base/model/integrating_models.md) PR 标题前缀：[Feature]、[Bugfix]、[Doc]、[Test]（与 CONTRIBUTING 一致） ## 1. 影响面评估 **接口变更（按需）：** 新增 --model_type DeepSeek-V4-Flash-0731（复用已有 deepseek_v4_dspark 适配器）；新增 W4A4C8 YAML。既有 CLI / API 参数不变。本次不接入 Pro-0813。 **输出件变更（按需）：** 无（仍走 ascendv1_saver；MTP / wo_a / wo_b 按配方保持 FLOAT） **非兼容变更（按需）：** 无 **SIG 评审结论（按需）：** 无 ## 2. 修改描述 **修改背景（可选）：** 官方 DeepSeek-V4-Flash-0731 为正式版 Flash，结构与 DeepSeek-V4-Flash-DSpark 相同（投机解码模块键名为 mtp.0/1/2）。preview DeepSeek-V4-Flash 的 MTP 布局不同，不能直接套用。W4A4C8 需要路由专家 MXFP4、Attention/共享专家 MXFP8、KV 复用官方 FP8，且 MTP 与 wo_a/wo_b 保持 BF16，便于 vLLM-Ascend A5 部署。 **修改目的：** 在已有 DSpark 加载路径上注册官方 0731 模型名，支持一键 W4A4C8 量化；MTP 不量化并以 FLOAT 落盘。 **修改内容：** - infra/模型适配：在 config.ini 将 DeepSeek-V4-Flash-0731 注册到现有 deepseek_v4_dspark，不新增独立适配器 - app/最佳实践：新增 lab_practice/deepseek_v4/deepseek_v4_flash_w4a4c8.yaml（路由专家 MXFP4，Attention/共享专家 MXFP8，exclude wo_a/wo_b/mtp） ## 3. 功能验证 冒烟由 CI 门禁检查，无需填写「冒烟是否通过」。 - [x] 功能自验 - [ ] 本地自验用例截图（请勿包含个人信息；可附复现命令） **复现步骤（可选）：** config.ini 变更后需 bash install.sh。transformers 与现有 DSpark 路径一致（==4.48.2）。 bash msmodelslim quant \ --model_path <DeepSeek-V4-Flash-0731-BF16> \ --save_path <DeepSeek-V4-Flash-0731-BF16-w4a4c8> \ --model_type DeepSeek-V4-Flash-0731 \ --config lab_practice/deepseek_v4/deepseek_v4_flash_w4a4c8.yaml \ --device npu --device_id 0 1 2 3 4 5 6 7 \ --trust_remote_code true 落盘后检查 quant_model_description.json：*wo_a*、*wo_b*、mtp.* 应为 FLOAT。 ## 4. 自检（请逐项确认，不适用标 N/A） **典型安全编码问题** - [ ] 是否已校验外部数据 - [ ] 是否未采集或打印敏感信息 - [ ] 是否已正确设置文件权限 - [ ] 是否充分考虑浮点运算溢出、除零等异常场景 - [ ] 是否已对正则表达式做 ReDos 检查 **DT** - [ ] 是否具备 UT 测试用例看护（路径：用例路径；未添加请说明原因：本次仅注册已有适配器别名并新增 YAML，加载/落盘路径已由 deepseek_v4_dspark 覆盖） - [ ] 是否需要添加冒烟：否（若「是」请说明冒烟场景及对应用途） See merge request: Ascend/msmodelslim!936 | 17 天前 | |
【feature】DeepSeek-V4-Pro 支持 w4a8和w8a8量化 Co-authored-by: zhangz200102<zhangzheng183@huawei.com> Co-authored-by: rookie_hongchuan<hongchuan6@h-partners.com> # message auto-generated for no-merge-commit merge: !566 merge merge/support-dsv4-pro-mtp-refactor into master 【feature】DeepSeek-V4-Pro 支持 w4a8和w8a8量化 Created-by: zhangz200102 Commit-by: zhangz200102;rookie_hongchuan Merged-by: ascend-robot Description: # PR 提交说明 提交前请阅读 [CONTRIBUTING.md](https://gitcode.com/Ascend/msmodelslim/blob/master/docs/zh/appendix/CONTRIBUTING.md)，开发者文档：[模型接入指南](https://msmodelslim.readthedocs.io/zh-cn/latest/zh/developer_guide/integrating_models/) PR 标题前缀：[Feature]、[Bugfix]、[Doc]、[Test]（与 CONTRIBUTING 一致） ## 1. 影响面评估 **接口变更（按需）：** 无 > 备注：若无变更请保留「无」；涉及 CLI、API、YAML 等请在此项补充说明。 **输出件变更（按需）：** 无 > 备注：若无变更请保留「无」；涉及导出格式、产物路径等请在此项补充说明。 **非兼容变更（按需）：** 无 > 备注：若无变更请保留「无」；若有非兼容变更请说明迁移方式。 **SIG 评审结论（按需）：** 无 > 提醒：非兼容、安全风险等高危 PR 须经 SIG 评审后合入；无则保留「无」。 ## 2. 修改描述 **修改背景（可选）：**（问题现象、使用场景等） **修改目的：**（本 PR 要达成什么目标） 支持DeepSeek-V4-Pro w4a8和w8a8量化 **修改内容：**（按「概念 - 变化」分条，示例：core/算法：新增 SmoothQuant 离群值抑制） （在此填写） **概念域参考（填写提示）：** - cli：命令行 quant / analyze / tune - app：最佳实践量化、量化分析、精度反馈自动调优等 - core：算法、量化服务、调度、张量量化、调优策略、最佳实践、上下文等 - infra：模型适配、调优计划/历史/缓存、测评服务等 - utils：日志、错误处理、插件等 ## 3. 功能验证 冒烟由 CI 门禁检查，无需填写「冒烟是否通过」。 - [x] 功能自验 - [ ] 本地自验用例截图（请勿包含个人信息；可附复现命令） **复现步骤（可选）：** bash # 在此粘贴可复现命令 ## 4. 自检（请逐项确认，不适用标 N/A） **典型安全编码问题** - [x] 是否已校验外部数据 - [x] 是否未采集或打印敏感信息 - [x] 是否已正确设置文件权限 - [x] 是否充分考虑浮点运算溢出、除零等异常场景 - [x] 是否已对正则表达式做 ReDos 检查 **DT**  - [ ] 是否具备 UT 测试用例看护（路径：用例路径；未添加请说明原因） - [ ] 是否需要添加冒烟：否（若「是」请说明冒烟场景及对应用途） See merge request: Ascend/msmodelslim!566 | 3 个月前 | |
【feature】DeepSeek-V4-Pro 支持 w4a8和w8a8量化 Co-authored-by: zhangz200102<zhangzheng183@huawei.com> Co-authored-by: rookie_hongchuan<hongchuan6@h-partners.com> # message auto-generated for no-merge-commit merge: !566 merge merge/support-dsv4-pro-mtp-refactor into master 【feature】DeepSeek-V4-Pro 支持 w4a8和w8a8量化 Created-by: zhangz200102 Commit-by: zhangz200102;rookie_hongchuan Merged-by: ascend-robot Description: # PR 提交说明 提交前请阅读 [CONTRIBUTING.md](https://gitcode.com/Ascend/msmodelslim/blob/master/docs/zh/appendix/CONTRIBUTING.md)，开发者文档：[模型接入指南](https://msmodelslim.readthedocs.io/zh-cn/latest/zh/developer_guide/integrating_models/) PR 标题前缀：[Feature]、[Bugfix]、[Doc]、[Test]（与 CONTRIBUTING 一致） ## 1. 影响面评估 **接口变更（按需）：** 无 > 备注：若无变更请保留「无」；涉及 CLI、API、YAML 等请在此项补充说明。 **输出件变更（按需）：** 无 > 备注：若无变更请保留「无」；涉及导出格式、产物路径等请在此项补充说明。 **非兼容变更（按需）：** 无 > 备注：若无变更请保留「无」；若有非兼容变更请说明迁移方式。 **SIG 评审结论（按需）：** 无 > 提醒：非兼容、安全风险等高危 PR 须经 SIG 评审后合入；无则保留「无」。 ## 2. 修改描述 **修改背景（可选）：**（问题现象、使用场景等） **修改目的：**（本 PR 要达成什么目标） 支持DeepSeek-V4-Pro w4a8和w8a8量化 **修改内容：**（按「概念 - 变化」分条，示例：core/算法：新增 SmoothQuant 离群值抑制） （在此填写） **概念域参考（填写提示）：** - cli：命令行 quant / analyze / tune - app：最佳实践量化、量化分析、精度反馈自动调优等 - core：算法、量化服务、调度、张量量化、调优策略、最佳实践、上下文等 - infra：模型适配、调优计划/历史/缓存、测评服务等 - utils：日志、错误处理、插件等 ## 3. 功能验证 冒烟由 CI 门禁检查，无需填写「冒烟是否通过」。 - [x] 功能自验 - [ ] 本地自验用例截图（请勿包含个人信息；可附复现命令） **复现步骤（可选）：** bash # 在此粘贴可复现命令 ## 4. 自检（请逐项确认，不适用标 N/A） **典型安全编码问题** - [x] 是否已校验外部数据 - [x] 是否未采集或打印敏感信息 - [x] 是否已正确设置文件权限 - [x] 是否充分考虑浮点运算溢出、除零等异常场景 - [x] 是否已对正则表达式做 ReDos 检查 **DT**  - [ ] 是否具备 UT 测试用例看护（路径：用例路径；未添加请说明原因） - [ ] 是否需要添加冒烟：否（若「是」请说明冒烟场景及对应用途） See merge request: Ascend/msmodelslim!566 | 3 个月前 | |
【feature】DeepSeek-V4-Pro 支持 w4a8和w8a8量化 Co-authored-by: zhangz200102<zhangzheng183@huawei.com> Co-authored-by: rookie_hongchuan<hongchuan6@h-partners.com> # message auto-generated for no-merge-commit merge: !566 merge merge/support-dsv4-pro-mtp-refactor into master 【feature】DeepSeek-V4-Pro 支持 w4a8和w8a8量化 Created-by: zhangz200102 Commit-by: zhangz200102;rookie_hongchuan Merged-by: ascend-robot Description: # PR 提交说明 提交前请阅读 [CONTRIBUTING.md](https://gitcode.com/Ascend/msmodelslim/blob/master/docs/zh/appendix/CONTRIBUTING.md)，开发者文档：[模型接入指南](https://msmodelslim.readthedocs.io/zh-cn/latest/zh/developer_guide/integrating_models/) PR 标题前缀：[Feature]、[Bugfix]、[Doc]、[Test]（与 CONTRIBUTING 一致） ## 1. 影响面评估 **接口变更（按需）：** 无 > 备注：若无变更请保留「无」；涉及 CLI、API、YAML 等请在此项补充说明。 **输出件变更（按需）：** 无 > 备注：若无变更请保留「无」；涉及导出格式、产物路径等请在此项补充说明。 **非兼容变更（按需）：** 无 > 备注：若无变更请保留「无」；若有非兼容变更请说明迁移方式。 **SIG 评审结论（按需）：** 无 > 提醒：非兼容、安全风险等高危 PR 须经 SIG 评审后合入；无则保留「无」。 ## 2. 修改描述 **修改背景（可选）：**（问题现象、使用场景等） **修改目的：**（本 PR 要达成什么目标） 支持DeepSeek-V4-Pro w4a8和w8a8量化 **修改内容：**（按「概念 - 变化」分条，示例：core/算法：新增 SmoothQuant 离群值抑制） （在此填写） **概念域参考（填写提示）：** - cli：命令行 quant / analyze / tune - app：最佳实践量化、量化分析、精度反馈自动调优等 - core：算法、量化服务、调度、张量量化、调优策略、最佳实践、上下文等 - infra：模型适配、调优计划/历史/缓存、测评服务等 - utils：日志、错误处理、插件等 ## 3. 功能验证 冒烟由 CI 门禁检查，无需填写「冒烟是否通过」。 - [x] 功能自验 - [ ] 本地自验用例截图（请勿包含个人信息；可附复现命令） **复现步骤（可选）：** bash # 在此粘贴可复现命令 ## 4. 自检（请逐项确认，不适用标 N/A） **典型安全编码问题** - [x] 是否已校验外部数据 - [x] 是否未采集或打印敏感信息 - [x] 是否已正确设置文件权限 - [x] 是否充分考虑浮点运算溢出、除零等异常场景 - [x] 是否已对正则表达式做 ReDos 检查 **DT**  - [ ] 是否具备 UT 测试用例看护（路径：用例路径；未添加请说明原因） - [ ] 是否需要添加冒烟：否（若「是」请说明冒烟场景及对应用途） See merge request: Ascend/msmodelslim!566 | 3 个月前 |
| 文件 | 最后提交记录 | 最后更新时间 |
|---|---|---|
| 17 天前 | ||
| 3 个月前 | ||
| 3 个月前 | ||
| 3 个月前 |