master

ascend-robot[A5] add best practice for DeepSeek-V3.1-Terminus w8a8c8 & w4a4c8

17f69711创建于 5 天前历史提交

文件	最后提交记录	最后更新时间
deepseek_w4a8_per_channel.yaml	【msmodelslim】cleancode Co-authored-by: caishengcheng<caishengcheng@huawei.com>	6 个月前
deepseekr1_w4a8c8_per_channel.yaml	【msmodelslim】cleancode Co-authored-by: caishengcheng<caishengcheng@huawei.com>	6 个月前
deepseekv31_terminus_w4a4c8.yaml	[A5] add best practice for DeepSeek-V3.1-Terminus w8a8c8 & w4a4c8 Co-authored-by: yejiajun<yejiajun4@huawei.com> # message auto-generated for no-merge-commit merge: !585 merge ds_v31 into master [Feature] [A5] add best practice for DeepSeek-V3.1-Terminus w8a8c8 & w4a4c8 Created-by: yejiajun Commit-by: yejiajun Merged-by: ascend-robot Description: # PR 提交说明 提交前请阅读 [CONTRIBUTING.md](https://gitcode.com/Ascend/msmodelslim/blob/master/docs/zh/appendix/CONTRIBUTING.md)，开发者文档：[模型接入指南](https://msmodelslim.readthedocs.io/zh-cn/latest/zh/developer_guide/integrating_models/) PR 标题前缀：[Feature]、[Bugfix]、[Doc]、[Test]（与 CONTRIBUTING 一致） ## 1. 影响面评估 **接口变更（按需）：** 无 **输出件变更（按需）：** 无 **非兼容变更（按需）：** 无 **SIG 评审结论（按需）：** 无 ## 2. 修改描述 **修改背景（可选）：**（问题现象、使用场景等） 补充DeepSeek-V3.1-Terminus 在A5上的最佳实践 **修改目的：**（本 PR 要达成什么目标） **修改内容：** 1、新增w8a8c8和w4a4c8的最佳实践，在mmlu、livecode bench、gpqa 数据集上测试精度无问题 ## 3. 功能验证 冒烟由 CI 门禁检查，无需填写「冒烟是否通过」。 - [ ] 功能自验 - [ ] 本地自验用例截图（请勿包含个人信息；可附复现命令）  **复现步骤（可选）：** bash export ASCEND_RT_VISIBLE_DEVICES=14 # quant_type可以使用 w8a8c8 或w4a4c8 msmodelslim quant \ --model_path /data/models/DeepSeek-V3.1-Terminus/ \ --save_path /data/models/DeepSeek-V3.1-Terminus-w8a8c8 \ --device npu --model_type DeepSeek-V3.1-Terminus \ --quant_type w8a8c8 \ --trust_remote_code True ## 4. 自检（请逐项确认，不适用标 N/A） **典型安全编码问题** - [x] 是否已校验外部数据 - [x] 是否未采集或打印敏感信息 - [x] 是否已正确设置文件权限 - [x] 是否充分考虑浮点运算溢出、除零等异常场景 - [x] 是否已对正则表达式做 ReDos 检查 **DT** - [ ] 是否具备 UT 测试用例看护（路径：用例路径；未添加请说明原因） - [ ] 是否需要添加冒烟：否（若「是」请说明冒烟场景及对应用途） See merge request: Ascend/msmodelslim!585	5 天前
deepseekv31_terminus_w8a8c8.yaml	[A5] add best practice for DeepSeek-V3.1-Terminus w8a8c8 & w4a4c8 Co-authored-by: yejiajun<yejiajun4@huawei.com> # message auto-generated for no-merge-commit merge: !585 merge ds_v31 into master [Feature] [A5] add best practice for DeepSeek-V3.1-Terminus w8a8c8 & w4a4c8 Created-by: yejiajun Commit-by: yejiajun Merged-by: ascend-robot Description: # PR 提交说明 提交前请阅读 [CONTRIBUTING.md](https://gitcode.com/Ascend/msmodelslim/blob/master/docs/zh/appendix/CONTRIBUTING.md)，开发者文档：[模型接入指南](https://msmodelslim.readthedocs.io/zh-cn/latest/zh/developer_guide/integrating_models/) PR 标题前缀：[Feature]、[Bugfix]、[Doc]、[Test]（与 CONTRIBUTING 一致） ## 1. 影响面评估 **接口变更（按需）：** 无 **输出件变更（按需）：** 无 **非兼容变更（按需）：** 无 **SIG 评审结论（按需）：** 无 ## 2. 修改描述 **修改背景（可选）：**（问题现象、使用场景等） 补充DeepSeek-V3.1-Terminus 在A5上的最佳实践 **修改目的：**（本 PR 要达成什么目标） **修改内容：** 1、新增w8a8c8和w4a4c8的最佳实践，在mmlu、livecode bench、gpqa 数据集上测试精度无问题 ## 3. 功能验证 冒烟由 CI 门禁检查，无需填写「冒烟是否通过」。 - [ ] 功能自验 - [ ] 本地自验用例截图（请勿包含个人信息；可附复现命令）  **复现步骤（可选）：** bash export ASCEND_RT_VISIBLE_DEVICES=14 # quant_type可以使用 w8a8c8 或w4a4c8 msmodelslim quant \ --model_path /data/models/DeepSeek-V3.1-Terminus/ \ --save_path /data/models/DeepSeek-V3.1-Terminus-w8a8c8 \ --device npu --model_type DeepSeek-V3.1-Terminus \ --quant_type w8a8c8 \ --trust_remote_code True ## 4. 自检（请逐项确认，不适用标 N/A） **典型安全编码问题** - [x] 是否已校验外部数据 - [x] 是否未采集或打印敏感信息 - [x] 是否已正确设置文件权限 - [x] 是否充分考虑浮点运算溢出、除零等异常场景 - [x] 是否已对正则表达式做 ReDos 检查 **DT** - [ ] 是否具备 UT 测试用例看护（路径：用例路径；未添加请说明原因） - [ ] 是否需要添加冒烟：否（若「是」请说明冒烟场景及对应用途） See merge request: Ascend/msmodelslim!585	5 天前
deepseekv3_w4a8c8_per_channel.yaml	【msmodelslim】cleancode Co-authored-by: caishengcheng<caishengcheng@huawei.com>	6 个月前