[Bug]: msmodelslim quant 命令中--device指定卡号不生效-MindStudio-ModelSlim-AtomGit

已关闭

[Bug]: msmodelslim quant 命令中--device指定卡号不生效 #4

yanhe13创建于 1月15日关闭于 1月21日

yanhe13成员

1月15日创建

在提交新问题之前，请确保您已经在社区中搜索过相关问题，并使用了社区中提供的资源/工具后，仍未找到满意的解决方式。

⚠️ 安全信息提醒：请仔细检查提供的文本内容，确保其不包含敏感数据信息，包括但不限于：

API 令牌或密钥
密码或身份验证凭证
私有网址或接口地址
个人或机密数据
...

在分享配置信息或代码示例时，请将敏感信息脱敏处理，或使用 <TOKEN> 等占位符替代原有内容。

环境信息

昇腾硬件：800I A2
HDK版本：25.3.rc1 
MindIE镜像起的容器中，镜像版本：swr.cn-south-1.myhuaweicloud.com/ascendhub/mindie   2.2.RC1-800I-A2-py311-openeuler24.03-lts

🐛 问题描述

执行 msmodelslim quant -h查看帮助信息可以发现得到提示：

  --device DEVICE       Target device specification for quantization. Format: 'device_type' or
                        'device_type:index1,index2,...' (e.g., 'npu', 'npu:0,1,2,3', 'cpu'). Default:
                        'npu' (single device)

我基于快速入门文档执行的一键量化命令为：

msmodelslim quant --model_path /path/to/models/Qwen2.5-7B-Instruct/ --save_path quant_out --device "npu:6,7" --model_type Qwen2.5-7B-Instruct --quant_type w8a8 --trust_remote_code True

按照help信息的描述 --device "npu:6,7"应当只占用6和7号卡，实际行为是会占用满8张卡，无论--device设置哪些卡号都会占用满8张卡。这不符合help信息的描述

欢迎加入社区，感谢您对社区的贡献 🎉!