已关闭
[Bug] 使用master分支的msmodelslim执行Qwen3.5-27B的一键量化失败 #192
元宝创建于  4月30日关闭于  5月6日
元宝
元宝
4月30日 创建

👉 遇到问题先看这里

🌟 第一次使用工具遇到问题?

按🚀 快速入门

❓ 搜索历史issue,查看冷门的同类问题

在🔖 Issue中搜索历史类似问题

操作系统及版本

OS: openEuler 22.03(Linux 5.10.0-60.139.0.166.oe2203.aarch64) 架构: aarch64(ARM64)

python版本

3.11

MsModelSlim 工具版本

commit a9971311fa1e8ce768a0045056dbbb3611f05fb7 (HEAD -> master, origin/master, origin/HEAD)

是否必现

是

MsModelSlim 执行命令

msmodelslim quant --model_path ../models/Qwen3.5-27B/ --save_path ../model_save/ --device npu --model_type Qwen3.5-27B --quant_type w8a8 --trust_remote_code True

预期行为

实际行为

image.png

欢迎加入社区,感谢您对社区的贡献 🎉!

likedislike
anreywmh成员
4月30日 评论:

👋 您好,欢迎向 MindStudio msModelSlim 提交 Issue!
我们已收到您的反馈,感谢你对开源社区的支持。🎉

📅处理时效: 维护团队将在24小时内 查看并回复您的问题(工作日)。
🔍自助查询: 在等待期间,建议您先查阅以下资料,可能已有解决方案:

📖 MindStudio msModelSlim 官方文档
📝 贡献者指南

请确保 Issue 描述清晰,包含复现步骤和日志,这将帮助我们更快定位问题。谢谢!

likedislike
Aanreywmh成员
4月30日 添加了label:triaged
ascend-robotascend-robot成员
4月30日 添加了label:bug
zhangz200102成员
4月30日 评论:

您好,根据报错截图,您将msmodelslim安装在了python3.9中,但根据issue描述您希望使用的是python3.11。报错位置的match在python3.10版本引入。因而建议检查PYTHONPATH等环境变量,使用python3.10或python3.11。

likedislike
zhangz200102成员
4月30日 评论:

/label add pending

likedislike
ascend-robotascend-robot成员
4月30日 添加了label:pending
Zzhangz200102成员
4月30日 issue状态由 TODO 改变为 Feedback
元宝
元宝
5月6日 评论:

您好,根据报错截图,您将msmodelslim安装在了python3.9中,但根据issue描述您希望使用的是python3.11。报错位置的match在python3.10版本引入。因而建议检查PYTHONPATH等环境变量,使用python3.10或python3.11。

@zhangz200102

如图所示,我在conda创建的python3.11环境重新安装了msmodelslim,但似乎还是不行
image.png
image.png

likedislike
元宝元宝
5月6日 issue状态由 Feedback 改变为 DONE
元宝元宝
5月6日 关闭了 issue
元宝元宝
5月6日 issue状态由 DONE 改变为 Feedback
元宝元宝
5月6日 重新打开了 issue
元宝
元宝
5月6日 评论:

您好,根据报错截图,您将msmodelslim安装在了python3.9中,但根据issue描述您希望使用的是python3.11。报错位置的match在python3.10版本引入。因而建议检查PYTHONPATH等环境变量,使用python3.10或python3.11。

@zhangz200102

看起来似乎是install.sh里面是调用的PATH 里的 pip 而不是 conda 环境的,所以没有安装到conda环境里

likedislike
zhangz200102成员
5月6日 评论:

您好,根据报错截图,您将msmodelslim安装在了python3.9中,但根据issue描述您希望使用的是python3.11。报错位置的match在python3.10版本引入。因而建议检查PYTHONPATH等环境变量,使用python3.10或python3.11。

@zhangz200102

看起来似乎是install.sh里面是调用的PATH 里的 pip 而不是 conda 环境的,所以没有安装到conda环境里

@xiaoy2459

嗯,是的。另外,也可以借用推理引擎的镜像创建容器来管理和隔离环境(不依赖特定版本),直接选择后续部署需要的镜像即可,在容器中安装msModelSlim和模型量化需要的transformers版本即可(部署前根据推理引擎的指导文档再修改安装需要的transformers版本)

likedislike
Zzhangz200102成员
5月6日 将 zhangz200102 设为负责人
元宝元宝
5月6日 issue状态由 Feedback 改变为 DONE
元宝元宝
5月6日 关闭了 issue
LLeeQT成员
5月25日 添加了label:resolved