已关闭
[Bug] 模型Qwen3-30B-A3B 执行量化最佳实践 w4a8,生成的权重描述文件中没有‘W4A8_DYNAMIC’,重复跑了2次都是这样 #186
yejingjing创建于  4月29日关闭于  5月18日
yejingjing
yejingjing成员
4月29日 创建

👉 遇到问题先看这里

🌟 第一次使用工具遇到问题?

按🚀 快速入门

❓ 搜索历史issue,查看冷门的同类问题

在🔖 Issue中搜索历史类似问题

操作系统及版本

Huawei Cloud EulerOS 2.0 (aarch64)

python版本

3.11

MsModelSlim 工具版本

0428的日构建包

是否必现

是

MsModelSlim 执行命令

msmodelslim quant --device npu --model_path /home/model_weights/Qwen3-30B-A3B --model_type Qwen3-30B --quant_type w4a8 --save_path /home/autotest/AutoTestProperty/modelslim/llm_ptq/output/Qwen3-30B-A3B_quant_qwen3_moe_30b_flex_smooth_w4a8_v1_match --trust_remote_code True

预期行为

grep -o 'W4A8_DYNAMIC' /home/autotest/AutoTestProperty/modelslim/llm_ptq/output/Qwen3-30B-A3B_quant_qwen3_moe_30b_flex_smooth_w4a8_v1_match/quant_model_description*.json
量化类型 'W4A8_DYNAMIC' 的实际层数 (0) vs 预期 (62976)

实际行为

image.png
8907cd7553ff4b959d4bab66a2197f75.zip

欢迎加入社区,感谢您对社区的贡献 🎉!

likedislike
yejingjingyejingjing成员
4月29日 关联了里程碑:MindStudio 26.1.0
yejingjingyejingjing成员
4月29日 添加了label:bug, critical-priority
anreywmh成员
4月29日 评论:

👋 您好,欢迎向 MindStudio msModelSlim 提交 Issue!
我们已收到您的反馈,感谢你对开源社区的支持。🎉

📅处理时效: 维护团队将在24小时内 查看并回复您的问题(工作日)。
🔍自助查询: 在等待期间,建议您先查阅以下资料,可能已有解决方案:

📖 MindStudio msModelSlim 官方文档
📝 贡献者指南

请确保 Issue 描述清晰,包含复现步骤和日志,这将帮助我们更快定位问题。谢谢!

likedislike
Aanreywmh成员
4月29日 添加了label:triaged
zhangz200102成员
4月30日 评论:

主仓代码 commit a263d198543d69c54a9922faad5622274353a45d
msmodelslim quant
--model_type Qwen3-30B
--model_path /data/models/qwen/Qwen3-30B-A3B
--save_path /home/zhangzheng/quant_results/Debug/qwen3_30b_w4a8
--quant_type w4a8
--trust_remote_code True
未出现该现象。
image.png

likedislike
zhangz200102成员
4月30日 评论:

/label add pending

likedislike
ascend-robotascend-robot成员
4月30日 添加了label:pending
Zzhangz200102成员
4月30日 issue状态由 TODO 改变为 Feedback
Zzhangz200102成员
4月30日 将 zhangz200102 设为负责人
zhangz200102成员
5月6日 评论:

现象触发原因:transformers高版本(https://github.com/huggingface/transformers/releases/tag/v5.0.0) 引入了权重转换的特性(https://github.com/huggingface/transformers/pull/41580) ,在加载权重时会对MoE中线性层转换成tensors,进而导致msModelSlim未能正确匹配nn.Linear。
解决措施:按照资料(https://gitcode.com/Ascend/msmodelslim/blob/master/example/Qwen3-MOE/README.md) 指导,安装transformers==4.51.0即可

likedislike
zhangz200102成员
5月6日 评论:

/label add resolved

likedislike
ascend-robotascend-robot成员
5月6日 添加了label:resolved
yejingjing
yejingjing成员
5月18日 评论:

测试按照资料(https://gitcode.com/Ascend/msmodelslim/blob/master/example/Qwen3-MOE/README.md) 指导,安装transformers==4.51.0后,确实执行结果正常

likedislike
yejingjingyejingjing成员
5月18日 issue状态由 Feedback 改变为 DONE
yejingjingyejingjing成员
5月18日 关闭了 issue