👋 您好,欢迎向 MindStudio msModelSlim 提交 Issue!
我们已收到您的反馈,感谢你对开源社区的支持。🎉
📅处理时效: 维护团队将在24小时内 查看并回复您的问题(工作日)。
🔍自助查询: 在等待期间,建议您先查阅以下资料,可能已有解决方案:
📖 MindStudio msModelSlim 官方文档
📝 贡献者指南
请确保 Issue 描述清晰,包含复现步骤和日志,这将帮助我们更快定位问题。谢谢!


主仓代码 commit a263d198543d69c54a9922faad5622274353a45d
msmodelslim quant
--model_type Qwen3-30B
--model_path /data/models/qwen/Qwen3-30B-A3B
--save_path /home/zhangzheng/quant_results/Debug/qwen3_30b_w4a8
--quant_type w4a8
--trust_remote_code True
未出现该现象。



/label add pending


现象触发原因:transformers高版本(https://github.com/huggingface/transformers/releases/tag/v5.0.0) 引入了权重转换的特性(https://github.com/huggingface/transformers/pull/41580) ,在加载权重时会对MoE中线性层转换成tensors,进而导致msModelSlim未能正确匹配nn.Linear。
解决措施:按照资料(https://gitcode.com/Ascend/msmodelslim/blob/master/example/Qwen3-MOE/README.md) 指导,安装transformers==4.51.0即可


/label add resolved


测试按照资料(https://gitcode.com/Ascend/msmodelslim/blob/master/example/Qwen3-MOE/README.md) 指导,安装transformers==4.51.0后,确实执行结果正常


👉 遇到问题先看这里
🌟 第一次使用工具遇到问题?
按🚀 快速入门
❓ 搜索历史issue,查看冷门的同类问题
在🔖 Issue中搜索历史类似问题
操作系统及版本
Huawei Cloud EulerOS 2.0 (aarch64)
python版本
3.11
MsModelSlim 工具版本
0428的日构建包
是否必现
是
MsModelSlim 执行命令
msmodelslim quant --device npu --model_path /home/model_weights/Qwen3-30B-A3B --model_type Qwen3-30B --quant_type w4a8 --save_path /home/autotest/AutoTestProperty/modelslim/llm_ptq/output/Qwen3-30B-A3B_quant_qwen3_moe_30b_flex_smooth_w4a8_v1_match --trust_remote_code True
预期行为
grep -o 'W4A8_DYNAMIC' /home/autotest/AutoTestProperty/modelslim/llm_ptq/output/Qwen3-30B-A3B_quant_qwen3_moe_30b_flex_smooth_w4a8_v1_match/quant_model_description*.json
量化类型 'W4A8_DYNAMIC' 的实际层数 (0) vs 预期 (62976)
实际行为
8907cd7553ff4b959d4bab66a2197f75.zip
欢迎加入社区,感谢您对社区的贡献 🎉!