已关闭
[Bug] 目前modelSlim支持qwen3.5-35B-A3B-MoE W8A8量化嘛，为啥报错 Model adapter 'Qwen3.5-35B-A3B' not found, trying default adapter... ，但为啥有qwen3.5的一键量化教程？ #258
LR2021903247创建于 5月26日关闭于 6月3日
anreywmh
5月26日 评论：
5月26日 评论：
👋 您好,欢迎向 MindStudio msModelSlim 提交 Issue！
我们已收到您的反馈，感谢你对开源社区的支持。🎉
📅处理时效： 维护团队将在24小时内 查看并回复您的问题（工作日）。
🔍自助查询： 在等待期间，建议您先查阅以下资料，可能已有解决方案：
📖 MindStudio msModelSlim 官方文档
📝 贡献者指南
请确保 Issue 描述清晰，包含复现步骤和日志，这将帮助我们更快定位问题。谢谢！
5月26日 添加了label：bug
xyxin_006
5月26日 评论：
5月26日 评论：
您好，建议使用最新的代码进行Qwen3.5模型量化，旧的版本可能不支持Qwen3.5模型
Li hua
5月27日 评论：
5月27日 评论：
我在8*910B4服务器上用swift lora微调了qwen3.5-35B-A3B模型，然后用ms-modelslim对合并后的模型进行W8A8量化，量化失败了；我又试了下官方原生qwen3.5-35B-A3B模型，可以量化，有谁碰到过这个问题吗
zhangz200102
5月27日 评论：
5月27日 评论：
/label add pending
5月27日 添加了label：pending
5月27日 将 xyxin_006 设为负责人
xyxin_006
5月29日 评论：
5月29日 评论：
/label add resolved
5月29日 添加了label：resolved
xyxin_006
6月3日 评论：
6月3日 评论：
回复长时间未回复，暂时关闭
6月3日 issue状态由 TODO 改变为 DONE
6月3日 关闭了 issue
👉 遇到问题先看这里
🌟 第一次使用工具遇到问题？
按🚀 快速入门
❓ 搜索历史issue，查看冷门的同类问题
在🔖 Issue中搜索历史类似问题
操作系统及版本
ubuntu20.04
python版本
3.11
MsModelSlim 工具版本
MsModelSlim 8.2.0
是否必现
是
MsModelSlim 执行命令
msmodelslim quant --model_path ${MODEL_PATH} --save_path ${SAVE_PATH} --device npu --model_type Qwen3.5-35B-A3B --quant_type w8a8 --trust_remote_code True
预期行为
https://gitcode.com/Ascend/msmodelslim/blob/master/example/Qwen3_5/README.md
这上面显示的支持，应该可以正常量化
实际行为
Traceback (most recent call last):
File "/usr/local/python3.11.14/lib/python3.11/site-packages/msmodelslim/model/default/model_adapter.py", line 64, in load_model
return self._load_model(device)
^^^^^^^^^^^^^^^^^^^^^^^^
File "/usr/local/python3.11.14/lib/python3.11/site-packages/msmodelslim/model/common/transformers.py", line 47, in _load_model
self.config.num_hidden_layers = self.config.num_hidden_layers
^^^^^^^^^^^^^^^^^^^^^^^^^^^^^
File "/usr/local/python3.11.14/lib/python3.11/site-packages/transformers/configuration_utils.py", line 164, in getattribute
return super().getattribute(key)
^^^^^^^^^^^^^^^^^^^^^^^^^^^^^
AttributeError: 'Qwen3_5MoeConfig' object has no attribute 'num_hidden_layers'
The above exception was the direct cause of the following exception:
Traceback (most recent call last):
File "/usr/local/python3.11.14/bin/msmodelslim", line 6, in
sys.exit(main())
^^^^^^
File "/usr/local/python3.11.14/lib/python3.11/site-packages/msmodelslim/cli/main.py", line 99, in main
quant_main(args)
File "/usr/local/python3.11.14/lib/python3.11/site-packages/msmodelslim/cli/naive_quantization/main.py", line 50, in main
app.quant(
File "/usr/local/python3.11.14/lib/python3.11/site-packages/msmodelslim/utils/logging.py", line 289, in wrapper
return func(*args, **kwargs)
^^^^^^^^^^^^^^^^^^^^^
File "/usr/local/python3.11.14/lib/python3.11/site-packages/msmodelslim/utils/exception_decorator.py", line 159, in wrapper
return func(*args, **kwargs)
^^^^^^^^^^^^^^^^^^^^^
File "/usr/local/python3.11.14/lib/python3.11/site-packages/msmodelslim/app/naive_quantization/application.py", line 250, in quant
self._quant(
File "/usr/local/python3.11.14/lib/python3.11/site-packages/msmodelslim/utils/logging.py", line 289, in wrapper
return func(*args, **kwargs)
^^^^^^^^^^^^^^^^^^^^^
File "/usr/local/python3.11.14/lib/python3.11/site-packages/msmodelslim/app/naive_quantization/application.py", line 281, in _quant
self.quant_service.quantize(
File "/usr/local/python3.11.14/lib/python3.11/site-packages/msmodelslim/utils/logging.py", line 289, in wrapper
return func(*args, **kwargs)
^^^^^^^^^^^^^^^^^^^^^
File "/usr/local/python3.11.14/lib/python3.11/site-packages/msmodelslim/core/quant_service/proxy.py", line 40, in quantize
self.quant_service.quantize(
File "/usr/local/python3.11.14/lib/python3.11/site-packages/msmodelslim/utils/logging.py", line 289, in wrapper
return func(*args, **kwargs)
^^^^^^^^^^^^^^^^^^^^^
File "/usr/local/python3.11.14/lib/python3.11/site-packages/msmodelslim/core/quant_service/modelslim_v0/quant_service.py", line 69, in quantize
return self.quant_process(ModelslimV0QuantConfig.from_base(quant_config), model_adapter, save_path, device)
^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^
File "/usr/local/python3.11.14/lib/python3.11/site-packages/msmodelslim/utils/logging.py", line 289, in wrapper
return func(*args, **kwargs)
^^^^^^^^^^^^^^^^^^^^^
File "/usr/local/python3.11.14/lib/python3.11/site-packages/msmodelslim/core/quant_service/modelslim_v0/quant_service.py", line 105, in quant_process
model = model_adapter.load_model(device=device)
^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^
File "/usr/local/python3.11.14/lib/python3.11/site-packages/msmodelslim/utils/logging.py", line 289, in wrapper
return func(*args, **kwargs)
^^^^^^^^^^^^^^^^^^^^^
File "/usr/local/python3.11.14/lib/python3.11/site-packages/msmodelslim/model/default/model_adapter.py", line 61, in load_model
with exception_handler('You are using default load_model to load model but failed',
File "/usr/local/python3.11.14/lib/python3.11/site-packages/msmodelslim/utils/exception_decorator.py", line 108, in exit
raise self._ms_err_cls(*args_to_raise, action=self._action) from exc
msmodelslim.utils.exception.InvalidModelError: Code: 201, Message: You are using default load_model to load model but failed
TIP: Please ensure default model adapter match your model
[ERROR] 2026-05-26-18:45:17 (PID:112, Device:0, RankID:-1) ERR99999 UNKNOWN applicaiton exception
sys:1: DeprecationWarning: builtin type swigvarlink has no module attribute
欢迎加入社区，感谢您对社区的贡献 🎉!