已关闭
[Bug]: Qwen3-235B-A22B-Instruct-2507模型w8a8量化后频繁出现“游戏副本”字样 #3
Jianwei Mao创建于  1月15日关闭于  1月27日
Jianwei Mao
Jianwei Mao
1月15日 创建

环境信息

两台A2服务器,双机推理

🐛 问题描述

Qwen3-235B-A22B-Instruct-2507模型w8a8量化后频繁出现“游戏副本”字样

遇到相同问题,目前解决了吗?应该使用什么命令行参数进行量化?

likedislike
Jianwei MaoJianwei Mao
1月15日 修改了issue 的描述
anreywmh成员
1月20日 评论:
anreywmh成员
1月20日 评论:

python3 quant_qwen_moe_w8a8.py --model_path {浮点权重路径}
--save_path {W8A8量化权重路径}
--anti_dataset ../common/qwen3-moe_anti_prompt_50.json
--calib_dataset ../common/qwen3-moe_calib_prompt_50.json
--trust_remote_code True
--rot

likedislike
Aanreywmh成员
1月20日 将 anreywmh 设为负责人
Aanreywmh成员
1月20日 添加了label:triaged
Aanreywmh成员
1月20日 关联了看板:msit
Aanreywmh成员
1月22日 添加了label:resolved
Aanreywmh成员
1月27日 issue状态由 TODO 改变为 DONE
Aanreywmh成员
1月27日 关闭了 issue
CClemzzzz
7月29日 关联了pull request:[Doc] Add Qwen3-30B-A3B (MoE) W8A8 end-to-end quantization case study
CClemzzzz
18 天前 关联了pull request:[Doc] Add Qwen3-30B-A3B (MoE) W8A8 end-to-end quantization case study