两台A2服务器,双机推理
Qwen3-235B-A22B-Instruct-2507模型w8a8量化后频繁出现“游戏副本”字样
遇到相同问题,目前解决了吗?应该使用什么命令行参数进行量化?
您好 可参考https://gitcode.com/Ascend/msmodelslim/blob/master/example/Qwen3-MOE/README.md文档量化
python3 quant_qwen_moe_w8a8.py --model_path {浮点权重路径} --save_path {W8A8量化权重路径} --anti_dataset ../common/qwen3-moe_anti_prompt_50.json --calib_dataset ../common/qwen3-moe_calib_prompt_50.json --trust_remote_code True --rot
环境信息
两台A2服务器,双机推理
🐛 问题描述
Qwen3-235B-A22B-Instruct-2507模型w8a8量化后频繁出现“游戏副本”字样
遇到相同问题,目前解决了吗?应该使用什么命令行参数进行量化?