已关闭
[Bug]【新需求测试】对Qwen3-32B W8A8C8量化权重进行伪量化推理，对话出现重复回答 #564
mominhua创建于 9月15日关闭于 29 天前
anreywmh
9月15日 评论：
9月15日 评论：
👋 您好,欢迎向 MindStudio msModelSlim 提交 Issue！
我们已收到您的反馈，感谢你对开源社区的支持。🎉
📅处理时效： 维护团队将在24小时内 查看并回复您的问题（工作日）。
🔍自助查询： 在等待期间，建议您先查阅以下资料，可能已有解决方案：
📖 MindStudio msModelSlim 官方文档
📝 贡献者指南
请确保 Issue 描述清晰，包含复现步骤和日志，这将帮助我们更快定位问题。谢谢！
9月15日 添加了label：bug
9月15日 关联了pull request：【bugfix】修复IR W8A8DynamicPerChannelFakeQuantLinear前向错误
9月15日 关联了pull request：【bugfix】修复IR W8A8DynamicPerChannelFakeQuantLinear前向错误
9月16日 关联了pull request：【bugfix】修复IR W8A8DynamicPerChannelFakeQuantLinear前向错误
9月16日 删除了关联的pull request：【bugfix】修复IR W8A8DynamicPerChannelFakeQuantLinear前向错误
9月16日 关联了pull request：【bugfix】修复IR W8A8DynamicPerChannelFakeQuantLinear前向错误
zhangz200102
9月16日 评论：
9月16日 评论：
该异常由IR forward错误引起，关联pr已修复
zhangz200102
9月16日 评论：
9月16日 评论：
/label add resolved
9月16日 添加了label：resolved
👉 遇到问题先看这里
🌟 第一次使用工具遇到问题？
按🚀 快速入门
❓ 搜索历史issue，查看冷门的同类问题
在🔖 Issue中搜索历史类似问题
操作系统及版本
openEuler 22.03 (LTS-SP4)
python版本
3.11
MsModelSlim 工具版本
29aa555c770f944099ddc9fa0c4f40c0dc12b2c3
是否必现
是
MsModelSlim 执行命令
msmodelslim eval --device npu --max_new_tokens 30 --model_path /home/autotest/AutoTestProperty/modelslim/llm_ptq/model/Qwen3-32B-W8A8C8 --model_type Qwen3-32B --prompt_file /home/autotest/AutoTestProperty/modelslim/llm_ptq/lab_calib/qwen3-32b_eval_prompt_file.json
预期行为
1、伪量化对话正常，无对话重复或对话乱码现象
实际行为
1、对话出现重复回答
欢迎加入社区，感谢您对社区的贡献 🎉!