已关闭
[Bug] Qwen3.5-397B模型量化后内存溢出 #447
wsh创建于 8月7日关闭于 3 天前
anreywmh
8月7日 评论：
8月7日 评论：
👋 您好,欢迎向 MindStudio msModelSlim 提交 Issue！
我们已收到您的反馈，感谢你对开源社区的支持。🎉
📅处理时效： 维护团队将在24小时内 查看并回复您的问题（工作日）。
🔍自助查询： 在等待期间，建议您先查阅以下资料，可能已有解决方案：
📖 MindStudio msModelSlim 官方文档
📝 贡献者指南
请确保 Issue 描述清晰，包含复现步骤和日志，这将帮助我们更快定位问题。谢谢！
8月7日 添加了label：bug
8月7日 关联了pull request：[Bugfix] 修复Qwen3.5模型量化时内存溢出问题
8月7日 删除了关联的pull request：[Bugfix] 修复Qwen3.5模型量化时内存溢出问题
8月7日 关联了pull request：[Bugfix] 修复Qwen3.5模型量化时内存溢出问题
8月10日 关联了里程碑：MindStudio 26.2.0
8月10日 添加了label：pending
wanlongze123
8月10日 评论：
8月10日 评论：
bug 已经由提出人修复，可以关闭issue
8月10日 将 qq_46439621 设为负责人
7 天前 添加了label：resolved
ascend-robot
7 天前 评论：
7 天前 评论：
您好，当前Issue标记为resolved且有一段时间未进一步更新，因此我们将其标记为'stale'（闲置）状态。若您认为这是误操作，可通过添加任意评论来去除'stale'标签。标记为stale的Issue在4天内无更新活动将自动关闭。
7 天前 添加了label：stale
3 天前 关闭了 issue
3 天前 issue状态由 TODO 改变为 DONE
👉 遇到问题先看这里
🌟 第一次使用工具遇到问题？
按🚀 快速入门
❓ 搜索历史issue，查看冷门的同类问题
在🔖 Issue中搜索历史类似问题
操作系统及版本
openEuler 24.03 (LTS-SP4)
python版本
3.11
MsModelSlim 工具版本
commit 7cb90b0d3145c50ba1a73afde3a440e6113a4760
是否必现
是
MsModelSlim 执行命令
msmodelslim quant --model_path /mnt/weight/Qwen3.5-397B-A17B \ --save_path /mnt/share/weight/Qwen3.5-397B-A17B-w8a8-0807-full \ --device npu --model_type Qwen3.5-397B-A17B --trust_remote_code True \ --config_path qwen35.yaml
预期行为
完成Qwen3.5-397-A17B w8a8_mxfp量化，生成对应权重
实际行为
服务器卡死，内存溢出
欢迎加入社区，感谢您对社区的贡献 🎉!