已关闭
[Bug] 【自提】GLM-5-FP8权重量化时报错 FileNotFoundError #108
zhangz200102创建于 3月17日关闭于 3月27日
3月17日 添加了label：bug
3月17日 将 zhangz200102 设为负责人
zhangz200102
3月17日 评论：
3月17日 评论：
/label add triaged
3月17日 添加了label：triaged
3月17日 关联了pull request：【bugfix】修复使用GLM-5-FP8权重量化时保存后处理报错
zhangz200102
3月17日 评论：
3月17日 评论：
原因：ascendv1_save_postprocess中读取model.norm.weight时未兼容GLM-5-FP8的原始权重格式
解决方法：模型适配器中ascendv1_save_postprocess避免使用硬编码，读取原始权重的model.safetensors.index.json去获得model.norm.weight的路径索引
pr：https://gitcode.com/Ascend/msmodelslim/pull/226
zhangz200102
3月17日 评论：
3月17日 评论：
验证ascendv1_save_postprocess修改对GLM-5(BF16)权重量化无影响
zhangz200102
3月17日 评论：
3月17日 评论：
期望的rot.safetensors
zhangz200102
3月17日 评论：
3月17日 评论：
4层验证
msmodelslim quant --model_path /data_extend/models/GLM-5-FP8 --save_path xxx/quant_results/GLM-5/test_quant_fp8 --model_type GLM-5 --trust_remote_code True --config_path xxx/msmodelslim/lab_practice/glm_5/glm_5_w8a8.yaml
生成的rot.safetensors
zhangz200102
3月17日 评论：
3月17日 评论：
/label add resolved
3月17日 添加了label：resolved
ascend-robot
3月25日 评论：
3月25日 评论：
当前Issue标记为resolved且有一段时间未进一步更新，因此我们将其标记为'stale'（闲置）状态。若你认为这是误操作，可通过添加任意评论来去除'stale'标签。标记为stale的Issue在4天内无更新活动将自动关闭。
3月25日 添加了label：stale
3月27日 issue状态由 TODO 改变为 DONE
3月27日 关闭了 issue
👉 遇到问题先看这里
🌟 第一次使用工具遇到问题？
按🚀 快速入门
❓ 搜索历史issue，查看冷门的同类问题
在🔖 Issue中搜索历史类似问题
操作系统及版本
Linux version 5.10.0-216.0.0.115.oe2203sp4.aarch64
python版本
3.11
MsModelSlim 工具版本
commit c0bc3935bc8ec1930168fcc8d4a6ec4584e78897
是否必现
是
MsModelSlim 执行命令
msmodelslim quant --model_path xxx/GLM-5-FP8 --save_path xxx --model_type GLM-5 --trust_remote_code True --config_path xxx/msmodelslim/lab_practice/glm_5/glm_5_w8a8.yaml
预期行为
顺利量化无报错，产生含有rot.safetensors的导出件
实际行为
日志含有报错 FileNotFoundError: No such file or directory: /home/weights/GLM-5-FP8/model-00282-of-00282.safetensors
欢迎加入社区，感谢您对社区的贡献 🎉!