已关闭
[Bug]: v1场景的量化权重描述文件中的bias层记录为量化方式,实际应该为FLOAT #59
liuyang2026创建于  2月27日关闭于  3月11日
liuyang2026成员
2月27日 创建

在提交新问题之前,请确保您已经在社区中搜索过相关问题,并使用了社区中提供的资源/工具后,仍未找到满意的解决方式。

⚠️ 安全信息提醒:请仔细检查提供的文本内容,确保其不包含敏感数据信息,包括但不限于:

  • API 令牌或密钥
  • 密码或身份验证凭证
  • 私有网址或接口地址
  • 个人或机密数据
  • ...

在分享配置信息或代码示例时,请将敏感信息脱敏处理,或使用 <TOKEN> 等占位符替代原有内容。

环境信息

昇腾硬件信息:910B2
安装的对应软件版本:B030的whl包

🐛 问题描述

ymal内容:
apiversion: modelslim_v1
metadata:
config_id: qwen2-7b-w8a16-perChannel
score: 90
verified_model_types:
- Qwen2-7B-Instruct
label:
w_bit: 8
a_bit: 16
is_sparse: False
kv_cache: False
spec:
process:
- type: "linear_quant"
qconfig:
weight:
scope: "per_channel"
dtype: "int8"
symmetric: True
method: "gptq"
include: ["*"]
save:
- type: "ascendv1_saver"
part_file_size: 4
dataset: "qwen3_cot_w4a4.json"

执行量化命令:msmodelslim quant --model_path /xxx/Qwen2-7B-Instruct/ --save_path /xxx/mdslim/save_path/Qwen2-7B-w8a16-perChannel-v1/ --device npu --model_type Qwen2-7B --config_path /xxx/mdslim/ymal/qwen2-7B-w8a16-perChannel-v1.yaml

image.png
v1场景的量化权重描述文件中的bias层记录为量化方式,实际应该为FLOAT

欢迎加入社区,感谢您对社区的贡献 🎉!

likedislike
Lliuyang2026成员
2月27日 关联了里程碑:MindStudio 26.0.0
Lliuyang2026成员
2月27日 添加了label:bug, medium-priority
SuperMeixc成员
2月28日 评论:

/label add triaged

likedislike
ascend-robotascend-robot成员
2月28日 添加了label:triaged
SuperMeixc成员
3月3日 评论:

问题已修复,见Issue关联PR

likedislike
SuperMeixc成员
3月3日 评论:

/label add resolved

likedislike
ascend-robotascend-robot成员
3月3日 添加了label:resolved
SuperMeixc成员
3月3日 评论:

/label remove triaged

likedislike
ascend-robotascend-robot成员
3月3日 删除了label:triaged
ascend-robot
ascend-robot成员
3月7日 评论:

当前Issue标记为resolved且有一段时间未进一步更新,因此我们将其标记为'stale'(闲置)状态。若你认为这是误操作,可通过添加任意评论来去除'stale'标签。标记为stale的Issue在4天内无更新活动将自动关闭。

likedislike
ascend-robotascend-robot成员
3月7日 添加了label:stale
ascend-robotascend-robot成员
3月11日 关闭了 issue
zeshengzongzeshengzong成员
3月11日 关联了里程碑:MindStudio 26.0.0
liuyang2026成员
3月16日 评论:

该问题已经修复,和v0的权重描述文件一致,bias层记录为FLOAT
image.png

likedislike
Lliuyang2026成员
3月27日 issue状态由 TODO 改变为 DONE