已关闭
[Feature]: 支持量化类算子预检 #296
捡到宝。创建于  5月11日关闭于  6月22日
捡到宝。
捡到宝。成员
5月11日 创建

提交提案之前,请先检索仓库内是否已有相同的提案,如已有请在同一提案中进行讨论。

💻 需求背景、当前现状、期望实现的功能内容、具体的设计方案、以及测试方案

任务来源

本任务来源于#291 MindStudio Probe开源共建任务池

任务背景

预检工具通过扫描昇腾 NPU 上用户训练模型中的PyTorch API,和标杆进行输出对比,给出API分析结果。目前需要扩展对量化类算子的支持。

现状

目前不支持量化算子的预检,INT4 INT8 / FP4 FP8 类型输入输出存在标准,但还未实现。

修改目标

支持量化算子预检,量化类算子存在两种输出模式:量化结果输出(整型输出)或反量化结果输出(浮点输出)
比对方法分别作为单标杆比对(整型)和双标杆比对(浮点输出)
具体标准如下:

  • 整型输入(INT4 INT8等)
    • 整型输出(INT4/INT8/INT16等)绝对误差≤1
    • 浮点输出(FP4/FP8/FP16等)参考浮点精度标准
  • 浮点输入(FP4/FP8/FP16等)
    • 整型输出(INT4/INT8/INT16等)N/A
    • 浮点输出(FP4/FP8/FP16等)参考浮点精度标准

交付标准

PR完成合入,满足修改目标,提供测试验证截图并由对接人确认。

级别

L2级:中等代码任务

对接人

@mnhdxnh

替代方案

补充说明

欢迎加入社区,感谢您对社区的贡献 🎉!

likedislike
捡到宝。捡到宝。成员
5月11日 添加了label:feature
捡到宝。
捡到宝。成员
5月11日 评论:

👋 您好,欢迎向 MindStudio Probe 提交 Issue!
我们已收到您的反馈,感谢你对开源社区的支持。🎉

📅处理时效: 维护团队将在24小时内 查看并回复您的问题(工作日)。
🔍自助查询: 在等待期间,建议您先查阅以下资料,可能已有解决方案:

📖 MindStudio Probe官方文档
📝 贡献者指南

请确保 Issue 描述清晰,包含复现步骤和日志,这将帮助我们更快定位问题。谢谢!

likedislike
捡到宝。捡到宝。成员
5月11日 添加了label:triage-review
yinglinwei成员
5月12日 评论:

/label add triaged

likedislike
ascend-robotascend-robot成员
5月12日 添加了label:triaged
捡到宝。捡到宝。成员
5月12日 添加了label:help-wanted
shuhuipeng
shuhuipeng
5月13日 评论:

标准有误吧
浮点输入(FP4/FP8/FP16等)整型输出(INT4/INT8/INT16等)才是绝对误差≤1

具体PR可以看:https://gitcode.com/Ascend/msprobe/pull/628

likedislike
捡到宝。捡到宝。成员
6月18日 关联了pull request:【Feature】【资料】适配【量化算子】类型精度比较
捡到宝。捡到宝。成员
6月18日 添加了label:resolved
ascend-robot
ascend-robot成员
6月18日 评论:

您好,当前Issue标记为resolved且有一段时间未进一步更新,因此我们将其标记为'stale'(闲置)状态。若您认为这是误操作,可通过添加任意评论来去除'stale'标签。标记为stale的Issue在4天内无更新活动将自动关闭。

likedislike
ascend-robotascend-robot成员
6月18日 添加了label:stale
ascend-robotascend-robot成员
6月22日 关闭了 issue