已合并
【feature】model_type支持transformers #891
【feature】model_type支持transformers #891
已合并
zhangz200102创建于 9 天前
zhangz200102成员
9 天前

PR 提交说明

提交前请阅读 贡献指南,开发者文档:模型接入指南

PR 标题前缀:[Feature]、[Bugfix]、[Doc]、[Test](与 CONTRIBUTING 一致)

1. 影响面评估

接口变更(按需):

备注:若无变更请保留「无」;涉及 CLI、API、YAML 等请在此项补充说明。

输出件变更(按需):

备注:若无变更请保留「无」;涉及导出格式、产物路径等请在此项补充说明。

非兼容变更(按需):

备注:若无变更请保留「无」;若有非兼容变更请说明迁移方式。

SIG 评审结论(按需):

提醒:非兼容、安全风险等高危 PR 须经 SIG 评审后合入;无则保留「无」。

2. 修改描述

修改背景(可选):(问题现象、使用场景等)
详见关联issue:https://gitcode.com/Ascend/msmodelslim/issues/512
修改目的:(本 PR 要达成什么目标)
提供transformers模型的基础量化方案
1、model_type支持transformers,仅支持加载transformers模型,不支持算法接口(与default区别,default有算法默认适配)
2、资料声明model_type支持transformers,仅支持LLM
3、transformers最佳实践配置增加A3 W8A16,A5 W8A8(MXFP8)量化配置,无抑制,全量化
修改内容:(按「概念 - 变化」分条,示例:core/算法:新增 SmoothQuant 离群值抑制)

model:模型库增加LLM transformers模型的基础适配器
lab_practice:最佳实践库增加transformers模型 A3 W8A16,A5 W8A8(MXFP8)量化配置

概念域参考(填写提示):

  • cli:命令行 quant / analyze / tune
  • app:最佳实践量化、量化分析、精度反馈自动调优等
  • core:算法、量化服务、调度、张量量化、调优策略、最佳实践、上下文等
  • infra:模型适配、调优计划/历史/缓存、测评服务等
  • utils:日志、错误处理、插件等

3. 功能验证

冒烟由 CI 门禁检查,无需填写「冒烟是否通过」。

复现步骤(可选):

# 在此粘贴可复现命令

4. 自检(请逐项确认,不适用标 N/A)

典型安全编码问题

DT

likedislike
Pull Request已成功合入, 合并人@ascend-robot
(感谢 zhangz200102 的贡献)
ascend-robotascend-robot成员
9 天前 添加了label:stat/needs-squash
xzm123成员
9 天前 评论:

🤖 AIDD 文档质量检测报告

PR #891 的文档检测已全部完成。

📊 任务统计:共 3 个任务(✅ 3 完成 / ❌ 0 失败 / ⊘ 0 取消)
🐛 问题统计:共 0 个问题(致命 0 / 严重 0 / 一般 0 / 提示 0)

🔗 查看完整报告点击进入平台报告
🔗 查看 PR 检测问题点击查看问题列表

评论由 AIDD 自动生成,多次推送会增量更新本评论。

likedislike
ascend-robotascend-robot成员
9 天前 添加了label:ascend-cla/yes
ascend-robot
ascend-robot成员
9 天前 评论:

Thanks for your pull-request.
The full list of commands accepted by me can be found at here.
You can get sig-info at here.
You can self-configure the PR merge rules for this repository. For more details, please refer to Here.


PR Approval Progress

Congratulations! All modules have met the lgtm and approve requirements.

Module Approval Details

module lgtm status approve status
repo-Ascend/msmodelslim LeeQT, rookie_hongchuan (2/2) LeeQT (1/1)

💡 Tip:

  • Committer can comment /approve or /lgtm
  • Commenting /approve implies both code review (lgtm) and intent to merge (approve)

CLA Signature Pass

zhangz200102, thanks for your pull request. All authors of the commits have signed the CLA. 👍

likedislike
此处折叠了136条消息 查看更多
LLeeQT成员
6 天前 关联了里程碑:MindStudio 26.2.0
LeeQT成员
6 天前 评论:

/lgtm
/approve

likedislike
ascend-robotascend-robot成员
6 天前 添加了label:approvedlgtm
ascend-robotascend-robot成员
6 天前 合入了pull request
ascend-robot
ascend-robot成员
6 天前 评论:

Pull Request 已合并或已关闭。

If you want to solve this problem, you can click here to do it in the FAQs.

likedislike