已合并
【feature】model_type支持transformers #891
zhangz200102创建于 9 天前
【feature】model_type支持transformers #891
已合并
Pull Request已成功合入, 合并人@ascend-robot
(感谢 zhangz200102 的贡献)AtlasAccount
9 天前 评论:
9 天前 评论:
9 天前 添加了label:stat/needs-squash
9 天前 添加了label:ascend-cla/yes
ascend-robot
9 天前 评论:
9 天前 评论:
Thanks for your pull-request.
The full list of commands accepted by me can be found at here.
You can get sig-info at here.
You can self-configure the PR merge rules for this repository. For more details, please refer to Here.
PR Approval Progress
✅ Congratulations! All modules have met the lgtm and approve requirements.
Module Approval Details
| module | lgtm status | approve status |
|---|---|---|
| repo-Ascend/msmodelslim | ✅ LeeQT, rookie_hongchuan (2/2) | ✅ LeeQT (1/1) |
💡 Tip:
- Committer can comment
/approveor/lgtm- Commenting
/approveimplies both code review (lgtm) and intent to merge (approve)
CLA Signature Pass
zhangz200102, thanks for your pull request. All authors of the commits have signed the CLA. 👍


此处折叠了136条消息 查看更多
6 天前 添加了label:approvedlgtm
6 天前 合入了pull request
ascend-robot
6 天前 评论:
6 天前 评论:
Pull Request 已合并或已关闭。
If you want to solve this problem, you can click here to do it in the FAQs.


PR 提交说明
提交前请阅读 贡献指南,开发者文档:模型接入指南
PR 标题前缀:[Feature]、[Bugfix]、[Doc]、[Test](与 CONTRIBUTING 一致)
1. 影响面评估
接口变更(按需): 无
输出件变更(按需): 无
非兼容变更(按需): 无
SIG 评审结论(按需): 无
2. 修改描述
修改背景(可选):(问题现象、使用场景等)
详见关联issue:https://gitcode.com/Ascend/msmodelslim/issues/512
修改目的:(本 PR 要达成什么目标)
提供transformers模型的基础量化方案
1、model_type支持transformers,仅支持加载transformers模型,不支持算法接口(与default区别,default有算法默认适配)
2、资料声明model_type支持transformers,仅支持LLM
3、transformers最佳实践配置增加A3 W8A16,A5 W8A8(MXFP8)量化配置,无抑制,全量化
修改内容:(按「概念 - 变化」分条,示例:core/算法:新增 SmoothQuant 离群值抑制)
model:模型库增加LLM transformers模型的基础适配器
lab_practice:最佳实践库增加transformers模型 A3 W8A16,A5 W8A8(MXFP8)量化配置
概念域参考(填写提示):
3. 功能验证
冒烟由 CI 门禁检查,无需填写「冒烟是否通过」。
复现步骤(可选):
# 在此粘贴可复现命令4. 自检(请逐项确认,不适用标 N/A)
典型安全编码问题
DT