已开启
[Feature]: 提供transformers模型基础量化方案 #512
zhangz200102创建于 3 天前
3 天前 添加了label：feature
anreywmh
3 天前 评论：
3 天前 评论：
👋 您好,欢迎向 MindStudio msModelSlim 提交 Issue！
我们已收到您的反馈，感谢你对开源社区的支持。🎉
📅处理时效： 维护团队将在24小时内 查看并回复您的问题（工作日）。
🔍自助查询： 在等待期间，建议您先查阅以下资料，可能已有解决方案：
📖 MindStudio msModelSlim 官方文档
📝 贡献者指南
请确保 Issue 描述清晰，包含复现步骤和日志，这将帮助我们更快定位问题。谢谢！
3 天前 关联了pull request：【WIP】【feature】model_type支持transformers
Problem/Pain Point Description | 问题/痛点描述
当前提供了默认模型适配器，但未对外暴露，必须得用户输入不存在模型名才触发，违反用户直觉。需提供基于transformers的模型基础量化方案。
Proposed Solution | 建议方案
1、model_type支持transformers，仅支持加载transformers模型，不支持算法接口（与default区别，default有算法默认适配）
2、资料声明model_type支持transformers，仅支持LLM
3、transformers最佳实践配置增加A3 W8A16，A5 W8A8（MXFP8）量化配置，无抑制，全量化
Alternative Solutions | 替代方案
Expected Value | 预期价值
对于基于transformers的LLM模型可基于基础量化方案开箱量化，提升工具易用性
Contribution Intent | 贡献意向
Welcome to join the community and thank you for your contribution 🎉!
欢迎加入社区，感谢您对社区的贡献 🎉!