已关闭
[Feature]: 理解模型支持mxfp8训练 #716
yaoyaoxu创建于 4 天前关闭于 3 天前
4 天前 添加了label：feature
yaoyaoxu4 天前 关联了pull request：feat(fsdp_turbo): support qwen3.5 27b mxfp8, and optimize qwen3vl-30B mxfp8 performance
4 天前 关联了pull request：feat(fsdp_turbo): support qwen3.5 27b mxfp8, and optimize qwen3vl-30B mxfp8 performance
yaoyaoxu
4 天前 评论：
4 天前 评论：
已提pr，等代码合入后关闭issue
3 天前 issue状态由 TODO 改变为 DONE
3 天前 关闭了 issue
3 天前 添加了label：resolved
提交提案之前，请先检索仓库内是否已有相同的提案，如已有请在同一提案中进行讨论。
💻 需求背景、当前现状、期望实现的功能内容、具体的设计方案、以及测试方案
理解模型（如qwen3-vl-30B、qwen3.5-27B）支持mxfp8训练
精度误差和bf16相比 不超过0.5%
性能是bf16的1.1倍以上
替代方案
补充说明
欢迎加入社区，感谢您对社区的贡献 🎉!