感谢您使用MindSpeed-MM，这个问题解释如下：
原始huggingface权重数据类型为bf16，所以权重大小为17G，在经过训练之后，保存的权重数据类型为高精的fp32，其大小刚好为原始权重的两倍
后续MM仓会加上相关说明，并添加保存为bf16数据类型的可选项
感谢您使用MindSpeed-MM，这个问题解释如下：
原始huggingface权重数据类型为bf16，所以权重大小为17G，在经过训练之后，保存的权重数据类型为高精的fp32，其大小刚好为原始权重的两倍
后续MM仓会加上相关说明，并添加保存为bf16数据类型的可选项
我在2.3.0 分支也增加了参数适配https://gitcode.com/Ascend/MindSpeed-MM/pull/2182
感谢您使用MindSpeed-MM，这个问题解释如下：
原始huggingface权重数据类型为bf16，所以权重大小为17G，在经过训练之后，保存的权重数据类型为高精的fp32，其大小刚好为原始权重的两倍
后续MM仓会加上相关说明，并添加保存为bf16数据类型的可选项我在2.3.0 分支也增加了参数适配https://gitcode.com/Ascend/MindSpeed-MM/pull/2182
感谢为MindSpeed-MM提供相应的修改PR,在下一次评审会考虑合入该PR，不合入也会提供相应的替代方案
已经在主线合入
2.3 版本麻烦也合下，代码稍微不同，代码也已review。
ttps://gitcode.com/Ascend/MindSpeed-MM/merge_requests/2182
感谢使用MindSpeed_MM，目前MindSpeed已经发布最新版本26.0.0以及最新分支master，都已经适配保存bf16类型权重的功能，请优先使用这两个版本的MindSpeed_MM仓
https://gitcode.com/Ascend/MindSpeed-MM/pull/2182 这个pr如检视意见一般，如果是非moe模型，if num_experts逻辑无法进入，则有错误风险，可选择使用最新分支以及26.0.0分支
在提交新问题之前，请确保您已经在社区中搜索过相关问题，并使用了社区中提供的资源/工具后，仍未找到满意的解决方式。
⚠️ 安全信息提醒：请仔细检查提供的文本内容，确保其不包含敏感数据信息，包括但不限于：
在分享配置信息或代码示例时，请将敏感信息脱敏处理，或使用
<TOKEN>等占位符替代原有内容。环境信息
mindspeed-mm:main和2.3.0
🐛 问题描述
【问题描述】
原生的hf权重：
默认mindspeed-main 微调出dcp重新转化成hf权重：
【问题分析】
发现默认微调后的模型从float16变成float32导致：
原有模型dtype:
默认微调后的dtype:
【问题跟踪】且修改fsdp2_config.yaml中的参数无效
欢迎加入社区，感谢您对社区的贡献 🎉!