已关闭
[Bug]: DSA精度与megatron未对齐 #2230
wei_zhuoyi创建于 3月26日关闭于 3月26日
3月26日 添加了label：bug
3月26日 添加了label：bug
3月26日 问题后端类型 由 [] 改变为 [Ascend]
3月26日 关联组件 由 [] 改变为 [B-SIG-MindFormers-Train]
3月26日 关联分支 由 [] 改变为 [master]
3月26日 将 wei_zhuoyi 设为负责人
3月26日 issue状态由 TODO 改变为 ACCEPTED
3月26日 issue状态由 ACCEPTED 改变为 WIP
3月26日 issue状态由 WIP 改变为 DONE
3月26日 关闭了 issue
wei_zhuoyi
3月26日 评论：
3月26日 评论：
当前DSA实现流程与Megatron不完全一致，只能确保前向精度一致，但不能保证反向精度一致，需要等待后续cann的loss融合算子接入后再重新进行比对验证
Checklist
[x] 1. 我已经搜索过相关问题，但没有得到预期的帮助.
[x] 2. 最新版本中该错误尚未修复.
[x] 3. 请注意，如果您提交的Bug描述缺少相应的环境信息和最小可复现的demo，我们将很难复现和解决该问题，从而降低收到反馈的可能性，甚至该问题将被关闭.
🐞 问题详细描述
5b模型，使用相同权重、数据集，首loss对齐，首norm未对齐
详细的环境信息描述
NPU
ms: master
cann: https://cmc-szv.clouddragon.huawei.com/cmcversion/index/releaseView?deltaId=14081611235919104&isSelect=Software
mf: r1.9.0-beta1
GPU：
megatron: 5455f0a010eadc81d2de48b0b94dccafd7c08a2f
torch: 2.7.0
cuda: 12.9
其他辅助信息
版本信息
NA
Thanks for contributing 🎉!