已关闭
[Bug]: 混合精度npu_moe_token_unpermute_grad出现结果为nan #193
fgd_dragon创建于 6月25日关闭于 28 天前
6月25日 添加了label:bug
6月26日 关联了pull request:Fix moe unpermute grad probs dtype handling
6月27日 关联了pull request:Update op-plugin submodule
6月27日 关联了pull request:Update op-plugin submodule
6月27日 关联了pull request:Update op-plugin submodule
7月7日 关联了看板:MindStudio ISSUE管理
9月20日 添加了label:bot-triaged
TorchNPU-Bot
9月20日 评论:
9月20日 评论:
检测到当前 issue 已关联 PR,自动添加标签:bot-triaged


chenrayray
28 天前 评论:
28 天前 评论:
该 issue 关联的 PR 均已合入或关闭:Ascend/op-plugin !5271(已关闭);Ascend/op-plugin !5276(已合入);Ascend/pytorch !39433(已合入);Ascend/pytorch !39434(已合入);Ascend/pytorch !39435(已合入);Ascend/pytorch !39436(已合入)。因此本轮 issue 梳理先关闭此单。PR 已关闭不代表相关功能一定已实现;如问题仍存在或还有未完成事项,请重新打开,并补充当前版本、复现步骤及日志,或具体待办和后续 PR。


28 天前 关闭了 issue
28 天前 issue状态由 TODO 改变为 DONE
28 天前 添加了label:resolved
在提交新问题之前,请确保您已经在社区中搜索过相关问题,并使用了社区中提供的资源/工具后,仍未找到满意的解决方式。
⚠️ 安全信息提醒:请仔细检查提供的文本内容,确保其不包含敏感数据信息,包括但不限于:
在分享配置信息或代码示例时,请将敏感信息脱敏处理,或使用
<TOKEN>等占位符替代原有内容。环境信息
🐛 问题描述
问题现象:
npu_moe_token_unpermute_grad中,grad_probs作为probs的梯度,理论上应与probs保持相同 dtype;grad_probs的 dtype 推导错误地依赖了grad_unpermuted_tokens;probs=float32、grad_unpermuted_tokens=bfloat16时,会导致grad_probsdtype 错误;欢迎加入社区,感谢您对社区的贡献 🎉!