已关闭
[Bug]: 混合精度npu_moe_token_unpermute_grad出现结果为nan #193
fgd_dragon创建于  6月25日关闭于  28 天前
fgd_dragon
6月25日 创建

在提交新问题之前,请确保您已经在社区中搜索过相关问题,并使用了社区中提供的资源/工具后,仍未找到满意的解决方式。

⚠️ 安全信息提醒:请仔细检查提供的文本内容,确保其不包含敏感数据信息,包括但不限于:

  • API 令牌或密钥
  • 密码或身份验证凭证
  • 私有网址或接口地址
  • 个人或机密数据
  • ...

在分享配置信息或代码示例时,请将敏感信息脱敏处理,或使用 <TOKEN> 等占位符替代原有内容。

环境信息

例如:
- 操作系统
- 昇腾硬件信息
- CANN软件版本
- 安装的对应软件版本

🐛 问题描述

问题现象:

  • npu_moe_token_unpermute_grad 中,grad_probs 作为 probs 的梯度,理论上应与 probs 保持相同 dtype;
  • 原实现中,grad_probs 的 dtype 推导错误地依赖了 grad_unpermuted_tokens;
  • 在混合精度场景下,当 probs=float32、grad_unpermuted_tokens=bfloat16 时,会导致 grad_probs dtype 错误;
  • 该问题可能进一步影响反向精度,严重时引发训练异常。

欢迎加入社区,感谢您对社区的贡献 🎉!

likedislike
ascend-robotascend-robot成员
6月25日 添加了label:bug
Ffgd_dragon
6月26日 关联了pull request:Fix moe unpermute grad probs dtype handling
Ffgd_dragon
6月27日 关联了pull request:Update op-plugin submodule
Ffgd_dragon
6月27日 关联了pull request:Update op-plugin submodule
Ffgd_dragon
6月27日 关联了pull request:Update op-plugin submodule
ascend-robotascend-robot成员
7月7日 关联了看板:MindStudio ISSUE管理
TorchNPU-BotTorchNPU-Bot
9月20日 添加了label:bot-triaged
TorchNPU-Bot
TorchNPU-Bot
9月20日 评论:

检测到当前 issue 已关联 PR,自动添加标签:bot-triaged

likedislike
chenrayray
chenrayray成员
28 天前 评论:

该 issue 关联的 PR 均已合入或关闭:Ascend/op-plugin !5271(已关闭);Ascend/op-plugin !5276(已合入);Ascend/pytorch !39433(已合入);Ascend/pytorch !39434(已合入);Ascend/pytorch !39435(已合入);Ascend/pytorch !39436(已合入)。因此本轮 issue 梳理先关闭此单。PR 已关闭不代表相关功能一定已实现;如问题仍存在或还有未完成事项,请重新打开,并补充当前版本、复现步骤及日志,或具体待办和后续 PR。

likedislike
chenrayraychenrayray成员
28 天前 关闭了 issue
chenrayraychenrayray成员
28 天前 issue状态由 TODO 改变为 DONE
ascend-robotascend-robot成员
28 天前 添加了label:resolved