已关闭
[Bug-Report|缺陷反馈]: swiglu_group_quant_grad bf16输入模型训练中发现存在精度异常 #4787
shilulu创建于  21 天前关闭于  21 天前
shilulu
21 天前 创建

Thanks for sending an issue! Please fill in the following template to help quickly solve your problem.

Describe the current behavior / 问题描述 (Mandatory / 必填)

swiglu_group_quant_grad bf16输入模型训练中发现存在精度异常,其他可选输入不存在的情况下,使用swiglu_grad精度是正常的,该问题在输入类型是bfp16出现。

Environment / 环境信息 (Mandatory / 必填)

A5

Steps to reproduce the issue / 重现步骤 (Mandatory / 必填)

swiglu_group_quant_grad bf16输入模型训练中发现存在精度异常,其他可选输入不存在的情况下,使用swiglu_grad精度是正常的,该问题在输入类型是bfp16出现。

Describe the expected behavior / 预期结果 (Mandatory / 必填)

符合模型侧训练精度预期

Special notes for this issue/备注 (Optional / 选填)

likedislike
CANN-robotCANN-robot成员
21 天前 关闭了 issue
CANN-robotCANN-robot成员
21 天前 添加了label:resolved