Thanks for sending an issue! Please fill in the following template to help quickly solve your problem.
swiglu_group_quant_grad bf16输入模型训练中发现存在精度异常,其他可选输入不存在的情况下,使用swiglu_grad精度是正常的,该问题在输入类型是bfp16出现。
A5
符合模型侧训练精度预期
无
Thanks for sending an issue! Please fill in the following template to help quickly solve your problem.
Describe the current behavior / 问题描述 (Mandatory / 必填)
swiglu_group_quant_grad bf16输入模型训练中发现存在精度异常,其他可选输入不存在的情况下,使用swiglu_grad精度是正常的,该问题在输入类型是bfp16出现。
Environment / 环境信息 (Mandatory / 必填)
A5
Steps to reproduce the issue / 重现步骤 (Mandatory / 必填)
swiglu_group_quant_grad bf16输入模型训练中发现存在精度异常,其他可选输入不存在的情况下,使用swiglu_grad精度是正常的,该问题在输入类型是bfp16出现。
Describe the expected behavior / 预期结果 (Mandatory / 必填)
符合模型侧训练精度预期
Related log / screenshot / 日志 / 截图 (Mandatory / 必填)
无
Special notes for this issue/备注 (Optional / 选填)