已开启
[fully_shard]处理chunk_loss时，报错unsharded_param.grad is none #65
MengXY107创建于 3月31日
3月31日 将 Meng107 设为负责人
MengXY1073月31日 修改标题为 “[fully_shard]处理chunk_loss时，报错unsharded_param.grad is none”，原标题为“fully_shard处理chunk_loss时，报错unsharded_param.grad is none”
3月31日 修改标题为 “[fully_shard]处理chunk_loss时，报错unsharded_param.grad is none”，原标题为“fully_shard处理chunk_loss时，报错unsharded_param.grad is none”
该问题是怎么引起的？
fully_shard处理chunk_loss时，报错unsharded_param.grad is none，原因在于在某些求导场景中，dw会延迟到最后一个dx获取后才准备好
重现步骤
报错信息