已开启
Interleavead1F1B 支持F&B fusion阶段的dx dw分离。 #170
MengXY107创建于 5月28日
stillontheroad6月16日 关联了pull request：feat(torch): add recompute session for dx/dw split and prefetch support
6月16日 关联了pull request：feat(torch): add recompute session for dx/dw split and prefetch support
该问题是怎么引起的？
当前对于FB融合阶段，可以进一步将Dx Dw分离，让Dw 计算完grad_input之后立马send出去。增大掩盖空间
重现步骤
报错信息