已开启
[feature][pipeline_parallel] PP + FSDP #148
MengXY107创建于  5月15日
MengXY107
MengXY107成员
5月15日 创建

该问题是怎么引起的?

PP调度中支持FSDPModule,当PP+FSDP场景时, FSDPModule进行zero1路径,避免多个micro_batch引发频发的FSDP 通信

重现步骤

报错信息

likedislike