Star
139
Fork
196
Code
Introduction
Code
Issues
364
Pull Requests
257
Pipeline
Actions
Discussion
Wiki
Members
602
Analysis
Settings
Star
139
Fork
196
Open
[feature][pipeline_parallel] PP + FSDP
#148
MengXY107
Add on
May 15
MengXY107
Collaborators
May 15
Create
May 15
Create
该问题是怎么引起的？
PP调度中支持FSDPModule，当PP+FSDP场景时， FSDPModule进行zero1路径，避免多个micro_batch引发频发的FSDP 通信
重现步骤
报错信息
Save
Cancel
该问题是怎么引起的？
PP调度中支持FSDPModule，当PP+FSDP场景时， FSDPModule进行zero1路径，避免多个micro_batch引发频发的FSDP 通信
重现步骤
报错信息