已合并
docs：add LayerZeRO feature introduction add layerzero feature introduction #1969
CLH126创建于 2025年2月27日
docs：add LayerZeRO feature introduction add layerzero feature introduction #1969
已合并
从refs/pull/1969/head合入到core_r0.8.0
C
CLH126
2025年2月27日
2025年2月27日
- Add layerzero feature introduction
Pull Request已成功合入, 合并人@
（感谢 CLH126 的贡献）2025年2月27日 添加了
ascend-cla/no
标签
2025年2月27日 移除了
ascend-cla/no
标签
2025年2月27日 添加了
ascend-cla/yes
标签
docs/features/LayerZeRO.md
@@ -0,0 +58,4 @@
58+注意事项：
59+1. 支持TP，CP，PP(1F1B）并行，梯度累积，梯度Offload；
60+2. 模型的包装从MegatronModule替换为分层ZeRO，模型的开发中依赖MegatronModule的部分可能会失效；
61+3. 对于OpenSoraPlan1.3，需要额外设置ignored_modules，忽视一些模块(nn.Module类型)，避免vae部分和text_encoder部分的参数重建，该配置选项是从model提取对应的模块，只需要给出属性名即可；
请整改为 这几点 背景与挑战、解决方案、使用场景、使用方法、使用效果
参考https://www.hiascend.com/document/detail/zh/Pytorch/600/modthirdparty/asdevguide/mindspeed_0023.html
此处折叠了52条消息 查看更多
atlasaccount1
2025年3月24日 评论：
2025年3月24日 评论：
get-log
atlasaccount1
2025年3月24日 评论：
2025年3月24日 评论：
checklist流水线任务已触发，正在执行，请稍候。任务链接[74d250f2aaaa434f8f25effc16bc0021]
2025年3月24日 移除了
ci-pipeline-running
标签