yaml-cfg使用指导
-
在
Megatron-LM目录下修改megatron/core/transformer/transformer_config.py文件,删除max_position_embeddings: int = 0。 此参数在Megatron-LM为废弃参数且会导致报错。 -
复制
tests_extend文件夹到Megatron-LM根目录下。cp -r tests_extend {PATH_TO_MEGATRON_LM} -
在
Megatron-LM目录下,执行示例脚本。cd {PATH_TO_MEGATRON_LM} bash tests_extend/system_tests/yaml_args_example/pretrain_yaml_args.sh -
example.yaml为示例yaml文件,在实际使用中,可能会出现因示例yaml中未包含特定参数导致脚本报错,需在示例yaml中添加相应参数后,重新执行脚本。