yaml-cfg使用指导

  1. Megatron-LM目录下修改megatron/core/transformer/transformer_config.py文件,删除max_position_embeddings: int = 0。 此参数在Megatron-LM为废弃参数且会导致报错。

  2. 复制 tests_extend文件夹到Megatron-LM根目录下。

    cp -r tests_extend {PATH_TO_MEGATRON_LM}
    
  3. Megatron-LM目录下,执行示例脚本。

    cd {PATH_TO_MEGATRON_LM}
    bash tests_extend/system_tests/yaml_args_example/pretrain_yaml_args.sh
    
  4. example.yaml为示例yaml文件,在实际使用中,可能会出现因示例yaml中未包含特定参数导致脚本报错,需在示例yaml中添加相应参数后,重新执行脚本。