litgpt:基于 PyTorch 的大语言模型训练部署项目

20+ high-performance LLMs with recipes to pretrain, finetune and deploy at scale.

分支11Tags30

项目介绍

在您的数据上预训练、微调并部署20余个大型语言模型。采用前沿技术:闪光注意力机制、全场景分布式训练、4位量化、LoRA等。【此简介由AI生成】

定制我的领域
11713.48 K1.47 K访问 GitHub