The open source research environment for AI researchers to seamlessly train, evaluate, and scale models from local hardware to GPU clusters.
| Files | Last commit | Last update |
|---|---|---|
| 1 month ago | ||
| 3 months ago | ||
| 3 months ago | ||
| 1 month ago | ||
| 4 months ago | ||
| 1 month ago | ||
| 1 year ago | ||
| 1 month ago | ||
| 1 month ago | ||
| 1 month ago | ||
| 4 months ago | ||
| 1 month ago | ||
| 3 months ago | ||
| 6 months ago | ||
| 2 years ago | ||
| 4 months ago | ||
| 4 months ago | ||
| 3 months ago | ||
| 2 months ago | ||
| 1 year ago | ||
| 1 month ago | ||
| 6 months ago | ||
| 1 year ago | ||
| 2 years ago | ||
| 3 months ago | ||
| 5 months ago | ||
| 5 months ago | ||
| 1 month ago | ||
| 1 month ago | ||
| 3 months ago | ||
| 9 months ago | ||
| 5 months ago | ||
| 5 months ago |
Translated by AI, submit an issue feedback
✨ Transformer Lab 是什么?
Transformer Lab 是一个开源机器学习平台,它将分散的 AI 工具生态整合到单一、优雅的界面中。它提供两个版本:
🛠️ 核心功能
🧠 基础模型与大语言模型(LLMs)
- 全面支持:下载并运行 Llama 3、DeepSeek、Mistral、Qwen、Phi 等模型。
- 推理引擎:支持 MLX、vLLM、Ollama 和 HuggingFace Transformers。
- 格式转换:无缝在 HuggingFace、GGUF 和 MLX 格式之间进行转换。
- 对话界面:支持多轮对话、批量查询和函数调用。
🎓 训练与微调
- 统一界面:使用相同的界面在本地硬件上训练或向远程集群提交任务。
- 方法多样:全量微调、LoRA/QLoRA、RLHF(DPO、ORPO、SIMPO)以及奖励模型训练。
- 硬件无关:针对 Apple Silicon(MLX)、NVIDIA(CUDA)和 AMD(ROCm)优化的训练器。
- 超参数搜索:在 YAML 中定义参数范围,自动调度网格搜索。
🎨 扩散模型与图像生成
- 生成功能:使用 Stable Diffusion 和 Flux 进行文本生成图像、图像生成图像和图像修复。
- 高级控制:全面支持 ControlNets 和 IP-Adapters。
- 训练功能:在您自己的图像数据集上训练自定义 LoRA 适配器。
- 数据集管理:使用 WD14 标签器自动为图像添加描述。
📊 评估与分析
- LLM 作为评判者:使用本地或远程模型对输出进行偏见、毒性和忠实度评分。
- 基准测试:内置支持 EleutherAI LM 评估工具包(MMLU、HellaSwag、GSM8K 等)。
- 红队测试:针对 PII 泄露、提示词注入和安全性的自动化漏洞测试。
🔌 插件与可扩展性
- 插件系统:通过强大的 Python 插件架构扩展功能。
- Lab SDK:集成您现有的 Python 训练脚本(
import lab),实现自动日志记录、进度条和工件跟踪。 - 命令行界面(CLI):面向高级用户的命令行工具,无需浏览器即可提交任务和监控作业。
🗣️ 音频生成
- 文本转语音:使用 Kokoro、Bark 和其他最先进的模型生成语音。
- 训练功能:在自定义语音数据集上微调 TTS 模型。
📥 快速开始
1. 安装
curl https://lab.cloud/install.sh | bash
2. 运行
cd ~/.transformerlab/src
./run.sh
3. 访问方式
在浏览器中打开 http://localhost:8338。
系统要求
| 平台 | 要求 |
|---|---|
| macOS | Apple Silicon(M1/M2/M3/M4) |
| Linux | NVIDIA 或 AMD 显卡 |
| Windows | 通过 WSL2 使用 NVIDIA 显卡(设置指南) |
🏢 企业与集群设置
团队版 Transformer Lab 可作为现有基础设施的覆盖层运行。它不会取代您的调度器,而是作为调度器的现代化控制平面。
要将 Transformer Lab 配置为与 Slurm 或 SkyPilot 通信:
- 遵循 团队安装指南。
- 在团队设置中配置您的计算提供程序。
- 使用 CLI(
lab)或 Web UI 在集群中提交任务队列。
👩💻 开发
前端
# Requires Node.js v22
npm install
npm start
后端(API)
cd api
./install.sh # Sets up Conda env + Python deps
./run.sh # Start the API server
实验室 SDK
pip install transformerlab
🤝 贡献
我们是一项开源计划,由关注人工智能研究未来的开发者们共同支持。我们欢迎各类贡献!请查看我们的 issues 获取待处理任务。
📄 许可证
AGPL-3.0 · 详情参见 LICENSE。
📚 引用
@software{transformerlab,
author = {Asaria, Ali and Salomone, Tony},
title = {Transformer Lab: The Operating System for AI Research},
year = 2023,
url = {https://github.com/transformerlab/transformerlab-app}
}
💬 社区
由加拿大🇨🇦的 Transformer Lab 团队用心打造 ❤️