transformerlab-app:基于机器学习的统一AI工具平台项目

The open source research environment for AI researchers to seamlessly train, evaluate, and scale models from local hardware to GPU clusters.

Branch1587Tags153
FilesLast commitLast update
1 month ago
3 months ago
3 months ago
1 month ago
4 months ago
1 month ago
1 year ago
1 month ago
1 month ago
1 month ago
4 months ago
1 month ago
3 months ago
6 months ago
2 years ago
4 months ago
4 months ago
3 months ago
2 months ago
1 year ago
1 month ago
6 months ago
1 year ago
2 years ago
3 months ago
5 months ago
5 months ago
1 month ago
1 month ago
3 months ago
9 months ago
5 months ago
5 months ago
Transformer Lab

AI研究实验室的操作系统

专为机器学习研究人员设计。支持本地、本地服务器或云端部署。开源免费。

GitHub Stars Release License Twitter

⬇️ 个人版安装  ·  🏢 团队版安装  ·  📖 文档中心  ·  🎬 演示视频  ·  💬 社区交流


Mozilla Builders

Transformer Lab Demo


✨ Transformer Lab 是什么?

Transformer Lab 是一个开源机器学习平台,它将分散的 AI 工具生态整合到单一、优雅的界面中。它提供两个版本:

👤 个人版

非常适合在单台机器上工作的研究人员和爱好者。

  • 本地隐私保护:数据不会离开您的机器。
  • 完整工具集:训练、微调、对话和评估模型。
  • 跨平台兼容:原生支持 macOS(Apple Silicon)、Linux 和 Windows(WSL2)。
  • 无云服务成本:使用您自己的硬件。

🏢 团队版

专为需要跨 GPU 集群扩展的研究实验室打造。

  • 统一编排:通过一个界面向 Slurm 集群或 SkyPilot 云平台(AWS、GCP、Azure)提交作业。
  • 协作功能:集中式实验跟踪、模型注册和工件管理。
  • 交互式计算:一键在远程节点上启动 Jupyter、VSCode 和 SSH 会话。
  • 高可靠性:支持从检查点自动恢复和竞价型实例抢占恢复。

🛠️ 核心功能

🧠 基础模型与大语言模型(LLMs)
  • 全面支持:下载并运行 Llama 3、DeepSeek、Mistral、Qwen、Phi 等模型。
  • 推理引擎:支持 MLX、vLLM、Ollama 和 HuggingFace Transformers。
  • 格式转换:无缝在 HuggingFace、GGUF 和 MLX 格式之间进行转换。
  • 对话界面:支持多轮对话、批量查询和函数调用。
🎓 训练与微调
  • 统一界面:使用相同的界面在本地硬件上训练或向远程集群提交任务。
  • 方法多样:全量微调、LoRA/QLoRA、RLHF(DPO、ORPO、SIMPO)以及奖励模型训练。
  • 硬件无关:针对 Apple Silicon(MLX)、NVIDIA(CUDA)和 AMD(ROCm)优化的训练器。
  • 超参数搜索:在 YAML 中定义参数范围,自动调度网格搜索。
🎨 扩散模型与图像生成
  • 生成功能:使用 Stable Diffusion 和 Flux 进行文本生成图像、图像生成图像和图像修复。
  • 高级控制:全面支持 ControlNets 和 IP-Adapters。
  • 训练功能:在您自己的图像数据集上训练自定义 LoRA 适配器。
  • 数据集管理:使用 WD14 标签器自动为图像添加描述。
📊 评估与分析
  • LLM 作为评判者:使用本地或远程模型对输出进行偏见、毒性和忠实度评分。
  • 基准测试:内置支持 EleutherAI LM 评估工具包(MMLU、HellaSwag、GSM8K 等)。
  • 红队测试:针对 PII 泄露、提示词注入和安全性的自动化漏洞测试。
🔌 插件与可扩展性
  • 插件系统:通过强大的 Python 插件架构扩展功能。
  • Lab SDK:集成您现有的 Python 训练脚本(import lab),实现自动日志记录、进度条和工件跟踪。
  • 命令行界面(CLI):面向高级用户的命令行工具,无需浏览器即可提交任务和监控作业。
🗣️ 音频生成
  • 文本转语音:使用 Kokoro、Bark 和其他最先进的模型生成语音。
  • 训练功能:在自定义语音数据集上微调 TTS 模型。

📥 快速开始

1. 安装

curl https://lab.cloud/install.sh | bash

2. 运行

cd ~/.transformerlab/src
./run.sh

3. 访问方式

在浏览器中打开 http://localhost:8338

系统要求

平台 要求
macOS Apple Silicon(M1/M2/M3/M4)
Linux NVIDIA 或 AMD 显卡
Windows 通过 WSL2 使用 NVIDIA 显卡(设置指南

🏢 企业与集群设置

团队版 Transformer Lab 可作为现有基础设施的覆盖层运行。它不会取代您的调度器,而是作为调度器的现代化控制平面。

要将 Transformer Lab 配置为与 SlurmSkyPilot 通信:

  1. 遵循 团队安装指南
  2. 在团队设置中配置您的计算提供程序。
  3. 使用 CLI(lab)或 Web UI 在集群中提交任务队列。

👩‍💻 开发

前端
# Requires Node.js v22
npm install
npm start
后端(API)
cd api
./install.sh   # Sets up Conda env + Python deps
./run.sh       # Start the API server
实验室 SDK
pip install transformerlab

🤝 贡献

我们是一项开源计划,由关注人工智能研究未来的开发者们共同支持。我们欢迎各类贡献!请查看我们的 issues 获取待处理任务。


📄 许可证

AGPL-3.0 · 详情参见 LICENSE


📚 引用

@software{transformerlab,
  author = {Asaria, Ali and Salomone, Tony},
  title = {Transformer Lab: The Operating System for AI Research},
  year = 2023,
  url = {https://github.com/transformerlab/transformerlab-app}
}

💬 社区

Discord Twitter GitHub Issues

由加拿大🇨🇦的 Transformer Lab 团队用心打造 ❤️