Ghost OS

AI 智能体的完整计算机使用体验。

---

您的 AI 智能体可以编写代码、运行测试、搜索文件。但它无法点击按钮、发送邮件或填写表单。它只能局限在聊天框内活动。

Ghost OS 改变了这一切。只需一次安装，任何 AI 智能体都能查看并操作您 Mac 上的所有应用。

认识 Shadow Shadow 是故事的另一半。Ghost OS 为 AI 智能体提供了在 Mac 上的“眼睛”和“双手”，而 Shadow 则赋予它们“记忆”与“智能”。 14 种模态捕获、主动建议、事件片段生成、设备端 LLM 推理、计算机使用训练数据——所有功能均在本地运行，且完全开源。 您的电脑一直在默默关注。

---

最新动态  

自学习工作流。只需向 Ghost OS 演示一次操作，它便会永久记住。

• ghost_learn_start——开始观察用户执行任务
• ghost_learn_stop——停止观察并返回增强的操作序列
• ghost_learn_status——检查录制进度

用户手动执行任务（点击、输入、切换应用）时，Ghost OS 通过 CGEvent 捕获点观察每一个操作，并结合辅助功能树上下文进行增强。Claude 会将原始观察结果合成为可参数化、可重复执行的工作流。

无需截图，无需视觉模型。仅依靠辅助功能树与您的键盘/鼠标即可实现。

User:    "Watch me send an email."
Agent:   ghost_learn_start task_description:"send email in Gmail"
         ...user performs the task...
Agent:   ghost_learn_stop
         -> 8 actions with full AX context
         -> Synthesizes recipe with 3 parameters: recipient, subject, body
         -> ghost_recipe_save
User:    "Send an email to bob about the Q4 report"
Agent:   ghost_run recipe:"gmail-send-learned" params:{...}

需要输入监控权限（系统设置 > 隐私与安全性 > 输入监控）。运行 ghost setup 进行配置。

上一版本：v2.1.2

新增 4 个工具：ghost_annotate、ghost_hover、ghost_long_press、ghost_drag。固定了视觉辅助程序依赖项，修复了视觉模型下载问题，支持中文/中日韩输入（感谢 @junshi5218）。

感谢 500 多位为该项目点亮星标的朋友。正是因为有你们，我们才得以坚持开发。如果您希望直接参与贡献，我们非常欢迎。详情请参见 CONTRIBUTING.md。

You:     "Send an email to sarah@company.com about the Q4 report"
Agent:   ghost_run recipe:"gmail-send" params:{recipient, subject, body}
         → Compose opens, fields fill, email sends. Done.

设置

实际应用示例

发送邮件、下载论文。任何应用，任何工作流程。

不止于浏览器

Slack 消息、Finder 文件夹 —— Ghost OS 可操作原生 macOS 应用，而非仅限于浏览器。

为何选择 Ghost OS？

其他计算机使用工具通过截取屏幕并猜测屏幕内容。Ghost OS 则读取 macOS 辅助功能树 —— 包含每个应用中每个元素的结构化、带标签数据。当辅助功能树信息不足时（如网页应用、动态内容），它会回退到本地视觉模型（ShowUI-2B）进行视觉定位。

而且，一旦它掌握某个工作流程，就会将其保存下来。其他工具每次都要重复进行同样的高成本推理。

• 自学习 —— 前沿模型只需一次解析工作流程。小型模型可永久运行该流程。
• 透明化 —— 应用示例以 JSON 格式呈现。运行前可查看每一步。绝非黑箱操作。
• 原生适配 —— 优先使用辅助功能树。必要时才启用视觉回退。采用结构化数据，而非像素猜测。
• 全应用支持 —— 不仅限于浏览器。Slack、Finder、Messages —— 您 Mac 上的任何应用均可支持。
• 本地运行 —— 您的数据绝不会离开您的设备。
• 开放兼容 —— 支持 MCP 协议。可与 Claude Code、Cursor、VS Code 或任何 MCP 客户端配合使用。

		Ghost OS	Anthropic Computer Use	OpenAI Operator	OpenClaw
👀	感知方式	辅助功能树 + 本地 VLM	仅截图	仅截图	浏览器 DOM
🖥️	原生应用	任何 macOS 应用	任何（通过像素）	仅浏览器	仅浏览器
🧠	工作流程学习	JSON 应用示例	不支持	不支持	不支持
🔒	数据本地留存	是	取决于设置	否（云端）	是
📖	开源	MIT	否	否	MIT

安装

brew install ghostwright/ghost-os/ghost-os
ghost setup

就是这样。ghost setup 会处理权限、MCP 配置、流程安装以及视觉模型设置。

macOS 测试版？请改用手动安装。

Homebrew 在 macOS 开发者测试版上存在一个已知问题，即会要求安装尚未发布的 Xcode 版本。如果 brew install 失败，请直接安装：

curl -sL https://github.com/ghostwright/ghost-os/releases/latest/download/ghost-os-2.2.1-macos-arm64.tar.gz | tar xz
sudo cp ghost /opt/homebrew/bin/
sudo cp ghost-vision /opt/homebrew/bin/
sudo mkdir -p /opt/homebrew/share/ghost-os
sudo cp GHOST-MCP.md /opt/homebrew/share/ghost-os/
sudo cp -r recipes /opt/homebrew/share/ghost-os/
sudo cp -r vision-sidecar /opt/homebrew/share/ghost-os/
ghost setup

工作原理

Ghost OS 通过 MCP 与您的 AI 智能体连接，并为其提供 29 种工具来查看和操作您的 Mac。它读取 macOS 辅助功能树，以获取每个应用程序的结构化数据。对于辅助功能树存在不足的网络应用（如 Gmail、Slack），本地视觉模型（ShowUI-2B）会通过视觉方式识别元素。支持点击、输入、悬停、拖动、滚动、按键、窗口管理等操作。适用于任何应用程序，而不仅仅是浏览器。

You:     "Download the latest paper on chain-of-thought prompting from arXiv"
Agent:   ghost_run recipe:"arxiv-download" params:{query:"chain of thought prompting"}
         → Navigates to arXiv, searches, opens PDF, downloads to Desktop. Done.

可与 Claude Code、Cursor、VS Code 或任何支持 MCP 的工具配合使用。

工作流模板

当智能体确定工作流程后，会将其保存为工作流模板。工作流模板是一个包含步骤、参数和等待条件的 JSON 文件，具有透明性和可审计性。

前沿模型仅需一次确定工作流程，小型模型即可永久运行。

# One command sends an email
ghost_run recipe:"gmail-send" params:{"recipient":"hello@example.com","subject":"Hello","body":"World"}

# 7 steps, 30 seconds, 100% reliable

• 流程（Recipes）本质就是 JSON 文件。运行前会先读取每一个步骤。
• 可与团队共享。一人掌握流程，团队全员受益。
• 支持流程串联。智能体（agent）会自动判断何时调用何种流程。
• 用 Claude 或 GPT-4 编写一次，即可搭配 Haiku 永久运行。

29 款工具

	工具	功能说明
🔍	ghost_context	获取当前应用、窗口标题、URL、焦点元素以及屏幕上所有可交互元素
🔍	ghost_state	列出所有正在运行的应用及其窗口、位置和尺寸信息
🔍	ghost_find	在整个用户界面中按名称、角色、DOM ID 或 CSS 类搜索元素
🔍	ghost_read	从任意应用中提取文本内容，支持对嵌套内容进行深度控制
🔍	ghost_inspect	获取单个元素的完整元数据：角色、位置、操作、DOM ID、可编辑状态
🔍	ghost_element_at	识别特定屏幕坐标处的元素
📸	ghost_screenshot	捕获窗口截图，用于视觉调试
📸	ghost_annotate	对截图中的可交互元素添加编号标签和点击坐标
👁️	ghost_ground	使用视觉（ShowUI-2B）查找元素坐标。当 AX 树无法找到网页元素时适用
👁️	ghost_parse_screen	通过视觉检测所有可交互元素
🎯	ghost_click	按名称、DOM ID 或屏幕坐标点击元素
🎯	ghost_hover	将光标移动到元素或指定位置，以触发工具提示和悬停效果
🎯	ghost_long_press	长按以调出上下文菜单、Force Touch 预览和启动拖拽操作
🎯	ghost_drag	从一个点拖拽到另一个点，用于文件移动、滑块调节、列表重排、文本选择
⌨️	ghost_type	在指定名称的字段中或当前光标位置输入文本
⌨️	ghost_press	按下单个按键，如 Return、Tab、Escape 或方向键
⌨️	ghost_hotkey	按下组合键，如 Cmd+L、Cmd+Return、Cmd+Shift+P
🎯	ghost_scroll	在任意应用窗口中向上、向下、向左或向右滚动
🪟	ghost_focus	将任意应用或特定窗口置于前端
🪟	ghost_window	最小化、最大化、关闭、移动或调整任意窗口大小
⏳	ghost_wait	等待 URL 变更、元素出现或消失，或标题变更
📦	ghost_recipes	列出所有已安装的流程及其描述和参数
▶️	ghost_run	通过参数替换执行流程
📦	ghost_recipe_show	查看流程的完整步骤和配置
📦	ghost_recipe_save	从 JSON 安装新流程
📦	ghost_recipe_delete	删除已安装的流程
🎓	ghost_learn_start	开始观察用户操作，以学习工作流程
🎓	ghost_learn_stop	停止观察并返回丰富后的操作序列
🎓	ghost_learn_status	检查学习模式是否激活及记录统计信息

诊断信息

$ ghost doctor

  [ok] Accessibility: granted
  [ok] Screen Recording: granted
  [ok] Input Monitoring: granted (for learning mode)
  [ok] Processes: 1 ghost MCP process
  [ok] MCP Config: ghost-os configured
  [ok] Recipes: 5 installed
  [ok] AX Tree: 12/12 apps readable
  [ok] ghost-vision: /opt/homebrew/bin/ghost-vision
  [ok] ShowUI-2B model: ~/.ghost-os/models/ShowUI-2B (3.0 GB)
  [ok] Vision Sidecar: not running (auto-starts when needed)

  All checks passed. Ghost OS is healthy.

从源代码构建

git clone https://github.com/ghostwright/ghost-os.git
cd ghost-os
swift build
.build/debug/ghost setup

需要 Swift 6.2+ 和 macOS 14+。

架构

AI Agent (Claude Code, Cursor, any MCP client)
    │
    │ MCP Protocol (stdio)
    │
Ghost OS MCP Server (Swift)
    │
    ├── Perception ──── see what's on screen (AX tree)
    ├── Vision ──────── visual grounding (ShowUI-2B, local)
    ├── Actions ─────── click, type, scroll, keys
    ├── Recipes ─────── self-learning workflows
    └── AXorcist ────── macOS accessibility engine

约 7,000 行 Swift 代码 + Python 视觉辅助程序。基于 AXorcist 构建，原作者为 @steipete。

贡献指南

详见 CONTRIBUTING.md。我们需要更多应用的使用脚本、不同环境下的测试以及错误报告。如果你正在构建能够实际执行任务的 AI 智能体，这正是你需要的项目。

贡献者

感谢所有为 Ghost OS 做出贡献的人。

许可证

MIT