Vercel Labs 发布 agent-desktop：让编程 Agent 操作整个桌面，按 ref 点按、不靠像素猜

Vercel Labs 今天发布了 agent-desktop：一个 Rust 写的 CLI 和 C 库，让 Claude Code、Codex、Cursor 这类编程 Agent 能操作整个桌面——读系统无障碍树，返回带稳定引用（ref）的 JSON 快照，Agent 按 ref 点击、填表、循环校验，不靠像素猜。

它本身不是 Agent：不内置模型、没有图形界面，每条命令只打印一个 JSON 就退出，观察—行动—再验证的循环留在调用它的 Agent 或脚本里。默认无头模式，不移动鼠标、不抢焦点；想真动鼠标要加 –headed 参数。

三平台都支持：macOS 走 AX API、Windows 走 UI Automation、Linux 走 AT-SPI。安装只要 npm install -g agent-desktop，macOS 需开辅助功能权限。命令共 60 个：snapshot、click、type、screenshot、launch、list-apps 等，还有一个 C 库 libagent_desktop_ffi 可以进程内调用。

两个边界要注意：它不做像素识别，没有无障碍树的界面它看不到；它也不自动化网页，网页还是 agent-browser 的活（不过它能给 Chromium / Electron 应用开 DevTools 端口，再由 agent-browser 接管）。和 agent-browser 是姐妹工具的关系：一个管网页，一个管桌面。

站内相关：T3 Code：3.3 万星的开源智能体中控台，手机上也能接着指挥 Claude Code、Codex 和 Cursor；claude-mem：10.6 万星的 Agent 记忆插件，换个会话也不丢上下文。

来源：GitHub @vercel-labs，原文：https://github.com/vercel-labs/agent-desktop