Off Grid AI：开源离线 AI 套件，手机和 Mac 上聊天、生图、识图全在本机跑

还在为配音、播客、有声书按分钟付云端费用吗？开源项目 Off Grid AI 把一整套 AI 能力搬到了你自己的手机和 Mac 上：聊天、生成图片、识图、语音听写、工具调用和文档分析，全在本地硬件上跑。项目方在 README 里写明：没有账号、没有 API 密钥、零数据离开你的设备。仓库名为 off-grid-ai/OGAM，MIT 协议，截至 2026 年 10 月 28 日核对时已有 3,289 星。它在 2026 年 10 月 26 日上了 Product Hunt，项目方称已有 25 万多次下载。

它能干什么

按 README 的划分，Off Grid AI 不是只有一个聊天框，而是一个完整的离线 AI 套件：

• 文本生成：可跑 Qwen 3、Llama 3.2、Gemma 3、Phi-4 以及任意 GGUF 模型，支持流式输出、思考模式和 Markdown 渲染，也能自带 .gguf 文件；旗舰设备上 CPU 生成约 15–30 token/秒。
• 图像生成：本机 Stable Diffusion，带实时预览，iOS 上走 Core ML，支持 20 多个模型，包括 Absolute Reality、DreamShaper 和 Anything V5。
• 识图：对着镜头或文档提问，可用 SmolVLM、Qwen3-VL、Gemma 3n 分析文档、描述场景、读取收据，旗舰设备约 7 秒出结果。
• 语音输入：本机 Whisper 语音转文字，支持点按、自动和免提模式，音频不离开手机。
• 工具调用与知识库：支持函数调用的模型可用内置工具，如网页搜索、计算器、日期时间、设备信息和知识库搜索；上传 PDF 与文本文档后，项目知识库会在本机用 MiniLM 模型做向量检索，结果存在本地 SQLite 里。
• 远程服务器：也能连局域网内的 Ollama、LM Studio、LocalAI 等 OpenAI 兼容服务器，自动发现模型，API 密钥存在系统钥匙串里。

Mac 上怎么用

最省事的路径是走应用商店：iOS 的 App Store 版本可在 Apple Silicon Mac 上通过 Mac Catalyst / iPad 兼容模式原生运行，README 明确写了这一点；Android 用户可从 Google Play 安装，或从 GitHub Releases 拿 APK。Apple Silicon 走 Metal 加速，应用会检测设备能力并默认选最快的后端，也可以在设置里手动改。想从源码构建则需要 Node.js 20+，iOS 构建另需 Xcode 15+，完整步骤见仓库的构建指南。README 还提到可搭配 Mac 桌面版 Off Grid AI Desktop 使用，一个 Pro 许可证同时覆盖手机与 Mac。

性能与代价：先看 README 的实测表

README 注明以上在 Snapdragon 8 Gen 2/3 和 Apple A17 Pro 上测试，结果随模型大小与量化方式变化。另一个实在的代价是存储与内存：模型动辄数 GB，应用内置的模型管理器会显示每个模型的内存占用并支持逐个弹出，加载策略分 Lean、Balanced、Aggressive 三档；模型需要先下载，下载完成之后才能离线使用。

免费版与 Pro 的分界

免费版已包含上述全部核心能力，Pro 是可选的附加层：README 标价为 119 美元终身，或每月 7.99 美元，加的是会说话的语音模式（本机 Kokoro 语音合成）、自定义人设与持久记忆，以及连接日历、邮件与 Linear、Notion、GitHub 等 MCP 服务器后“先起草、等你批准再发出”的动作能力；手机与 Mac 之间通过自有网络同步聊天、文件与设置，项目方称不经过中继服务器。需要提醒的是，“零数据离开设备”与“离线可用”是项目方的说法，本文未独立验证其网络行为；首次下载模型与应用商店安装本身需要联网。

上手提醒

先从一个小模型开始试，别一上来就下载 4 GB 的大模型；确认设备上同时跑聊天与生图时的内存表现，再决定加载策略。同样走“本机路线”的还有本站介绍过的 VoiceStudio：开源本地版 ElevenLabs，语音克隆全在本机跑，以及把 Claude Code 与 Codex 装进同一个桌面的 Cindy 开源 AI Agent 桌面客户端，三者互补：一个管声音，一个管 Agent，一个管随身 AI。

转自 GitHub 作者 off-grid-ai 的文章《Off Grid AI》，原文链接：https://github.com/off-grid-ai/OGAM