FreeToken：把 290B+ 的开源大模型搬到你自己的电脑上跑，1.5 万星的本地推理引擎

FreeToken 是一个开源的边缘原生 MoE 推理引擎，目标很直接：让 DeepSeek-V4-Flash、Qwen3.6、GLM-5.2 这类几百 B 参数的开源大模型，在你自己的消费级硬件上跑起来，不用租数据中心的卡。

它的办法是把 GPU、CPU、内存和带宽当成一个统一的弹性推理平台：带宽自适应的 CPU-GPU 协同执行、专家缓存、语义感知的 KV 缓存复用，换句话说就是用你手头已有的游戏本或台式机，跑出接近交互速度的推理。支持 MXFP4、NVFP4、FP8、BF16 等多种量化格式，提供和 Anthropic、OpenAI 兼容的 API，能直接接进 Claude Code、Codex、OpenCode 这类编程智能体里用。

上手有两种方式：去官网下载 Windows 或 Linux 桌面版，有图形界面可以聊天、调参；也可以用命令行 uv pip install "freetoken[accel]" 安装。桌面版目前只支持 Windows 和 Linux，Mac 用户可以走 CLI 或等后续版本。项目用 Apache 2.0 协议开源，GitHub 上已有 1.5 万星，论文挂在 arXiv 上。

相关阅读：Nace 开源 27B 决策模型 Drex Max v1：不写文章、只给概率，24GB 内存的 Mac 就能本地跑；dsh-superagent：DeepSeek 开源的主动式编程智能体原型，GitHub 上有人 @ 它就自己开工、提 PR

来源：GitHub @FlashML-org，原文：https://github.com/FlashML-org/FreeToken