端侧 AI 之前有个默认上限:能在手机、笔记本上跑的开源模型基本都在 100 亿参数以下,苹果端侧模型约 30 亿、Gemini Nano 只有 18 亿和 32.5 亿两个版本。11 月 12 日,Edge0 打破了这个上限:Edge0-145B 与 Edge0-120B 正式开源,1450 亿总参数,每步推理只激活约 100 亿,官方称在一台兼容笔记本上峰值内存 29GB、解码速度 80 tokens/s 以上。这是目前第一个面向个人电脑、参数破千亿的开放权重模型。

145B 是怎么塞进笔记本的
Edge0-145B 是潜在稀疏 MoE(混合专家)模型:48 层、每层 512 个专家,每步只启用其中 10 个路由专家加 1 个共享专家,上下文 256K,原生 4-bit 训练。官方博客把做法拆成四层:
- 架构:专家共享大矩阵。每组 64 个专家共享两块大矩阵,各自只保留一小部分差异参数,1450 亿总参数里每步实际参与计算的只有约 100 亿。
- 训练:从第一天就按端侧来训。不是先训一个云端大模型再压缩裁剪,而是在端侧架构里直接训练,避免压缩带来的能力损失。
- 加载:显存、内存、SSD 三级流水线。常用“热专家”留在显存,约 40GB 的专家库放系统内存,约 48GB 的词表数据放 SSD 按需读取,读取和计算重叠进行,不用串行等待。
- 调度:CPU 与 GPU 一起算。GPU 算缓存的专家、CPU 并行处理其余部分,再加推测解码一次验证多个候选 token,摊薄读取权重的成本,支撑官方称的 80+ tokens/s 解码。
配套一起发布的还有推理框架 edge0-infer v0.2.0(serve、chat 命令、兼容 OpenAI 的本地服务、Anthropic Messages API、Edge0 Chat 桌面端)和 edge0-strata。权重在 Hugging Face 上:Edge0-145B-q3k(约 40.81 GiB)和 NVFP4 版(约 47.79 GiB),另有 120B 的版本。

跑分:官方自测,对标云端前沿模型
官方给出的内部评测里,Edge0-145B 在 DeepSWE 1.1 拿 64.6 分(Qwen3.8-Flash-Next 58.7)、Terminal-Bench 2.1 拿 86.52 分(Claude-Opus-4.6 Max 78.2)、GPQA-Diamond 90.4 分、IFBench 80.6 分,六项基准平均 72.8 分;官方称这是在 29GB 实测峰值内存下跑出来的,对比 Qwen3.8-Flash-Next 平均 71.7 分、标准 4-bit 部署约 70GB 内存。官方还用它做了几组演示:1 小时内做出一条特斯拉 Roadster 的科普视频、1 小时内在 Blender 里建出曼哈顿 3D 城市场景,以及可玩的游戏和中世纪城市漫游。

先冷静:这几个数要打折看
跑分全是官方自测。表格里的分数来自 Edge0 自己的内部评测,复现方法、硬件环境要等官方的技术报告,目前还没有第三方独立验证。先当方向性参考,别当定论。
“29GB”只是显存侧峰值。模型卡自己给的 NVFP4 实测是 RTX 5090 D 24GB 上 23.25 GiB 显存加 38.27 GiB 内存,总共约 61.5 GiB;官方说的 48GB 笔记本能跑,指的是符合它测试配置的机器,普通笔记本先对着这个数掂量。
权重是开放权重,不是完全开源。模型按 Edge0 Community Model License 1.0 发布,个人使用、研究、改动和非商业分享可以,但拿去卖、对外提供模型服务、做独立的商业编程或办公产品要另外拿书面授权。另外模型卡标注基底模型是阿里 Qwen3.8-Flash-Next,衍生关系会影响许可证叠加,商用前要把两边的卡都读一遍。
Mac 用户先别急。145B/120B 这一档目前只走 Linux、Windows 的 NVIDIA 路线(CUDA 13、算力 7.5+、16GB 以上显存),官方平台表里没有 macOS Metal;Mac 上的端侧路线还是之前的 Edge0-35B(iPhone 18 Pro Max 上约 2.5GB、37+ tokens/s)。
怎么跑起来
有 NVIDIA 显卡的 Linux 或 Windows 机器可以按官方快速上手:克隆仓库、按文档编译 edge0-strata 与 edge0-infer、下载权重文件夹,再起本地服务:
git clone https://github.com/Edge0-AI/Edge0.git edge0
build/cpu/bin/edge0-infer serve --model /path/to/Edge0-145B-q3k
权重与引擎分开下载,145B 不在安装包里。同一周的新模型还有Gemini 4 Hydrogen 发布:比 Gemini 3.8 Flash 快 2.5 倍,百万 token 上下文 1.5 美元起;同样是 11 月开源、但许可证留了限制的,还有MiniMax 开源 H3-Image:16MP 生图只要 6 步,但美欧英韩被排除在许可证之外——许可证的坑,开源模型发布时值得先看一眼再下载。
官方公告:Edge0 官方博客:Introducing Edge0-145B;权重:Hugging Face:Edge0/Edge0-145B-q3k;代码:GitHub:Edge0-AI/Edge0。
转自 Edge0 官方博客的文章《Edge0-145B: Open-Source On-Device AI with 145B Parameters》,原文链接









