EAGLE-4 官方推理代码开源：投机采样加速大模型推理，Qwen3.8-27B 快 3.4 倍

EAGLE-4 官方推理代码昨天在 GitHub 开源了（eagle-hq/EAGLE-4）。EAGLE-4 全称 Extrapolation Algorithm for Greater Language-model Efficiency，是一种投机采样（speculative decoding）推理加速方法：用一个轻量 draft 模型先”猜”出后面的 token，再由目标模型一次性验证，输出和目标模型自己生成的一模一样，但快得多。

实测加速（Qwen3.8-27B，温度 0）

• SGLang + 4×B300：单请求 3.42×，8 并发 2.09×，64 并发 1.39×
• vLLM：单请求 2.83×；TokenSpeed：单请求 3.09×
• AMD MI355X 上也有 2.07×（8 并发）

这次开源了什么

• eagle-harness：把 EAGLE-4 接入 SGLang、vLLM 和 TokenSpeed 的包，会根据实测成本自动决定”猜多远”，让 draft 树适配你的 batch 大小、硬件和负载。
• Qwen3.8-27B 的 EAGLE-4 draft 模型：Hugging Face 可直接下载。
• Docker 一行起服务，也支持 pip 安装；实测数据、支持矩阵、已知限制、架构文档都在仓库里。

对自己搭推理服务的同学，EAGLE-4 和之前本站介绍的DeepSeek 开源的 DeepInfer 推理框架可以对照着看：一个是通用加速方法，一个是 DeepSeek 自家生产栈。项目主页：eagle.ai，仓库：github.com/eagle-hq/EAGLE-4

来源：GitHub @eagle-hq，原文：https://github.com/eagle-hq/EAGLE-4