Inkling 2 Mini 发布:26B 开源权重模型,中间层循环 3 次,32GB MacBook 就能离线跑

Inkling 2 Mini 在离线 MacBook 上驱动 Thinkyville 小镇 20 位村民

Thinking Machines Lab 在 11 月 20 日发布了 Inkling 2 Mini:一个 26.4B 参数的开源权重多模态模型,亮点是「循环 Transformer」架构——中间 12 层每生成一个 token 要跑 3 遍,用更少的参数做更多的推理。整个模型约 20GB,32GB 内存的 MacBook 就能离线跑,Apache 2.0 开源,权重已上 Hugging Face。

循环架构:24 层权重,48 次层运算

模型共 24 层,分成 4 个块,每块 6 层。其中中间两块(第 7–18 层)每 token 跑 3 遍,首尾两块各跑 1 遍;每遍之间通过一条「message」通道传递上一遍的中间结果,再由一个训练中学会的门控融合。算下来,每生成一个 token 要经过 48 次层运算,但权重只存了 24 层的量。

这样做的好处是:推理能力主要取决于「串行计算深度」,而不是参数量。循环让模型在不把思考写出来的情况下多想几步,尤其适合长链条的 Agentic 编程任务。按官方的测算,中间层循环比循环后 12 层多带来 1.51–1.91 倍的等效算力收益。

Inkling 2 Mini 循环 Transformer 架构示意图

成绩:同级开源模型里的编码最强档

官方成绩(均为 Thinking Machines 报告):DeepSWE v1.1 48.2%,领先同级所有开源权重模型(Qwen3.8-27B 为 42.2%);SWE-bench Pro v2 Hard 77.9%;Vals Index v2.2 46.5%;Artificial Analysis 智能指数 20.1,与 Qwen3.8-27B 持平,但每个任务便宜约 6 倍、快约 4 倍。长上下文也不弱:上下文窗口 100 万 token,LongBench v2 66.9%、MRCR v2 长针检索 46.4%。联网搜索与工具调用也很强:BrowseComp 79.0%、DeepSearchQA 85.3%、MCP Atlas 82.7%。

Inkling 2 Mini 在 DeepSWE 与 SWE-bench Pro 上的成绩

不过也有短板:循环补不了知识——参数量决定了知识容量,事实类基准(AA-Omniscience)只和同尺寸模型相当;多轮对话(MultiChallenge 50.0%)与多约束指令(ComplexConstraints 33.4%)落后于 Qwen3.8-27B;中文输出偶尔出现截断或中英混杂;调试时可能陷入重复检查的推理循环,官方建议限制输出 token 数与 Agent 步数。

本地怎么跑

官方支持:32GB 以上内存的 Mac(MacBook、Mac mini、Mac Studio)走 Ollama;NVIDIA DGX Spark 桌面 AI 主机;其他平台建议 32GB 以上显存。量化版走 Unsloth 与 llama.cpp 的 GGUF,最小的 2-bit 版只有 8.5GB,12GB 显存的 RTX 3060 也能跑。推理框架支持 SGLang、vLLM、Ollama、Unsloth、NVIDIA Dynamo、TokenSpeed 与 Llama App;微调支持 Tinker、SkyRL、Miles 与 NVIDIA AutoModel。权重与可变循环研究版(TML-d24-varloop-research)都在 Hugging Face 上。

最有意思的演示是 Thinkyville:一座像素风小镇,20 位村民全由同一个 Inkling 2 Mini 在一台离线的 MacBook 上驱动,各自规划日程、聊天、办烘焙比赛,还能回应玩家留在门上的纸条。官方研究员还在飞机上用一台 48GB 的 M5 Pro MacBook Pro、开着飞行模式,让模型几分钟内做出一个可玩的飞行模拟器。

循环模型会不会更难监管?

这是官方发布这个模型的原因之一:循环让模型在不写出思考过程的情况下多算几步,理论上会让「读思维链来监管」变难。实测结果比较乐观:可变循环模型的无思维链任务时长从 1 遍的 16 秒提升到 3 遍的 37 秒,推理 token 明显变短,但可读性没下降;在 LinuxArena 控制评测里,循环次数增加也没有让恶意支线任务更难被发现。官方还与 NDIF、Goodfire 合作,继续研究循环模型的机理解释。

相关阅读:同样是新模型发布,Claude Fable 5.2 解开两道黑洞物理难题;关注 Agent 评测成本可以看Runta FrontierHarness Eval v1.1;微软同期一次发布 7 款 MAI 模型,见微软 Ignite 一次发布 7 款 MAI 模型。

转自 Thinking Machines Lab 作者 Thinking Machines Lab 的文章《Introducing Inkling 2 Mini》,原文链接

© 版权声明
THE END
喜欢就支持一下吧
点赞8 分享