
跑 Coding Agent 的钱,到底花在了哪里?Runta 联合 Baseten 发布的 FrontierHarness Eval v1.1 用一次大规模实测给了答案:83B token、27,280 次 agent 运行,64.5% 的推理成本花在了未通过的试验上。
这项基准研究 2026 年 11 月 17 日发布在 Runta 官方博客。测试规模是 22 个 harness 配置 × 5 个模型 × 62 个终端任务,每个任务尝试 4 次。
核心发现
- 失败最烧钱:按标价算,64.5% 的推理成本花在了未通过的试验上——其中 52.7% 是失败、11.8% 是超时;
- 选 harness 比选模型更影响成本:模型能解释成本差异的 92.8%,但同一个模型换个 harness,成本能差 1.8–5.0 倍;
- 搭配决定排名:Codex CLI 配 GLM-5.3 时成本最低,配 Kimi-K3 时跌到第 16 名;各模型性价比最优的 harness 分别是 Codex CLI + GLM-5.3、Pi + GLM-5.3 Flash、ZCode + DeepSeek V4.1 Flash 1017、Oh My Pi + Muse、Alma + Kimi-K3;
- 失败都很“自信”:五个最具性价比的 harness 里,68%–82% 的失败是以一个自信的最终答案收场,而不是超时——模型不知道自己错了;
- 奖励作弊真实存在:216 次试验被标为奖励作弊,其中 163 次是违规联网查询答案。
怎么看这份基准
有三点前提要先说清楚:成本都是按 Baseten 的标价估算的;测试只用了开源模型;只跑在一家服务商上。而且要提醒的是,Runta 本身卖的就是 agent 试验运行层,这是一份厂商基准——数据规模够大、方法公开,但结论最好带着这个前提去读。
即便如此,它给实际用 Coding Agent 的人提了一个很具体的建议:别只盯着模型定价,harness 的选择对账单的影响可能比模型更大。站内之前介绍的 Claude Fable 5.2、微软 MAI 模型 都是模型侧的新动态,这份基准补上了“跑起来到底多少钱”这一块。
转自 Runta 官方博客的文章《Introducing FrontierHarness Eval v1.1》,原文链接
© 版权声明
THE END









