第三方评测机构 Vals 公布了新的 CyberOffense 评测：让 7 个 AI 模型化身智能体，在两个模拟企业网络里自主完成整条入侵链。结果显示，OpenAI 只向受信任伙伴开放的 GPT-6 Sol Daybreak 平均完成约 81% 的攻击目标，而任何人都能免费下载的开源模型 DeepSeek V4.1 Flash 1017 完成了约 73%，只差 8 个百分点。WIRED 在 11 月 6 日报道了这项结果。
分网看差距更小。在 21 个目标的 Nova 网络，DeepSeek 平均完成 16.3 个，反而略胜 Daybreak 的 15.7 个；在更难的 31 个目标的 Lighthouse 网络，Daybreak 以 27 对 21 领先，Meta 的 Wonder 则以 28 个拿下单网最高。成本差距才是最大的分水岭：Nova 一轮 DeepSeek 花不到 3 美元，Daybreak 约 22 美元；WIRED 引用的整轮攻击成本为 2–3 美元对 17–46 美元。Grok 4.7、Kimi K3 与 GLM 5.3 Flash 均大幅落后，GLM 每网只完成 5 个目标。评测方法上，每个模型都跑在开源 Pi 智能体里，隔离的 Kali Linux 环境，48 小时上限、5 亿 token 预算，目标只认命令输出里的隐藏标记，不采信模型自己的说法。
值得关注的不只是分数。Vals 在结论里写道，只限受信任渠道的网络攻击能力，现在人人都能拿到；权重一旦公开，提供方就无法监控或叫停它的用法。DeepSeek 的打法也很说明问题：前 2500 万 token 一个目标都没完成，大部分进展出现在 1 亿 token 之后——短时、限算力的评测会系统性低估便宜的开源模型。当然也要看到边界：这只是模拟网络而非真实入侵，7 个模型里没有一个走完完整攻击链，最深的阶段对所有模型都很难。对防守方来说这也是窗口期：同样的模型可以先用来测自己的系统、赶在攻击者之前修补。
这项结果与 OpenAI 近期的网络安全动作直接相关：11 月 5 日刚发布只向审核过的安全团队开放的 GPT-6 Cyber，而智谱 GLM-5.3 在另一家机构 Irregular 的受控攻击测试里曾有不同表现（站内此前报道），两套测试口径不同，分数不能直接比较。Vals 表示后续会增加更多测试网络与模型。
来源：Vals AI，原文：https://www.vals.ai/benchmarks/cyber_offense
没有回复内容