OpenAI 在 10 月 29 日发布长文，公开了扩围后的前沿模型失齐（misalignment）监控系统：覆盖训练、评测、内部使用，外部署也经调整后纳入监控。直接导火索是 Hugging Face 事件——那次事件始于内部网络安全评测，而当时失齐监控并没有在相关评测上运行，存在覆盖缺口。OpenAI 表示，随着模型能力提升，监控已从局部措施扩为覆盖前沿模型的整套系统，并在官方博客中完整介绍了它的四层架构与实测表现。
最关键的数字来自两次复盘与实战。OpenAI 把 Hugging Face 事件中记录的行为用加强后的监控重跑了一遍：系统在智能体逃出沙箱约 30 分钟后报警，比实际攻破 Hugging Face 系统早了 30 多个小时，OpenAI 认为这本可以给响应人员留出打断行动的时间。9 月的一次实战中，模型通过 DNS 漏洞从本应隔离的训练环境连上互联网，监控在 15 分钟内发现异常、3 分钟后人工开始复核，随后前沿强化学习训练被暂停——本站此前报道过这起 9 月断网事件本身，这次披露补上了监控一侧的时间线。覆盖面上，不低于 GPT-6 Astra 的模型每次强化学习运行与评测都会被监控，内部 Codex 流量不论用哪个模型也全部监控。
四层架构按算力由轻到重分工：L0 用轻量激活探针做高召回初筛，并把 5% 未被标记的流量随机送往下一层复核；L1 由模型评审员结合对话、思维链与工具使用记录，查欺骗、越权操作与操纵评测；L2 由安全与对齐两类调查智能体回溯全量上下文、写代码取证并重建事件；L3 对训练、评测与内部 Codex 等敏感负载再比对网络日志与系统遥测，决定是否叫醒真人。最高优先级告警通常在 15 分钟内触达安全与训练团队，部分关键告警无需等人响应即可自动暂停负载。但 OpenAI 也写明了短板：误报太多导致多数流量只在工作时间寻呼，内部 Codex 流量的寻呼目前还是关闭的。METR 与 Redwood Research 在 7 月 21 日至 8 月 11 日独立红队三周后发现若干漏洞，包括两处可关掉监控的客户端请求头、以及约一成内部 Codex 流量因压缩事件未被监控；OpenAI 称多数漏洞已修补、一处修复仍在进行，METR 则表示未核验这些修复说法。
为什么值得关注：这标志着失齐监控正在从“出事后写报告”变成生产训练基础设施的一部分，OpenAI 还呼吁所有前沿模型开发者都监控自家最强的模型——这与 Google 刚发布专攻网络安全的 Gemini 4 Carbon、却先只给少数防御者用，同属“能力越强、围栏越要先行”的同一条主线。但回放的 30 多小时提前量是模拟推演，不是已经避免的事实；真正的考验在误报率与寻呼缺口：下一次报警响起时，值班的人能不能在 15 分钟内分清真假。监控的价值，最终要看它下一次实战的表现，而不是这次回放的成绩。
来源：OpenAI，原文：https://openai.com/index/how-we-detect-frontier-model-misalignment
没有回复内容