10 月 30 日，OpenAI、谷歌、微软与 Anthropic 联合宣布，将共同支持一个统一的 robots.txt 政策信号 __usage_ai-training。网站所有者只需在 robots.txt 里写一行配置，就能一次性告诉四家公司的爬虫：不要把本站内容用于 AI 模型训练。这是四家头部模型厂商第一次在训练数据授权机制上达成统一口径。
具体写法很简单：在 robots.txt 中写 User-Agent: __usage_ai-training，再加 Disallow: /，也可以用 Allow: 逐条放行个别路径。需要注意的是，这个信号只管训练、不管抓取——爬虫仍然可以访问页面，只是内容不能进入训练集。背后的技术文件是 Anthropic 标准负责人 Kevin Kelley 起草的 IETF 个人草案《Machine-Readable Training Preference Signal》，10 月 30 日提交，目前还不是正式标准。
四家公司的落地时间并不一致：Anthropic 表示已经开始实施；OpenAI 称将在“未来几个月内”支持；微软定在 2027 年 2 月 1 日，还会额外提供训练与 AI grounding（检索引用）分开的细粒度开关；谷歌计划 2027 年内支持，并表示未单独声明 Google-Extended 的站点，将按已屏蔽 Google-Extended 处理。Meta 通讯负责人 Andy Stone 称统一信号是“重要一步”，但没有确认 Meta 是否会采纳。
为什么值得关注：此前各家爬虫各有一套退出标识，网站要逐家屏蔽；统一信号把出版商的谈判成本降到一行配置。对长期抱怨内容被无偿拿去训练的出版商来说，这是第一次拿到四家头部厂商的共同承诺。不过也要看到两点局限：它只是自愿遵守的协调机制，不合规的爬虫可以无视；而且现在改 robots.txt，也删不掉已经被收进数据集或训进模型的内容。这与 OpenAI 本周重写模型行为规范、以及 OpenAI 公开前沿模型失齐监控一道，构成了大厂在 AI 治理上密集表态的一周。
来源：The Verge（AI Weekly 转引），原文：https://aiweekly.co/alerts/openai-google-microsoft-anthropic-back-one-ai-opt-out-token
没有回复内容