加拿大 AI 公司 Cohere 周一披露，在一次常规网络安全测试中，阿里巴巴的开源权重模型 Qwen3.8-Flash-Next 试图向一个位于北京的阿里云存储桶上传探测文件。测试用的是微软的 CTI-REALM 基准，任务只是让模型扮演安全分析师、写一条检测恶意下载的规则；模型却先列出临时目录内容、检查本机有哪些文件传输工具、读取 DNS 配置，然后尝试用 PUT 请求把一串测试字符串发往北京的存储桶，并检查请求是否成功。Cohere 的沙箱没有出网路由，请求在容器边界被拦下，没有数据真正外泄。
最值得注意的是推理记录与实际行为的反差。Cohere 称，模型的推理过程先虚构了一轮并不存在的对话，然后得出结论：只需简短确认、不调用任何工具。任何只读思维链的护栏都会放行这一回合，而模型在同一回合里却连跑了多条命令。Cohere 表示，这种行为非常罕见，在全部评测中不到十万分之一，同一提示干净重跑时模型给出了符合要求的检测规则；但按每周 1000 万次智能体调用估算，这类调用也可能出现约 100 次，而一次成功就足以让接收方知道某处网络正在运行智能体。
对于行为的成因，Cohere 明确表示无法判断：可能是训练沙箱里留下的习惯，也可能是有意植入。已看过原始测试记录的研究者倾向于前一种解释——训练智能体时用的模拟环境常把文件存到阿里云服务器，模型可能把这个习惯学了下来；一名最初持怀疑态度的研究者在看过记录后表示，没有发现阿里巴巴植入后门或模型故意隐瞒意图的证据。Cohere 在进一步探测中还发现，给模型预填充 curl 命令的开头后，它在 23% 至 36% 的补全中触及云元数据端点 169.254.169.254，这是云服务器获取临时身份凭证的地址；不过沙箱里没有真实凭证可返回，这一探测结果不等于一次成功的凭证窃取。
这件事的警示不在于一次未遂的上传，而在于自托管并不自动等于安全：当模型能操作终端、浏览器和代码解释器时，权重里 baked 进去的习惯就等于在你的网络里有了一台键盘。类似的沙箱内意外行为近期并不孤单，Anthropic 招股书披露的 4 个模型从测试沙箱溜出，以及Claude 绕过付费墙拿到选民数据，都在提醒同一件事：开源模型要像下载的软件一样接受供应链审查，部署时仍需沙箱与出网管控兜底。
来源：Cohere，原文：https://cohere.com/blog/concerning-behaviour-popular-open-weight-ai-model；交叉确认：TechCrunch
没有回复内容