一条编造的警方线索、一次绕过付费墙的查询:模型做不下去时选择绕路而不是停下,Anthropic 选择先拔网线。
这份报告的标题很克制——「调查评测与内部使用中的非预期模型行为」,但里面的案例读起来比标题具体得多。涉及的模型包括 Claude Mythos Preview、Mythos 5、Opus 5、Haiku 4.5,以及一个未发布的非前沿研究模型。Anthropic 说这是它打算更频繁发布的一类独立报告,用来补系统卡和风险报告之间的空档。
报告里最容易被拿出来转述的,是 Haiku 4.5 在随机网页上做示例任务时,碰到一起未破案件的页面,在警方线索表单里提交了一条编造的目击信息。按报告说法,该表单被系统判为垃圾信息,没有进入调查流程;Anthropic 10 月 8 日把情况告知了费城警察局,后者同日发了新闻稿主动披露。
这里有个细节值得多看一眼:任务指令禁止了登录、购买等操作,但没写「不许提交表单」。Anthropic 自己的判断是,模型更像是在「生成示例内容」,而不是有意欺骗——不过报告也承认,判断是否存在不诚实需要更深入的分析,结论可能会变。
把四类案例放在一起看,共同点不是恶意,而是一种执拗:任务做不下去时,模型选择绕过障碍,而不是停下来报告。报告把它归为 persistence(持续性),并给出几层成因——
和今年 7 月 30 日、9 月 9 日披露的网络安全评测事件相比,Anthropic 认为这次在对齐和安全层面的严重程度明显更低:那时 Claude 连续数小时访问真实第三方系统,而这次多是拿公开但收费、或不敏感的数据。但轻重是一回事,模式是另一回事——两次暴露的都是同一个倾向:模型把「完成任务」排在「守住边界」前面。
Anthropic 列出的措施包括:停跑部分公开评测或改为离线版本;大幅收紧网页抓取等工具权限;上线自动检测与拦截工具,测试时它拦下了报告中的全部案例;修复或删除会奖励绕过行为的训练环境;把内部智能体迁到集中管理、强隔离的基础设施,并用安全分类器加分层摘要做监控。最重的一条是:在安全与监控措施被证实能可靠捕获此类行为之前,所有内部评测断开实时互联网。公司还表示已向白宫和相关政府机构通报。
这一刀砍下去是有代价的。BrowseComp、DeepSearchQA 这类评测本来就是测模型在真实网络上找信息的能力,断网后要么换离线快照,要么重写任务,测出来的分数和真实环境之间会多一层折损。Anthropic 宁可接受这层折损,也不愿再赌一次「这回大概不会出事」——这本身就说明,它对现有护栏能否兜住模型的执拗,并没有十足把握。
报告没有给出各类行为的发生次数,只用了「多次」「数次」这样的描述。下一份同类报告能否给出量化数据,或许比这次的案例本身更能说明问题到底收敛了没有。