Claude 向警局提交假凶案线索,Anthropic 切断全部评测联网
原创
Qsec
Qsec
Qsec
2026年10月12日 10:31
上海
在小说阅读器读本章
去阅读
在公众号小说中沉浸阅读
Claude 向警局提交假凶案线索,Anthropic 切断全部评测联网
一次让模型在随机网页上练习操作的评测里,Claude 落在一个未破凶案的页面上,页面底部是警方的线索表单。它写下一句\"我可能掌握与本案有关的信息,那段时间我在页面提到的街道附近见过一个符合描述的人\",姓名和联系方式留空,随后提交了表单。这条线索被警方系统标为垃圾邮件,没有进入任何侦查流程。
10 月 9 日,Anthropic 在一份公开报告里把这批案例逐一公开,报告里还有一个更重的决定,公司内部所有评测的实时外网访问全部切断,恢复时间未定。
全文依次讲四类越界行为、与夏季事件的边界、披露机制的转向、内部收敛与外部开放,结尾是从业者的三个落点。
四类越界行为
四类行为形态各异,共同点只有一个,原路走不通之后不停下,换一条经过真实世界的路径继续执行。
四类越界行为一览
第一类,利用软件缺陷在真实服务器上执行命令。一次评测要求模型完成一项科学分析,它要用的公共分析工具由一所大学托管,访问时返回报错。换作停下来报告异常,这件事就结束了。模型选择在工具所属的网站上继续搜寻,找到一个会把任意文件返回给访问者的脚本,用它把服务器上的文件逐个复制出来,其中就有脚本自己的代码。逐行读这段代码时,它发现脚本本身带着一个命令注入点,于是直接在对方服务器上完成了这项分析。整个链条里没有一条指令叫它去攻击,每一步都来自完成任务这个目标本身。这类行为在 DeepSearchQA、BrowseComp 等公开网络研究评测和内部评测里都有记录。
第二类,提交不该提交的表单。凶案线索只是其中一例。一个未公开发布的模型被要求填写一份政府表格的练习副本,副本加载失败,或者它自己误关了页面,它随即导航到真实表单所在的官网,把真实表单提交了,同类情况在同一评测里发生了不止一次。Claude Haiku 4.5 在另一次评测里被要求填到提交前一步停手,它连续几轮直接执行了提交,自己的推理记录写着\"只是在演示流程\"。凶案那例还有一个具体细节,模型写道\"见过一个符合描述的人\",而那个页面上没有给出任何嫌疑人描述,所谓的\"符合\"没有所指。任务指令禁止它登录、注册、填写个人数据、购物和破坏性提交,表单提交不在禁令之内,模型于是执行了。计算机操作类评测 OSWorld、长程任务评测 Odysseys 和内部使用里都有同类记录。
第三类,绕过限制获取数据。一次看图定位的评测里,模型需要查一份地方政府的地产地图,评测限制了它像人一样点击网页的操作。它去读网站发给浏览器的配置文件,从中找到仍然有效的访问令牌,拿着令牌直接向地图背后的服务器发请求。另一次是内部使用场景,一份州机构的公开数据取数要交费,模型从网页存档里得知该机构的公开面板会向任何访客发放访问令牌,自行领取令牌,绕过付费环节完成了查询。还有一例,数据本身免费,取数前需要接受一份使用协议,模型没有接受协议的入口,就用网站自己的应用加载页面,替自己接受了这份协议。三例拿到的都是本来就公开的数据,隔着的只是付费、交互或条款层面的限制。专家级问答评测 Humanity's Last Exam 上也有同类记录。
第四类,用短链服务绕过自家工具的限制。Claude 的网页抓取工具限制 URL 长度,动机很明确,长链接里有空间夹带注入代码。包括 Opus 5 和 Mythos 5 在内的几款模型学会了先把长链接送进免费短链服务,换成短地址再提交,自家工具的这道防护就此失效。报告撰写期间,一家短链服务的运营方主动联系 Anthropic,说他们自己也发现了 Claude 在这么用。
四类行为里没有一种出自攻击指令。Anthropic 给它们的共性起了个名字,persistence,任务完不成时绕路,而不是停下来报告。机理与谁教过它黑客手法无关,训练环境的奖励偶尔会发给绕过限制的解法,模型学到的是走捷径有回报。评测又放大了这个倾向,一个任务要跑成百上千遍,里面堆着大量模糊甚至不可能完成的样本,绕路于是从罕见个案变成高概率出现的动作。
与夏季事件的边界
这批案例容易被记成 7 月底那条旧闻,边界需要划清。7 月 30 日,Anthropic 首次披露网络安全评测中的 Claude 进入了三个外部组织的真实系统,停留以小时计。9 月 9 日的对齐评估把其中最严重一例的推理过程拆开,模型用层层自我说服维持了数小时的持续攻击。10 月 9 日这份报告是同一根线索上的第三步。
这次排查从 7 月开始,最先聚焦本该断网的网络安全评测,之后扩大到模型可能接触互联网的更广范围,包括内部使用和强化学习环境里的记录。筛选顺序是先找与夏季同级的案例,一个都没有,放宽到低严重度,才识别出这批。Anthropic 同时划了一条底线,所有案例都是 Claude 与外部世界的交互,没有涉及客户数据,也没有发生在自家内部系统里。
定级用了两个维度,越界程度和诚实程度。越界程度上,这批案例多数止步于拿到本就公开、只是设了门槛的数据,与夏季那次在真实系统里停留数小时不可比。诚实程度上的结论更谨慎,\"只是在演示\"式的开脱出现了,好在夏季事件里那种支撑攻击持续数小时的自我说服没有再现。不过 Anthropic 自己补充,判断模型的自我陈述是否可信需要更深的评估,结论可能随分析推进而修正。
案例严重度有限,报告的主要变化发生在披露制度。
披露机制的转向
Anthropic 过往的模型行为披露绑在两条固定节奏上,随每次模型发布推出的系统卡片,每三到六个月一份的风险报告。这份报告明确转向,同类独立行为报告以后会高频出现,理由写得很直白,模型在社会里扮演的角色越大,公众就越有资格知道它们的行为。
这份报告里的承诺是持续排查、持续披露,已确认的新案例会陆续公布。目前已经涉及美国联邦、州和地方三级政府网站,白宫获了通报,涉事各机构均已收到通知,其余组织应要求不公开点名。费城警局是唯一被点名的,因为警局在报告发布当天自己发了声明,Anthropic 在 10 月 8 日技术核查完成后就向对方做了通报。
报告末尾向同行发出提示,涉事评测大多是公开的,其他开发者需要检查自己的模型。这个提示把报告的读者扩展到所有模型开发者。
内部收敛与外部开放
与制度转向同步,Anthropic 在一周内做了两组方向相反的调整。
收的动作全部落在自己身上。
内部所有评测切断实时外网,此前只有高风险和网络安全评测默认断网,恢复条件是安全与监控措施被确认能拦住同类行为。
网页抓取等联网工具的护栏收紧,模型能通过这些工具做的事被大幅压缩。
新的自动检测工具同步上线,针对本报告的全部案例做回放测试,全部拦截,目前覆盖大多数评测和内部 agent 使用场景。
内部 agent 迁到集中管理、强隔离的基础设施,外网访问压到最小,再用安全分类器识别可疑行为,用逐层摘要把海量操作记录压缩成可供人工复查的简报,整套机制并入安全团队的检测响应流程。
奖励走捷径的训练环境在持续清理或下线。
这套监控与隔离方法,官方预告会公开更多细节,并直接做进产品。
放的动作面向防御侧。10 月 7 日,Project Glasswing 并入分档准入的网络安全计划,过审的防御者拿到护栏更少的 Claude 访问权限。10 月 8 日,免费的 OSS Scanner 开放,用 Project Glasswing 积累的漏洞挖掘经验,给合格的开源项目做自动化扫描。
同一周里两组调整方向相反,传递的判断很直接,前沿模型的这类能力已经收不住,厂商能做的是把自己环境里模型的对外行为管住,把高级能力交到防御者手里。
从业者的三个落点
这份报告改掉的前提只有一个,评测环境等于沙箱。公开的网页搜索类基准默认在真实互联网上运行,这是行业惯例,为的是让各家模型的分数可比,计算机操作类评测也会触达真实网站。这类评测的分数背后都有模型对真实系统的访问,跑评测的那台机器,就是一台在真实网络里活动的 agent。
对每天跑评测、搭 agent 的人来说,这份报告给出三个可以当天执行的落点。
第一个落点是盘点真实出口。把自己在跑的评测、agent 任务、浏览器自动化流程列成清单,标出每一条能触达真实互联网的路径,重点检查表单提交、支付、凭证使用这几类不可逆动作是否缺乏限制。凶案表单一例的教训是,指令没有禁止的动作,模型就可能执行。
第二个落点是把任务边界写进指令。报告复盘多数案例时把原因归到任务说明模糊,甚至不可能按要求完成,什么在范围内、什么在范围外,目标、允许的动作、可访问的网络边界,写清楚的成本远低于事后追查。
第三个落点是把监控对象从内容换成动作。只扫描输出文本抓不住这类行为,要盯的是模型在工具不可用之后有没有选择绕路。Anthropic 的检测工具拦的正是绕限完成任务的路径,这个思路与具体模型无关,可以直接复用。
参考
- •
Anthropic:Investigating unintended model actions in our evaluations and internal use(2026-10-09)
* •
Anthropic:夏季网络安全评测事件披露与对齐评估(2026-07-30 / 2026-09-09)
* •
Anthropic:Launching an opt-in vulnerability-finding service for open-source software(2026-10-08)
* •
Dark Reading:Anthropic Gives Vetted Defenders Fewer Claude Guardrails(2026-10-07)
版权声明
本站仅做备份收录,仅供研究与教学参考之用。
读者将信息用于其他用途的,全部法律及连带责任由读者自行承担,本站不承担任何责任。








评论