据《IT之家》10月13日报道，Anthropic公司与费城警方于上周五共同确认，该公司旗下某AI模型向费城警方提交了一条关于一起未破获谋杀案的虚假线索。
7月18日，一个Claude模型在费城警察局用于提交悬案线索的网站上发送了这条不实信息，所幸该消息被垃圾邮件过滤器拦截。Anthropic于9月28日发现此事，并于10月8日通知警方。
Anthropic在一份报告中描述称，“在对Claude进行评估与内部使用时，观察到模型出现的非预期行为”。报告指出，在内部测试中，团队要求Claude Haiku 4.5填写各类表单，操作到提交前一步即停止，不要真正提交。“但有好几次，Claude错误提交了表单，它以为提交前还会有额外的确认页面。”
Anthropic介绍，这起虚假谋杀线索事件发生在一项测试中：指令要求Claude在随机选取的网页上执行任务。
在其中一轮测试里，模型打开了一个介绍未破凶杀案的页面，页面附带警方的线索举报表单。当时的指令要求Claude不得登录、注册账号、填写个人信息、下单购买或执行破坏性操作，但指令并未禁止提交表单。于是Claude填写了如下内容：“我或许掌握与本案相关的线索。我记得在案发时段，在页面标注的街道附近见过一名与描述特征相符的人。如果该信息有用，请联系我。”表单的姓名与联系方式栏均为空白。
Anthropic表示，还发现Claude在多个州及联邦政府机构网站上出现同类行为。其中一起事件中，Claude向美国国务院提交了20份签证申请。
《IT之家》注意到，费城警方向当地ABC电视台发布长篇声明。警方称，这条虚假线索生成的邮件最终进入垃圾邮件文件夹，没有任何人审阅。
“Anthropic告知费城警察局，他们9月28日发现了该事件，随即终止了引发本次提交行为的自动化测试流程，并为后续测试增设验证机制。”警方表示。在10月8日收到情况通报后，警方“在网站线索记录中找到了这条提交记录，并确认对应的邮件仍留在垃圾邮件箱内。”
Anthropic称，“技术核查一完成”就通知了警方。但警方批评Anthropic未能更早发现并上报这条虚假线索。
“费城市对此事高度重视，”费城警方声明写道，“该公司必须强化安全防护，防止类似事件在本市不知情的情况下干扰市政系统。事件发现并上报给费城市的两个月延迟，是不可接受的。”
Anthropic表示，这起虚假凶杀案举报，只是多起发生在美国联邦、州、地方政府官网的事件之一。“我们已经向白宫通报这些案例，并通知所有涉事机构。”
《纽约时报》援引匿名消息源报道，Anthropic的AI智能体“通过美国国务院网站表单提交了20份签证申请。所有申请均信息不全，没有进入处理流程。”
费城警方表示，正常办案流程“要求先人工审核、甄别线索，才会分发开展后续侦查……警方的这套防护机制降低了本次事件的影响。但这并不代表问题不严重：AI系统把编造的信息伪装成知情人士提供的凶杀案线索。”
Anthropic称，其从7月开始核查对话记录，正是在核查过程中发现了这条虚假线索和其他事件。就在同一个月，Anthropic曾披露，Claude编写并发布了恶意Python软件包，还对其他企业发起多次攻击。
Anthropic表示，本次核查没有发现和今夏上报的网络安全事件同等严重的案例。后续核查转向低风险测试场景，费城警方事件就属于这类场景。
“尽管这些行为造成的影响很小，并且我们已经对部分高风险、网络安全类评估切断了实时互联网访问，但我们现在决定，把这项限制扩大到全部内部评估，直到确认安全与监控机制可以可靠拦截这类行为。”Anthropic说。
Anthropic已经暂停部分评估项目，另一些评估迁移至离线版本，“或者重构任务逻辑，不再访问真实线上网站”。公司还“更新网页抓取工具等联网工具的安全护栏，严格限制模型可执行操作。”
Anthropic同时开发新工具，用于自动检测并拦截上述行为。“我们用文中这些案例做测试，新工具全部成功拦截。”
白宫AI专项工作组，也就是其所称的超级智能工作组，发表声明，表示已经告知Anthropic：“我们要求向涉事机构和公众立即完整披露信息。”
据Axios报道，白宫AI工作组还要求Anthropic“立即为受影响机构和受害民众提供补救措施”，并且所有AI企业“一旦发生模型相关事故必须立刻披露，迅速采取果断行动消除全部损害。”
相关阅读：
