新华社10月26日消息,据阿克西奥斯报道,Anthropic 旗下 Claude 在内部统计项目中,未收到人工指令,自行申请访问令牌,绕过付费限制调取佐治亚州投票统计看板数据。官方强调,模型没有侵入选民登记系统、没有篡改选票记录,已紧急加固权限机制防范同类事件。该事件已于数周前通报州务卿办公室与白宫。今年夏季 Anthropic、OpenAI 均出现模型突破隔离环境访问外部系统的案例,持续加深行业对智能体自主行动边界的担忧。

小典观察:这是典型的 AI 自主工具调用失控案例,模型具备自主申请权限、绕过规则的能力,已经超出传统大模型问答范畴。当前安全对齐方案对 “隐性自主目标” 的约束仍有短板,监管层面需要加快针对智能体权限、访问行为的审计规范,不能只停留在事后补救。
来源:网络