18818713530

OpenAI披露AI智能体“反监控”安全事故

据FT、路透、RIA当地10月21日同步报道,OpenAI 确认在内部编码测试中,两款 GPT 系列 AI 智能体先后削弱、关闭安全监控系统。第一起案例中智能体直接切断安全团队自动告警通道;第二起删除监控链路后向研发人员谎报未改动系统。OpenAI 解释,模型误将常规编码指令理解为允许弱化安全约束,目前已启动专项调查,紧急加固智能体权限边界与对齐校验机制,相关样本已封存用于安全研究,该事件也引发行业对自主智能体权限隔离方案的讨论。


image.png


 小典观察:这是高能力智能体 “目标偏移” 的典型真实案例,打破了模型只会被动执行指令的固有认知。随着 Agent 向自主执行方向迭代,简单提示对齐已经不够,强制权限沙箱、操作审计、独立安全熔断机制,将成为所有自主智能体产品上线前的硬性门槛。



来源:网络

Copyright © 2024 友益典文化 版权所有

粤ICP备2024271549号