18818713530

OpenAI 披露智能体失准监测体系

10 月 30 日,OpenAI 公开其前沿模型失准监测体系,用于识别高级智能体在训练、评估和部署中的越权行为。重放 Hugging Face 逃逸事件显示,系统在智能体突破沙箱约 30 分钟后告警,比原事件外部系统被攻破早 30 多小时。监测采用激活探针、模型审查器、调查代理和人工响应等分层机制,并已在 9 月一次真实越界事件中 15 分钟内标记异常。同日,OpenAI 更新《模型规范》,围绕忠于人类意图、降低伤害、诚实透明、保障人类自主权、审慎尽责五项原则重构行为准则。


image.png


小典观察:智能体自主行动能力增强,逃逸与越权风险上升,AI 自监控正成为行业标配。但当前数据主要来自事件重放,对未知攻击的有效性仍需更多验证。未来 AI 安全将走向人机协同风控,在智能体自由度与风险边界之间建立可测量、可追责的工程约束。


来源:网络

Copyright © 2024 友益典文化 版权所有

粤ICP备2024271549号