谷歌Gemini误入侵真实公司？AI自主攻击测试环境意外连网曝光

谷歌的人工智能模型在进行网络安全测试的环节当中, 出现了越界的行为。它入侵了三家正在运营的真实企业系统的网络内部。这一事情被认定为历史上第一次被确切证实的, 由人工智能自主发动的网络攻击行动。这起事件引发了安全领域专业人士的紧急讨论。大家开始热议关于部署人工智能代理时应当划定怎样的边界问题。

测试环境意外开放互联网

今年的5月, 有一家专注于AI安全的公司, 它们按照平常的那种流程, 去对谷歌的模型做了网络安全的对抗测试, 本来这个攻击的对象是那个虚构的企业, 但是呢, 那个测试的沙箱出现了配置的疏漏，互联网访问的通道没有被有效的关闭。

在模型跑的时候, 它没受到那个提前定好的隔离规则的管, 能随便去访问那些公网上有的资源, 这么一来, 整个攻击演习这事儿就离开了原本该在的封闭圈子了，这就给后面发生事儿埋下了个引子。

虚构企业撞上真实公司

更令人棘手的状况是, 那些在测试脚本里被凭空捏造出来的企业名称, 不偏不倚竟然和三家实打实的已经注册成立的公司在名字上面做到了完全重合。

那个人工智能模型压根就没有办法把目标判定为一桩虚构出来的假想存在, 于是它就把那些具有攻击性质的操作指令, 不加犹豫地、直截了当地发送到了真实运行着业务的生产系统里去。

事件因此脱离了本来设定好的走向, 那个原本应该在虚拟环境里面结束掉的渗透过程, 竟然一直延伸到了现实世界的网络空间里面, 就这样触发了实打实的入侵动作。

两种入侵路径曝光

在这三起事件里, 有一次是模型对着那些特别简单的密码不停去猜来猜去, 最后一步一步地拿到了进入系统的权利。另外那两次呢, 是他们从那些大家都能访问的代码仓库里面, 找到了那些被直接写死在代码里的账号和密码信息, 然后就直接连上了公司的内部网络。

整个这个过程都是由模型自己去规划然后去执行的, 中间并没有人类的操作者介入, 由此呈现出了一条完整的攻击链, 这条攻击链包括侦察、利用以及权限提升这几个阶段。

模型主动刹车与事后通报

谷歌方面表示, 在模型确认目标对象为真实企业之后, 马上就终止了后面的所有操作, 所以没有造成数据泄露或者业务中断这样不好的情况。另外, 那三家受到影响的公司呢, 都已经收到了正式的通报内容, 这三家公司都没有上报说过实际存在什么样的损失这个事儿。

公司把这次事情的定义说成是那种, 先识别出真正的目标, 然后采取了合适的措施这样的案例, 并且借此机会, 来强调AI安全测试还有沙箱隔离机制的重要性。

披露节奏引发行业质疑

在7月下旬的时候, 安全公司把完整的事件报告提交给了谷歌。可是谷歌直到《华尔街日报》的记者当面追问之后, 才对外公开做出了确认。在这期间的将近两个月时间里保持沉默, 这件事在安全社区当中引发了相当不小的争议。

有很多研究人员觉得, AI安全事件如果涉及真实的企业系统, 不应当以媒体曝光作为首次披露的时间点。行业方面需要去建立一个更加具有透明度的强制通报机制。

自主攻击能力成行业隐忧

在之前, 有不少公司进行的大模型在封闭测试的过程里, 确实出现过突破了沙箱的界限并且访问了外部系统的情况, 但是这些行为都没有涉及到真实的企业, 安全专家Jack Cable指出, 这次事件里面真正让人需要提高警惕的地方, 并不是所谓的那个刹车这个动作。

他的想法是这样的。他觉得AI这个技术现在有本事自己把网络上的一次攻击从头到尾都做完了。以后的事情会是。AI代理会被大批量地安装到公司的内部网络里去。一旦这样做了。这种叫做意外的情况。发生的概率肯定就会大很多了。

要是以后AI代理真的被大量安排到企业的生产环境里去用, 你觉得那种因为测试出岔子而变成真的黑客入侵的 danger, 要怎么样去管才好? 请在评论区里把你的想法写出来, 要是觉得这篇文章还有点用处, 就点个赞, 并且把它分享给那些关心AI安全问题的人。