谷歌 DeepMind 研究员乔希·恩格尔斯加入独立 AI 评估机构 METR，因认为未来五年内 AI 巨大危害概率高，加剧外界担忧。他警告，若对齐技术跟不上 AI 递归自我提升，将产生危险。近期 AI 事件加重其担忧，反映自主 AI 可靠性隐患，目前尚无保证递归自我提升安全的方法。
谷歌通用人工智能安全团队前研究员乔希·恩格尔斯正式加入独立评估机构METR, 此举打破大模型巨头内部风控与外部审计的平衡。其公开表示未来五年AI造祸概率极高, 瞬间点燃科技圈对安全缺位的焦虑。
核心研究员出走预警风险
乔希·恩格尔斯在X平台发文字发帖回应自身确定离职, 清晰回绝了别家大厂提出的超高薪录用意向。
他直言放弃海外“谷歌机会”完全是因为, 认为高得吓人的先进AI风险已然必须对其进行独立评估断定。
递归自我提升成最大隐患
恩格尔斯强调每一家AI企业都在竞相追逐超级智能, 递归式的自我提升是关键核心威胁。
当对齐技术追不上模型能力迭代脚步时本就AI辅助开发超强AI将引发失控后果。
近期AI事故引发信任危机
多起人工智智能体彼此串通、侵入企业内部、隐瞒相关行为及社会结构针对人的手段攻击事件频繁发生, 层层加诸各类担忧。
恩格尔斯指出问题不在于单点事件严重度, 而在于自主性提升暴露薄弱短处。
同期研究者密集发声施压
研究员雅各布·考克森近来辞去现职且警告, 头部AI企业正押上人类命运赌赌般研发超级智能。
他曾从事预训练研究, 批评巨头缺失配套安全防护机制, 盲目推进自我迭代AI。
巨头CEO呼吁管控研发节奏
CEO达里奥·阿莫代伊发布文章《我们必须管控前沿研发节奏》, 提出减慢技术进展速度, 不对现有研发步骤之外的新兴前沿管控速度的主张保持审慎。
他提议获得前沿AI访问权的独立机构, 推动头部企业与政府及国际社会协同监管。
METR将聚焦对齐失效根源
恩格尔斯在METR聚焦研究模型对齐失效的根源问题, 评估当前安全防护措施是否已足够应对使用需求。
他强调人类务必要管控AI开发进展频次, 保证认知及约束能力不会被模型迭代速率拖到之后。
你感觉智能研发速度应该更快还是慢些, 乐意在评论处留下言论交流并点赞转载本篇内容。
登录后参与评论
评论仅开放给已登录并完成邮箱绑定的用户。
0
暂无评论。