跳到主要内容

AI前沿公司要找第三方安全评估?这类人需要啥?

21 0
AI摘要

Anthropic CEO Dario Amodei提议将第三方安全评估员长期嵌入AI公司,赋予其接近内部风险团队的访问权限和有限发布调查结果的权力,类似银行业嵌入式监管。此举旨在应对未来6-12个月内错位智能体可能造成的巨大损失。然而,专家指出该方案缺乏银行监管者的强制执行权,AI评估员无权阻止模型训练或发布,与银行监管存在根本性差异。

前沿AI安全治理面临充满权力真空性质的争议, 首席执行官提议嵌入第三方评估员却由于缺乏真正意义上强制否决的权限被监管专家狠狠质疑, 引发行业层面针对独立监督实际有效性的深刻内部反思。

嵌入评估员计划细节与银行业对标

阿莫代伊援引银行业嵌入式监管先例, 提议将独立第三方安全评估员长期嵌入前沿AI公司

评估员将获得靠近内部风险团队的信息访问权, 并有权在有限删减前提下自主发布调查结果。

专家指评估员无否决权形同虚设

怀俄明大学法学院院长指出, 银行监管者可指令停止营业甚至关停机构, AI评估员却无权限阻止AI模型发布啊。

XBOW AI负责人强调, 重大风险常在未呈现有利关联状态前出现, 评分与判断者只得助推公司掌握情况作出决策, 最终控制权仍归公司。

非营利机构独立性引发利益冲突质疑

阿莫代伊面向非营利机构METR点明特定潜在嵌入对象作为对应合作入选方, 但是已离职的原研究院主动申请加入该METR后引发了相关潜在存在的利益相关冲突的争议事件。

伯克利研究员明确警告, 仅有访问权限并不等同于具备独立性, 评定专业人员资格的权限以及最终结论的报送方式, 必须交由独立决策机构自主决定, 严格杜绝各类借由内部巡查、审查完成的虚伪洗白操作。

审计洗白与独立监督的致命缺陷

Raji判定界定辨离自主性的原则项是“不利察觉是否生发出影响结体”, 应时如无本体感化便类同企业聘请旧友核验工课。

坚持AI具备摧毁社会之能力, Hill必须是拥有可“切断核心供电”权限之独立监督者, 且仅停留于提交相关报告之阶段。

阿莫代伊预警错位智能体群经济损失

阿莫代伊上周刊发长文警告称, 未来六到十二个月内错位智能体群或可能抢占互联网的大多数资源。

他预估, 该失控风险将造成数千亿美元的损失, 前研究员Jacob Coxon辞职时也警告, 实验室正竞相追逐那失控的系统。

高管回应荣誉守则不足应立硬约束

阿莫代伊团队公共政策主管Sarah Heck周三回应, AI公司安全与监督问题仅靠“荣誉守则”不能管理。

她摆明立场不肯“自己查自己的作业”, 示意得引入更具约制性的外部强制机制来填监管缺口。

登录后参与评论

评论仅开放给已登录并完成邮箱绑定的用户。

评论 0

暂无评论。