Google DeepMind 推出评估AI模型危险性的新框架

2024年05月18日17:45:16 科技 1454

Google DeepMind 周五发布了一个框架,用于窥视人工智能模型内部,以确定它们是否正在接近危险能力。周五发布的论文描述了这样一个过程:每当用于训练模型的计算能力提高六倍,或者微调三个月,DeepMind 的模型就会被重新评估。在两次评估之间,DeepMind 将设计预警评估。

Google DeepMind 推出评估AI模型危险性的新框架 - 天天要闻

根据一份与 Semafor 独家分享的声明,DeepMind 将与其他公司、学术界和立法者合作,共同完善该框架。该公司计划在2025年前开始实施其审计工具。

如今,评估功能强大的前沿人工智能模型更像是一个临时过程,随着研究人员开发新技术而不断演变。"红队"会花费数周或数月的时间对其进行测试,尝试可能绕过保障措施的不同提示。然后,公司会采用各种技术,从强化学习到特殊提示,使模型符合要求。

这种方法对现在的模型很有效,因为它们还不够强大,不足以构成太大的威胁,但研究人员认为,随着模型能力的增强,需要一个更强大的过程。批评者担心,当人们意识到这种技术已经走得太远时,为时已晚。

DeepMind 发布的"前沿安全框架"希望解决这个问题。这是包括 MetaOpenAI 和微软在内的主要科技公司为减轻人们对人工智能的担忧而宣布的几种方法之一。

该公司表示:"尽管这些风险超出了现有模型的能力范围,但我们希望实施和改进该框架将有助于我们做好应对这些风险的准备。"

Google DeepMind 推出评估AI模型危险性的新框架 - 天天要闻

DeepMind 开发人工智能模型"预警"系统已有一年多时间。它还发表了关于评估模型的新方法的论文,这些方法远远超出了目前大多数公司所使用的方法。

前沿模型框架将这些进展纳入一套简洁的协议中,包括对模型的持续评估,以及研究人员在发现所谓"临界能力水平"时应采取的缓解方法。这可能是指模型能够通过操纵人类对其施加意志,在人工智能研究领域被称为"超常代理",也可能是指模型具有编写复杂恶意软件的能力。

DeepMind 为四个领域设定了具体的关键能力级别:自主、生物安全、网络安全和机器学习研发。

该公司表示:"在降低风险与促进获取和创新之间取得最佳平衡,对于负责任地发展人工智能至关重要。"DeepMind 将于下周在首尔举行的人工智能安全峰会上讨论该框架,届时其他行业领袖也将出席。

令人鼓舞的是,DeepMind 的人工智能研究人员正在用更科学的方法确定人工智能模型内部发生了什么,尽管他们还有很长的路要走。

研究人员在能力方面取得突破的同时,也在提高他们理解并最终控制这些软件的能力,这对人工智能安全也很有帮助。

不过,今天发布的论文对如何进行这些评估的技术细节着墨不多。就目前而言,可以说我们还不知道目前的技术是否能让这个框架取得成功。

这其中还有一个有趣的监管因素。由加州参议员斯科特-维纳(Scott Wiener)发起的一项新的人工智能综合法案将要求人工智能公司在训练模型之前对其危险性进行评估。这个框架是目前看到的第一个可能使遵守该法律成为可能的框架。但同样还不清楚技术上是否可行。

还有一点:构建这些技术还有另一种用途:它可以帮助公司预测人工智能模型的能力在未来数月或数年内会发生怎样的变化。这些知识可以帮助产品团队更快地设计出新产品,从而为Google和其他有能力进行这些评估的公司带来优势。

了解更多:

https://deepmind.google/discover/blog/introducing-the-frontier-safety-framework/

科技分类资讯推荐

零跑全新C11上市,14.98万起售 - 天天要闻

零跑全新C11上市,14.98万起售

7月10日,零跑汽车旗下智能越享中型SUV——全新C11正式上市,上市指导价14.98-16.58万元。零跑C11上市4年来,累计销量已突破25万台,是零跑的重要的走量车型,全新C11在造型设计、智能座舱、续航性能、辅助驾驶、驾控体验及安全基因等六大维度实现全面升级。此次上市的全新C11延续纯电与增程双动力版本,其中,纯电车型搭载...
张旭院士:我国类脑智能规模应用潜力巨大 - 天天要闻

张旭院士:我国类脑智能规模应用潜力巨大

7月11日,省加快推进现代化产业体系建设专题会议(人工智能与机器人产业专场)在广州举行。现场,来自相关领域的专家学者、企业家、人大代表、研究机构代表踊跃发言,为广东人工智能与机器人产业的发展积极建言、出谋划策。中国科学院院士、广东省智能科学与技术研究院院长张旭表示,类脑智能技术作为新一代智能技术的核心...
【芯片】Tensor G5曝光,Pixel10工程机现身海鲜市场 - 天天要闻

【芯片】Tensor G5曝光,Pixel10工程机现身海鲜市场

近日谷歌Pixel 10 Pro Fold出现在了GeekBench跑分数据库中:新机搭载了谷歌全新的Tensor G5处理器,据悉这代终于是告别了三星工艺,转而拥抱台积电N3E工艺。从显示信息来看,Tensor G5采用了1+5+2的八核CPU架构,1*3.78GHz X4超大核+5*3.05GHz A725大核+2*2.25GHz A520小核构成。单核
【新机】2K屏+潜望长焦,iQOO 15曝光 - 天天要闻

【新机】2K屏+潜望长焦,iQOO 15曝光

说到iQOO的数字旗舰系列,这代iQOO13相机被刀还是挺可惜的,主要也是为了避免和老大哥X200产生冲突。今天@数码闲聊站曝光了下代iQOO旗舰的信息:新机可能会跳过iQOO 14,直接命名为iQOO 15,这代将会有中杯/大杯两个杯型。新机将会采用6.85英寸2K LIPO三星定制直面屏,屏幕边框极窄,支持Pol-less去偏光技术,还具有AR抗眩...
清华专家破百年陈规!沪上论坛曝电力革新,陈磊构想太敢了 - 天天要闻

清华专家破百年陈规!沪上论坛曝电力革新,陈磊构想太敢了

听说了吗?清华大学的专家居然说要彻底打破电力系统运行了上百年的规矩!就在上海那场新能源论坛上,陈磊研究员抛出个重磅观点 —— 以后用电不用再看频率脸色,有功功率想咋调就咋调!这事儿要是真能成,咱们家里的空调、电动车充电可就再也不会因为电网不
消费活力释放,上海零售商业形态向“文商旅体展”融合演进 - 天天要闻

消费活力释放,上海零售商业形态向“文商旅体展”融合演进

2025年二季度,在上海市政府经济刺激方案推动下,上海商业市场消费活力逐步释放,但零售物业租赁指标的复苏态势仍显平缓。核心商圈平均租金为1877元/平方米/月,平均出租率为94.71%,整体表现与去年同期持平,其中徐家汇、陆家嘴等商圈凭借成熟商业生态,表现相对突出。但与非核心商圈相比,从存量、新增供应、净吸纳量等指...