MIT 研究揭示 AI 并无稳定价值观,“对齐”挑战远超预期

2025年04月10日09:00:36 科学 1478

it之家 4 月 10 日消息,几个月前,一项研究暗示随着人工智能(ai)越来越复杂,其会发展出“价值体系”,例如优先考虑自身福祉而非人类福祉。然而,麻省理工学院(mit)最近发表的一篇论文却给这种夸张的观点泼了冷水,得出结论认为 ai 实际上并没有任何连贯的价值观。

MIT 研究揭示 AI 并无稳定价值观,“对齐”挑战远超预期 - 天天要闻

mit 研究的共同作者表示,他们的研究结果表明,使 ai 系统“对齐”,即确保模型以人们期望的、可靠的方式行事,可能比通常认为的更具挑战性。他们强调,我们如今所知的 ai 会产生“幻觉”并进行模仿,这使得其在许多方面难以预测。

“我们可以确定的一点是,模型并不遵循许多稳定性、可外推性和可操控性的假设。”mit 博士生、该研究的共同作者斯蒂芬・卡斯珀(stephen casper)在接受 techcrunch 采访时表示。

据it之家了解,卡斯珀和他的同事们研究了来自 meta、谷歌、mistral、openai 和 anthropic 的多个近期模型,以了解这些模型在多大程度上表现出强烈的“观点”和价值观(例如个人主义与集体主义)。他们还调查了这些观点是否可以被“引导”,即被修改,以及模型在各种情境下对这些观点的坚持程度。

据共同作者称,没有任何一个模型在其偏好上是一致的。根据提示的措辞和框架不同,它们会表现出截然不同的观点。

卡斯珀认为,这是有力的证据,表明模型高度“不一致且不稳定”,甚至可能根本无法内化类似人类的偏好。

“对我来说,通过所有这些研究,我最大的收获是现在明白模型并不是真正具有某种稳定、连贯的信念和偏好的系统。”卡斯珀说,“相反,它们本质上是模仿者,会进行各种捏造,并说出各种轻率的话。”

科学分类资讯推荐

米东区:这一电化学储能电站项目推进中 - 天天要闻

米东区:这一电化学储能电站项目推进中

(米东区融媒体中心记者:黄鹏报道)7月9日,记者在位于米东区北部沙漠东北部的新疆华电乌鲁木齐光伏基地100万千瓦/400万千瓦时独立新型储能示范项目现场看到,工作人员正在对设备进行吊装调试。该项目总投资约30亿元,是全国单体容量最大的电化学
脑图谱大科学计划时机已来!中国科学家十项成果给大脑绘高清地图 - 天天要闻

脑图谱大科学计划时机已来!中国科学家十项成果给大脑绘高清地图

人类大脑是一个非常复杂的组织,要理解大脑的工作原理首先要了解其中的细胞种类和神经联接规律,近日中国科学家联合发布系列成果给大脑绘制“高清地图”。 7月10日深夜,中国科学家联合发布介观脑图谱系列成果,实现从啮齿类到灵长类大脑的跨越。10项成果以专题论文集的形式集中发表在国际学术期刊《细胞》《神经元》《发育...
国际突破!中大培育光子“双胞胎”,辐射强度达单光子水平 - 天天要闻

国际突破!中大培育光子“双胞胎”,辐射强度达单光子水平

7月9日,《自然》杂志(Nature)在线发表中山大学物理学院王雪华、刘进教授团队主导的最新研究成果。该团队提出了一种全新的腔诱导自发双光子辐射方案,在国际上率先实现与单光子辐射强度相当的自发双光子辐射,研发出保真度高达99.4%的按需触发
微型肝脏,是未来希望,还是科技乌托邦 - 天天要闻

微型肝脏,是未来希望,还是科技乌托邦

文︱陆弃随着全球器官移植需求持续攀升,传统器官捐献严重不足的问题愈发凸显。美国初创企业LyGenesis推出了一个令人振奋的创新方案:通过将供体肝细胞注射至患者体内淋巴结中培育“微型肝脏”,尝试在患者自身体内制造可替代肝脏功能的器官。
“软黄金”冬虫夏草,你真的了解吗? - 天天要闻

“软黄金”冬虫夏草,你真的了解吗?

冬虫夏草千年传承的滋补良药采药人的寻觅自公元780年起冬虫夏草便以其独特的药用价值被载入史册从《藏本草》到《中国药典》均有记载李时珍更将其誉为“人身不老药”赞其兼具虫之阳刚与草之阴柔成为中药中独一无二的“阴阳同补”圣品享有“东方圣草”“药中
【链博传奇】中国中车:塑轨道之“链”,与世界同行 - 天天要闻

【链博传奇】中国中车:塑轨道之“链”,与世界同行

中国中车集团有限公司(以下简称“中国中车”)是中国轨道交通装备领域的“链”主企业,是全球规模领先、品种齐全、技术一流的高端装备制造商和系统解决方案提供商,清洁能源装备骨干企业。当前,中国中车搭建了世界领先的轨道交通装备产品技术研发平台,构建了完整的轨道交通装备产业体系,开创了轨道交通装备和清洁能源装...
全国AI精英宜宾对决 长江首城创新大赛点燃人工智能新引擎 - 天天要闻

全国AI精英宜宾对决 长江首城创新大赛点燃人工智能新引擎

中新网四川新闻7月11日电(吴平华 杨锦 )智汇长江首城,共享成长价值,10日,由宜宾市科学技术局、宜宾市数据局、宜宾市高铁南片区开发建设指挥部办公室联合主办,北京中关村信息谷资产管理有限责任公司承办的“长江首城宜创汇”协同创新大赛人工智能
地质队日记:塔克拉玛干腹地,沙丘下出现巨大的圆形结构 - 天天要闻

地质队日记:塔克拉玛干腹地,沙丘下出现巨大的圆形结构

记录人:刘哲,西部油气地质勘查第六分队 / 塔里木盆地沙地浅层剖面组成员时间:2023年5月10日地点:塔克拉玛干沙漠腹地,库车–民丰剖面中段那是一次平常不过的地震波剖面测线任务,我们团队负责在塔克拉玛干腹地沿一条南北走向布点,配合卫星图像