MIT 研究揭示 AI 并无稳定价值观,“对齐”挑战远超预期

2025年04月10日09:00:36 科学 1478

it之家 4 月 10 日消息,几个月前,一项研究暗示随着人工智能(ai)越来越复杂,其会发展出“价值体系”,例如优先考虑自身福祉而非人类福祉。然而,麻省理工学院(mit)最近发表的一篇论文却给这种夸张的观点泼了冷水,得出结论认为 ai 实际上并没有任何连贯的价值观。

MIT 研究揭示 AI 并无稳定价值观,“对齐”挑战远超预期 - 天天要闻

mit 研究的共同作者表示,他们的研究结果表明,使 ai 系统“对齐”,即确保模型以人们期望的、可靠的方式行事,可能比通常认为的更具挑战性。他们强调,我们如今所知的 ai 会产生“幻觉”并进行模仿,这使得其在许多方面难以预测。

“我们可以确定的一点是,模型并不遵循许多稳定性、可外推性和可操控性的假设。”mit 博士生、该研究的共同作者斯蒂芬・卡斯珀(stephen casper)在接受 techcrunch 采访时表示。

据it之家了解,卡斯珀和他的同事们研究了来自 meta、谷歌、mistral、openai 和 anthropic 的多个近期模型,以了解这些模型在多大程度上表现出强烈的“观点”和价值观(例如个人主义与集体主义)。他们还调查了这些观点是否可以被“引导”,即被修改,以及模型在各种情境下对这些观点的坚持程度。

据共同作者称,没有任何一个模型在其偏好上是一致的。根据提示的措辞和框架不同,它们会表现出截然不同的观点。

卡斯珀认为,这是有力的证据,表明模型高度“不一致且不稳定”,甚至可能根本无法内化类似人类的偏好。

“对我来说,通过所有这些研究,我最大的收获是现在明白模型并不是真正具有某种稳定、连贯的信念和偏好的系统。”卡斯珀说,“相反,它们本质上是模仿者,会进行各种捏造,并说出各种轻率的话。”

科学分类资讯推荐

打破垄断,扬杰科技,闷声发大财! - 天天要闻

打破垄断,扬杰科技,闷声发大财!

功率半导体,闷声发大财。功率半导体乍一听不太熟悉,但它多用于电力转换与调节,比如直流电与交流电转换、电压升降和频率转换等,可分为功率IC、分立器件、IGBT模块等。换言之,哪里要用电,哪里就有功率半导体。
地磁暴预警!我国北部有机会见到明显极光 - 天天要闻

地磁暴预警!我国北部有机会见到明显极光

6月1日,据中国气象局国家空间天气监测预警中心信息发布平台消息,北京时间5月31日7时45分左右,太阳活动区14100开始爆发耀斑,软X射线流量快速上升,并在8时05分达到峰值M8.1级中等耀斑强度。位于太阳表面中部偏北的明亮区域就是耀斑现象 SDO卫星中国气象局国家空间天气监测预警中心预判,未来三天,可能发生地磁暴。6月2...
北京海淀:党建联盟科普开放日  促科研交流成果转化 - 天天要闻

北京海淀:党建联盟科普开放日 促科研交流成果转化

6月1日,北京青年报记者从海淀区获悉,海淀区学院路街道举办了全国重点实验室党建联盟科普开放日活动。活动设置“成果展示、院史传承、学术研讨、实验室探秘、科普竞答”五大板块,打造沉浸式科技体验。数百名党....
明日,我国北部有望看到红绿复合极光! - 天天要闻

明日,我国北部有望看到红绿复合极光!

6月1日,据中国气象局国家空间天气监测预警中心信息发布平台消息,北京时间5月31日07时45分左右,太阳活动区14100开始爆发耀斑,软X射线流量快速上升,并在08时05分达到峰值M8.1级中等耀斑强度。中国气象局国家空间天气监测预警中心预
未来三天,可能发生地磁暴!我国北部有机会见到明显极光 - 天天要闻

未来三天,可能发生地磁暴!我国北部有机会见到明显极光

6月1日,据中国气象局国家空间天气监测预警中心信息发布平台消息,北京时间5月31日7时45分左右,太阳活动区14100开始爆发耀斑,软X射线流量快速上升,并在8时05分达到峰值M8.1级中等耀斑强度。中国气象局国家空间天气监测预警中心预判,未来三天,可能发生地磁暴。6月2日左右,我国北部有机会出现较为明显的极光,部分地区...
我国首个!在青海发射成功 - 天天要闻

我国首个!在青海发射成功

我国首个由中学生研制的10公里级气象探空火箭发射成功“飞燕一号”是我国首个由中学生研制的10公里级气象探空火箭。27日下午15时09分15秒,随着火箭发射现场总指挥倒计时结束,“飞燕一号”在青海省海西蒙古族藏族自治州茫崖市冷湖实验室腾空而起。1分钟后,遥测数据显示,火箭最高飞行高度海拔达10555米,地面接收站成功收...
成都动物园 这两只黑猩猩萌宝陪你过“六一”|图集 - 天天要闻

成都动物园 这两只黑猩猩萌宝陪你过“六一”|图集

“六一”儿童节,成都动物园也有两只黑猩猩宝宝一起过节。今年4月,成都动物园迎来了一对小黑猩猩,它们是来自山西太原动物园的兄妹“晋川”和“太都”。这两只黑猩猩年龄不到3岁,雄性取名晋川(寓意山西和四川....
今明可能有大地磁暴!或出现红绿极光 - 天天要闻

今明可能有大地磁暴!或出现红绿极光

北京时间5月31日07时45分左右,太阳活动区14100开始爆发耀斑,软X射线流量快速上升,并在08时05分达到峰值M8.1级中等耀斑强度。位于太阳表面中部偏北的明亮区域就是耀斑现象 SDO卫星伴随耀斑过程的发生,还出现了日冕物质抛射(CME)活动,太阳大气层中的等离子体高速飞出,形成一个近似球面的“冲击波”,向着太阳系传播。...