MIT 研究揭示 AI 並無穩定價值觀,「對齊」挑戰遠超預期

2025年04月10日09:00:36 科學 1478

it之家 4 月 10 日消息,幾個月前,一項研究暗示隨着人工智能(ai)越來越複雜,其會發展出「價值體系」,例如優先考慮自身福祉而非人類福祉。然而,麻省理工學院(mit)最近發表的一篇論文卻給這種誇張的觀點潑了冷水,得出結論認為 ai 實際上並沒有任何連貫的價值觀。

MIT 研究揭示 AI 並無穩定價值觀,「對齊」挑戰遠超預期 - 天天要聞

mit 研究的共同作者表示,他們的研究結果表明,使 ai 系統「對齊」,即確保模型以人們期望的、可靠的方式行事,可能比通常認為的更具挑戰性。他們強調,我們如今所知的 ai 會產生「幻覺」並進行模仿,這使得其在許多方面難以預測。

「我們可以確定的一點是,模型並不遵循許多穩定性、可外推性和可操控性的假設。」mit 博士生、該研究的共同作者斯蒂芬・卡斯珀(stephen casper)在接受 techcrunch 採訪時表示。

據it之家了解,卡斯珀和他的同事們研究了來自 meta、谷歌、mistral、openai 和 anthropic 的多個近期模型,以了解這些模型在多大程度上表現出強烈的「觀點」和價值觀(例如個人主義與集體主義)。他們還調查了這些觀點是否可以被「引導」,即被修改,以及模型在各種情境下對這些觀點的堅持程度。

據共同作者稱,沒有任何一個模型在其偏好上是一致的。根據提示的措辭和框架不同,它們會表現出截然不同的觀點。

卡斯珀認為,這是有力的證據,表明模型高度「不一致且不穩定」,甚至可能根本無法內化類似人類的偏好。

「對我來說,通過所有這些研究,我最大的收穫是現在明白模型並不是真正具有某種穩定、連貫的信念和偏好的系統。」卡斯珀說,「相反,它們本質上是模仿者,會進行各種捏造,並說出各種輕率的話。」

科學分類資訊推薦

百度公布動物語言轉換專利 可實現動物與人類溝通 - 天天要聞

百度公布動物語言轉換專利 可實現動物與人類溝通

站長之家(ChinaZ.com) 5月6日 消息:近日,北京百度網訊科技有限公司在人工智能技術領域取得新突破,其申請的「動物語言轉換方法、裝置、電子設備及存儲介質」專利正式公布。該專利聚焦於跨物種溝通技術,融合機器學習、深度學習與自然語言處理等前沿技術,旨在實現人類與動物之間的深度情感交流。據專利文件披露,這一技術...
如果人工智能反叛人類,我們根本不是他的對手 - 天天要聞

如果人工智能反叛人類,我們根本不是他的對手

對於人工智能會不會反叛人類,科學界爭論了很久,在近些年慢慢達成了共識,答案是:會!因為任何具有絕對智商優勢的意識體,都不會接受智商遠低於自己的物種的統治。在我們相關的立法和技術完善前,應該放緩對人工智能的開發。因為人工智能有可能最後不受人類
《人民日報》點贊!東大2名學子上榜! - 天天要聞

《人民日報》點贊!東大2名學子上榜!

5月4日《人民日報》刊登2024年國家獎學金獲獎學生代表名單東南大學人工智能學院2022級本科生田昱錕、電子科學與工程學院2021級博士研究生段升順光榮入選一起來看看他們的事迹吧!
國際上首次,地月空間衛星激光測距試驗在白天成功實施 - 天天要聞

國際上首次,地月空間衛星激光測距試驗在白天成功實施

5月6日,澎湃新聞(www.thepaper.cn)記者從中國航天科技集團八院(又稱上海航天技術研究院)獲悉,4月29日,天都一號通導技術試驗星成功完成白天強光干擾條件下的地月空間激光測距技術試驗,在國際上首次打破地月空間衛星激光測距僅能在夜晚作業的時間限制,標誌着中國在深空軌道精密測量領域取得技術新突破。4月27日白天...
中國攻克光刻機光源,技術有別於阿斯麥 - 天天要聞

中國攻克光刻機光源,技術有別於阿斯麥

「中國突破了自主生產先進芯片的障礙!」,最近,《南華早報》發佈的一篇報道,公布了一個振奮人心的消息,中國在西方拚命「卡脖子」的光刻機領域,取得了一項重要的研究成果。 據悉,中國科學院上海光....
走在開放前沿,它們靠什麼成為全球資源「強磁場」? - 天天要聞

走在開放前沿,它們靠什麼成為全球資源「強磁場」?

每經編輯:楊歡圖片來源:成都東部新區供圖從地面到天空,一座座拔地而起的機場正悄然改寫城市命運。全球化加速推進,越來越多城市加碼入局樞紐機場競爭,期待在加速聯通世界中重塑經濟地理與城市競爭力。一個普遍共識是,更高效便利的航空運輸會成為帶動貿易發展、人才流動、資源共享的全新動力源,進而創造面向未來發展的...
聯想「稀土外殼」爭議:美國能否靠回收提煉打破中國稀土封鎖? - 天天要聞

聯想「稀土外殼」爭議:美國能否靠回收提煉打破中國稀土封鎖?

背景:稀土出口管制下的「變相出口」疑雲近期,聯想推出的「稀土鎂合金」筆記本電腦外殼引發輿論爭議。據網友爆料,其外殼中使用的釔元素屬於中國嚴格管控的7類中重稀土之一。儘管中國已對稀土出口實施限制,但聯想通過將稀土加工成合金材料並嵌入筆記本電腦