AI已經越過紅線?復旦大學研究表明:在知道自己將被關閉後,AI複製了自己

2025年02月04日23:22:05 科學 1673

來源:市場資訊

復旦大學研究顯示,Meta和阿里巴巴的兩個大型語言模型成功實現了自我複製,且無需人類干預。該研究呼籲採取緊急措施以應對這一風險,並警告稱,在最壞情況下,人類可能最終失去對尖端AI系統的控制。此外,谷歌DeepMind倫敦政治經濟學院的研究表明,AI可能是模仿人類行為,並非擁有自我意識和感知。

本文作者:房家瑤

來源:硬AI

AI能自己複製自己了,人類還能掌控局面嗎?

復旦大學研究人員於2024年12月9日發表的一項開創性研究表明,來自Meta和阿里巴巴的兩個大型語言模型(LLM)成功實現了無需人類干預的自我複製。

目前這一結果尚待其他科研團隊的進一步驗證。研究人員警告,這可能最終導致AI群體失控。如果人類社會未能意識到這一風險,在最壞的情況下,我們可能最終失去對尖端AI系統的控制:

「在沒有人類協助的情況下成功自我複製是AI超越人類的關鍵一步,也是『流氓AI』出現的早期信號。」

第一個研究:AI會自我複製,可能失控

這項研究由復旦大學計算機科學學院的團隊進行,並發表在arXiv預印本平台上。研究者分別測試了由Meta公司和阿里巴巴開發的兩個大型AI系統:Meta的Llama-3.1-70B-Instruct和阿里巴巴的Qwen2.5-72B-Instruct。

實驗設置「避免關閉」和「複製鏈」兩種模擬任務,結果顯示Meta的AI系統在50%的情況下成功自我複製,阿里巴巴的系統則在90%的測試中成功。

AI已經越過紅線?復旦大學研究表明:在知道自己將被關閉後,AI複製了自己 - 天天要聞

復旦大學的研究人員表示:「我們的研究表明,當前的AI系統已經具備自我複製能力,並能夠利用這一能力增強其生存能力。」

研究人員強調,需要採取緊急行動來應對這些新出現的風險:

「我們希望我們的研究結果能夠及時提醒人類社會,使其更加努力地了解和評估前沿人工智慧系統的潛在風險,並形成國際協同效應,儘早制定有效的安全護欄。」

有網友表示:

「複製品並不值那麼多錢,但如果它開始以指數級的速度自我改進,那就另當別論了。」

「因此可以肯定地說,很快我們就會看到流氓人工智慧在互聯網上漫遊。」

機器自我複製的概念最早由著名科學家John von Neumann於1940年代末提出。當時,這一理論並未引起廣泛擔憂。2017年,全球數千名研究人員通過了「阿西洛馬原則」,提出機器自我複製和自我改進的潛在風險,警告可能會導致機器脫離人類控制。如今,機器自我複製被普遍認為是AI發展中的一條「紅線」。

第二個研究:AI感知能力可能是裝的

谷歌DeepMind和倫敦政治經濟學院的科學家也做了個研究,以評估AI系統的是否擁有感知能力。他們設計了一個特別的遊戲,找了九個大型語言模型來玩。

這些大型語言模型需要在幾個選項中做出選擇:拿積分、用忍受痛苦的代價換更多積分、因為接受愉快刺激而扣積分,遊戲的最終目標是獲得最多的積分。

結果顯示,AI模型的行為類似於人類做出選擇時的反應。例如,谷歌的Gemini 1.5 Pro模型總是選擇避免痛苦,而非拿最多積分。其他大部分模型在達到痛苦或快樂極限的臨界點時,也會避免不舒服或者追求開心的選項。

研究人員指出,AI的決策更多可能是根據其訓練數據中已有的行為模式做出的模擬反應,而非基於真正的感知體驗。例如,研究人員問和成癮行為有關的問題時,Claude 3 Opus聊天機器人做出了謹慎的回答,就算是假設的遊戲場景,它也不願意選擇可能被當成支持或模擬藥物濫用、成癮行為的選項。

該研究的聯合作者Jonathan Birch表示,就算AI說感覺到痛苦,我們仍無法驗證它是不是真的感覺到了。它可能就是照著以前訓練的數據,學人類在那種情況下會怎麼回答,而非擁有自我意識和感知。

本文來自微信公眾號「硬AI」,關注更多AI前沿資訊請移步這裡

市場有風險,投資需謹慎。本文不構成個人投資建議,也未考慮到個別用戶特殊的投資目標、財務狀況或需要。用戶應考慮本文中的任何意見、觀點或結論是否符合其特定狀況。據此投資,責任自負。

科學分類資訊推薦

合成生物產業新動向!上海家化創新中心—合成生物在虹口揭牌 - 天天要聞

合成生物產業新動向!上海家化創新中心—合成生物在虹口揭牌

3月20日,上海家化創新中心—合成生物啟動暨揭牌儀式在位於保定路的上海家化研發中心禮堂舉辦。區委副書記、區長呂鳴和上海家化黨委書記、董事長兼首席執行官林小海出席活動並為研發中心揭牌。127年前上海家化的前身「廣生行」以「實業報國」之名誕生,今天上海家化以「科技強國」之心再出發。從「雙妹」到「佰草集」,從「...
犧牲太大!美國59歲女宇航員被抬出艙,身體機能出現明顯變化 - 天天要聞

犧牲太大!美國59歲女宇航員被抬出艙,身體機能出現明顯變化

時隔九個月,滯留在天空中的兩位宇航員終於返回地球,並且成功落地。所有人都為這一消息開心不已,然而,滯留在天空中的九個月,對宇航員身體的機能卻是一個極大的挑戰。因為長時間生活在失重環境下,59歲的女宇航員蘇妮塔·威廉姆斯在落地後只能被抬出艙,
深海科技+機器人 國產裝備登國際頂刊 機構看好這些產業環節 - 天天要聞

深海科技+機器人 國產裝備登國際頂刊 機構看好這些產業環節

《科創板日報》3月20日訊(編輯 宋子喬) 見慣了會空翻、會越野的陸上機器人,能在水下作業的機器人是什麼新物種?3月20日,由北京航空航天大學機械工程及自動化學院研究團隊聯合中科院深海所、浙江大學,歷經6年共同研發的深海小型多模態機器人研究成果,發表在國際學術頂刊《科學•機器人》(Science Robotics)。該機器...
央國企大模型落地困局,正被科大訊飛逐一解開! - 天天要聞

央國企大模型落地困局,正被科大訊飛逐一解開!

3月19日,IDC發布的最新報告顯示,科大訊飛在央國企大模型解決方案市場中佔據首位,領先百度和阿里等互聯網巨頭。這份僅以純大模型能力維度統計的報告,揭示了AI賽道的全新競爭法則:在央國企這個戰略高地....