Google DeepMind 推出評估AI模型危險性的新框架

2024年05月18日17:45:16 科技 1454

Google DeepMind 周五發布了一個框架,用於窺視人工智能模型內部,以確定它們是否正在接近危險能力。周五發布的論文描述了這樣一個過程:每當用於訓練模型的計算能力提高六倍,或者微調三個月,DeepMind 的模型就會被重新評估。在兩次評估之間,DeepMind 將設計預警評估。

Google DeepMind 推出評估AI模型危險性的新框架 - 天天要聞

根據一份與 Semafor 獨家分享的聲明,DeepMind 將與其他公司、學術界和立法者合作,共同完善該框架。該公司計劃在2025年前開始實施其審計工具。

如今,評估功能強大的前沿人工智能模型更像是一個臨時過程,隨着研究人員開發新技術而不斷演變。"紅隊"會花費數周或數月的時間對其進行測試,嘗試可能繞過保障措施的不同提示。然後,公司會採用各種技術,從強化學習到特殊提示,使模型符合要求。

這種方法對現在的模型很有效,因為它們還不夠強大,不足以構成太大的威脅,但研究人員認為,隨着模型能力的增強,需要一個更強大的過程。批評者擔心,當人們意識到這種技術已經走得太遠時,為時已晚。

DeepMind 發布的"前沿安全框架"希望解決這個問題。這是包括 MetaOpenAI 和微軟在內的主要科技公司為減輕人們對人工智能的擔憂而宣布的幾種方法之一。

該公司表示:"儘管這些風險超出了現有模型的能力範圍,但我們希望實施和改進該框架將有助於我們做好應對這些風險的準備。"

Google DeepMind 推出評估AI模型危險性的新框架 - 天天要聞

DeepMind 開發人工智能模型"預警"系統已有一年多時間。它還發表了關於評估模型的新方法的論文,這些方法遠遠超出了目前大多數公司所使用的方法。

前沿模型框架將這些進展納入一套簡潔的協議中,包括對模型的持續評估,以及研究人員在發現所謂"臨界能力水平"時應採取的緩解方法。這可能是指模型能夠通過操縱人類對其施加意志,在人工智能研究領域被稱為"超常代理",也可能是指模型具有編寫複雜惡意軟件的能力。

DeepMind 為四個領域設定了具體的關鍵能力級別:自主、生物安全、網絡安全和機器學習研發。

該公司表示:"在降低風險與促進獲取和創新之間取得最佳平衡,對於負責任地發展人工智能至關重要。"DeepMind 將於下周在首爾舉行的人工智能安全峰會上討論該框架,屆時其他行業領袖也將出席。

令人鼓舞的是,DeepMind 的人工智能研究人員正在用更科學的方法確定人工智能模型內部發生了什麼,儘管他們還有很長的路要走。

研究人員在能力方面取得突破的同時,也在提高他們理解並最終控制這些軟件的能力,這對人工智能安全也很有幫助。

不過,今天發布的論文對如何進行這些評估的技術細節着墨不多。就目前而言,可以說我們還不知道目前的技術是否能讓這個框架取得成功。

這其中還有一個有趣的監管因素。由加州參議員斯科特-維納(Scott Wiener)發起的一項新的人工智能綜合法案將要求人工智能公司在訓練模型之前對其危險性進行評估。這個框架是目前看到的第一個可能使遵守該法律成為可能的框架。但同樣還不清楚技術上是否可行。

還有一點:構建這些技術還有另一種用途:它可以幫助公司預測人工智能模型的能力在未來數月或數年內會發生怎樣的變化。這些知識可以幫助產品團隊更快地設計出新產品,從而為Google和其他有能力進行這些評估的公司帶來優勢。

了解更多:

https://deepmind.google/discover/blog/introducing-the-frontier-safety-framework/

科技分類資訊推薦

哈弗 H6 國潮版一口價 7.19 萬元起!配備 12.3 英寸中控屏 - 天天要聞

哈弗 H6 國潮版一口價 7.19 萬元起!配備 12.3 英寸中控屏

在緊湊型 SUV 市場的激烈角逐中,哈弗 H6 國潮版以震撼低價掀起購車熱潮 —— 一口價 7.19 萬元起的超值定價,搭配越級配置,成為家庭用戶的高性價比之選。其中,1.5T 手動兩驅都市版售價 7.19 萬元,1.5T 自動兩驅都市版售價 8.19 萬元,
極狐全新轎車諜照曝光!或命名為極狐 S1 - 天天要聞

極狐全新轎車諜照曝光!或命名為極狐 S1

新能源汽車賽道競爭愈發激烈,各車企紛紛加速新品布局。近日,一組極狐全新轎車的諜照在網絡上曝光,據悉,這款新車或命名為極狐 S1。儘管諜照中的車輛身披厚重偽裝,但仍難掩其獨特魅力,從外觀到內飾,再到動力系統,都引發了市場的廣泛猜測與期待。
極氪 9X 車型實車曝光!計劃今第三季度正式上市 - 天天要聞

極氪 9X 車型實車曝光!計劃今第三季度正式上市

近日,極氪旗下全新車型 —— 極氪 9X 實車驚艷曝光,引發汽車圈廣泛關注。據悉,這款備受期待的車型計劃於今年第三季度正式上市,有望為緊湊級豪華純電 SUV 市場注入全新活力。從實車展現的外觀,及動力來看,極氪 9X 亮點滿滿,令人期待值拉滿。
中國關係型數據庫軟件市場年複合增長率超20%,軟件ETF連續3天凈流入超億元 - 天天要聞

中國關係型數據庫軟件市場年複合增長率超20%,軟件ETF連續3天凈流入超億元

截至2025年6月20日 13:02,中證軟件服務指數下跌1.29%。成分股方面,國聯股份領跌,電科網安、太極股份、恒生電子、啟明星辰跟跌。軟件ETF(159852)回調蓄勢。拉長時間看,截至2025年6月19日,軟件ETF近1年累計上漲29.13%。流動性方面,軟件ETF盤中換手3.44%,成交1.01億元。拉長時間看,截至6月19日,軟件ETF近1年日均
榮耀GT Pro續航稱霸 vs vivo S30 Pro mini輕薄碾壓! - 天天要聞

榮耀GT Pro續航稱霸 vs vivo S30 Pro mini輕薄碾壓!

當7200mAh怪獸電池遇上186g羽量級機身,2025年這兩款旗艦究竟誰能笑到最後?我們通過四款新機的硬核參數,揭曉不同需求的終極答案。榮耀 GT Pro:性能與續航的雙料王者驍龍8 Elite領先版+144Hz電競屏的組合,讓這款手機成
榮耀Magic V5登場:最薄大摺疊+最強AI,手機行業的下一站答案 - 天天要聞

榮耀Magic V5登場:最薄大摺疊+最強AI,手機行業的下一站答案

在2025年AI技術迅猛發展的浪潮中,行業各大廠商競相發力,而蘋果則顯得動作遲緩。在剛剛落幕的蘋果WWDC2025上,蘋果將升級重點放在全新界面UI上,AI創新不足且國行版仍無期,讓用戶直呼失望,有媒體稱“這應該是蘋果近些年最無聊的一場WWDC了”。6月19日在上海MWC期間,榮耀召開了AI技術溝通會,深度闡釋其在 AI 領域的技術...
2025商旅平台盤點:AI驅動下的商旅平台 - 天天要聞

2025商旅平台盤點:AI驅動下的商旅平台

當 AI 大模型開始重構企業管理流程,2025 年的中國商旅市場正經歷一場從 “資源競爭” 到 “技術革命” 的深層變革。據行業數據顯示,智能商旅平台滲透率已大大突破 ,AI 驅動的商旅管理自動化使企業商旅成本顯著下降 ,這場由技術主導的生態重構,正在重新定義企業商旅管理的價值邊界。適合大中型企業的綜合型平台:分貝通...