Google DeepMind 推出評估AI模型危險性的新框架

2024年05月18日17:45:16 科技 1454

Google DeepMind 周五發布了一個框架,用於窺視人工智慧模型內部,以確定它們是否正在接近危險能力。周五發布的論文描述了這樣一個過程:每當用於訓練模型的計算能力提高六倍,或者微調三個月,DeepMind 的模型就會被重新評估。在兩次評估之間,DeepMind 將設計預警評估。

Google DeepMind 推出評估AI模型危險性的新框架 - 天天要聞

根據一份與 Semafor 獨家分享的聲明,DeepMind 將與其他公司、學術界和立法者合作,共同完善該框架。該公司計劃在2025年前開始實施其審計工具。

如今,評估功能強大的前沿人工智慧模型更像是一個臨時過程,隨著研究人員開發新技術而不斷演變。"紅隊"會花費數周或數月的時間對其進行測試,嘗試可能繞過保障措施的不同提示。然後,公司會採用各種技術,從強化學習到特殊提示,使模型符合要求。

這種方法對現在的模型很有效,因為它們還不夠強大,不足以構成太大的威脅,但研究人員認為,隨著模型能力的增強,需要一個更強大的過程。批評者擔心,當人們意識到這種技術已經走得太遠時,為時已晚。

DeepMind 發布的"前沿安全框架"希望解決這個問題。這是包括 MetaOpenAI 和微軟在內的主要科技公司為減輕人們對人工智慧的擔憂而宣布的幾種方法之一。

該公司表示:"儘管這些風險超出了現有模型的能力範圍,但我們希望實施和改進該框架將有助於我們做好應對這些風險的準備。"

Google DeepMind 推出評估AI模型危險性的新框架 - 天天要聞

DeepMind 開發人工智慧模型"預警"系統已有一年多時間。它還發表了關於評估模型的新方法的論文,這些方法遠遠超出了目前大多數公司所使用的方法。

前沿模型框架將這些進展納入一套簡潔的協議中,包括對模型的持續評估,以及研究人員在發現所謂"臨界能力水平"時應採取的緩解方法。這可能是指模型能夠通過操縱人類對其施加意志,在人工智慧研究領域被稱為"超常代理",也可能是指模型具有編寫複雜惡意軟體的能力。

DeepMind 為四個領域設定了具體的關鍵能力級別:自主、生物安全、網路安全和機器學習研發。

該公司表示:"在降低風險與促進獲取和創新之間取得最佳平衡,對於負責任地發展人工智慧至關重要。"DeepMind 將於下周在首爾舉行的人工智慧安全峰會上討論該框架,屆時其他行業領袖也將出席。

令人鼓舞的是,DeepMind 的人工智慧研究人員正在用更科學的方法確定人工智慧模型內部發生了什麼,儘管他們還有很長的路要走。

研究人員在能力方面取得突破的同時,也在提高他們理解並最終控制這些軟體的能力,這對人工智慧安全也很有幫助。

不過,今天發布的論文對如何進行這些評估的技術細節著墨不多。就目前而言,可以說我們還不知道目前的技術是否能讓這個框架取得成功。

這其中還有一個有趣的監管因素。由加州參議員斯科特-維納(Scott Wiener)發起的一項新的人工智慧綜合法案將要求人工智慧公司在訓練模型之前對其危險性進行評估。這個框架是目前看到的第一個可能使遵守該法律成為可能的框架。但同樣還不清楚技術上是否可行。

還有一點:構建這些技術還有另一種用途:它可以幫助公司預測人工智慧模型的能力在未來數月或數年內會發生怎樣的變化。這些知識可以幫助產品團隊更快地設計出新產品,從而為Google和其他有能力進行這些評估的公司帶來優勢。

了解更多:

https://deepmind.google/discover/blog/introducing-the-frontier-safety-framework/

科技分類資訊推薦

小米頂級拍照旗艦狂降3000元,16GB+512GB+120倍變焦,最後還是等到了 - 天天要聞

小米頂級拍照旗艦狂降3000元,16GB+512GB+120倍變焦,最後還是等到了

早幾年提到「拍照手機」,不少人腦海里第一個蹦出來的還是華為。但眼下這個市場早已悄悄發生了變化。如今的消費者在選影像旗艦時,早已不再盯著某一家看,尤其是價格敏感型用戶,面對溢價較高、性能受限的情況,開始把注意力轉向了性價比更高、影像體驗同樣出
英特爾發布 6862 圖形驅動,相比 Q1 版本性能最高提升 37% - 天天要聞

英特爾發布 6862 圖形驅動,相比 Q1 版本性能最高提升 37%

IT之家 7 月 11 日消息,英特爾公司於 7 月 8 日,面向銳炫(Arc) B、A 系列顯卡、集成 Arc 核顯的酷睿 Ultra 系列處理器,發布了 32.0.101.6862(Q2.25)圖形驅動,主要提升性能。IT之家查詢英特爾官方公告,本次驅動更新為 710.5MB,相比較 2025 年第 1 季度驅動,在 SPECviewperf 15 基準
OpenAI悄然將Shopify納入購物搜索合作夥伴 - 天天要聞

OpenAI悄然將Shopify納入購物搜索合作夥伴

OpenAI 已悄然將 Shopify 添加為第三方搜索合作夥伴,以增強其購物搜索功能,從而呈現豐富的購物搜索結果。Shopify 的加入並未正式宣布,但已悄然嵌入 OpenAI ChatGPT 搜索文檔中。
ACL 2025 | 數據多不如風格齊?SCAR精選 - 天天要聞

ACL 2025 | 數據多不如風格齊?SCAR精選

本文共3600字,建議閱讀10分鐘SCAR 方法在大語言模型指令微調領域取得了重要突破。一、總覽這是 RMIT 大學、新南威爾士大學和莫納什大學聯合發表的論文。