Google DeepMind 推出評估AI模型危險性的新框架

2024年05月18日17:45:16 科技 1454

Google DeepMind 周五發布了一個框架,用於窺視人工智慧模型內部,以確定它們是否正在接近危險能力。周五發布的論文描述了這樣一個過程:每當用於訓練模型的計算能力提高六倍,或者微調三個月,DeepMind 的模型就會被重新評估。在兩次評估之間,DeepMind 將設計預警評估。

Google DeepMind 推出評估AI模型危險性的新框架 - 天天要聞

根據一份與 Semafor 獨家分享的聲明,DeepMind 將與其他公司、學術界和立法者合作,共同完善該框架。該公司計劃在2025年前開始實施其審計工具。

如今,評估功能強大的前沿人工智慧模型更像是一個臨時過程,隨著研究人員開發新技術而不斷演變。"紅隊"會花費數周或數月的時間對其進行測試,嘗試可能繞過保障措施的不同提示。然後,公司會採用各種技術,從強化學習到特殊提示,使模型符合要求。

這種方法對現在的模型很有效,因為它們還不夠強大,不足以構成太大的威脅,但研究人員認為,隨著模型能力的增強,需要一個更強大的過程。批評者擔心,當人們意識到這種技術已經走得太遠時,為時已晚。

DeepMind 發布的"前沿安全框架"希望解決這個問題。這是包括 MetaOpenAI 和微軟在內的主要科技公司為減輕人們對人工智慧的擔憂而宣布的幾種方法之一。

該公司表示:"儘管這些風險超出了現有模型的能力範圍,但我們希望實施和改進該框架將有助於我們做好應對這些風險的準備。"

Google DeepMind 推出評估AI模型危險性的新框架 - 天天要聞

DeepMind 開發人工智慧模型"預警"系統已有一年多時間。它還發表了關於評估模型的新方法的論文,這些方法遠遠超出了目前大多數公司所使用的方法。

前沿模型框架將這些進展納入一套簡潔的協議中,包括對模型的持續評估,以及研究人員在發現所謂"臨界能力水平"時應採取的緩解方法。這可能是指模型能夠通過操縱人類對其施加意志,在人工智慧研究領域被稱為"超常代理",也可能是指模型具有編寫複雜惡意軟體的能力。

DeepMind 為四個領域設定了具體的關鍵能力級別:自主、生物安全、網路安全和機器學習研發。

該公司表示:"在降低風險與促進獲取和創新之間取得最佳平衡,對於負責任地發展人工智慧至關重要。"DeepMind 將於下周在首爾舉行的人工智慧安全峰會上討論該框架,屆時其他行業領袖也將出席。

令人鼓舞的是,DeepMind 的人工智慧研究人員正在用更科學的方法確定人工智慧模型內部發生了什麼,儘管他們還有很長的路要走。

研究人員在能力方面取得突破的同時,也在提高他們理解並最終控制這些軟體的能力,這對人工智慧安全也很有幫助。

不過,今天發布的論文對如何進行這些評估的技術細節著墨不多。就目前而言,可以說我們還不知道目前的技術是否能讓這個框架取得成功。

這其中還有一個有趣的監管因素。由加州參議員斯科特-維納(Scott Wiener)發起的一項新的人工智慧綜合法案將要求人工智慧公司在訓練模型之前對其危險性進行評估。這個框架是目前看到的第一個可能使遵守該法律成為可能的框架。但同樣還不清楚技術上是否可行。

還有一點:構建這些技術還有另一種用途:它可以幫助公司預測人工智慧模型的能力在未來數月或數年內會發生怎樣的變化。這些知識可以幫助產品團隊更快地設計出新產品,從而為Google和其他有能力進行這些評估的公司帶來優勢。

了解更多:

https://deepmind.google/discover/blog/introducing-the-frontier-safety-framework/

科技分類資訊推薦

榮耀摺疊屏手機 618 銷量增長 179%,掀起摺疊屏普及風暴 - 天天要聞

榮耀摺疊屏手機 618 銷量增長 179%,掀起摺疊屏普及風暴

作為每年 618 的「保留節目」,各家品牌廠商的銷售戰報都會成為大家關注的焦點。而就在 6 月 19 日,榮耀發布了今年 618 終極戰報,或者說是捷報:從上面的戰報我們不難看到,榮耀在今年 618 的表現可謂非常搶眼。首先,榮耀手機整體獲得了京東平台 618 收官 28 小時安卓手機品牌銷量冠軍。其中,摺疊屏手機的表現尤為亮眼...
人在微信中:精簡社交,放大格局,掌控情緒 - 天天要聞

人在微信中:精簡社交,放大格局,掌控情緒

在這個信息時代,微信不僅僅是一個通訊工具,更是我們生活中的「小窗口」,透過它,我們能夠窺見親朋好友的喜怒哀樂,甚至能感知到整個社會的脈動。但你知道嗎?真正聰明的人,在微信里,都有這樣幾個特質。一、精簡社交,讓朋友圈「瘦瘦身」微信好友列表越來
買純電轎車?6月不看銀河E8就血虧! - 天天要聞

買純電轎車?6月不看銀河E8就血虧!

但降價不降質,吉利銀河E8依然保持著其在性能上的強大優勢,最值得一提的就是續航。銀河E8提供550km至665km的多種續航版本,可以說擁有了銀河E8之後,「續航焦慮」是不經常有了。官方宣傳的最長續航里程可達665公里,但在日常使用中,即便在開啟空調、多媒體等
曹操出行西寧市開城受熱捧 積極助力西寧市出行發展 - 天天要聞

曹操出行西寧市開城受熱捧 積極助力西寧市出行發展

西寧市位於青海省東部,是青藏高原的東方門戶,古"絲綢之路"南路和"唐蕃古道"的必經之地,自古就是西北交通要道和軍事重地,素有"西海鎖鑰"、"海藏咽喉"之稱,是世界高海拔城市之一。西寧歷史文化淵源流長,得天獨厚的自然資源,絢麗多彩的民俗風情,是青藏高原一顆璀璨的
技術硬核還接地氣,吉利汽車5月銷量爆棚,對手如何應對? - 天天要聞

技術硬核還接地氣,吉利汽車5月銷量爆棚,對手如何應對?

吉利汽車五月銷量成績單新鮮出爐,乘用車銷量超過16萬,同比增長超過38%,意味著每賣出十輛車,就有近四輛是吉利的新成員。而今年前五個月,累計銷量更是將近79萬輛,同比增長超過了45%。更讓人眼前一亮的是,新能源車5月銷量達到5.8萬輛,比上個月上漲了14%,同