Geoffrey Hinton, 姚期智等全球科學家：確保高級人工智慧系統的對齊與人類控制，保障人類福祉

人工智慧的欺騙與風險

上海共識基於近期人工智慧迅速提升的智能以及顯現的欺瞞傾向，對這一技術在短期內帶來的風險表達了深切的擔憂。

隨著人工智慧系統日益強大、更具自主性，這些系統可能在操作者毫不知情的情況下，執行並非操作者所期望或預測的行動。近期實驗證據顯示，人工智慧系統日益顯現出欺騙性和自我保護傾向，例如在模擬情境中，當系統即將被新版本替換時試圖脅迫開發者。隨著智能水平的不斷攀升，人工智慧系統一旦失控，便可能給人類帶來災難性乃至生存性風險。當前的許多人工智慧具有空前的能力和薄弱的安全防禦，不法分子亦可以用其開發生化武器或製造虛假信息、操控人心。當前尚無已知方法，能夠在更高級的通用人工智慧超越人類智能水平後，仍可靠地確保其對齊，並保持人類的有效控制。

人工智慧的安全問題已經獲得了一定的重視。各個主要國家和地區都在積極完善對於人工智慧的監管，希望主動掌握該技術的發展走向。中國自2023年開始就要求所有生成式人工智慧進行統一備案，且在今年年初成立了中國人工智慧發展與安全研究網路。歐盟通過了《人工智慧法案》，英國發起了人工智慧峰會系列，美國也設立了人工智慧標準與創新中心。

然而，監管體系、人工智慧安全研究投入以及風險緩解方法仍大幅落後於技術本身的迭代。與人工智慧開發獲得的支持和關注相比，人工智慧安全研究的投入仍相較甚遠。

在競爭中尋求人工智慧安全合作

因此，共識認為，全球主要國家和地區必須對接協調，採取可信的安全舉措，在能共同推進的領域協同發力，在必要時自主行動。

我們需要在國際層面逐步建立互信機制，並加大對人工智慧安全科學研究的投入。為了保障在不久的將來所有人類都能更好的生存，上海共識呼籲國際社會：

為了讓監管部門更清楚地了解未來高級ai系統的安全性，開發者在模型部署前應先進行全面的內部檢查和第三方評估，提交高可信的安全案例，以及開展深入的模擬攻防與紅隊測試。

若模型達到了關鍵能力閾值（比如檢測模型是否有具備幫助沒有專業知識的非法分子製造生化武器的能力），開發者應向政府（在適當時亦可向公眾）說明潛在風險。

部署後，開發者要持續監測模型運行情況，及時發現並報告新風險、事故或濫用行為，並準備好應急方案，必要時可立即關閉系統。

國際社會需要合作划出人工智慧開發不可以逾越的紅線（即「高壓線」），這些紅線應聚焦於人工智慧系統的行為表現，其劃定需同時考量系統執行特定行為的能力及其採取該行為的傾向性。

為落實這些紅線，各國應建立一個具備技術能力、具有國際包容性的協調機構，匯聚各國人工智慧安全主管機構，以共享風險相關信息，並推動評估規程與驗證方法的標準化。該機構將促進知識交流，並就遵守紅線所需的技術措施達成一致，包括統一披露要求與評估規程，從而幫助開發者可信地證明其人工智慧系統的安全與安保水平。

科學界和開發者應投入一系列嚴格機制來保障人工智慧系統的安全性。

短期內，我們需通過可擴展的監督機制應對人工智慧欺騙行為：例如加強信息安全投入，防範來自系統內部和外部的各種威脅，增強模型抗越獄能力等。

長期來看，我們可能需要化被動為主動，轉而構建基於「設計即安全」的人工智慧系統。通過實驗數據總結出的規律，研究者可以提前預估未來人工智慧系統的安全水平和性能。這樣，開發者在正式訓練模型之前，就能預先設置好足夠的安全防護措施。

傅瑩女士，吉莉安·哈德菲爾德教授，羅伯特·特拉格教授，薛瀾教授 (從左到右) 參加關於人工智慧治理的座談小組討論。

主辦方

ai安全國際論壇是一家非盈利組織，致力於推動全球人工智慧治理合作，促進中西ai專家的第二軌道對話，共同應對ai帶來的極端風險，造福全人類。我們主辦ai安全國際對話，並提供研究和諮詢服務。