AI安全國際對話上海共識簽署現場，辛頓、姚期智等專家合影
7月25日，一份由傑弗里·辛頓（Geoffrey Hinton）、姚期智、本吉奧（Yoshua Bengio）等超過20位行業專家、學者共同簽署的AI安全國際對話上海共識（以下簡稱「上海共識」）正式公開。該共識強調，人工智慧系統能力已接近甚至可能超越人類，但人類尚未掌握有效的控制它的方法，因此，呼籲全球增加對AI安全的投入。
作為本次共識發起方之一，圖靈獎得主、上海期智研究院的院長姚期智表示，「我們要達成共識並且標明風險切實存在，需要大家攜手尋找解決方案。希望基於自身所處的位置，去促成一些國際安全相關合作，最後則是通過研討會的形式去探討在劇烈的變化過程中，發揮人工智慧的優勢，以幫助應對隨之而來的挑戰。」
「上海共識」中聯名簽署的專家普遍認為，人類正處於一個關鍵轉折點——人工智慧系統正迅速接近並可能超越人類智能水平 。這些未來的系統可能在操作者毫不知情的情況下，執行並非操作者所期望或預測的行動。這可能導致失控，即一個或多個通用人工智慧系統脫離任何人的控制，從而帶來災難性風險。
「這項技術現在處於一個可以推翻人類文明與控制的階段，對AI系統來說，它就像疾病大流行一樣，可能在任何一處發生。」加州大學伯克利分校的計算機科學教授羅素說。
關於人工智慧能力的具體體現，「上海共識」強調，已經 有部分人工智慧系統展現出削弱開發者安全與控制措施的能力與傾向 ，但相關證據主要是在實驗場景中發現，人類還未掌握已知的方法，能夠在更高級的通用人工智慧超越人類智能水平後，仍能可靠地確保其對齊。
更直白地理解，即 人類還沒有掌握有效控制高級通用人工智慧的辦法 。
羅素透露，目前已經觀測到在人類明令禁止AI使用核武器的情況下，AI在感知到自身威脅的情況下，還是會擅自決定發射核武器，甚至會嘗試通過不斷複製來規避關機的行為。「它們通過預設程序將自身代碼複製到不同終端，以此規避被關機。」羅素說。
2024年，辛頓、姚期智、羅素、本吉奧等專家共同簽署的「北京共識」聚焦在對AI風險的劃定、治理、評估、與合作幾個部分，尤其是呼籲行業為AI的研發和應用戴上「緊箍咒」，避免相關技術被濫用，而 「上海共識」則是聚焦通用人工智慧系統的對齊與控制，提前規避安全風險。
「上海共識」認為，高級人工智慧系統在部署時已對齊並處於人類控制之下，其必要性已獲得關鍵決策者普遍認同，但是 AI能力發展速度遠超AI安全的研究和發展速度，因此在強化AI安全技術方面，除了推動全球協作以外，共識更是強調在必要時可自主行動。
為此，上海共識提出了三大建議：「要求前沿人工智慧開發者提供安全保障」 「通過加強國際協調，共同確立並恪守可驗證的全球性行為紅線」 「投資基於設計的安全人工智慧研究」。
其中，要求開發者提供安全保證提到，部署強大模型之前，除了要做好內部安全評估外，應委託第三方獨立評估，同時對超越關鍵能力閾值的模型還要向監管部門、公眾做好信息披露，並在上線之後有清晰的風險響應機制和立即關停系統的能力。
加強國際協調，共同確立並恪守可驗證的全球性行為紅線，核心是聯動國際社會來確立具體、可操作、受全球認可的紅線，核心則是呼籲建立一個統一的協調機構來推動紅線落實和標準統一。
投資基於設計的安全人工智慧研究，主要是強調短期內亟需建立可擴展的監管機制以應對人工智慧的欺騙問題、提升模型對「越獄」等攻擊手段的抵禦能力、強化信息安保投入等，而長期則需要一個「基於設計的安全」的架構，而非問題出現後才被動應對。
作為「上海共識」 、「北京共識」的共同簽名者之一，霍普金斯大學約翰分校、彭博人工智慧協調與治理特聘教授吉莉恩·哈德菲爾將人工智慧定義為一個全球公共品，需要跨國界合作，「 人類本質上是一個協作物種，AI帶來的治理挑戰並非單一體制能夠應對 ，儘管當前的科學合作會面臨一些障礙，但是在這個關乎技術路線與治理方式的議題上，我們必須重識合作精神。」
「我越來越相信，人類終將找到解決方案。」姚期智說。
姚期智透露，18個月前舉辦第一次安全共識會議時， AGI 強大的破壞力就已經顯現，人類甚至難以闡明其失控機制，不過隨著相關會議的推進，已經看到若干有關「設計安全」（Safe by design）的提案，這意味著實際上人類可以找到確保AI安全的可行路徑。
