新智元報道
編輯：aeneas
【新智元導讀】在哈佛學習ai的大四本科生參加了多場兵棋推演後，給出結論：agi將在三年後實現。並且在26年，大部分人類的工作都會被ai接管。而agi的誕生，將打破各國的軍事力量平衡，讓某個國家獲得壓倒性的戰略優勢。而人類尤其要小心，大量ai智能體會背着人類密謀一些不良行為。
最近，哈佛的一名ai專業大四學生給出了自己的預測：agi將在三年後實現。
而在2026年，ai就已經會接管大部分人類的工作。
做出這樣的預測，他有充分的理由。
在這期間，他曾主持了多個縮短agi時間表的小型研討會，彙集了大約50名參與者的想法。
同時，他還參與和領導了多場短期的agi兵棋推演。
最後，他寫出這樣一篇博文。
文章內容包括——
3年agi時間表的故事，包括各種變量和重要的參與者
目前尚未滿足的人類生存先決條件
穩妥的優先行動
文中假設，agi出現時間點的中位數為2027年。作者並沒有花太多篇幅論證這一觀點，而是更關注3年時間表的影響。
在這裡，agi被定義為能夠完成2022年95%遠程勞動力工作的ai系統。
但如何定義並不那麼重要，因為一旦我們實現了ai研發的自動化，幾乎所有對agi的定義都會很快被滿足（除非出現協調放緩或災難性事件）。
3年agi時間表
到2025年6月底，swe-bench大約達到85%，在限定人力預算的情況下，re-bench約為1.1，超過了8小時人類得分的70個百分位。
到2025年底，ai助手能夠勝任大多數需要2小時完成的真實世界軟件工程任務。
當agi公司的員工需要完成一些小型的公關任務或編寫小型數據分析管道時，他們會優先尋求ai助手的幫助。
後者a能編寫或修改多個交互文件，大多數情況下不會出現錯誤。
3年時間表下的基準預測。osworld和cybench排名不高的很大一部分原因，是作者不確定人們是否會報告這些基準測試的結果。鑒於基準結果與現實世界影響之間存在巨大脫節，暫時認為這種實際情況並不能成為3年時間表的有力證據
到2026年底，ai智能體將能勝任多天的編碼任務。
agi公司的員工們都嚇壞了，他們會預計，能在95%的虛擬工作中擊敗人類的ai兩年內就能創造出來，並且超級智能也會很快出現。
政府會意識到，ai將對國家實力產生決定性的影響，並且會在2026年鎖定agi公司。
也就是說，到時候agi公司會被採取近乎國有化的極端政府管理形式。
就像核武器戰爭一樣，各國都會處在高速競爭的狀態。
從2027年開始，這個公司的大部分高質量勞動力，都會是ai智能體。
而領導層的主要決策，就集中在如何將數百萬ai智能體分配到不同的研究領域，比如ai研發、安全、商業應用、軍事應用、網絡安全、運營、通信、政策工作，以及公司中幾乎所有以計算機為基礎的工作。
此時，人類員工的作用已經不太重要，他們的主要任務是為陷入困境的ai智能體團隊提供幫助，回答它們在工作中遇到的問題，充當第二意見的角色。
基於年份的變量
請注意，故事到了中段，開始發生了重大的動態變化，這也意味着戰略格局的顯著轉變。
前自動化時代（2025-2026年）
在2025年和2026年，大多數工作仍由人類完成。
最重要的問題集中在如何分配人力，以及ai實驗室和供應鏈其他環節所面臨的商業和監管壓力上。
在前自動化時代，人類的首要任務是迅速找到安全的方法，將研究工作委託給ai智能體。
任何以安全為導向的研究，主要就是為了控制這些早期智能體，因為它們之後會自主進行研究。
這個時代的另一件必做的事，就是找到方法來判斷當前的安全乾預夠不夠，是否足以防止大量ai智能體背着人類密謀一些不良行為。
這時，我們需要建一個中止系統，而且在無法證明安全性的時候，也能說服他人暫停。
然而隨着ai「核戰爭」加劇，這一點將會變得愈加困難。
後自動化時代（2027 年以後）
2026年之後，大部分工作由ai完成。這時，研究工作基本已經脫離了人類的掌控，但人類員工仍然會參與高層決策，並與agi公司以外的人類進行對接。
到2028年底，人類已無法在技術研究方面做出貢獻。
這一時期的主要問題，集中在ai智能體的分配，及其被賦予的優先事項。
關於這一階段的重要問題包括——
ai智能體所追求的總體研究計劃有多好？
例如，如果最初負責規劃研究方向的人類對ai安全問題本質上存在誤解，即使ai智能體最初是善意的，模型對齊的希望也可能因此破滅。
公司在安全導向研究上投入了多少資源？
比如，是投入0.1%還是25%的算力用於安全研究，可能會對安全工作的成敗產生巨大影響。
重要玩家
agi公司領導者
他們引導着agi公司的大方向。
安全研究人員
內部人類ai安全研究員 —— 他們負責制定前自動化和後自動化時期的研究計劃，並完成大部分將在前自動化實施的安全研究。他們還監督自動化的安全研究員的工作。
內部自動化ai安全研究員 —— 他們完成了自動化時代大部分已實施的安全研究。
外部人類ai安全研究員 —— 他們進行前自動化的研究，其中只有一小部分會被內部採納實施。他們還從外部對前自動化和後自動化研究計劃的公開部分進行批評和審查。
然而，由於國家安全原因，公共知識與私有知識之間的差距將在自動化後擴大，它們可能在這一階段變得無關緊要。
美國政府
其他國家政府、美國人工智能安全機構（aisi）或其他政府機構、智庫、高地位科學家以及公眾，對agi公司施加壓力和影響。
在agi階段（很可能在超級智能之前），這些公司可能就會國有化或者監管。
落後的agi公司
它們會被施加競爭壓力，並設定安全先例。
最終，它們可能會與主要agi項目合作或被收購。
如果不合作或未被主要agi項目收購，則很可能在超級智能出現之前，它們的大部分算力會被徵用。
不良行為者
這些人會試圖竊取、濫用ai技術。
注意：「人工智能安全社區」並不在此列表中。
在作者看來，沒有太多資本（金融、社會、知識或其他資本）的外部人士，並沒有那麼大的影響力。
目前尚未滿足的人類生存先決條件
一個合理的啟動計劃
目前，agi公司缺乏明確的願景，無法安全地將研究工作交給ai智能體。
對齊方法 —— 各公司尚未公開制定默認計劃，明確應將哪些研究領域分配給ai智能體群體。
算力承諾 —— 即使有合理的對齊方法，缺乏明確的算力分配承諾，也可能導致分配給對齊工作的ai智能體和算力比例不足。
前沿安全框架 —— 關於sl-4和sl-5的要求和承諾目前非常不清晰，在啟動階段存在大量偷工減料的可能性。
控制 —— 安全地將工作交給ai智能體（或判斷其是否安全）的科學方法，仍然很不成熟。
國家級網絡安全保障
如果不良行為者能夠竊取先進ai系統的參數權重，他們的濫用行為可能就會導致局勢變得極其不可預測，同時也可能使更不謹慎的實體得以創造出先進的ai系統。
應對全球緊張局勢的方法
agi的誕生，將擾亂各國之間的軍事力量平衡，可能使某個實體獲得決定性的戰略優勢。
作者認為，未來10年內爆發核戰爭的概率約為15%，這主要歸因於默認情況下啟動階段所引發的極端緊張局勢。因此，找到避免核戰爭的方法至關重要。
在冷戰期間，曾多次發生將人類推向毀滅邊緣的核危機，其中一些是戰略平衡變化的後果（如古巴導彈危機）。
美國曾因柏林封鎖，而威脅蘇聯發動核戰爭。超級智能的誕生將使這些危機相形見絀，問題是相關官員是否能認識到這一點。
正確實施國有化
把握時機 —— 如果國有化發生得太晚（例如在agi之後），項目中可能會因隨之而來的混亂和快速變化而產生糟糕的決策。
制定默認計劃 —— 2025年或2026年可能會出現鎖定實驗室的重大政治意願。如果屆時還沒有合理的默認計劃或路線圖，那麼這個計劃可能在許多方面都不是最佳的，而且制定的人缺乏相關的專業知識。
積累政治資本 —— 如果具備相關專業知識的人沒有被重要決策者所熟知，那麼缺乏相關專業能力的人，可能就會被任命為項目領導人。
在國有化過程中保留安全專家 —— 如果國有化的推進驅逐了所有ai安全專家，項目可能會因缺乏技術專長而無法使其模型足夠安全。
至於哪些人會被保留，很大程度上取決於領導層和以能力為導向的員工是否重視安全問題，而這又很大程度取決於是否建立了對安全問題的共同認知。
穩妥的優先行動
所以，我們應該提前採取哪些行動？
加入那些對未來發展有重要影響的機構
想想你希望被誰僱傭，以及你還差多少能力、條件才夠格。
如果你正在外部從事研究，記得將研究方向的重要性乘以研究成果在內部實際實施的概率。一個簡單的判斷標準是，研究是否有可能被分享到內部的slack上。
在嚴格的政府監督下，內部研究可能需要某種形式的安全許可。因此，避免吸毒、避免負債、遠離可疑人士，減少不必要的對外接觸。
幫助為重要角色提供信息
許多關鍵角色，都希望從對agi和agi安全有深入思考的人那裡獲得建議。當他們有問題時，他們是否會首先想到聯繫你？
制定實際計劃
逐年制定計劃是一個不錯的方法——例如，計劃在2025年底、2026年底、2027年底之前完成什麼。
記住關鍵時限
只有在agi出現之前必須完成的事情才是最重要的，因為agi可以完成其他事情。
作者承認，現在對較長時間線的預測有一些賭注的成分，但他認為，跟20年agi時間線下的潛力相比，這些事情的優先級應該被適當降低。
另外，在agi出現後，可能會有約一年的「人機共存」時期。但作者認為這不是一個重要的因素，因為目前還不清楚它會帶來什麼獨特的影響。
讓一切加速
如果你的計劃是「我將做x，以便以後做y」，那不如現在就開始做y。
如果你的計劃是「我將為一家不相干的ml公司工作一年，以獲得進入agi公司的資歷」，可以考慮直接申請agi公司，或者採取其他措施，加速這一行動。
進行相應的投資
如果agi在三年內到來，這對你該如何構建投資組合可能會產生重大影響，因為某些投資與這一預測的相關性遠高於其他投資。
資金可能在啟動階段被用於快速湧現的機會，以引導事態發展，但如果人類在asi之後倖存下來，目前尚不清楚資金還能有何用途（從先驗來看，財產權可能會在一定程度上受到尊重）。
培養適應力和韌性
隨着時間的推移，世界會變得越來越快。此時，保持冷靜和理智將對做出明智決策至關重要，而這種能力也會變得日益稀缺和寶貴。
-花時間思考未來，以及你在其中的位置
如果事實跟你預測的方向有出入，與其感嘆「天啊，這個世界太混亂了！」，不如換一個更有用的視角：「雖然我在細節上可能錯了，但這與我預測的某些可能分支大致吻合，我已經思考過如何在這些情況下行事。」
通過這種方式，你的一部分初步思考可以由現在的自己完成，減輕未來的自己的負擔。
這不僅在智力上有助於分擔負擔，更重要的是，它能在情感層面減少可能的驚訝或恐慌——已知的未知遠比未知的未知讓人壓力小得多。
-不要忽視健康
雖然你可能會覺得，現在適合多奮鬥，比以前多工作幾個小時，但如果想在啟動階段明智地應對局勢，我們的身體需要保持良好的狀態。
可持續性很重要，無論是3年還是10年的時間跨度，都需要養成類似的健康習慣。
最後的思考
最後作者表示，雖然思考agi的短期時間線可能會讓人倍感壓力，但這不應被視為時間線很長的證據。
如果你是基於10年或20年的時間線制定了當前計劃，現在很可能需要在許多方面調整、加速。
以短時間線為基礎進行規劃的一個優勢是，大部分關鍵因素目前已經基本到位，因此比起規劃10年後的未來要容易得多。
我們需要對如何讓agi順利發展有較清晰的認識。讓我們行動起來，實現這一目標。
參考資料：
https://www.lesswrong.com/posts/jb4bbdeeeeypnkqzj/orienting-to-3-year-agi-timelines
