編輯：編輯部
【新智元導讀】現在，馬斯克起訴OpenAI案的最大未解之謎，就集中在了「Ilya究竟看到了什麼」上。他看到的東西，讓OpenAI大震蕩，所有模型推出計劃被削弱和延期。最近網上曝出的一份53頁PDF，就透露了Q*的許多重大細節：125萬億參數，去年12月已訓完。但馬斯克這麼一鬧，恐怕Q*面世的時間還要大大延遲。
本年度科技圈這場里程碑級大戰，還在持續白熱化！
剛剛，Sam Altman罕見地發聲了，連發兩條推文。
在馬斯克鬧出起訴風波後，Altman一直保持緘默。因此，這兩條推文應該是全公司經過了深思熟慮的結果——
颶風已經愈來愈猛烈，但風暴中心卻仍然保持着平靜。
這一切都發生過，這一切都還將再次發生。
在Altman看來，目前發生的一切不過是新瓶裝舊酒，不斷在重演的故事罷了。
但傳聞中的Q*和AGI，已經讓全世界談之色變。
本案最大未解之謎：Ilya究竟看到了什麼
在用ChatGPT和Sora在全世界掀起颶風之後，OpenAI真的能如Altman所說，在風暴中心保持平靜嗎？
恐怕潘多拉的魔盒已經打開，在我們看不到的角落裡，蝴蝶效應已經產生。
馬斯克起訴OpenAI案最大的未解之謎就是——Ilya究竟看到了什麼？
去年宮鬥風波發生時，馬斯克就表示很擔心：Ilya是一個擁有良好道德的人，並不尋求權力。除非他認為有必要，否則絕不會採取如此過激的行動
讓我們把時間線倒回，好好復盤一下這樁起訴案發生之前，Altman的一言一行，都埋下了哪些線索。
在2023年11月，就在Altman被董事會解僱的前一天，他在APEC會議上曾有一次令人不寒而慄的發言，暗示了OpenAI已經開發出了比GPT-4更強大、更難以想象的東西，遠超人們的期待。
模型的能力將會有一個無人預料到的飛躍。與人們的預期不同，這個飛躍是驚人的！
現在正在發生的技術變革，將徹底改變我們生活方式、經濟和社會結構以及其他可能性限制……這在OpenAI的歷史上有四次 ，而最近一次，就是在過去幾周內。
在撥開無知的面紗和探索未知的邊界時，我有幸在場， 這是我職業生涯中的榮幸。
在給出這篇演講時，我們還對Q*一無所知。
緊接着第二天，OpenAI的宮鬥風波震驚全世界，Altman被趕下台，而Ilya「看到了一些東西」。
那幾天里，「Ilya究竟看到了什麼」引起了全網的猜測和恐慌
宮鬥風波第四天時，OpenAI秘密的AI模型突破Q*被泄露。據說OpenAI的兩位研究員Jakub Pachocki和Symon Sidor，利用Ilya的工作成果做出了Q*。
同時大家發現，在Altman被解僱之下，OpenAI的研究人員曾給董事會發出一封信，警告一項「可能威脅人類」的全新AI發現。
這封此前從未報道過的信，也是董事會最終罷免Altman的導火索之一
Ilya看到的，就是這項發現嗎？或者說，Ilya看到的，就是Q*嗎？
而到了2024年2月，馬斯克正式起訴OpenAI，這記迴旋鏢正中眉心。
馬斯克認為，GPT-4是一個AGI算法，所以OpenAI已經實現了AGI，因此這超出了和微軟協議的範圍，這項協議僅適用於AGI出現之前的技術。
「基於所掌握的信息和相信為真的內容，OpenAI目前正在開發一種名為Q*的模型，該模型對AGI具有更強的主張」
起訴書中還說，看起來Q*很有可能會被OpenAI開發成一個AGI，更清晰、更引人注目。
Q*真的值得馬斯克如此大費周章、如臨大敵嗎？
根據目前泄露出來的信息，Q*的能力，是能夠解決小學階段的數學問題。
雖然在大多數人看來，這並不是什麼令人印象深刻的事，但這的確是朝向AGI邁出的一大步，堪稱重要的技術里程碑。
因為Q*解決的，是以前從未見過的數學題。
Ilya做出的突破，使OpenAI不再受限於獲取足夠的高質量數據來訓練新模型，而這，正是開發下一代模型的主要障礙。
那幾周內，Q*的演示一直在OpenAI內部流傳，所有人都很震驚。
據悉，OpenAI的一些人認為Q*可能是OpenAI在AGI上取得的一個突破。AGI的定義是：「在最具經濟價值的任務中，超越人類的自主系統」
所以Q*會威脅人類嗎？
現在，公眾仍然不清楚細節，馬斯克似乎認為答案是肯定的，而「看到了什麼」的Ilya，至今去向不明。
Ilya的社交媒體，至今還停留在這一條23年12月15日的推特，從此再無動態
網友：Ilya看到的東西，就是奧本海默時刻
現在，已經有人把「Ilya看到那個東西」的時刻，歸結為奧本海默時刻，並且，那個東西的危險和強大程度比原子彈還要高出數百萬倍。
Ilya看到的這個東西改變了遊戲規則，級別在AGI和ASI之間，因為他太害怕了，所以踢出了Altman
網友們猜測，馬斯克現在下這一盤大棋，就是為了搞清Ilya究竟看到了什麼，來感受一把真正的AGI。
Ilya看到了什麼可怕的東西？
網友們一致認為，或許普通人看到的只是AI系統而已，但Ilya看到的，是AI的突破性發現。
很多人相信，就是Ilya看到的就是Q*，隨後有了一些新發現。
因為Ilya不是個關心政治的人，他肯定是看到了相當危險的東西，把董事會都給嚇到了。
或許他看到的只是Sora生成的視頻？但直覺告訴我們應該不只如此。
但是從此，OpenAI發生了一場大震蕩，削弱了GPT，削弱了未來推出的模型。
地下室里究竟有什麼？！
Altman急澄清：AI是工具，不是新物種！
面對外界的這番恐慌情緒，Altman在最近接受《The Advocate》雜誌採訪時急忙解釋道：很多人都對AI誤解了，他們甚至分不清AI到底是一種「生物」還是「工具」。
在他看來，將AI視為科幻電影中的生物角色確實更吸引人。但如果真的用了ChatGPT，就會明白它只是一個工具而已。
AI目前更多是一套基於數據和數學的系統，能夠產生統計上可能的結果，而不是「生物」這種全新的生命形態。
在目前全社會對OpenAI的擔憂情緒下，這種描述的確很應景。
不過，Altman以前可不是這麼說的。
他曾預測道，AI很快就能替代中等水平的人類勞動者，導致大規模失業。能夠自主行動的AI智能體，下一步可能就是替代人類。
2027年構建AGI計劃推遲
同時，網上一份最新長達53頁的PDF，曝光了OpenAI預計在2027年前打造出人類級別AGI的計劃，或許能夠部分解答「地下室里有什麼」的問題。
目前還不知這個透露可靠度有多高，不過文檔作者Jackson賬號註冊於2023年7月，目前就只發布了2條推文，都是昨天發布的。
而且，他主頁上的簽名是「jimmy apples竊取了我的信息」。（jimmy apples曾多次爆料關於OpenAI模型發布信息）。
Jackson表示，「自己將披露收集到的有關 OpenAI（已推遲）計劃在2027年之前創建人類級別AGI的信息」。
摘要中，具體介紹了OpenAI通往AGI的時間線：
OpenAI於2022年8月便開始訓練一個125萬億參數的多模態模型。
第一階段是Arrakis，也稱為Q*。模型於2023年12月完成訓練，但由於推理成本過高而取消發布。這就是原本計劃在2025年發布的GPT-5。Gobi（GPT-4.5）已更名為GPT-5，因為原GPT-5已被取消。
Q*的下一階段原為GPT-6，後更名為GPT-7（原計劃於2026年發布），但由於最近馬斯克的訴訟而被擱置。
Q* 2025（GPT-8）原計劃於2027年發布，旨在實現完全的AGI。
Q* 2023 = IQ達到48
Q* 2024 = IQ達到96（延遲）
Q* 2025 = IQ達到145（延遲）。
參數計數
「深度學習」這一概念基本上可以追溯到20世紀50年代AI研究的初期。
第一個神經網絡誕生於上世紀50年代，而現代神經網絡只是「更深」而已。
這意味着它們包含更多的層——它們要大得多，也要在更多的數據上進行訓練。
當今AI領域大多數主要技術都源20世紀50年代的基礎研究，並結合了一些工程解決方案，如「反向傳播算法」 和「Transformer模型」。
總的來說，AI研究70年來沒有發生根本性變化。因此，近來AI能力爆發的真正原因只有兩個：規模和數據。
越來越多的人開始相信，幾十年來我們早已解決了AGI的技術細節，只是在21世紀之前沒有足夠的算力和數據來構建AGI。
顯然，21世紀的計算機，要比上個世紀50年代的計算機強大得多。當然，互聯網數據來源也更加豐富。
那麼，什麼是參數呢？
它類似於生物大腦中的突觸，是神經元之間的連接。生物大腦中有1000個連接。顯然，數字神經網絡在概念上類似於生物大腦。
那麼，人腦中有多少個突觸（或「參數」）呢？
最常引用的大腦突觸數量大約為100萬億個，這意味着每個神經元（人腦中約有1000億個神經元）大約有1000個連接。
如果大腦中每個神經元有1000個連接點，這意味着一隻貓大約有2500億個突觸，一隻狗有5300億個突觸。
一般來說，突觸數似乎預示着較高的智力，但也有少數例外：例如，從技術上講，大象的突觸數比人類高，但智力卻比人類低。
突觸數量越多，智力越低，最簡單的解釋就是高質量數據的數量越少。
從進化的角度來看，大腦是在數十億年的表觀遺傳數據的基礎上「訓練」出來的，人類的大腦是從比大象更高質量的社會化和交流數據中進化出來的，所以我們具備了卓越的推理能力。無論如何，突觸數量無疑是非常重要的。
同樣，自2010年以來，AI能力的爆炸式增長是，更強算力和更多數據的結果。
GPT-2有15億個連接，還不如一個小鼠的大腦（約100億個突觸）。GPT-3有1750億個連接，已經接近貓的大腦。
100萬億參數，AI即可達到人類水平
2020年，1750億參數的GPT-3發布後，許多人對一個比它大600倍、參數為100萬億模型（這一參數與人類大腦的突觸數相匹配）的潛在性能進行猜測——
正如Lanrian所解釋的，推斷結果表明，AI的性能似乎會莫名其妙地達到人類水平。
與此同時，人類水平的大腦大小也會與參數數量相匹配。
他計算的大腦突觸數量約是200萬億參數，而不是通常所說的100萬億參數——但這一觀點仍然成立，而且100萬億參數的性能非常接近最佳狀態。
那麼，如果AI的性能是可以根據參數數量預測的，而且~100萬億參數足以達到人類水平，那麼什麼時候會發布100萬億參數的AI模型呢？
GPT-5在2023年末實現了最初的AGI，IQ達到48。
OpenAI新策略：Chinchilla縮放定律
100萬億參數模型實際上性能不是最優的，不過OpenAI正在使用一種新的縮放範式來彌補這一差距——基於一種叫做Chinchilla scaling laws（縮放定律）的方法。
Chinchilla是DeepMind在2022年初發布的AI模型。
論文地址：https://arxiv.org/pdf/2203.15556.pdf
這篇論文中，暗示了目前的模型明顯訓練不足，如果計算量（意味着更多數據）大大增加，無需增加參數就能大幅提升性能。
重點是，雖然一個訓練不足的100萬億參數模型不是最優的，但如果用更多的數據對其進行訓練，其性能就能輕鬆超越人類水平。
在ML領域，Chinchilla範式已被廣泛理解和接受。
但OpenAI總裁Greg Brockman在採訪中談到，OpenAI是如何意識到自己最初的scaling laws存在缺陷，並在此後進行調整，將Chinchilla納入考慮範圍。
地址：https://youtu.be/Rp3A5q9L_bg?t=1323
研究員Alberto Romero曾撰文介紹了的Chinchilla scaling突破。
Chinchilla表明，儘管它比GPT-3和DeepMind自家模型Gopher小得多，但由於在更多的數據上進行了訓練，它的性能超過了強大的模型。
儘管預測100萬億參數模型的性能不是最優，但OpenAI非常了解Chinchilla scaling laws。
他們正在將Q*訓練成一個100萬億參數的多模態模型，這個模型的計算能力是最優的，而且訓練的數據量遠遠超過了初衷。
Q*：125萬億參數巨獸？
最後，作者透露了一個令人難以置信的信息來源——來自著名的計算機科學家Scott Aaronson。
2022年夏天，他加入OpenAI後，從事了為期一年的AI安全方面的工作。他曾在博客上發表了一些非常有趣的言論。
這篇在2022年12月底的文章——「一封寫給11歲自己的信」，討論了一些實事和Scott在生活中取得的成就。
下半部分才是最可怕的部分...
有一家公司正在開發一種人工智能，它填滿了巨大的房間，耗費了整個城鎮的電力，最近還獲得了令人震驚的能力——能像人一樣交談。
它可以就任何主題寫論文、詩歌。它可以輕鬆通過大學水平的考試。它每天都在獲得新的能力，但負責AI的工程師們還不能公開談論。
不過，這些工程師會坐在公司食堂里，討論他們正在創造的東西的意義。
下周它會學會做什麼？它可能會淘汰哪些工作？他們是否應該放慢速度或停下來，以免「怪獸」失控？
但是，這並非意味着其他人，可能是更沒有顧忌的人，不會最先喚醒「巨獸」嗎？是否有義務告訴世人更多關於這件事的信息？還是有義務少說一點？
我——現在的你——正在那家公司工作一年。我的工作是開發一個數學理論，以防止人工智能及其後繼者走向極端。其中「走向極端」可能意味着從加速宣傳和學術作弊，到提供生物恐怖主義建議，再到摧毀世界。
這裡，Scott指的就是多模態大模型Q*，一個125萬億參數的巨獸。
爆火「Q*假說」牽出世界模型，全網AI大佬熱議
去年11月，Q*項目就曾引發這個AI社區熱議。
疑似接近AGI，因為巨大計算資源能解決某些數學問題，讓Sam Altman出局董事會的導火索，有毀滅人類風險……這些元素單拎出哪一個來，都足夠炸裂。
所以，Q*究竟是啥呢？
這要從一項1992年的技術Q-learning說起。
簡單來說，Q-learning是一種無模型的強化學習算法，旨在學習特定狀態下某個動作的價值。其最終目標是找到最佳策略，即在每個狀態下採取最佳動作，以最大化隨時間累積的獎勵。
斯坦福博士Silas Alberti由此猜測，Q*很可能是基於AlphaGo式蒙特卡羅樹搜索token軌跡。下一個合乎邏輯的步驟是以更有原則的方式搜索token樹。這在編碼和數學等環境中尤為合理。
隨後，更多人猜測，Q*指的就是A*算法和Q學習的結合！
甚至有人發現，Q-Learning竟然和ChatGPT成功秘訣之一的RLHF，有着千絲萬縷的聯繫！
隨着幾位AI大佬的下場，大家的觀點，愈發不謀而合了。
AI2研究科學家Nathan激動地寫出一篇長文，猜測Q假說應該是關於思想樹+過程獎勵模型。並且認為Q*假說很可能和世界模型有關！
文章地址：https://www.interconnects.ai/p/q-star
他猜測，如果Q*（Q-Star）是真的，那麼它顯然是RL文獻中的兩個核心主題的合成：Q值和A*（一種經典的圖搜索算法）。
A*算法的一個例子
英偉達高級科學家Jim Fan也認為，Q*令人讚歎，可以和AlphaGo類比。
在我投身人工智能領域的十年中，我從來見過有這麼多人對一個算法有如此多的想象！即使它只有一個名字，沒有任何論文、數據或產品。
其實，多年來Ilya一直在研究如何讓GPT-4解決涉及推理的任務，比如數學或科學問題。
此前，Ilya在這個方向就有多年積累。21年，他啟動了GPT-Zero項目，這是對DeepMind AlphaZero的致敬。
GPT-Zero可以下國際象棋、圍棋和將棋。而團隊假設，只要給大模型更多的時間和算力，假以時日，它們一定能達到新的學術突破。
而且在半年之前，就有硅谷大佬扒出，OpenAI很有可能會將「實時檢索」和模型能力結合起來，創造出難以想象的AI能力。
圖靈三巨頭LeCun則認為，Q*則很可能是OpenAI在規劃領域的嘗試，即利用規劃策略取代自回歸token預測。
隨後，更是有驚人消息曝出：Q*竟然能破解加密，AI自己在偷偷編程。而OpenAI曾試圖就此向NSA提出預警。
如果這個消息是真的，那我們無疑已經無限接近AGI。
