編輯：David Joey 如願
【新智元導讀】LeCun新發60頁長文，不講AGI，講的是「自主機器智能」，推特還不忘喊話老冤家Gary Marcus過來對線。
最近，自從谷歌研究員提出大型語言模型LaMDA「意識覺醒」，並被谷歌雪藏之後，關於「自主AI」的話題，業界的討論一直沒聽。
如果AI真的有了自主意識，關於是否能實現AGI、如何通向AGI的爭論，差不多就能塵埃落定了。
在這場討論中，自然少不了AI界「相愛相殺」多年的一對老冤家：圖靈獎得主之一Yann LeCun和AI界「懟王」Gary Marcus。
Gary Marcus本人一直對深度學習持質疑態度，他聲稱，深度學習無法進一步取得進展，因為神經網路在處理符號操作方面存在困難。
而以LeCun為代表的主流AI學界，則認為深度學習已經在進行符號推理，並將持續改進。
二人就這個問題「隔空開炮」由來已久，最近，Marcus剛寫了一篇關於「深度學習撞牆」的文章，LeCun就發文反駁，意思是「別拿暫時的挫折當撞牆，沒那麼多牆可撞」。
LeCun 60頁長文，把「自主機器智能」講透
或許是覺得前不久那篇文章沒講透、沒講過癮，LeCun昨天又發了一篇60多頁的長文，題為「通向自主機器智能之路」，系統講述了關於「機器如何能像動物和人類一樣學習」的問題。
LeCun表示，此文不僅是自己關於未來5-10年內關於AI發展大方向的思考，也是自己未來幾年打算研究的內容，並希望能夠啟發AI界的更多人來一起研究。
同時，LeCun也沒忘了提醒老朋友Gary Marcus，這篇是發在OpenReview上的，敞開評論，你要戰趕緊來戰。
LeCun認為，今天的人工智慧研究必須解決三個主要挑戰：
- 機器如何通過觀察來學習表達世界、學習預測和學習採取行動？
- 機器如何以基於梯度的學習兼容的方式進行推理和計劃？
- 機器如何學習以分層方式、多抽象層次和多時間尺度來表示感知和行動計劃？
論文地址：https://openreview.net/forum?id=BZ5a1r-kVsf
此文主要是解決「機器怎樣才能學會推理和計劃」的問題，為此，文章提出了一個架構和訓練範式，用來構建能夠自主的智能體。
文中結合了一些概念，如可配置的預測世界模型，通過內在動機驅動的行為，以及用自監督學習訓練的分層聯合嵌入架構。
LeCun表示，這篇文章的主要觀點，就是他一個多月前在Facebook博客上已經陳述過的一些觀點。
他認為，不存在「AGI」這種東西。不如現實一點 ，追求達到 「人類水平的AI」（HLAI）。
目前我們正在朝著HLAI取得一些進展，擴大模型的規模有點用，但還不夠，因為目前我們仍然缺少一些基本概念。
其中一些新概念可能 「就在眼前」（如廣義自監督學習）。但我們不知道需要多少這樣的新概念。現在我們只是看到其中最顯而易見的那部分概念。因此，無法預測要花多長時間才能達到人類水平的AI。
具體來講，本文主要解決以下幾個問題：
1、提出了一個整體認知架構，其中所有模塊都是可區分的，其中許多模塊是可訓練的。
自主智能（autonomous intelligence）的系統架構
2、提出了一種用於學習表示層次結構的預測世界模型的非生成架構 JEPA 和分層 JEPA：
聯合嵌入預測架構 (JEPA) 由兩個編碼分支組成
由上圖衍生出的分層JEPA架構
3. 一種非對比的自我監督學習範式，它產生的表徵同時具有信息性和可預測性
JEPA 的主要優點在於可以使用非對比方法進行訓練
4. 一種使用 H-JEPA 作為預測世界模型基礎的方法，用於不確定性下的分層規劃。
用於分層規劃的分層JEPA架構
不確定環境下用於分層規劃的分層 JEPA架構
LeCun表示，雖然AGI搞不成，但上面這些工具和方法可能會讓我們離「人類水平的自主智能」更近一些。
另外他還說，這些架構、思路和方法有些不是他首先提出來的，他只是將其整合成了一套互相相關的架構，免不了有參考文獻忘記列出，歡迎指正。
大佬還是謙虛啊。
如何讓智能體真正「智能」？
LeCun 表示，本文提出的架構不是專門設計來模擬人類和其他動物的自主智能、推理和學習，但確實有一些相似之處。
該架構中的許多模塊，在哺乳動物中都有對應的模塊：比如具有相似功能的大腦、感知模塊對應於視覺、聽覺和其他感覺區域以及一些相關區域。
本文中的架構構建了單一的世界模型引擎。LeCun認為，這不僅可以通過硬體重用提供計算優勢，還可以讓知識在多個任務之間共享。
一直以來，存在一個假設，即「人類大腦中存在一個單一的、可配置的世界模型引擎」。
這可能解釋了為什麼人類本質上可以一次執行單一的「有意識的」推理和規劃任務。
關於情感
動物和人類情感的基礎是瞬時情緒(如痛苦、快樂、飢餓等)，這可能是大腦結構的作用效果，其意義是類似於所提的架構中的「內在成本」模塊。
其他情緒，如恐懼或高興，可能是大腦結構預期結果的結果。
本文提出的這類自主智能體將會擁有類似於情感的東西。就像動物和人類一樣，機器的情感是內在成本的產物。
關於常識
人們普遍認為，目前的AI系統都不具備任何程度的常識，甚至連家貓的常識都沒有。而動物似乎能夠獲得足夠的關於世界如何運作的背景知識，從而表現出一定程度的常識。
LeCun推測，常識可能會從學習世界模型中產生，它會捕捉到世界上觀察的自我一致性和相互依賴性，允許代理填補缺失的信息，並發現違反其世界模型的行為。
靠加參數，實現不了「自主AI」
近年來，大型語言模型，尤其是Transformer架構，在文本生成和智能對話方面取得了驚人的成功。
這在AI社區引發了一場辯論——是否可以通過擴大這些架構的規模，來實現人類級別的AI。LeCun認為，並不行，主要有兩個原因：
首先，當前的模型操作的是「標記化」數據，並且是生成的。
這些數據受到生成模型、潛在變數自由模型和對比方法的限制。生成模型難以表示連續空間中複雜的不確定性。
其次，目前的模型只能進行非常有限的推理。在這樣的模型中動態地指定目標基本上是不可能的。
另一個原因就是獎勵不足。
在大多數強化學習設置中，獎勵是由環境提供給智能體的。換句話說，訓練的內在成本是環境本身，是一個未知函數。一個純粹的強化學習系統，甚至需要大量的試驗來學習相對簡單的任務。
而如果要通過預測世界狀態來訓練模型，獎勵顯然是不夠的，因為系統中的大多數參數被訓練來預測世界上的大量觀測。
參考資料：
https://openreview.net/forum?id=BZ5a1r-kVsf
https://www.facebook.com/yann.lecun/posts/10158256523332143
