一項由哈佛大學和麻省理工學院聯合開展的研究發現，即使是在1000萬個太陽系數據上訓練的Transformer模型，雖然能夠精確預測行星軌道，但對萬有引力定律卻毫無理解。這一發現對當前基礎模型的能力邊界提出了深刻質疑。
研究團隊將目光投向400年前的科學史。德國天文學家開普勒通過幾何規律成功預測行星位置，而牛頓在此基礎上發展出萬有引力定律，不僅能預測軌道，更能解釋宇宙中各種物理現象。這種"從預測到理解"的跨越，正是當前AI面臨的核心挑戰。
為了驗證現代AI模型是否實現了類似的跨越，研究團隊開發了一種名為"歸納偏置探針"的檢測框架。該框架基於一個關鍵洞察：模型的隱性世界模型會通過其從少量信息中推斷的方式顯現出來。
研究團隊構建了一個包含1.09億參數的Transformer模型，使用模擬的太陽系軌道數據進行訓練。每個序列描述行星繞太陽運行的情況，通過隨機採樣初始條件來匹配已知系外行星的軌道形狀。
在預測準確性方面，該模型表現出色，決定係數超過0.9999，顯著優於基準模型。然而，當研究團隊使用歸納偏差探針深入分析時，發現了令人意外的結果。
當對模型進行微調以預測行星受力向量時，其預測結果所隱含的引力定律毫無物理意義。通過符號回歸分析，研究團隊發現該模型並未學習到通用的物理定律，而是根據不同的數據片段採用不同的、看似隨機的定律。
啟發式規則vs世界模型
研究結果表明，這些先進的AI模型實際上依賴的是零散的啟發式規則，而非構建了連貫的世界模型。它們會對物理狀態截然不同的軌道做出相似預測，而對狀態非常相似的軌道則給出不同預測，這與真正理解物理定律的行為完全相反。
這一發現對基礎模型的核心假設提出了挑戰。長期以來，研究界認為學習預測序列能夠揭示更深層次的規律，甚至構建出世界模型。然而，本研究表明，即使在預測任務中表現優異，模型也可能缺乏對底層機制的真正理解。
這項研究的意義不僅限於物理學應用。它為理解當前大型語言模型和其他基礎模型的局限性提供了重要視角。雖然這些模型在各種任務中表現出色，但它們可能更像是複雜的模式匹配器，而非真正的世界理解者。
研究團隊指出，未來的關鍵挑戰在於開發能夠自動構建基礎模型行為中隱式世界模型的技術。這需要我們重新思考如何設計和訓練AI系統，使其不僅能夠預測，更能夠理解。
該研究已被2025年國際機器學習會議收錄，為AI領域的發展提供了重要的理論基礎和實證支撐。它提醒我們，在追求更強大AI能力的同時，也需要更深入地理解這些系統的內在工作機制。
