用戶和投資者一直對蘋果在ai的動作遲緩感到不滿，它既不自己研究前沿大模型，對於採納外部模型也非常謹慎。這次wwdc會又一次跳票siri和其他重要的apple intelligence功能。
可能有一個最重要的原因，是蘋果一直覺得大模型不靠譜。
蘋果在自己的網站上公開了一篇論文，認為推理大模型（lrm）的思考能力，無非是幻覺。而8個月前，幾乎是同一組研究員，指出了大語言模型（llm）中數學推理的局限性。
這次他們對比了lrm與llm，在同等計算預算下，他們發現：
低複雜度任務：llm反而優於lrm；
中等複雜度任務：lrm通過增加「思考」展現出優勢；
高複雜度任務：兩類模型均出現全面崩潰。
蘋果研究團隊並不相信大模型的基準測試，而是自己設計了一個測試環境。尤其是在編程和數學領域的基準模型，研究團隊認為存在數據污染問題，即用於模型訓練的數據與基準數據出現了直接或間接的重合。
這次，蘋果研究團隊構建了一個可控制解謎環境 （controllable puzzle environments ），採用了四個智力遊戲，以可控的任務評估lrm的推理能力：漢諾塔（tower of hanoi） ，跳棋（checker jumping） ，渡河（river crossing） ，積木世界（blocks world） 。
他們發現，即便是當前最先進的lrm（例如 o3-mini、deepseek-r1、claude-3.7-sonnet-thinking），在面對不同環境下複雜度提升的問題時，依然無法形成可泛化的問題求解能力，其準確率最終在某一複雜度之後全面崩潰。
（說明：在不同解謎環境中，推理模型的準確率與思考 token 數量隨問題複雜度的變化趨勢如下：隨着複雜度上升，模型最初會投入更多的思考 token，準確率則逐漸下降，直到達到某個臨界點——此時推理過程崩潰，模型表現急劇下滑，且推理努力也隨之減少。）
蘋果團隊對當前以最終準確率為主的評估方式提出了質疑，並引入中間推理過程（thinking traces），藉助確定性的解謎模擬器對其進行擴展分析，發現隨着問題複雜度上升，正確解答在思考軌跡中系統性地較遲出現，相比之下錯誤解答更早出現，這為理解lrm內部的自我糾錯機制提供了量化線索。
這對激烈的推理模型競賽是當頭棒喝，當下的推理模型的訓練範式可能存在着一個根本缺陷，面對真正複雜的問題，擴展定律 （scaling law) 又遇到天花板了：思維 token 的使用量在超過某一複雜度後，反而呈現出反直覺的下降趨勢。
這似乎再一次證明了蘋果同一個研究團隊在8個月前得出的結論：「我們進一步探究了這類模型數學推理能力的脆弱性，發現隨着題目中語句數量的增加，其性能會顯著下降。我們推測，這種性能惡化的根本原因在於：當前llms並不具備真正的邏輯推理能力，它們只是試圖模仿訓練數據中所觀察到的推理過程。」
所以，大模型真的會思考嗎？可能庫克和蘋果的研究人員還在思考這個問題。也許從中可以部分理解為什麼蘋果在擁抱大模型方面表現得如此謹慎。
蘋果掌管軟件工程的高級副總裁費德里吉（craig federighi）並不太相信人工智能。他對這項技術投入的大量資金表示「猶豫」，並且不認為這是一種「核心能力」。
mehrdad farajtabar參與了蘋果上述兩篇論文，這次他不客氣地問道：「這些被稱為「推理模型」的 o1/o3、deepseek-r1 和 claude 3.7 sonnet，真的在「思考」嗎？還是說，它們只是在用更多的算力來做模式匹配而已？
