蘋果炮轟推理模型全是假思考！4個遊戲戳破神話，o3/DeepSeek高難度全崩潰_風聞

夢晨 西風 發自 凹非寺量子位 | 公眾號 QbitAI

蘋果最新大模型論文，在AI圈炸開了鍋。

有人總結到：蘋果剛剛當了一回馬庫斯，否定了所有大模型的推理能力。

這篇論文稱推理模型全都沒在真正思考，無論DeepSeek、o3-mini還是Claude 3.7都只是另一種形式的“模式匹配”，所謂思考只是一種假象。

再遇到真正高複雜度的任務時所有模型都會崩潰，即使給他們足夠的時間和計算資源也無濟於事。

作者中包括谷歌大腦創始人之一Samy Bengio（圖靈獎得主Yoshua Bengio的弟弟）。

有網友諷刺縱使蘋果擁有最多的資金，2年了也沒有拿出像樣的成果，現在自己落後了，卻來否定別人的成果。

還有人建議蘋果要不直接買下Claude背後的公司Anthropic算了，每拖一天都在變貴。

不過也有人指出，這篇論文沒有看上去那麼消極，而是呼籲設立更好的推理機制和評估辦法。

那麼，這篇論文究竟説了什麼？

推理模型真的在“思考”嗎？

蘋果團隊認為現有評估主要集中在既定的數學和編碼基準上，看模型最終答案是否正確，但可能存在數據污染（模型訓練時見過類似題目）。並且，這些評估大都缺乏對“思考過程質量”的分析，比如中間步驟是否邏輯一致、是否繞彎路等。

為了克服這些限制，更客觀測試推理模型的推理能力，他們設計了4類謎題環境。

巧妙之處在於，四類謎題的難度可以精確控制，同時保持邏輯結構的一致性，研究者能夠系統觀察模型在不同複雜度下的行為變化，比如生成的每一步移動是否正確、是否重複試錯。

4類謎題環境分別是：

漢諾塔（Tower of Hanoi）

漢諾塔是一個包含三根柱子和n個不同大小圓盤的謎題，圓盤按大小順序（最大的在底部）堆疊在第一根柱子上。目標是將所有圓盤從第一根柱子移到第三根柱子。有效移動包括每次只能移動一個圓盤，只能從柱子頂部取圓盤，並且永遠不能將較大的圓盤放在較小的圓盤上。

此任務的難度可以通過初始圓盤的數量來控制，n個初始圓盤所需的最少移動次數為2n-1

跳棋交換（Checker Jumping）

玩法是將紅色跳棋、藍色跳棋和一個空格排成一行。目標是交換所有紅色和藍色跳棋的位置，也就是將初始配置鏡像反轉。

有效移動包括將跳棋移動到相鄰的空格中，或跳過恰好一個相反顏色的跳棋落到空格中。過程中，任何跳棋都不能向後移動。

此任務的複雜度可以通過跳棋的數量來控制，對於2n個跳棋，所需的最少移動次數為（n+1）2-1。

過河問題（River Crossing）

該謎題涉及n個角色及其對應的n個代理，他們必須使用一艘船過河。目標是將所有2n個人從左岸運到右岸。船最多可載k個人，且不能空駛。

每個代理必須保護自己的客户免受競爭代理的傷害，當一個角色在沒有自己代理在場的情況下與另一個代理在一起時，就會出現無效情況。

此任務的複雜度也可以通過調整角色/代理對的數量來控制。對於n=2、n=3對，使用k=2的船容量；對於更多對，使用k=3的船容量。

積木世界（Blocks World）

該謎題要求將積木從初始配置重新排列為指定的目標配置，目標是找出完成這一轉換所需的最少移動次數。

其有效移動規則為：僅能移動任意堆疊中的最頂層積木，且可將其放置於空堆疊之上或另一塊積木的頂部。任務複雜度可通過積木數量進行調控。

團隊在這些可控環境中進行了大量實驗，對比“會思考”和“不思考”的模型組合，主要針對Claude-3.7-Sonnet模型（帶思考機制 vs 不帶思考機制）和DeepSeek模型（R1 vs V3），這些模型允許訪問thinking tokens。

而後團隊驚奇發現，隨着複雜度增加，模型表現呈現出三個截然不同的區間。

在低複雜度任務中，那些沒有“思考”功能的標準語言模型實際上表現得更好，它們不僅更準確，而且更加高效，不會浪費計算資源在不必要的思考上。

這一發現直接挑戰了“更多思考總是更好”的直覺假設。

隨着任務難度進入中等水平，能夠生成長思維鏈的推理模型開始顯現優勢，額外的思考過程確實能夠幫助模型找到更好的解決方案。

然而，當問題複雜度繼續增加並超過某個臨界點時，無論是推理模型還是標準模型都會經歷完全的性能崩潰，準確率直線下降至零。

以下是在低、中、高複雜度的謎題環境中，思考模型與非思考模型在同等計算預算下的pass@k性能表現：

更令人困惑的是，蘋果團隊觀察到“推理努力反向縮放”現象。

他們測試了5個會“思考”的推理模型，包括o3-mini (medium、high兩種配置)、DeepSeek-R1、DeepSeek-R1-Qwen-32B,、Claude-3.7-Sonnet (thinking)。

所有模型在任務複雜度提升後呈現出相似的模式：隨着問題複雜度的增加，準確率逐漸下降，直到超過特定於模型的複雜度閾值後完全崩潰，準確率為零。

關鍵在於，一開始，模型會隨着問題變難而加大思考量，使用更多token，但接近崩潰臨界閾值時，模型卻反直覺地開始“主動減少思考”，即使它們的token預算還遠未耗盡。

也就是説，問題並非出在計算資源的限制上，而是模型本身存在某種內在的計算擴展限制。

這種現象在o3-mini變體中最為明顯，在Claude-3.7-Sonnet (thinking)表現稍好一些。

為了深入理解這種現象，團隊又針對Claude-3.7-Sonnet (thinking)詳細分析了模型的內部推理軌跡。

他們發現，在處理簡單問題時，推理模型經常會在早期就找到正確的解決方案，但隨後卻繼續探索各種錯誤的替代方案，“過度思考”浪費計算資源。

隨着問題複雜度適度增加，這一趨勢發生逆轉，模型首先探索錯誤的解決方案，正確解決方案大多出現在思維的後期。

最後，對於更高複雜度的問題，會出現崩潰現象，即模型無法在思維中生成任何正確的解決方案。

除此之外，團隊還發了一個模型的迷惑行為。

如下圖（a）和（b）所示，團隊在提示中向模型提供了完整的解決算法，理論上模型只需要按部就班地執行這些步驟即可。

然而，實驗結果顯示，模型的失敗點幾乎沒有改變，它們仍然無法突破任務複雜性限制，性能沒有提升，且觀察到的崩潰仍發生在大致相同的臨界點。

團隊認為這一點非常值得注意，因為尋找和設計解決方案本應比單純執行給定算法需要更多的計算。這進一步凸顯了推理模型在驗證和遵循邏輯步驟解決問題方面的侷限性，表明需要進一步研究以理解此類模型的符號操作能力。

而（c）和（d）又揭示，Claude 3.7 Sonnet在不同謎題中的表現差異很大。

在漢諾塔問題裏，模型給出的解決方案中第一次出錯的步驟很晚才出現，在N=10的複雜度下，錯誤通常出現在第 100步左右。然鵝，在過河問題中，模型只能在第4步之前給出有效移動步驟。

在解決需要31步完成、N=5複雜度的漢諾塔問題時，模型達到了近乎完美的準確率，但在解決僅需11步就能完成的N=3的過河謎題時卻失敗了。

團隊認為這很可能表明，網絡上N>2的過河問題實例較少，推理模型在訓練過程中可能不常遇到或記住此類情況。

換句話説，這種不一致性強烈暗示，這些所謂的“推理”模型可能更多地依賴於對特定問題模式的記憶和識別，儘管具備複雜的自我反思機制，但在超過特定複雜度閾值後，模型仍無法發展出可泛化的推理能力。

最後，團隊提出僅用最終答案評估推理能力存在誤導性，還需關注中間步驟的質量（如邏輯一致性、步驟效率）。

並建議未來如何設計更魯棒的推理機制，突破長程依賴和複雜規劃的瓶頸，是當前AI研究的關鍵方向。

蘋果在大模型落後了嗎？

暫時放下學術上的爭議，蘋果在大模型上的進展確實不盡人意。

剛好一年前，Apple Intelligence在2024年WWDC正式亮相，但宣傳中的許多功能都經歷延期、不夠完善甚至被下架：

個性化生成表情包的Genmojis功能，實裝後發現會導致iPhone過熱並耗盡電池壽命。

新聞摘要功能在生成一系列假新聞標題後被關閉。

最重磅的新版Siri甚至無法趕上即將舉辦的2025 WWDC

就在今年3月份，蘋果撤下了所有涉及新版Siri的電視廣告與網絡廣告。

高級總監Robby Walker對員工表示，他不確定這些升級何時真正發佈，因為升級有三分之一的時間無法正常運行，部分原因是其他功能的優先級更高。

這些功能還沒有完全準備好向公眾發佈，儘管我們的競爭對手可能已經以這種狀態甚至更糟的狀態發佈了它們。

根據彭博社5月份的一篇爆料文章，蘋果在AI上的連續失敗可能受如下因素影響：

蘋果軟件工程主管Craig Federighi在ChatGPT之前一直不願在人工智能領域進行大規模投資，導致蘋果內部致力於AI的員工，以及購買的算力資源都明顯少於競爭對手。

等到他發現AI大模型的潛力，其他科技巨頭已經在上面組建團隊並投入好幾年了。

另一位資深高管認為：在AI領域，直到開發完成，團隊都無法知道產品會是什麼樣子，這不是蘋果的思維方式。當蘋果坐下來開發產品時，就已經知道最終目標是什麼了

除了歷史原因之外，蘋果AI負責人John Giannandrea也被曝難融入蘋果核心管理層圈子，他沒有為團隊爭取到所需的資源，個人性格上也比較佛系，不會嚴格督促員工交付工作成果。

最後，對蘋果來説，動作慢一點不代表徹底失敗。歷史上他們經常等一個新技術出現了再打磨發佈自己精心設計、易用性強的版本。

MP3播放器、智能手機、平板電腦、手錶和耳機都是如此。

論文地址：https://ml-site.cdn-apple.com/papers/the-illusion-of-thinking.pdf

參考鏈接：[1]https://x.com/wolfejosh/status/1931182279755178074[2]https://www.bloomberg.com/news/features/2025-05-18/how-apple-intelligence-and-siri-ai-went-so-wrong