deer團隊 投稿
量子位 | 公眾號 qbitai
長思維鏈讓大模型具備了推理能力，但如果過度思考，就有可能成為負擔。
華為聯合中科院信工所提出了一種新的模式，讓大模型提前終止思考來避免這一問題。
利用這種方法，無需額外訓練，就可以讓大模型的精度和效率同時提升。
這種方式名為deer，也就是動態提前退出推理（dynamic early exit in reasoning）的簡稱。
其核心在於找到推理信息質量下降之前的臨界點，並在臨界點及時讓大模型中斷推理。
結果在多個推理基準中，deer在deepseek系列推理llm上始終有效，將思維鏈生成長度平均減少31%到43%，同時將準確率提高1.7%到5.7%。
截至目前，deer已在qwq、qwen3、nemotron等更多推理模型和11個評測集上被驗證持續有效。
停止推理的臨界點，需要動態規劃
直觀上，隨著思維鏈中的推理路徑數量的增加，生成結論時可參考的信息也會更多。
如果能夠識別出推理信息變得剛好足夠的臨界點（稱為珍珠推理，pearl reasoning），並迫使模型在此點停止進一步思考並直接輸出結論，就可以同時實現準確率和效率。
這項研究的關鍵，就是在生成長思維鏈過程中找到這樣的珍珠。
為了驗證這一動機，作者在每個推理路徑的轉換點強制模型從思考切換到直接生成答案。如果得到的答案是正確的，則驗證了這種珍珠推理的存在。
如下圖所示，大約75%的樣本確實包含這樣的珍珠（即提前退出依然可以生成正確答案），甚至有36.7%的樣本只需不到一半的原始推理路徑就能得到正確答案。
因此，如何從長思維鏈中找到pearl reasoning是實現高效推理的一個極具潛力和價值的課題。
為此，作者在先導實驗中詳細分析了推理模型存在的過度思考問題，並探索了靜態早期退出對模型性能的影響，所有實驗都是在deepseek-r1-ditil-qwen-14b上進行的。
作者首先讓模型在測試集上執行完整的推理（包括前後think標籤之間的思維鏈和結論），然後保留完整的思維鏈並根據思路轉換點（如「wait」等詞前後存在思路轉換）將其劃分為思維塊。
對於這些樣本，作者保留了不同比例（20%-90%）的思維塊，並在每個截斷處附加一個思維結束標記分隔符，以強制終止思維鏈過程並生成最終結論。
定量結果表明，在僅使用20%的推理步驟就提前退出的靜態設定下，對於math-500，有60.8%的正確回答樣本依然能保持正確；
對於較難的gpqa，仍然有35.1%樣本可以保持正確。
下圖說明了在不同的位置提前退出可以糾正的錯誤答案的不同比例。
對於math數據集，當以40%的推理步驟退出時達到最高的糾錯率；而對於gpqa數據集，當以50%的推理步驟退出時達到最佳糾錯率。
似乎每個問題的最佳早期退出點都不盡相同，並且與問題本身的固有難度密切相關。
因此，依賴基於固定啟發式的靜態提前退出策略是次優的，作者以此為動機設計了動態提前退出機制，通過尋找珍珠推理進一步糾錯提高準確性，同時減少生成的長度。
那麼，deer具體是如何工作的呢？
三步判斷退出推理時機
deer將模型在推理中切換思維鏈的關鍵時刻視為提前退出的時機，並促使大模型在這些時刻停止思考並生成嘗試性答案。
每個試驗答案的置信度，是推理中提前退出的決策參考。
具體來說，deer方法包含三個動作——推理轉換監控（reasoning transition monitor）、試驗性答案誘導（trial answer inducer）和置信度評價（confidence evaluation）。
推理轉換監控是受budget force技術的啟發，將諸如「wait」「alternatively」這樣的單詞識別為思路轉換的臨界點並監控其出現。
當思路轉換點出現時，將觸發答案誘導的動作——作者將「wait」替換為類似於「final answer:」的標記，以誘導模型立即生成驗證性答案。
這將用於第三個動作，也就是置信度評價——
如果置信度足夠高，則將模型設置為停止進一步思考，並基於已經生成的思維鏈直接生成結論；
否則，撤銷答案誘導的動作，沿原路徑繼續推理。
下圖展示了deer對驗證性答案的置信度確實能夠反映出已生成的思維鏈是否足夠支撐大模型生成最終答案的信息量。
可以觀察到，當模型的推理過程不完整或有缺陷時，試驗答案往往表現出明顯較低的置信度；相反，當推理全面且邏輯合理時，模型生成的答案具有更高的置信度。
直覺上，deer中的答案誘導和置信度評價的計算在推理過程中引入了額外的延遲，特別是對於測試答案仍然很長的代碼生成任務，這降低了通過縮短思維鏈序列而獲得的效率增益。
為了解決這個問題，作者提出了分支並行加速（branch-parallel acceleration）策略，以進一步解決這些效率限制：
多個分支線性化為單個序列，並使用專門的causal attention mask並行生成；
通過基於置信度的剪枝實現動態kv緩存管理。該策略允許trail answer inducer和confidence evaluation和正在進行的推理鏈生成之間的時間重疊，從而優化整體推理效率。
另外，關於端到端時延的更多討論將在即將發布的版本中加入。
讓推理模型更快更強
為了驗證deer的表現，作者在6個挑戰性的推理benchmark上進行了測評，其中包含3個數學推理任務（math-500、amc 2023、aime 2024）、一個科學推理任務（gpqa diamond）、兩個代碼生成任務（humaneval、bigcodebench）。
評測指標選用了準確率和生成長度兩個維度，分別衡量精度和效率。實驗選用了不同規模的deepseek-r1-distill-qwen系列模型（1.5b, 7b, 14b, 32b）。
實驗結果表明，deer在所有規模的模型和評測集上都展現出了驚人的效果。
數值上，deer相比於常規的long cot方法準確率平均提升了1.7到5.7個點，同時生成長度縮短了31%到43%。
在小規模的模型上，deer對於math-500和amc 2023兩個難度稍低的benchmark提升更顯著。
在大規模的模型上，deer對於aime 2024和gpqa兩個更具挑戰性的benchmark提升更顯著。
尤其是當模型的推理能力與問題難度匹配時，作者的方法更加有效。
在humaneval和bigcodebench兩個programming測試集上，作者的方法實現了平均減少64.9%的生成長度，而pass@1提高了2.1個點，並對0.95附近的閾值表現魯棒，不會有顯著波動。
為了進一步驗證deer對於端到端推理效率的提升，作者基於huggingface transformers在math和amc兩個數據集上測試了平均每個樣本的推理時延。
結果表明，在未使用作者提出的分支並行解碼加速的情況下，deer就已經減少了43.4%到47.3%的推理時延。
而採用了分支並行解碼後，推理時延的下降比例和序列長度的下降比例呈現超線性的關係。
作者還通過樣例分析進一步證明了deer的有效性。
原始的推理模型在解決問題時傾向於切換思路探索多種解題方法，然而很可能問題的最優解決路徑只有一條，在後續的思路中模型會因為犯錯而得不到正確答案。
為了驗證兩個不同結果哪一個正確，模型會進行無休止的自我檢查，最終未能給出答案。
但在deer的工作模式下，這一問題得到了有效避免。
論文地址：https://arxiv.org/abs/2504.15895項目鏈接：https://github.com/iie-ycx/deer
