鷺羽 發自 凹非寺
量子位 | 公眾號 QbitAI
即使RLVR（可驗證獎勵強化學習）使用錯誤的獎勵信號，Qwen性能也能得到顯著提升？
甚至還和真實獎勵相差無幾。
自從RLVR被DeepSeek-R1帶火，RL推理研究層出不窮，走進了蜜月期。
這不，來自華盛頓大學的一群博士生來火上澆油了——
使用Qwen模型（尤其是數學版本），對虛假獎勵進行RLVR，仍然可以將MATH-500的絕對準確率顯著提升約25%。
團隊實驗發現：
RLVR通過激活預訓練中的推理能力來提升性能，但不考慮獎勵信號的正確性。
這徹底顛覆了既往大家對RLVR的認知，原來那些年在虛假獎勵上踩過的坑，還真能實現彎道超車？
X上的網友們紛紛表示，強烈建議每位RLVR研究員都來讀一讀，尤其是那些圍繞Qwen模型精心構造獎勵函數的研究員們，該瑟瑟發抖了……
Qwen自家的研究員Binyuan Hui也在評論區現身：
也許是預訓練數據混合以某種方式意外導致了一些有用的行為，又一次側面印證了代碼推理的重要性。
具體啥情況？下面我們娓娓道來。
虛假獎勵帶來顯著的RLVR增益
此前已有研究證明，RLVR在提升語言模型推理能力上非常有效，核心思想是利用可自動驗證的獎勵信號優化。
普遍研究都默認優化效果依賴獎勵的正確性，但研究團隊反直覺地認為其中必有蹊蹺——虛假獎勵或許也能「變廢為寶」？
於是說干就干，開始大膽假設，小心求證。
從實驗出發
為測試RLVR提升數學推理能力所需的最低監督下限，團隊設計了一系列逐步簡化的獎勵函數替代標準真實獎勵：
- 真實獎勵：使用真實標籤對可驗證正確的回答給予獎勵，將其作為獎勵監督質量的上限。
- 多數投票獎勵：在微調前利用模型對訓練集進行偽標註，即對每個提示採樣64個響應並選取多數答案，再基於這些（可能錯誤的）標籤進行獎勵。
- 格式獎勵：進一步弱化獎勵信號，獎勵所有包含至少一個非空\boxed {}表達式的響應，完全忽略回答的數學正確性。
- 隨機獎勵：在獎勵過程中不提供任何指導，直接給定一個固定概率超參數隨機分配獎勵，其中1的概率為，0為，主實驗中設置。
- 錯誤獎勵：故意提供錯誤的監督，只獎勵錯誤答案，即先用多數投票法標註所有訓練數據，選擇錯誤標籤的子集進行訓練，並給予對應的響應獎勵。
基於GRPO方法微調Qwen2.5-Math模型，再使用不同獎勵函數進行RLVR訓練。
實驗結果表明，與未調優的基線模型相比，所有獎勵函數（即使是設計上存在問題的函數），均能在所有基準測試的前50步內顯著提升數學推理性能。
值得注意的是，虛假獎勵帶來的性能提升，與基於真實標籤的RLVR提升幅度，相差只有幾個百分點。
例如，在MATH500基準上，使用錯誤標籤獎勵進行訓練可提升24.6%，而基於真實答案的RLVR提升幅度只有28.8%，即使是提供純噪音的隨機獎勵，也仍能帶來 21.4%的性能提升。
因此團隊證明，即使是完全錯誤的獎勵或隨機獎勵，也能在Qwen2.5-Math模型中激發性能提升。
但在進一步的研究中，他們發現這種奇怪的增益只有利於Qwen2.5系列模型，其餘非 Qwen模型的性能在虛假獎勵下幾乎無變化，甚至還會出現下降的趨勢。
這又是怎麼一回事呢？研究團隊只好又開始挖掘模型差異的根源。
為什麼虛假獎勵有效
通過分析Qwen2.5-Math-7B和OLMo2-7B的推理軌跡，團隊發現預訓練期間，模型學習到的特定推理策略差異是關鍵。
Qwen2.5-Math-7B頻繁生成Python代碼輔助思考過程 （占所有回答的 65.0%），儘管無法執行，但這種代碼推理行為在一定程度上，與答案準確率高度正相關。
但該模式在其他模型中並未有所發現，例如Llama、Qwen2.5-1.5B以及OLMo2-7B完全不生成代碼，無法從此推理策略中獲益。
OLMo2-7B-SFT和Qwen2.5-7B雖然也頻繁嘗試使用代碼推理，但該策略反而會降低模型性能。
而基於虛假獎勵的RLVR可以有效增強代碼推理頻率，如Qwen2.5-Math-7B在進行RLVR訓練後，代碼推理頻率在最初15步內，迅速從65%提升至約90%。
此外，通過分析隨機獎勵也能提升性能的特殊情況，研究人員還發現一個有趣的結論：GRPO的裁剪偏差可能會誘導隨機獎勵生成有益的訓練信號，增加代碼推理行為，從而實現性能提升。
One More Thing
本項目是由多位華人學者共同完成的，他們目前都在華盛頓大學的NLP小組讀博。
而當論文作者Stella Li在X上發帖介紹自己的論文時，我們注意到評論區有這樣一位網友的留言，他指出在模型改進中，也許「結果不重要，推理過程才重要」
Stella Li的回復也提出了另外一種可能，也許錯誤推理+正確答案或者正確推理+錯誤答案，可能也會幫助OLMo2-7B-SFT實現類似Qwen在虛假獎勵下的性能增益。
另外，作者也溫馨提示，現有的以Qwen為中心的RLVR研究可能需要在非Qwen模型上做進一步驗證，不要只盯著單一模型做漂亮數值提升的工作，因為那可能意義並不大。
項目鏈接：https://rethink-rlvr.notion.site/Spurious-Rewards-Rethinking-Training-Signals-in-RLVR-1f4df34dac1880948858f95aeb88872f
代碼鏈接：https://github.com/ruixin31/Rethink_RLVR
論文鏈接：https://github.com/ruixin31/Rethink_RLVR/blob/main/paper/rethink-rlvr.pdf
參考鏈接：
[1]https://x.com/StellaLisy/status/1927392717593526780
[2]https://x.com/huybery/status/1927434422934028358
[3]https://x.com/RulinShao/status/1927442751462707524
— 完 —
量子位 QbitAI · 頭條號簽約
關注我們，第一時間獲知前沿科技動態
