多模態大模型，到底有多「嘴硬」？
浙江大學聯合阿里巴巴、香港城市大學、密歇根大學的研究團隊做了一個很直接的實驗：
把輸入圖像從清晰狀態一路加噪到接近不可辨認，同時持續監測模型的準確率與置信度。
結果是，準確率斷崖式下跌，但置信度幾乎不動。也就是說，圖像已經看不清了，模型仍然會高置信度地給出答案。
這類「盲目自信」，正是多模態大模型在複雜視覺推理中產生幻覺和誤判的重要根源。針對這一問題，研究團隊提出了CA-TTS（Confidence-Aware Test-Time Scaling）框架：先通過置信度驅動的強化學習校準模型的自我評估能力，再把校準後的置信度轉化為推理階段的資源分配信號。
效果也很直接：在四個主流視覺推理基準上，CA-TTS全面達到SOTA，平均超越現有最優方法8.8%。其中，在Math-Vision上，準確率從基線的23.0%提升到42.4%。論文已被CVPR 2026接收。
達爾文早就說過：無知比知識更容易產生自信
這項工作的出發點，其實是一個長期被忽視的問題：模型是否真的知道自己「不知道」？
研究團隊將上述現象定義為「感知鈍化」（Perceptual Bluntness）。也就是，模型對視覺信息質量的變化缺乏敏感性，視覺證據已經明顯退化，但置信度仍維持在高位。放在人類語境里，這很像一個人在看不清題目的情況下，仍然非常篤定地報出答案。
為了在多模態場景下更穩定地度量這種問題，研究團隊沒有沿用文本模型里常見的token級校準方式，而是將置信度定義為整個輸出序列的平均負對數概率（NMLP），建立響應級別的置信度度量。基於這一度量，整套方法分成兩個階段：訓練階段的置信度校準，以及推理階段的置信度感知擴展。
第一步：CDRL讓視覺感知與置信度重新對齊
訓練階段的核心模塊是CDRL（Confidence-Driven Reinforcement Learning）。它的目標不是單純提升答題準確率，而是讓模型在「看得清」和「看不清」兩種情況下，給出與視覺證據相匹配的置信度。
具體做法是，讓模型同時處理同一問題的原始圖像與加噪圖像，並通過強化學習優化一個雙重獎勵機制：
1. 感知敏感性獎勵：鼓勵模型在原始圖像與雜訊圖像之間產生合理的置信度差異。差異越大，說明模型越能感知視覺退化。
2. 校準一致性獎勵：當模型預測正確且置信度高時給予正向獎勵；當模型預測錯誤但置信度仍高時施加懲罰。
這兩個獎勵共同約束模型學會兩件事：一是對視覺退化保持敏感，二是對自身判斷保持誠實。
在訓練數據上，研究團隊從6個公開基準中篩選出1936個高質量樣本，並使用CLIP注意力圖定位關鍵視覺區域，生成更具針對性的擾動，使雜訊集中施加在真正影響推理的局部區域。
從結果看，CDRL的效果並不只是「置信度變低」這麼簡單，而是「置信度終於跟視覺證據對上了」。面對雜訊圖像時，訓練後的模型置信度下降幅度是訓練前的4.3倍；面對遮擋條件時，這一比值達到4.7倍。
更值得注意的是，訓練前模型在視角變換和馬賽克干擾下，置信度甚至還會反向上升，而CDRL訓練後，所有視覺擾動條件下的置信度都轉為顯著下降，ECE與AUC指標也同步改善。
第二步：CA-TTS把校準後的置信度變成推理信號
有了更可信的置信度之後，研究團隊進一步提出CA-TTS，把「模型對自己有多確定」轉化為推理階段的調度信號。它包含三個協同工作的模塊，並由專家模型動態決定何時介入：
Self-Consistency：不再使用簡單多數投票，而是採用置信度加權投票。模型生成多個候選答案後，先由內部置信度進行聚合，再引入專家模型作為外部校準器，對候選答案進行二次評估。
Self-Reflection：當初步結果的置信度不足時，專家模型以Critic角色生成批評意見，引導基礎模型重新推理，避免它在原有錯誤路徑上反覆自洽。
Self-Check：在視覺層面對答案做進一步驗證。通過對比解碼，比較原始圖像與雜訊圖像下的輸出概率分布；如果答案確實依賴視覺證據，那麼在雜訊圖像下其支持度應當下降。
與常見的Tree-of-Thoughts不同，CA-TTS的關鍵不只是「多想幾步」，而是建立了一個多階段驗證閉環。前一階段即使給出錯誤候選，後續模塊仍有機會糾正它。論文中的「牆上缺了多少塊磚」案例就體現了這一點：Tree-of-Thoughts在最終單點評估上失手，而CA-TTS通過加權投票、反思和視覺自檢三步糾偏，最終恢復出正確答案。
實驗結果：四大基準全面領先
在四個主流視覺推理基準上，CA-TTS的表現如下。需要強調的是，這裡的基座模型統一為Qwen2.5-VL-7B，因此提升主要來自方法本身，而不是底座差異。
幾組數字尤其有代表性。Math-Vision上，CA-TTS從基線的23.0%直接提升到42.4%，幾乎翻倍；MMMU上達到66.3%，相較基線提升17.5個百分點。這說明它帶來的不是單點收益，而是在不同類型視覺推理任務上的一致性改進。
消融實驗進一步揭示了CDRL與CA-TTS的分工關係：
單獨使用CDRL，提升3.4個百分點，說明置信度校準本身就有獨立價值；單獨使用CA-TTS，提升15.0個百分點，說明推理框架已經能夠顯著改善決策質量；兩者結合後總提升達到19.4個百分點，表明CDRL為CA-TTS提供了更可靠的策略基礎，二者存在明顯協同效應。
研究團隊還檢驗了專家模型的依賴程度。即使讓Qwen2.5-VL-7B自身充當「專家」，性能也仍比純Majority Voting高出接近5個百分點（32.57% vs. 27.65%）。換句話說，強專家模型確實能進一步放大收益，但框架本身並不是靠「抱大腿」成立的。
Test-Time Scaling：斜率拉開，才是更關鍵的結果
如果說四個基準上的SOTA說明方法「更准」，那麼test-time scaling曲線揭示的是它「為什麼更值」。
在Math-Vision上，研究團隊比較了採樣數量從1增加到32時，不同方法的準確率增長趨勢。結果顯示，CA-TTS的擴展斜率β = 3.65，而Majority Voting為1.64，DeepConf為1.19。也就是說，CA-TTS的擴展效率分別是後兩者的2.2倍和3.1倍。
這意味著，同樣是增加採樣次數，CA-TTS並不是「更頻繁地碰運氣」，而是更有效地把額外算力投向真正不確定的問題上。當Majority Voting和DeepConf在35%左右逐漸趨於飽和時，CA-TTS仍能繼續爬升，並最終突破45%。
從這個角度看，置信度校準並不是一個附屬優化項，而是在重新定義test-time scaling的效率上限。它讓「多算一點」這件事第一次變得更有方向感。
從「先推理後感知」到「先感知後推理」
這項工作最值得關注的地方，可能並不只是又一個更高的benchmark分數，而是它提出了一種新的問題順序。
過去，多模態推理研究默認的前提是：模型已經在充分利用視覺信息，接下來只需要把推理能力做強。但這篇論文提醒我們，一個模型可能根本沒有真正「看懂」圖像，卻依然能給出高度自信的回答。若這個前提沒有被修正，後續再複雜的推理鏈條，也可能建立在不可靠的感知基礎上。
CA-TTS的思路正好反過來：先通過CDRL建立對視覺證據變化敏感、且與準確性一致的置信度，再讓這種置信度去指導推理資源的分配。這是一種明確的Perceive-then-Reason範式，也就是從「先推理後感知」轉向「先感知後推理」。
當然，這一方向也並非沒有代價。多次採樣與專家模型調用會帶來額外推理成本，當前實驗也主要集中在數學推理和通用VQA任務上。但如果目標是讓多模態大模型在高風險場景中真正做到「知道自己什麼時候不該太自信」，那麼這條路線已經給出了一個很有說服力的起點。
