240元打造擅長數學的多模態版R1,基於DeepSeek核心思想

2025年03月20日17:00:20 教育 5208

lmm-r1團隊 投稿
量子位 | 公眾號 qbitai

多模態大模型雖然在視覺理解方面表現出色,但在需要深度數學推理的任務上往往力不從心,尤其是對於參數量較小的模型來說更是如此。

如何讓小型多模態大模型也能擁有強大的數學推理能力呢?

如圖所示,通過lmm-r1框架訓練的模型(下側)能夠正確應用勾股定理計算出圓錐的斜高,而基準模型(上側)錯誤地識別了斜高位置,導致計算錯誤。這種顯著的推理能力提升來自於一個創新的兩階段訓練策略。

240元打造擅長數學的多模態版R1,基於DeepSeek核心思想 - 天天要聞

這是來自東南大學香港中文大學、螞蟻集團等研究人員的,兩階段多模態基於規則強化學習的框架lmm-r1,實現多模態大模型的推理性能飛躍。

針對多模態領域長期存在的”高訓練成本、低任務泛化”難題,lmm-r1框架創造性引入規則化獎勵函數機制。

通過深度優化deepseek-r1核心思想,該框架在無需多模態標註數據的情況下,僅需240元gpu成本即可顯著增強模型性能,成功將多模態模型的推理能力提升至工業級應用標準。

實驗數據顯示,經lmm-r1框架強化的qwenvl-2.5-3b模型,在推箱子等複雜路徑規劃任務中,性能顯著超越gpt-4o、claude3.5等100b+參數量產品級大模型。

從文本到多模態的推理能力遷移

deepseek-r1和openai的o1等模型已經證明了基於規則獎勵的強化學習在純文本大語言模型中的有效性。然而,將這一成功經驗擴展到多模態領域面臨兩大關鍵挑戰:

  1. 數據限制:多模態領域中高質量的推理數據十分稀缺,且答案常常模糊不清,難以用於規則獎勵

  2. 基礎推理能力薄弱:多模態預訓練常常會削弱模型在純文本任務上的能力,特別是對於參數量有限的小模型

針對這些挑戰,研究團隊提出了lmm-r1框架,通過創新的兩階段訓練策略巧妙解決了以上問題。

lmm-r1:兩階段強化學習策略

240元打造擅長數學的多模態版R1,基於DeepSeek核心思想 - 天天要聞

lmm-r1框架包含兩個精心設計的階段:

第一階段:基礎推理增強(fre)

fre階段利用豐富的高質量純文本推理數據(如數學題、科學問題等)通過基於規則的強化學習來增強模型的基礎推理能力。這一階段避開了多模態數據的限制,專註於構建堅實的推理基礎。

在這個階段,模型學習如何進行嚴密的邏輯思考、複雜的數學運算和多步驟推理,為後續的多模態泛化奠定基礎。

第二階段:多模態泛化訓練(mgt)

mgt階段將第一階段培養的推理能力泛化到多模態領域。研究團隊在這一階段探索了幾個關鍵領域:

  1. 幾何推理領域:使用geodb等數據集,增強模型在幾何圖形推理方面的能力

  2. 感知-推理平衡領域:使用vermulti數據集,提升模型在多種視覺任務中的推理能力

  3. 智能體相關領域:使用推箱子(sokoban)等需要複雜規劃的任務

值得注意的是,這種兩階段策略避免了對昂貴的高質量多模態訓練數據的依賴,同時有效利用了豐富的文本推理數據資源,為構建高性能多模態模型提供了一種高效路徑。

實驗結果

研究團隊使用qwen2.5-vl-instruct-3b作為基準模型進行實驗。經過lmm-r1框架訓練後,模型在各類基準測試上均取得顯著提升:

240元打造擅長數學的多模態版R1,基於DeepSeek核心思想 - 天天要聞

  • 在純文本和多模態基準測試上平均提升約4.5%~4.8%

  • 在推理密集型任務(如幾何問題)上效果尤為明顯

更重要的是,實驗證明了一個關鍵發現:通過先增強基礎推理能力再進行多模態泛化的策略,可以有效避免直接在多模態數據上訓練時常見的推理能力退化問題。

在典型智能體應用場景驗證中,研究團隊選取推箱子任務作為評估基準。該任務要求模型同步處理視覺空間解析、目標匹配、動態路徑規劃等多模態推理能力,對智能體在現實場景中的決策能力具有重要指示意義。經lmm-r1框架強化後的模型,僅通過初始畫面即可完成完整動作序列規劃。

240元打造擅長數學的多模態版R1,基於DeepSeek核心思想 - 天天要聞

實驗證明哪怕是3b規模的小模型,使用lmm-r1的兩階段rl訓練,也可以極大增強推理能力,暗示了多模態r1的強大應用潛力。

240元打造擅長數學的多模態版R1,基於DeepSeek核心思想 - 天天要聞

值得關注的是,該框架以上游項目openrlhf為基礎,實現了完全自主研發的多模態訓練方案:通過重構數據流實現多模態支持,基於張量並行優化和內存管理技術創新,構建起高效穩定的訓練體系。其開創性的packingsample + ring flashattention技術實現了模型最大上下文長度基於gpu數量的線性增長率,配合動態梯度裁剪策略,在保證訓練穩定性的同時大幅降低資源消耗。

項目自2025年2月開源以來迅速獲得學術界關注,相關技術方案已被多個知名開源項目採納為基準架構。目前,lmm-r1框架已在github平台建立獨立技術生態,累計獲得超過500+星標關注。

團隊表示將持續深耕多模態模型領域,推動多模態強化學習技術在智能體、視覺問答等場景的落地應用。與開源社區共建多模態強化學習框架。

論文地址:https://arxiv.org/abs/2503.07536項目主頁:https://forjadeforest.github.io/lmm-r1-projectpage/項目地址:https://github.com/tidedra/lmm-r1

教育分類資訊推薦

給老師表演,耀州區南街小學劉胡蘭小組志願服務隊獻愛心啦 - 天天要聞

給老師表演,耀州區南街小學劉胡蘭小組志願服務隊獻愛心啦

在我市耀州區有這樣一支特殊的志願服務隊伍,它成立於20世紀70年代;有這樣一群特殊的志願者,他們都是學生和教師;有這樣一所特殊的學校,校園裡處處都有英雄故事。近日,記者走進耀州區永安路街道南街小學,探訪該學校劉胡蘭小組志願服務隊,在時光深處
用AI護航心靈,南財為學生心理健康注入智慧動能 - 天天要聞

用AI護航心靈,南財為學生心理健康注入智慧動能

“自從體驗了VR心理訓練,我現在能在課堂上大膽發言了!”南京財經大學會計專業大三學生李明坦言。曾經因社交恐懼困擾的他,如今在虛擬現實場景中反覆練習溝通技巧,逐漸找回了自信。這正是該校創新構建的“AI輔助+人工守護”雙軌心理健康服務體系帶來的改變。近年來,南京財經大學深入貫徹落實新時代學生心理健康工作要求...
3所“雙非”強校,都是行業領域的佼佼者,你更看重誰 - 天天要聞

3所“雙非”強校,都是行業領域的佼佼者,你更看重誰

高考志願填報過程,實質上是同分數段大學之間的比較,重點是專業、城市、學校實力與高考生個人需求等方面的權衡。高考成績處在550分--570分這個分數段,有不少很有實力的“雙非”高校,武漢科技大學、廣東工業大學、燕山大學就是其中的3所,在這3所
重慶大學一本科生髮表14篇SCI論文?在讀博士:不是第一作者和通訊作者,就不能叫“發表論文” - 天天要聞

重慶大學一本科生髮表14篇SCI論文?在讀博士:不是第一作者和通訊作者,就不能叫“發表論文”

極目新聞記者 鄧波近日,重慶大學大四學生劉某喬發表14篇SCI期刊論文的相關信息引發社會關注。重慶大學稱,學校高度重視此事,已成立專項工作組進行核實,若發現不當行為,將按照有關規定處理。引發爭議的推文截圖起因是多篇官方賬號推文發布了2023—2024學年度本專科生國家獎學金獲獎學生重慶代表名錄,重慶大學化學工程與...