240元打造擅長數學的多模態版R1,基於DeepSeek核心思想

2025年03月20日17:00:20 教育 5208

lmm-r1團隊 投稿
量子位 | 公眾號 qbitai

多模態大模型雖然在視覺理解方面表現出色,但在需要深度數學推理的任務上往往力不從心,尤其是對於參數量較小的模型來說更是如此。

如何讓小型多模態大模型也能擁有強大的數學推理能力呢?

如圖所示,通過lmm-r1框架訓練的模型(下側)能夠正確應用勾股定理計算出圓錐的斜高,而基準模型(上側)錯誤地識別了斜高位置,導致計算錯誤。這種顯著的推理能力提升來自於一個創新的兩階段訓練策略。

240元打造擅長數學的多模態版R1,基於DeepSeek核心思想 - 天天要聞

這是來自東南大學香港中文大學、螞蟻集團等研究人員的,兩階段多模態基於規則強化學習的框架lmm-r1,實現多模態大模型的推理性能飛躍。

針對多模態領域長期存在的」高訓練成本、低任務泛化」難題,lmm-r1框架創造性引入規則化獎勵函數機制。

通過深度優化deepseek-r1核心思想,該框架在無需多模態標註數據的情況下,僅需240元gpu成本即可顯著增強模型性能,成功將多模態模型的推理能力提升至工業級應用標準。

實驗數據顯示,經lmm-r1框架強化的qwenvl-2.5-3b模型,在推箱子等複雜路徑規劃任務中,性能顯著超越gpt-4o、claude3.5等100b+參數量產品級大模型。

從文本到多模態的推理能力遷移

deepseek-r1和openai的o1等模型已經證明了基於規則獎勵的強化學習在純文本大語言模型中的有效性。然而,將這一成功經驗擴展到多模態領域面臨兩大關鍵挑戰:

  1. 數據限制:多模態領域中高質量的推理數據十分稀缺,且答案常常模糊不清,難以用於規則獎勵

  2. 基礎推理能力薄弱:多模態預訓練常常會削弱模型在純文本任務上的能力,特別是對於參數量有限的小模型

針對這些挑戰,研究團隊提出了lmm-r1框架,通過創新的兩階段訓練策略巧妙解決了以上問題。

lmm-r1:兩階段強化學習策略

240元打造擅長數學的多模態版R1,基於DeepSeek核心思想 - 天天要聞

lmm-r1框架包含兩個精心設計的階段:

第一階段:基礎推理增強(fre)

fre階段利用豐富的高質量純文本推理數據(如數學題、科學問題等)通過基於規則的強化學習來增強模型的基礎推理能力。這一階段避開了多模態數據的限制,專註於構建堅實的推理基礎。

在這個階段,模型學習如何進行嚴密的邏輯思考、複雜的數學運算和多步驟推理,為後續的多模態泛化奠定基礎。

第二階段:多模態泛化訓練(mgt)

mgt階段將第一階段培養的推理能力泛化到多模態領域。研究團隊在這一階段探索了幾個關鍵領域:

  1. 幾何推理領域:使用geodb等數據集,增強模型在幾何圖形推理方面的能力

  2. 感知-推理平衡領域:使用vermulti數據集,提升模型在多種視覺任務中的推理能力

  3. 智能體相關領域:使用推箱子(sokoban)等需要複雜規劃的任務

值得注意的是,這種兩階段策略避免了對昂貴的高質量多模態訓練數據的依賴,同時有效利用了豐富的文本推理數據資源,為構建高性能多模態模型提供了一種高效路徑。

實驗結果

研究團隊使用qwen2.5-vl-instruct-3b作為基準模型進行實驗。經過lmm-r1框架訓練後,模型在各類基準測試上均取得顯著提升:

240元打造擅長數學的多模態版R1,基於DeepSeek核心思想 - 天天要聞

  • 在純文本和多模態基準測試上平均提升約4.5%~4.8%

  • 在推理密集型任務(如幾何問題)上效果尤為明顯

更重要的是,實驗證明了一個關鍵發現:通過先增強基礎推理能力再進行多模態泛化的策略,可以有效避免直接在多模態數據上訓練時常見的推理能力退化問題。

在典型智能體應用場景驗證中,研究團隊選取推箱子任務作為評估基準。該任務要求模型同步處理視覺空間解析、目標匹配、動態路徑規劃等多模態推理能力,對智能體在現實場景中的決策能力具有重要指示意義。經lmm-r1框架強化後的模型,僅通過初始畫面即可完成完整動作序列規劃。

240元打造擅長數學的多模態版R1,基於DeepSeek核心思想 - 天天要聞

實驗證明哪怕是3b規模的小模型,使用lmm-r1的兩階段rl訓練,也可以極大增強推理能力,暗示了多模態r1的強大應用潛力。

240元打造擅長數學的多模態版R1,基於DeepSeek核心思想 - 天天要聞

值得關注的是,該框架以上游項目openrlhf為基礎,實現了完全自主研發的多模態訓練方案:通過重構數據流實現多模態支持,基於張量並行優化和內存管理技術創新,構建起高效穩定的訓練體系。其開創性的packingsample + ring flashattention技術實現了模型最大上下文長度基於gpu數量的線性增長率,配合動態梯度裁剪策略,在保證訓練穩定性的同時大幅降低資源消耗。

項目自2025年2月開源以來迅速獲得學術界關注,相關技術方案已被多個知名開源項目採納為基準架構。目前,lmm-r1框架已在github平台建立獨立技術生態,累計獲得超過500+星標關注。

團隊表示將持續深耕多模態模型領域,推動多模態強化學習技術在智能體、視覺問答等場景的落地應用。與開源社區共建多模態強化學習框架。

論文地址:https://arxiv.org/abs/2503.07536項目主頁:https://forjadeforest.github.io/lmm-r1-projectpage/項目地址:https://github.com/tidedra/lmm-r1

教育分類資訊推薦

米東區開展學生軍訓教官培訓 - 天天要聞

米東區開展學生軍訓教官培訓

(米東區融媒體中心記者:安銳報道)近日,米東區人武部集中組織學生軍訓教官培訓。米東區退役軍人、基幹民兵積極報名參加此次培訓及資格認證,為即將到來的學生軍訓任務做好充分準備。
英語學習新賽道:奇速英語,開啟你的辭彙逆襲之旅 - 天天要聞

英語學習新賽道:奇速英語,開啟你的辭彙逆襲之旅

英語學習新賽道:奇速英語,開啟你的辭彙逆襲之旅在英語學習的漫漫長路上,辭彙量就像基石,決定著英語能力這座高樓能蓋多高。很多同學都在為記單詞發愁,不是背了就忘,就是面對枯燥的單詞書提不起興趣。
最低錄取控制線為615分,2025年太原中考錄取分數線公布→ - 天天要聞

最低錄取控制線為615分,2025年太原中考錄取分數線公布→

7月10日,太原市招生考試管理中心發布公告,太原市2025年初中學業水平考試(以下簡稱「中考」)成績於7月11日揭曉;普通高中錄取不分批次,最低錄取控制線為615分。有關事項公告如下:01成績查詢1.7月11日起,考生可登錄「山西招生考試網
00後組團「打怪」!深港澳學生「揭榜」挑戰企業技術難題 - 天天要聞

00後組團「打怪」!深港澳學生「揭榜」挑戰企業技術難題

企業遇到技術難題,找誰解決?這次,深港澳三地的00後學生組團來「揭榜領題」了!7月10日,首屆深港澳產教融合技術技能創新與應用大賽在深圳鵬城技師學院拉開帷幕,這場特別的比賽,讓在校學生直接挑戰企業拋出的真實技術「考題」。本次大賽由深圳市人社局、教育局、總工會聯手打造,深圳市職工教育和職業培訓協會承辦,香...
棗莊職業學院:跨國聯動,共啟職教新篇章 - 天天要聞

棗莊職業學院:跨國聯動,共啟職教新篇章

6月27日,由棗莊職業學院與寮國巴巴薩技術學院聯合主辦的「寮國國家職業標準應用推廣項目啟動儀式暨導遊員職業標準培訓」通過線上方式成功舉行。活動以「標準引領·實踐協同」為主題,旨在推廣中國職業教育標準,助力寮國旅遊人才培養,深化中老職業教育合
楊素秋,履新職 - 天天要聞

楊素秋,履新職

日前,記者從可靠信源獲悉,著有《世上為什麼要有圖書館》一書作者、原陝西科技大學設計與藝術學院副教授楊素秋,現已履新西安戲劇學院副教授(專業技術職務)。
泉州聚龍外國語學校通報「學生李某某遭班主任教師不當教育」:對班主任予以解聘 - 天天要聞

泉州聚龍外國語學校通報「學生李某某遭班主任教師不當教育」:對班主任予以解聘

來源:泉州聚龍外國語學校情況通報近日,網傳關於我校學生李某某遭班主任教師不當教育事件引發社會關注。對此,學校已經成立工作小組,主動配合教育、公安等職能部門開展情況核查。現將有關情況通報如下。一、關於李某某遭「班主任教師讓同學毆打」的情況核實2025年6月20日(周五)上午9時35分(大課間結束),404班學生李...
跟著漢字游玄武,外籍學生刻「寧」字品漢字博大精深 - 天天要聞

跟著漢字游玄武,外籍學生刻「寧」字品漢字博大精深

現代快報訊(記者 王新月 文/攝)「你好玄武!」「我愛南京!」「漢字真美!」7月10日下午,「跟著漢字游玄武」活動在明孝陵博物館舉行。南京理工大學2025「錦繡江蘇」國際暑期學校的20名外籍青年學生體驗了南京非遺項目金陵陶印。