一腦多機!智源的新發布,讓不同機器人輕鬆協作

2025年04月02日12:23:03 科技 1595

3 月 29 日,智源研究院在 2025 中關村論壇 「未來人工智慧先鋒論壇」 上發布首個跨本體具身大小腦協作框架 RoboOS 與開源具身大腦 RoboBrain,可實現跨場景多任務輕量化快速部署與跨本體協作,推動單機智能邁向群體智能,為構建具身智能開源統一生態加速場景應用提供底層技術支持。


增強長程操作任務能力

打造感知 - 認知 - 決策 - 行動閉環


一腦多機!智源的新發布,讓不同機器人輕鬆協作 - 天天要聞


在具身場景中,長程操作任務是機器人執行複雜任務的核心能力之一。具身大腦 RoboBrain 融合了機器人任務規劃、可操作區域感知、軌跡預測的三維能力,通過將抽象指令映射為具象動作序列,增強長程操作任務的能力。


RoboBrain 由三個模塊組成:用於任務規劃的基座模型、用於可操作區域感知的 A-LoRA 模塊和用於軌跡預測的 T-LoRA 模塊。在推理時,模型首先感知視覺輸入,並將輸入指令分解為一系列可執行的子任務,然後執行可操作區域感知和軌跡預測。RoboBrain 採用多階段訓練策略,使其具備長歷史幀記憶和高解析度圖像感知能力,進而提升場景感知和操作規劃的能力。


RoboBrain 在任務規劃、可操作區域感知和軌跡預測評測任務中均表現出卓越性能。


任務規劃方面,RoboBrain 在不犧牲通用能力的前提下,在機器人規劃評測集 OpenEQA、ShareRobot(自建)和 RoboVQA 上多個維度優於 GPT-4V、Claude3 等 6 個當時領先的閉源 / 開源 MLLMs。


一腦多機!智源的新發布,讓不同機器人輕鬆協作 - 天天要聞

RoboBrain 在具身規劃評測基準上的性能


可操作區域感知方面,RoboBrain 在 AGD20K 測試集上的平均精度超過了當時最先進的開源模型 Qwen2-VL,驗證了其在指令理解和物體屬性方面的卓越能力。


一腦多機!智源的新發布,讓不同機器人輕鬆協作 - 天天要聞

RoboBrain 在可操作區域感知基準上的性能


軌跡預測方面,RoboBrain 預測的操作軌跡具有與真實軌跡較高的相似度,展現了其在軌跡預測中的高精度和穩定性。RoboBrain 的未來迭代版本會持續提高軌跡預測的能力。


一腦多機!智源的新發布,讓不同機器人輕鬆協作 - 天天要聞

RoboBrain 在軌跡預測基準上的性能


目前,RoboBrain 能夠解讀人類指令和視覺圖像,以生成基於實時圖像反饋的行動計劃和評估,預測每一步的軌跡並感知相應的可操作區域。具體而言,RoboBrain 能夠有效利用環境信息和交互對象的狀態 —— 無論是從第一人稱還是第三人稱視角捕捉的圖像 —— 生成針對不同類型機器人操作任務的任務規劃,並基於人類指令和視覺信息,提供合理的可操作區域,並能在不同場景中表現出良好的泛化能力,生成既可行又合理的軌跡。


一腦多機!智源的新發布,讓不同機器人輕鬆協作 - 天天要聞


具身大腦 RoboBrain、小腦技能庫以及跨機器人數據中樞,是跨本體框架 RoboOS 的核心要素。具身大腦 RoboBrain,負責全局感知與決策,構建動態時空感知、規劃指導和反饋糾錯機制;小腦技能庫,負責低延遲精準執行,實現柔性與精密操作等;跨機器人數據中樞,負責實時共享空間、時間和本體記憶,為決策規劃與優化協作操作提供信息支持,從而形成感知 - 認知 - 決策 - 行動的閉環。


一腦多機實現跨本體協作

從單體智能邁向群體智能


跨本體具身大小腦協作框架 RoboOS,基於 「大腦-小腦」 分層架構,通過模塊化設計、智能任務管理和跨本體協作,為機器人提供高效、靈活、可擴展的底層支持,實現從單機智能到群體智能的躍遷。


在 RoboOS 的分層架構下,具身大腦 RoboBrain 的複雜場景感知與決策能力,可與小腦技能庫的高效執行能力深度結合,確保協作框架在長周期、高動態任務中的穩定運行。實現大腦模型(如 LLM/VLM)與小腦技能(如抓取、導航)的 「即插即用」,目前,可支持松靈雙臂、睿爾曼單 / 雙臂、智元人形、宇樹人形等不同類型的具身本體。


通過共享記憶系統(空間記憶 / 時間記憶 / 本體記憶),實現多個機器人之間的狀態同步與智能協作,突破傳統 「信息孤島」 限制,實現跨本體協作控制。


RoboOS 可動態管理多機器人任務隊列,支持優先順序搶佔與資源優化分配,確保複雜場景下實時響應,實現高並發任務調度。


此外,RoboOS 可基於執行反饋動態調整策略,結合環境變化,持續優化任務規劃,提升魯棒性,做到實時閉環優化。


在 「遞送蘋果和水果刀」 的任務場景中,基於 RoboOS 及 RoboBrain,睿爾曼單臂機器人(轉運)、宇樹人形 G1(挑揀水果)、松靈雙臂機器人(挑揀水果刀)分工協作。


整體任務流程是睿爾曼調用 「導航技能」 移動至餐桌前,宇樹 G1 調用 「視覺抓取技能」 完成指定物體的挑揀,睿爾曼調用 「抓取技能」 提起果籃並導航至松靈餐桌前。緊接著,松靈調用 「抓取技能」 獲取水果刀,並放置在果籃中心,睿爾曼依據 「空間記憶」 導航至辦公桌位置,遞送果籃後返回待命。


RoboOS 接收 「拿離杯子最近的水果,並遞送一把水果刀」 指令後,遞送 RoboBrain 進行任務拆解,並將拆解後的子任務分發給 3 台跨本體機器人。RoboBrain 通過 "空間記憶" 感知環境,確定果籃、蘋果位置,並拆解任務為 「宇樹 G1 挑揀蘋果→睿爾曼傳遞果籃→松靈機器人抓取水果刀→睿爾曼返回」。


各機器人本體執行子任務過程中,由 RoboOS 提供端雲協作能力,將任務規劃為技能粒度,實現雲端 RoboBrain 分發規劃,端側執行技能並實時反饋。RoboBrain 識別 「離杯子最近的水果位置」、「果籃抓取位置 affordance」、「水果刀抓取位置 affordance」、「果籃空閑位置 Pointing」,經由 RoboOS 遞送指導各機器人本體完成任務


「即插即用」 快速輕量化泛化部署

打造統一生態


RoboOS 作為面向多機器人系統的跨本體具身大小腦協作框架,專為解決當前具身智能落地過程中的通用性適配與多機調度難題而設計。針對異構本體難以統一接入、任務調度效率低、缺乏動態錯誤反饋機制等痛點,基於 RoboOS 的 「大小腦協同」 的架構範式,雲端的具身大腦 RoboBrain 負責統一的任務理解、規劃決策與上下文感知,本體側則接入輕量級的小腦執行模塊,實現感知 - 認知 - 決策 - 行動的閉環協作。


該機制能夠動態感知本體差異、靈活適配操作指令、自動修復異常行為,有效提升系統在複雜任務場景下的魯棒性與泛化性。RoboOS 原生支持異構機器人本體的靈活接入,以 Profile 模板機制快速完成機器人能力建模與適配。


本體的小腦模塊可調用包括開源技能庫、自研低階控制器等多種技能介面,形成一個支持模塊復用、即插即用的運行體系,大幅降低開發門檻與接入成本。


在雲端,RoboOS 提供完備的模型適配與 API 接入能力,兼容自研的多模態 VLM,作為可插拔的大腦決策引擎,從而在服務機器人工業自動化智慧物流、智能製造等領域支撐複雜任務的多機協作需求。


藉助 RoboOS 的端雲一體化協同能力與動態調度機制,整個系統不僅具備高度的擴展性與可遷移性,更為未來具身智能的規模部署與生態構建奠定了通用操作系統級的基礎。


一腦多機!智源的新發布,讓不同機器人輕鬆協作 - 天天要聞


RoboOS 基於智源研究院研發的並行訓練與推理框架 FlagScale,原生支持多機器人系統的端雲協同能力,打造具身智能的統一底座。系統在設計上充分考慮 「多機器人 - 多模態 - 多任務」 場景,具備極高的可擴展性與低時延響應能力。


在端側部署中,機器人註冊即可自動與雲端部署的 RoboBrain 大腦建立雙向通信鏈路,通過高效發布 - 訂閱機制實現實時任務調度與狀態反饋,指令響應延遲低於 10ms,滿足複雜動態任務的閉環控制需求。


面向機器人在長期運行中產生的海量感知與行為數據,RoboOS 提供基於內存優化的數據訪問引擎,支持 TB 級別歷史數據的內存隨機訪問能力,為任務復現、異常回溯、跨任務知識遷移等場景提供基礎能力。結合 RoboBrain 的任務推理與策略優化模塊,歷史數據還可用於多機之間的協作知識共享,實現更強的智能演化與自主學習能力。


此外,FlagScale 作為底層支撐框架,支持大模型在多設備間的並行推理與多任務協同調度,可無縫集成視覺語言模型、軌跡生成模塊、感知識別等子系統,全面釋放具身大模型的系統潛力。


目前,智源研究院依託多模態大模型技術優勢資源,正在聯合北大清華中科院等高校院所以及銀河通用、樂聚、加速進化、宇樹等產業鏈上下游企業,積極建設具身智能創新平台,重點開展數據、模型、場景驗證等研究。


此次智源研究院發布的跨本體具身大小腦協作框架 RoboOS 及開源具身大腦 RoboBrain,將有機融合和廣泛鏈接不同構型的具身本體與豐富多元的具身模型,加速具身智能跨本體協作與規模化應用。


開放、協作、共享,是具身智能生態繁榮的必經之路,智源研究院願攜手更多產業合作夥伴,共繪具身智能生態藍圖。



科技分類資訊推薦

微軟預告 Copilot Avatar,用戶可自由設計 AI 形象外觀 - 天天要聞

微軟預告 Copilot Avatar,用戶可自由設計 AI 形象外觀

IT之家 4 月 5 日消息,微軟在 50 周年活動上宣布,將推出可自定義形象的 AI 助手功能「Copilot Avatar」。用戶可為 Copilot 設計專屬虛擬形象,該形象會在對話時通過表情增強互動體驗。微軟近日踏入《黑鏡》式科幻領域,宣布為 AI 助手 Copilot 開發虛擬形象定製功能。在 50 周年活動上,該公司透露「Copilot Avat
微軟推出 Copilot Pages / Deep Research:AI 自動整理研究筆記 - 天天要聞

微軟推出 Copilot Pages / Deep Research:AI 自動整理研究筆記

IT之家 4 月 5 日消息,微軟在成立 50 周年之際,為 AI 助手 Copilot 推出兩項新功能 ——Deep Research(深度研究)和 Pages(頁面)。前者可自動化多步驟研究任務,後者能將筆記、研究內容整合為草稿。Pages 功能可將用戶提供的筆記、網頁內容等素材自動整理成結構化草稿,並支持持續修改與對話交互。IT之家附上演示視頻...
微軟 Copilot 變身「AI 管家」:一句話搞定訂票購物 - 天天要聞

微軟 Copilot 變身「AI 管家」:一句話搞定訂票購物

IT之家 4 月 5 日消息,微軟公司在 50 周年慶典活動中,宣布推出 Copilot Actions 功能,AI 智能體代表用戶自主執行任務,實現預訂電影票、餐廳、航班及購物等。用戶只需通過對話指令,即可讓 AI 代訂電影票、音樂會門票、餐廳座位,甚至安排酒店和航班。此外,Copilot 還能根據需求為用戶或親友購買禮物。該功能目前已與 ...
微軟 Bing 重大革新:Copilot Search 上線,AI 與傳統搜索結合 - 天天要聞

微軟 Bing 重大革新:Copilot Search 上線,AI 與傳統搜索結合

IT之家 4 月 5 日消息,為了慶祝其 50 周年紀念日,微軟剛剛宣布了 Copilot 的幾個新功能。這些 AI 工具將在未來幾個月內逐步推出,但一些升級功能已經可用。今天宣布的有趣功能之一是 Bing 搜索引擎的 Copilot Search。該工具將傳統網路搜索與生成式搜索結果相結合。IT之家從微軟博客獲悉,微軟聲稱這一功能「改變了網路搜...
微軟 50 周年現神操作:AI 主持人幽默調侃三任 CEO - 天天要聞

微軟 50 周年現神操作:AI 主持人幽默調侃三任 CEO

IT之家 4 月 5 日消息,微軟現任首席執行官(CEO)薩提亞・納德拉(Satya Nadella)昨日(4 月 4 日)通過官方 X 賬號,發布一段 Copilot AI 採訪微軟三任 CEO 的趣味視頻。Copilot 以幽默方式「吐槽」了鮑爾默的熱情、蓋茨的思考表情和納德拉對 AI 的痴迷。IT之家附上相關視頻如下: 視頻中,Copilot 人工智慧
國產內存要漲價了 漲幅最高5% - 天天要聞

國產內存要漲價了 漲幅最高5%

2024年底,中國長鑫存儲、福建晉華在DDR4內存市場動作頻頻。一方面,它們積極擴大產能;另一方面,瘋狂殺價,其DDR4內存價格比三大廠便宜足足50%,甚至比二手晶元還要便宜。這一舉措直接讓美日和中國台灣一眾廠商陷入困境。被逼無奈之下,三星、SK海力士、美光甚至決定在今年底停產DDR4。如今,初戰告捷的中國內存廠商在掌...
微信上線新功能 斗圖更方便了 - 天天要聞

微信上線新功能 斗圖更方便了

本周,鴻蒙版微信迎來重要升級,涵蓋深色模式、分享文件到微信、消息撤回後支持重新編輯和發送等功能。同時,據微信派發布的消息,微信引用回復功能也有所更新。如今不僅能引用表情包和語音進行回復,回復內容也不再局限於文字,語音和表情包均可作為回復形式。此外,在表情包合併轉發方面存在不同情況。若使用iPhone手機分...
曝iPhone 17 Pro升級長焦 終於放棄1200萬像素 - 天天要聞

曝iPhone 17 Pro升級長焦 終於放棄1200萬像素

目前,iPhone 16 Pro和iPhone 16 Pro Max的主攝與超廣角都已升級至4800萬像素,然而長焦端仍是1200萬像素,支持5倍光學變焦。但據博主爆料,iPhone 17 Pro系列將迎來重大變革,其長焦鏡頭會升級為全新的4800萬像素。相比1200萬像素,4800萬像素的解析力更佳,並且支持7倍光學品質級變焦,這也使得iPhone 17