智元機器人發布並開源首個機器人動作序列驅動的世界模型

2025年05月26日15:20:13 科技 8722
智元機器人發布並開源首個機器人動作序列驅動的世界模型 - 天天要聞
作者 | 褚杏娟

近日,智元機器人重磅發布具身智能領域雙重里程碑式突破:全球首個基於機器人動作序列驅動的具身世界模型 evac (enerverse-ac),以及具身世界模型評測基準 ewmbench。這兩大創新成果現已全面開源,旨在構建「低成本模擬 - 標準化評測 - 高效迭代」的全新開發範式,持續賦能全球具身智能研究,加速技術落地與產業發展。

evac arxiv:https://arxiv.org/abs/2505.09723

evac 開源代碼:https://github.com/agibottech/enerverse-ac

ewmbench arxiv: https://arxiv.org/abs/2505.09694

ewmbench 開源代碼:https://github.com/agibottech/ewmbench

當前具身智能演進面臨兩大關鍵制約:在測試階段,真機驗證代價大、風險高,模擬系統又受制於虛實偏差;在數據層面,海量真機數據尚未構建基於軌跡擴增的高效利用機制,限制了多樣性生成與泛化訓練。為打破困局,智元機器人在去年發布的世界模型架構 enerverse 基礎上推出創新成果:基於動作序列驅動的世界模型 evac 與具身世界模型評測榜單 ewmbench,構建從訓練到評測全鏈路技術閉環,重新定義具身世界模型研發範式。

全球首個機器人動作序列驅動的世界模型

evac 是一個能夠動態復現機器人與環境複雜交互的世界模型,標誌著從傳統模擬到生成式模擬的躍遷。

智元機器人發布並開源首個機器人動作序列驅動的世界模型 - 天天要聞
核心能力:從 「物理執行」 到「像素空間」的精準映射

evac 基於前序工作 enerverse 架構持續演進,創新型引入多級動作條件注入機制,實現 「物理動作 - 視覺動態」 的端到端生成,其核心能力體現在以下幾個方面:

智元機器人發布並開源首個機器人動作序列驅動的世界模型 - 天天要聞
  • 機器人動作與像素的高精度對齊:將機械臂 6d 位姿(x,y,z,roll,pitch,yaw)與末端執行器行程投影為 action map,確保物理動作與圖像幀的像素級對齊,精準建模 「抓取」、「放置」、「碰撞」、「推拉」、「快速拋擲」、「緩慢搖晃」 等複雜動力學行為;
  • 動態多視圖建模:引入 ray map 編碼相機運動軌跡,支持頭部 、腕部等多視角協同生成一致且連貫的視覺場景,賦予機器人更全面的環境生成能力。;
  • 卓越的長時序一致性:採用 chunk-wise 自回歸擴散架構與稀疏記憶機制(sparse memory),evac 能夠實現單視圖穩定生成長達 30 個連續片段、多視圖下亦可維持 10 個連續片段的無漂移穩定輸出,保證了模擬過程在時間軸上的連貫性與真實性;
  • 數據高效利用:融合 agibot-world 數據集 + 失敗軌跡(如抓取滑脫、路徑碰撞)提升生成質量,該策略能有效抑制幻覺現象,使模型能更合理、更全面地建模機器人與環境的交互動態。
生成式模擬評估 + 數據引擎雙輪驅動
智元機器人發布並開源首個機器人動作序列驅動的世界模型 - 天天要聞
  • 生成式模擬評測

針對真機評測成本高、風險大、難以復現等痛點,evac 開創性地提出了生成式模擬評測方案,它能與待評測的策略模型進行交替推理,構建起一套完整的互動式評測管線。實驗顯示,在多個任務中,evac 所生成的評測結果與真機評測的成功率具有高度一致性,甚至能夠可靠地識別出性能更優的模型權重,大幅提升了策略模型的篩選效率。

智元機器人發布並開源首個機器人動作序列驅動的世界模型 - 天天要聞
  • 數據增廣引擎

evac 能夠基於極少量的專家軌跡數據,通過動作插值與高保真畫面生成技術進行大規模數據增廣。應用結果表明,採用 evac 數據增廣數據訓練的策略模型,其任務成功率提升高達 29%,目標跟隨性得到顯著改善,驗證了這一方案在具身智能研究中的實用性與高性價比。

智元機器人發布並開源首個機器人動作序列驅動的世界模型 - 天天要聞
打造具身世界模型的 「質檢尺」

為了科學、系統地衡量具身世界模型的性能表現,智元機器人推出了全球首個具身世界模型評測基準——ewmbench,旨在填補行業空白,構建統一、可信的評測標準。

智元機器人發布並開源首個機器人動作序列驅動的世界模型 - 天天要聞
三維度評估體系:場景 × 動作 × 語義的立體考核

針對機器人操作場景的複雜性與特殊性,ewmbench 構建了立體化的評估體系,從場景一致性、動作合理性 與 語義對齊與多樣性 三大核心指標進行分析:

  • 場景一致性 scene consistency,評估生成場景中背景 / 物體 / 視角等穩固度與真實性,採用微調過的 dinov2 特徵進行量化。
  • 動作合理性 motion correctness,利用 hsd (symmetric hausdorff distance), ndtw (normalized dynamic time warping) 和 dynamics score 三重互補指標協同精確評估生成動作的合理性與動力學真實度。
  • 語義對齊與多樣性 semantic alignment & diversity,結合 mllm(多模態大模型)和 clip 從全局指令對齊度、關鍵步驟語義準確性、邏輯合理性等多個層次對生成視頻進行語義理解評估。
智元機器人發布並開源首個機器人動作序列驅動的世界模型 - 天天要聞
權威數據支撐與便捷開源工具
  • 基準數據集:ewmbench 基於行業領先的開源百萬真機數據集 agibot world 構建,涵蓋了家居、工業、醫療三大場景的 10 類典型機器人操作任務和剛體 / 柔體 / 流體 / 關節物體等多種交互對象,其中包含超過 300 個精心設計的測試樣本及 30% 挑戰性場景(低光照 / 部分遮擋),全面驗證模型在複雜環境下的魯棒性。
  • 開源評測工具:智元機器人同步開源了全流程評測工具,支持一鍵生成標準化對比報告,大幅降低評估門檻,方便研究者快速開展模型比較與性能分析,加速實驗驗證與成果復現。
卓越評測性能:更貼近人類主觀感知
智元機器人發布並開源首個機器人動作序列驅動的世界模型 - 天天要聞

相較於當前主流視頻生成評測基準 vbench,ewmbench 在評測結果與人類主觀判斷的一致性方面表現更優,能夠更真實、細緻地反映具身世界模型在交互理解、動作還原與視覺一致性等核心維度的實際能力。

enerverse 作為強大的世界模型基礎架構,為 evac 提供可靠的基礎框架與預訓練能力,而 evac 生成的多樣化高質量數據又能反哺 enerverse 模型的持續優化,二者形成 「訓練 - 驗證」 技術閉環,不斷推動模型性能突破。通過 ewmbench 提供的精細化、多維度量化分析,研發團隊可以精準定位 evac 在處理如 「多物體交互」「動態環境避障」 等複雜場景的潛在不足,從而進行更具針對性的優化。

據悉,evac 與 ewmbench 組合方案,已正式入選 agibot world challenge @ iros 2025 – world model 賽道的官方基線系統與評測標準。

活動推薦

6 月 27~28 日的 aicon 北京站將繼續聚焦 ai 技術的前沿突破與產業落地,圍繞 ai agent 構建、多模態應用、大模型推理性能優化、數據智能實踐、ai 產品創新等熱門議題,深入探討技術與應用融合的最新趨勢。歡迎持續關注,和我們一起探索 ai 應用的無限可能!

科技分類資訊推薦

小米玄戒O1相關謠言回應來了 - 天天要聞

小米玄戒O1相關謠言回應來了

上周,小米正式舉行小米15周年戰略新品發布會。這次活動中,小米自主研發設計的「玄戒」晶元正式亮相。據悉,玄戒O1旗艦處理器由小米自主研發設計,有著190億晶體管,晶元面積109mm²,實驗室安兔兔跑分突破300萬。
科技金融:「掃一掃,千萬到手」 - 天天要聞

科技金融:「掃一掃,千萬到手」

5月22日,「金魚嘴·機構日」金沙江聯合資本·AI+智能硬體專場在南京金魚嘴基金大廈舉行。參加路演的9家企業覆蓋工業機器人、智慧城市、醫療健康設備等領域。今天,記者走進全國首個基金特色街區——南京金魚嘴基金街區,源碼資本、毅達資本、華映資本等知名機構的標識鋪滿一整面牆,另一面牆上則有清華大學、上海交通大學...
蘋果iPhone 17 Pro Max - 廚師cook做到了! - 天天要聞

蘋果iPhone 17 Pro Max - 廚師cook做到了!

蘋果iPhone17系列塑料模型的第一個上手視頻。這是接近最終的設計。iPhone17的外觀將會是這樣的。左邊有三個攝像頭,LED閃光燈、麥克風和騙子位於最右邊的角落,可能是為了給獨立顯示面部識別騰出空間。這個音量鍵、電源鍵、操作鍵和無用的
安卓16對智能手機手電筒亮度將可調節 - 天天要聞

安卓16對智能手機手電筒亮度將可調節

安卓 16 QPR1 Beta 版推出,帶來諸多精彩功能,未來版本可能還會有更驚艷的升級,其中一個可能就是 「手電筒亮度調節」 工具。也許很快,用戶就能控制設備閃光燈的光強度了。谷歌為推出此功能籌備已久。
特朗普對蘋果和三星說:要麼在美國製造,要麼支付25%的關稅 - 天天要聞

特朗普對蘋果和三星說:要麼在美國製造,要麼支付25%的關稅

唐納德・特朗普正力促蘋果、三星等主要智能手機製造商,將面向美國市場的產品生產環節遷回美國。他警告說,若不照做,就會對其產品徵收 25% 的進口關稅。特朗普先是通過其 「真相社交」 平台發布了這一消息,後又在橢圓形辦公室的簡報會上重申了一遍。
小米重磅發布,又「史上最強」!收入、盈利均創歷史新高!小米SU7系列交付新車75869輛,盧偉冰介紹小米AI布局 - 天天要聞

小米重磅發布,又「史上最強」!收入、盈利均創歷史新高!小米SU7系列交付新車75869輛,盧偉冰介紹小米AI布局

每經編輯:陳柯名,黃勝5月27日晚間,小米集團公布財報,2025年第一季度,集團收入及盈利均再次創下歷史新高。2025年第一季度,小米集團總收入為人民幣1113億元,創歷史新高,同比增長47.4%。業務分部來看,2025年第一季度,手機×AIoT分部收入為人民幣927億元,同比增長22.8%,智能電動汽車及AI等創新業務分部收入為人民幣...