銀河通用聯合清華大學發布開源人形機器人全身遙操系統OpenWBT，支持多機型、跨虛實，小時內可輕鬆部署

從“站樁”到“碰天觸地”，這款易部署系統讓多款人形機器人真正“工作起來”

大數據和大模型已成為具身智能領域業界和學術界的焦點，人們也在期待人形機器人真正步入大數據、大模型時代。然而，行業一直缺乏穩定的人形機器人全身遙操作與數據採集方案。近日，銀河通用機器人攜手清華大學發布了全開源、多機型、跨虛實的人形機器人全身遙操作系統——OpenWBT。即便是新手，也能在小時內從零完成部署，並以接近日常人類工作空間的方式，高效採集人形機器人全空間操作數據，為打造具備操作智能的人形機器人提供堅實的數據支撐。

為什麼需要“全身遙操”？

“如果機器人只能站直不動，它的作業空間可能還不如一台掃地機。”研究團隊成員解釋道。傳統遙操作往往僅依賴上半身控制，而OpenWBT通過全身運動控制，讓機器人實現移動、碰高、摸低等多種能力。只需要一款VR頭顯，就可以遙控多種機器人，使其像人類一樣彎腰拾起地上的物品，或伸手擦拭高處的窗檯。

OpenWBT三大技術亮點：

亮點1：極簡部署方便使用

只需要一副VR頭顯、一台筆記本電腦，新手也可以在小時內從零完成系統的快速部署。不受場地限制、無需複雜的設備校準與穿戴，躺在家裡床上，也可以遙控千里之外的機器人。

亮點2：多機型跨平台輕鬆操作

OpenWBT 不僅兼容 29 自由度的 Unitree G1，還支持擁有成人身高的 Unitree H1，可輕鬆覆蓋成年人完整的工作空間，成為對人類勞動力的有力補充。

亮點3：靈活兼顧虛實遙操

OpenWBT同時支持在真實世界和仿真環境中進行遙操作。在真實世界中遙操作，可避免感知與控制的域偏差，直接獲得高質量機器人數據；在仿真環境中遙操作，無需搭建物理場景，便於快速採集和大規模數據增強，提高樣本效率，並為後續模型的泛化能力奠定基礎。

OpenWBT背後技術揭秘

讓機器人如此穩定在超大工作空間運動的秘訣來自於最近銀河通用機器人和清華大學研究團隊聯合推出的一項工作：Unleashing Humanoid Reaching Potential via Real-world-Ready Skill Space(https://www.arxiv.org/pdf/2505.10918）。旨在解決基於仿真強化學習的人形機器人全身控制中仿真到真實（sim2real）遷移這一難題。將仿真中的人形機器人技能遷移到真實世界極具挑戰性，尤其是當機器人需要完成走路、下蹲、彎腰、手臂自由揮動等多種動作時，傳統方法往往難以應對這一多樣性，而提出了一種分層式的新穎框架來解決這一問題。

首先將運動分為若干原子技能（如走、蹲、前傾等），針對每種原子技能設計專門的獎勵函數與訓練策略，使其可以穩定遷移到真實世界中。然而當機器人需要在這些原子技能之間頻繁切換的時候，由於缺少對技能間組合與過渡的建模，機器人仍然難以保證穩定。因此，進一步通過強化學習對原子技能的組合與銜接進行優化，並利並用條件變分自編碼器對包括原子技能及其組合銜接在內的各種底層控制進行統一生成式建模，我們將該生成空間命名為Real-world-Ready Skill Space即。依據高層級任務需求，我們可以從該空間中選取特定的技能與組合，進而實現穩定的全身控制。把複雜的多技能sim2real問題拆分成可解決的單技能sim2real問題，再利用層次結構與生成式建模把技能整合起來，仿真到真實（sim2real）遷移難題就不再可怕。具體來講，該工作的技術核心包括以下三點：

穩定秘訣：“真實世界穩定”的原子技能庫

讓機器人學會一種skill很難，讓機器人學會多種skills更難，讓機器人能夠將學會的多種skills進行穩定的sim2real transfer更是難上加難。一般的端到端強化學習受限於優化難度和sim2real transfer穩定性，很難同時學會多種可在真實世界穩定運行的技能。

因此，本文提出首先通過基於啟發式獎勵函數的強化學習構建一個“真實世界穩定”的原子技能庫。從功能性上設計出不同的原子技能，每個技能由專屬的獎勵函數訓練，並通過sim2real transfer驗證其在真實世界中的穩定性。該工作將機器人的全身控制拆分為了三種不同的原子技能：locomotion，body-pose-adjustment和hand reaching。Locomotion負責讓機器人健步如飛，body-pose-adjustment支持機器人像人一樣彎腰下蹲，hand-reaching使得機器人雙手可以精確觸達目標點。針對locomotion，該工作使用步態引導產生穩定的行走動作：

針對body-pose-adjustment，該工作鼓勵在運動學和動力學上的對稱性來實現穩定的機器人動作控制：

化零為整—融合不同原子技能實現全身控制

分開訓練雖然大大保證了原子技能在真實世界的表現，但是卻不足以支撐真正的機器人全身控制，因為這需要機器人能夠在不同技能之間協同、切換。因此，在原子技能庫基礎之上。該工作進一步提出一種IL+RL的技能融合策略，通過結合監督學習和強化學習的損失：

使得機器人能夠同時掌握多種技能，並將其編碼到一個技能隱空間當中，並通過KL散度和約束函數使得其空間更具結構性：

執行時，policy只需要從隱空間解碼，便可得到真實的關節力矩，在保留原子技能的真實世界穩定性的基礎之上，實現原子技能之間的穩定組合與銜接，大幅擴展機器人的運動空間。

用途豐富：從全身遙操作到分層強化學習

該工作可以很好的支持全身遙操的需求，只需將遙操指令與機器人狀態進行聯合編碼即可選取合適的技能組合併完成對機器人的穩定全身控制。此外，該工作也可以被應用在分層強化學習當中，幫助機器人自主完成一系列觸達任務，例如基於環境感知的碰點、搬箱子等。該工作發現，技能融合時得到的技能隱空間，是一個非常高效的關於機器人全身運動的表徵方式，將高維無序的機器人動作編碼為具有高度結構性的技能空間。高層規劃策略只需要從該隱空間中採樣，便能略去底層運動控制的細節，使得機器人以穩定的方式完成各種任務。該工作通過實驗驗證了其技能隱空間對於任務學習的有效性：

研究團隊表示OpenWBT在持續更新中，在未來支持更多的機器人類型與更加複雜的技能類型，OpenWBT項目也歡迎大家加入，持續招募全職工程師和實習生，期待全球開發者共同參與測試、優化，推動通用人形機器人技術發展。

據了解，該論文由清華大學與北京銀河通用機器人有限公司合作完成。論文的共同第一作者為清華大學學生、北京銀河通用實習生張智楷、薛晗，以及北京銀河通用實習生陳超；指導老師為清華大學弋力助理教授與北京大學王鶴助理教授。