麻省理工學院新算法可僅憑單個攝像頭控制複雜機械人系統

2025年07月02日15:52:03 科學 1315

麻省理工學院新算法可僅憑單個攝像頭控制複雜機械人系統 - 天天要聞

Nature期刊最新發表的一項突破性研究展示了機械人控制領域的重大變革。美國麻省理工學院等機構的研究團隊開發出一種基於深度神經網絡的"視覺運動雅可比場"技術,能夠僅憑單個攝像頭控制各種複雜機械人系統,徹底擺脫了傳統建模方法的束縛。這一成果為軟體機械人和仿生機械人的實際應用掃清了重要障礙。

麻省理工學院新算法可僅憑單個攝像頭控制複雜機械人系統 - 天天要聞


傳統機械人控制的局限性凸顯

傳統機械人系統通常由精密加工的剛性部件構成,楊氏模量高達10的9次方至10的12次方帕斯卡,這些系統可以通過理想化的剛性鏈節模型進行精確建模。然而,現代製造技術催生的新一代仿生機械人面臨著截然不同的挑戰。這些系統採用柔軟材料製造,模擬自然生物體的複雜結構,在驅動過程中會發生大幅變形,並表現出粘彈性等時間相關效應。

軟體機械人的建模困難主要源於其材料特性的複雜性。與傳統機械人不同,這些系統缺乏精確的嵌入式傳感器,難以進行實時狀態監測。從連續介質力學和大變形理論中導出的控制方程求解成本極高,現有的模型簡化方法往往依賴特定系統的假設,缺乏通用性。

研究團隊指出,這種建模困難嚴重阻礙了仿生硬件的廣泛應用。任何機械人系統都需要配備能夠準確預測末端執行器運動的控制模型,而傳統方法在面對軟體機械人時顯得力不從心。

麻省理工學院新算法可僅憑單個攝像頭控制複雜機械人系統 - 天天要聞

視覺運動雅可比場技術突破

麻省理工學院的研究人員提出的解決方案受到人類感知能力的啟發。人類操作者可以在幾分鐘內學會使用遊戲手柄控制機械人執行複雜任務,而所需的唯一傳感器就是眼睛。基於這一觀察,研究團隊開發了視覺運動雅可比場技術。

該方法的核心創新在於使用深度神經網絡將機械人的視頻流直接映射到其3D表示,這一表示編碼了機械人的幾何形狀和差分運動學特性。具體而言,系統重建了神經輻射場來表示機械人的3D形狀和外觀,同時構建了創新的視覺運動雅可比場,將3D空間中的每個點映射到線性運算符,描述該點如何響應機械人的執行器命令。

訓練過程採用自監督學習方式,使用12台RGB-D攝像頭從不同角度記錄機械人執行隨機命令的過程,訓練時間為2-3小時。系統通過光流和點跟蹤方法提取2D運動信息,利用可微分渲染技術將3D運動場渲染為2D光流,並與觀察到的光流進行比較來訓練模型。

多樣化機械人平台驗證成功

研究團隊在四種截然不同的機械人系統上驗證了該技術的有效性。這些系統包括價值300美元的3D打印混合軟-剛性氣動手、由手動剪切輔助材料製成的軟體腕式機械人平台、具有16個自由度的市售Allegro機械手,以及採用低成本電機和3D打印部件的DIY機械人手臂。

實驗結果顯示,該系統能夠從單個圖像中準確重建各種機械人的3D表示。在閉環控制測試中,Allegro機械手實現了每關節小於3度的誤差和每指尖小於4毫米的位置誤差。對於軟體腕式平台,即使在外加350克重物改變系統動力學的情況下,系統仍能成功完成複雜的旋轉運動,位置誤差僅為7.303毫米。

特別值得注意的是,系統展現出了對硬件缺陷的強魯棒性。在控制存在嚴重反衝問題的低成本機械人手臂時,系統成功完成了在空中繪製字母和幾何圖形的任務,平均誤差小於6毫米。

麻省理工學院新算法可僅憑單個攝像頭控制複雜機械人系統 - 天天要聞

技術影響與未來展望

這項技術的意義遠超機械人控制本身。通過消除對精確建模的依賴,該方法大大拓寬了可實際部署的機械人設計空間。傳統上,機械人設計受限於建模能力,必須採用精密製造、昂貴材料和廣泛的傳感能力。新技術的出現意味着低成本、簡單結構的機械人也能實現精確控制。

當前軟體機械人領域面臨的主要挑戰包括複雜運動控制、反饋系統集成和軟材料動力學建模等。這項研究為解決這些挑戰提供了全新思路,特別是在降低機械人自動化成本和門檻方面具有重要意義。

研究團隊表示,該技術的通用性使其適用於各種製造工藝、驅動方式和材料類型的機械人系統。未來的研究方向將聚焦於進一步提高系統的泛化能力和處理更複雜任務的能力,同時探索將該技術應用於更廣泛的機械人平台。

這一突破性成果不僅為機械人技術的發展開闢了新道路,也為實現更加智能、靈活的機械人系統奠定了堅實基礎。


參考資料來源:

  • Nature: "Controlling diverse robots by inferring Jacobian fields with deep networks"

科學分類資訊推薦

天賜材料起訴永太科技 液體鋰鹽「商業秘密連環案」揭秘 - 天天要聞

天賜材料起訴永太科技 液體鋰鹽「商業秘密連環案」揭秘

財聯社7月2日訊(記者 曾楚楚 王平安)【引子】今日盤後,天賜材料(002709.SZ)公告,就「商業秘密侵權案件」民事起訴永太科技(002326.SZ)等。這是自今年2月初,天賜材料首次公告披露,對浙江研一、永太科技「將另案處理」後,天賜方面就液體鋰鹽「商業秘密」系列案件的再次公開曝光。在兩家百億級上市公司,以及作為鋰業「...
晶圓鍵合工藝及鍵合設備市場情況 - 天天要聞

晶圓鍵合工藝及鍵合設備市場情況

一、晶圓鍵合發展背景在摩爾定律的引導下,集成電路行業一直高速發展,晶體管特徵尺寸己經從90nm向7nm邁進。然而,由於隨着晶體管特徵尺寸已日益接近物理極限,量子效應和短溝道效應越來越嚴重,內部電子自發地通過源極和漏極,導致漏電流增加,進而限
「地下動脈」托舉繁華真如,副中心「最後一塊拼圖」亮相 - 天天要聞

「地下動脈」托舉繁華真如,副中心「最後一塊拼圖」亮相

在近日舉行的上海真如城市副中心重點板塊宣介會上,「真如翠谷」與「真如之心」兩大優質地塊首次亮相。「真如之心」地塊即銅川路水產市場原址,被譽為真如副中心「最後一塊拼圖」,目前已完成城市設計國際方案徵集。隨着這一核心地塊即將入市,真如副中心H型地下公共車行通道(以下簡稱「H型地下通道」)的全面貫通也將提上...
多面性的雙氧水 - 天天要聞

多面性的雙氧水

‌‎‎‌‎‎‌‎雙氧水,學名過氧化氫(H₂O₂),是一種常見且獨特的化學物質。它在日常生活、工業生產以及科學研究等多個領域都有着廣泛的應用。然而,正如許多化學物質一樣,雙氧水具有着複雜的性質和多面的特性,這些特性既可能帶來巨大的益處,也可能
邁威生物躍過「J曲線」轉折點 - 天天要聞

邁威生物躍過「J曲線」轉折點

邁威生物為爆發中的創新葯BD浪潮,又添了一把火。日前,其宣布兩項BD合作,與齊魯製藥就長效G-CSF產品8MW0511達成的合作(3.8億元首付款+1.2億元里程碑款),是本土商業化的經典雙贏;而與谷歌系抗衰老巨頭Calico圍繞IL-11單抗9MW3811的聯手(2500萬美元首付款+5.71億美元里程碑款),則彰顯全球視野下的價值挖掘能力。兩項...
中國石油長慶油田採油十廠決戰百日推動競賽任務落地見效 - 天天要聞

中國石油長慶油田採油十廠決戰百日推動競賽任務落地見效

「功崇惟志,業廣惟勤。」2025年上半年,中國石油長慶油田採油十廠緊扣全年任務目標,以「大幹100天 決勝上半年」勞動競賽為載體,全面掀起奪油上產熱潮。廣大幹部員工迎難而上、奮勇拼搏,用汗水書寫擔當,用實績回應挑戰,生產效率大幅提升,安全環保平穩受控,經營業績穩健向好,為完成全年任務目標奠定堅實基礎。中國石...
武漢一救援隊把無人機「開發到極致」,實現「套圈」式救人,台灣同胞:技術毋庸置疑 - 天天要聞

武漢一救援隊把無人機「開發到極致」,實現「套圈」式救人,台灣同胞:技術毋庸置疑

2025年7月2日上午,在第十九屆湖北·武漢台灣周期間,第四屆「漢江灣」漢台水上救援交流活動在硚口區漢江灣上演。武漢雲豹救援隊聯合台灣苗栗縣水上救生救難協會、苗栗縣救難協會、桃園市水上救難協會,首次以完整建制展開跨海峽救援協作綜合演練。 聯合救援協作綜合演練現場。圖/九派新聞 上午9時,隨着信號彈升空,雲豹救...
麻省理工學院新算法可僅憑單個攝像頭控制複雜機械人系統 - 天天要聞

麻省理工學院新算法可僅憑單個攝像頭控制複雜機械人系統

Nature期刊最新發表的一項突破性研究展示了機械人控制領域的重大變革。美國麻省理工學院等機構的研究團隊開發出一種基於深度神經網絡的"視覺運動雅可比場"技術,能夠僅憑單個攝像頭控制各種複雜機械人系統,徹底擺脫了傳統建模方法的束縛。