麻省理工学院新算法可仅凭单个摄像头控制复杂机器人系统

2025年07月02日15:52:03 科学 1315

麻省理工学院新算法可仅凭单个摄像头控制复杂机器人系统 - 天天要闻

Nature期刊最新发表的一项突破性研究展示了机器人控制领域的重大变革。美国麻省理工学院等机构的研究团队开发出一种基于深度神经网络的"视觉运动雅可比场"技术,能够仅凭单个摄像头控制各种复杂机器人系统,彻底摆脱了传统建模方法的束缚。这一成果为软体机器人和仿生机器人的实际应用扫清了重要障碍。

麻省理工学院新算法可仅凭单个摄像头控制复杂机器人系统 - 天天要闻


传统机器人控制的局限性凸显

传统机器人系统通常由精密加工的刚性部件构成,杨氏模量高达10的9次方至10的12次方帕斯卡,这些系统可以通过理想化的刚性链节模型进行精确建模。然而,现代制造技术催生的新一代仿生机器人面临着截然不同的挑战。这些系统采用柔软材料制造,模拟自然生物体的复杂结构,在驱动过程中会发生大幅变形,并表现出粘弹性等时间相关效应。

软体机器人的建模困难主要源于其材料特性的复杂性。与传统机器人不同,这些系统缺乏精确的嵌入式传感器,难以进行实时状态监测。从连续介质力学和大变形理论中导出的控制方程求解成本极高,现有的模型简化方法往往依赖特定系统的假设,缺乏通用性。

研究团队指出,这种建模困难严重阻碍了仿生硬件的广泛应用。任何机器人系统都需要配备能够准确预测末端执行器运动的控制模型,而传统方法在面对软体机器人时显得力不从心。

麻省理工学院新算法可仅凭单个摄像头控制复杂机器人系统 - 天天要闻

视觉运动雅可比场技术突破

麻省理工学院的研究人员提出的解决方案受到人类感知能力的启发。人类操作者可以在几分钟内学会使用游戏手柄控制机器人执行复杂任务,而所需的唯一传感器就是眼睛。基于这一观察,研究团队开发了视觉运动雅可比场技术。

该方法的核心创新在于使用深度神经网络将机器人的视频流直接映射到其3D表示,这一表示编码了机器人的几何形状和差分运动学特性。具体而言,系统重建了神经辐射场来表示机器人的3D形状和外观,同时构建了创新的视觉运动雅可比场,将3D空间中的每个点映射到线性运算符,描述该点如何响应机器人的执行器命令。

训练过程采用自监督学习方式,使用12台RGB-D摄像头从不同角度记录机器人执行随机命令的过程,训练时间为2-3小时。系统通过光流和点跟踪方法提取2D运动信息,利用可微分渲染技术将3D运动场渲染为2D光流,并与观察到的光流进行比较来训练模型。

多样化机器人平台验证成功

研究团队在四种截然不同的机器人系统上验证了该技术的有效性。这些系统包括价值300美元的3D打印混合软-刚性气动手、由手动剪切辅助材料制成的软体腕式机器人平台、具有16个自由度的市售Allegro机械手,以及采用低成本电机和3D打印部件的DIY机器人手臂。

实验结果显示,该系统能够从单个图像中准确重建各种机器人的3D表示。在闭环控制测试中,Allegro机械手实现了每关节小于3度的误差和每指尖小于4毫米的位置误差。对于软体腕式平台,即使在外加350克重物改变系统动力学的情况下,系统仍能成功完成复杂的旋转运动,位置误差仅为7.303毫米。

特别值得注意的是,系统展现出了对硬件缺陷的强鲁棒性。在控制存在严重反冲问题的低成本机器人手臂时,系统成功完成了在空中绘制字母和几何图形的任务,平均误差小于6毫米。

麻省理工学院新算法可仅凭单个摄像头控制复杂机器人系统 - 天天要闻

技术影响与未来展望

这项技术的意义远超机器人控制本身。通过消除对精确建模的依赖,该方法大大拓宽了可实际部署的机器人设计空间。传统上,机器人设计受限于建模能力,必须采用精密制造、昂贵材料和广泛的传感能力。新技术的出现意味着低成本、简单结构的机器人也能实现精确控制。

当前软体机器人领域面临的主要挑战包括复杂运动控制、反馈系统集成和软材料动力学建模等。这项研究为解决这些挑战提供了全新思路,特别是在降低机器人自动化成本和门槛方面具有重要意义。

研究团队表示,该技术的通用性使其适用于各种制造工艺、驱动方式和材料类型的机器人系统。未来的研究方向将聚焦于进一步提高系统的泛化能力和处理更复杂任务的能力,同时探索将该技术应用于更广泛的机器人平台。

这一突破性成果不仅为机器人技术的发展开辟了新道路,也为实现更加智能、灵活的机器人系统奠定了坚实基础。


参考资料来源:

  • Nature: "Controlling diverse robots by inferring Jacobian fields with deep networks"

科学分类资讯推荐

天赐材料起诉永太科技 液体锂盐“商业秘密连环案”揭秘 - 天天要闻

天赐材料起诉永太科技 液体锂盐“商业秘密连环案”揭秘

财联社7月2日讯(记者 曾楚楚 王平安)【引子】今日盘后,天赐材料(002709.SZ)公告,就“商业秘密侵权案件”民事起诉永太科技(002326.SZ)等。这是自今年2月初,天赐材料首次公告披露,对浙江研一、永太科技“将另案处理”后,天赐方面就液体锂盐“商业秘密”系列案件的再次公开曝光。在两家百亿级上市公司,以及作为锂业“...
晶圆键合工艺及键合设备市场情况 - 天天要闻

晶圆键合工艺及键合设备市场情况

一、晶圆键合发展背景在摩尔定律的引导下,集成电路行业一直高速发展,晶体管特征尺寸己经从90nm向7nm迈进。然而,由于随着晶体管特征尺寸已日益接近物理极限,量子效应和短沟道效应越来越严重,内部电子自发地通过源极和漏极,导致漏电流增加,进而限
“地下动脉”托举繁华真如,副中心“最后一块拼图”亮相 - 天天要闻

“地下动脉”托举繁华真如,副中心“最后一块拼图”亮相

在近日举行的上海真如城市副中心重点板块宣介会上,“真如翠谷”与“真如之心”两大优质地块首次亮相。“真如之心”地块即铜川路水产市场原址,被誉为真如副中心“最后一块拼图”,目前已完成城市设计国际方案征集。随着这一核心地块即将入市,真如副中心H型地下公共车行通道(以下简称“H型地下通道”)的全面贯通也将提上...
多面性的双氧水 - 天天要闻

多面性的双氧水

‌‎‎‌‎‎‌‎双氧水,学名过氧化氢(H₂O₂),是一种常见且独特的化学物质。它在日常生活、工业生产以及科学研究等多个领域都有着广泛的应用。然而,正如许多化学物质一样,双氧水具有着复杂的性质和多面的特性,这些特性既可能带来巨大的益处,也可能
迈威生物跃过“J曲线”转折点 - 天天要闻

迈威生物跃过“J曲线”转折点

迈威生物为爆发中的创新药BD浪潮,又添了一把火。日前,其宣布两项BD合作,与齐鲁制药就长效G-CSF产品8MW0511达成的合作(3.8亿元首付款+1.2亿元里程碑款),是本土商业化的经典双赢;而与谷歌系抗衰老巨头Calico围绕IL-11单抗9MW3811的联手(2500万美元首付款+5.71亿美元里程碑款),则彰显全球视野下的价值挖掘能力。两项...
中国石油长庆油田采油十厂决战百日推动竞赛任务落地见效 - 天天要闻

中国石油长庆油田采油十厂决战百日推动竞赛任务落地见效

“功崇惟志,业广惟勤。”2025年上半年,中国石油长庆油田采油十厂紧扣全年任务目标,以“大干100天 决胜上半年”劳动竞赛为载体,全面掀起夺油上产热潮。广大干部员工迎难而上、奋勇拼搏,用汗水书写担当,用实绩回应挑战,生产效率大幅提升,安全环保平稳受控,经营业绩稳健向好,为完成全年任务目标奠定坚实基础。中国石...
武汉一救援队把无人机“开发到极致”,实现“套圈”式救人,台湾同胞:技术毋庸置疑 - 天天要闻

武汉一救援队把无人机“开发到极致”,实现“套圈”式救人,台湾同胞:技术毋庸置疑

2025年7月2日上午,在第十九届湖北·武汉台湾周期间,第四届“汉江湾”汉台水上救援交流活动在硚口区汉江湾上演。武汉云豹救援队联合台湾苗栗县水上救生救难协会、苗栗县救难协会、桃园市水上救难协会,首次以完整建制展开跨海峡救援协作综合演练。 联合救援协作综合演练现场。图/九派新闻 上午9时,随着信号弹升空,云豹救...
麻省理工学院新算法可仅凭单个摄像头控制复杂机器人系统 - 天天要闻

麻省理工学院新算法可仅凭单个摄像头控制复杂机器人系统

Nature期刊最新发表的一项突破性研究展示了机器人控制领域的重大变革。美国麻省理工学院等机构的研究团队开发出一种基于深度神经网络的"视觉运动雅可比场"技术,能够仅凭单个摄像头控制各种复杂机器人系统,彻底摆脱了传统建模方法的束缚。