浅谈“VR之舵”——Hawkeye Vslam定位系统在大朋VR E4中的表现

2022年12月31日00:09:03 数码 1444

时隔十三年,重回潘多拉。12月16日,《阿凡达:水之道》在内地同步北美地区上映,目前豆瓣评分8.2,比起初代的8.8分差了不少。原因也很好理解,作为以视觉特效、科幻未来感为主卖点的商业大片,十三年后很难让观众们再像当初一样发出响彻影院的惊呼。

浅谈“VR之舵”——Hawkeye Vslam定位系统在大朋VR E4中的表现 - 天天要闻

例如男主本体与潘多拉身体链接所应用的“心灵链接”方式,彼时称得上天马行空,让人浮想联翩。可如今随着VR技术不断进步,戴上头显后的我们同样可以“链接”到虚拟时空。

当然,《阿凡达》中那种零延迟同步、超高精度操控的链接方式仍旧是VR的终极目标,但已经有一些勇敢的开拓者距离这个目标越来越近。

比如大朋VR最新推出的E4,就带来了0.1s高速响应、毫米级追踪精度、超低延迟以及高稳定性的现实版“心灵链接”——Hawkeye Vslam 4cam定位系统。

至关重要的“VR之舵”

在探讨大朋E4定位技术之前,需要明确的是另一个问题:定位技术,对于VR来说意味着什么?

如果说VR是一艘航行在虚拟时空的大船,那么定位技术就是它的“舵”。VR设备完全欺骗了眼睛提供了一个拟真世界,如果身体的视觉感知和动运感知不能及时匹配,除了会降低游玩体验,还引发头晕等症状。

因此,定位技术优秀与否,对VR产品的实际体验至关重要。

长久以来,VR定位方案主要分为两种:Outside-in和Inside-out。前者通过将传感器部署在与头盔或者人体无直接连接的周边环境中(即基站),实现大范围检测,一般用于支持多人互动应用场景。

浅谈“VR之舵”——Hawkeye Vslam定位系统在大朋VR E4中的表现 - 天天要闻

而大朋E4则选择了便携性更佳、硬件成本更低、空间要求更宽松的Inside-out定位方案,无需架设定位基站,依靠VR头显自带的摄像头即可完成定位,去朋友家玩《半条命》终于不需要搬基站先累掉“半条命”了。

但舍弃了基站,采用Inside-out方案为玩家“减负”,实现优秀便携性的同时,想要达成同样的定位效果,对设备硬件、算法以及定位追踪方案也提出了更高的要求。为此,大朋VR做出了更多努力。

浅谈“VR之舵”——Hawkeye Vslam定位系统在大朋VR E4中的表现 - 天天要闻

高精度背后的技术投入

首先是头显部分,基于定位精度、速度和成本等因素的考量,大朋VR E4采用了视觉(V)+惯性传感器(I),构成Vslam实现系统。大朋VR团队基于Intel Movidius高性能VPU进行开发设计工作,重新设计传感摄像头模块的同时,也带来了全新的头戴硬件布局。

浅谈“VR之舵”——Hawkeye Vslam定位系统在大朋VR E4中的表现 - 天天要闻

大朋E4采用4路超广角追踪传感摄像头和更高精度的IMU惯导传感器,不仅在高速演算过程中实现了速度与精度的平衡、在快速移动场景中也可更好地实现快速重定位和闭环检测。此外大量边缘计算,分布式计算的应用,也降低了对主机平台的压力。

此外,大朋E4的整套Vslam系统在机器视觉定位识别方面也具有无可比拟的优势,高效的地图结构,可用于设备间的地图共享,环境鲁棒性好,可克服光线变化的影响。定位系统不受相机参数(增益和曝光)的影响,可建立稳定的空间几何关系,大大提升建图和定位的精度。

浅谈“VR之舵”——Hawkeye Vslam定位系统在大朋VR E4中的表现 - 天天要闻

尤其是快速重定位和环境鲁棒性这两点,对于VR游戏的加持是巨大的。以VR热门游戏《Bonelab》为例,这款游戏强调物理交互,战斗中经常需要快速切换视角,在Hawkeye Vslam定位系统加持下,大朋VR E4在游戏过程不会出现“扭头即掉帧,晃动即失控”的情况,让游戏的乐趣不会因为设备追踪问题而受损。

至于环境鲁棒性,E4在高效AEC算法加持下,可以适应较为复杂的家庭光线情况,开灯关灯、晴天阴天,都不会让定位系统受限。

大朋VR团队在optitrack实验室环境(模拟用户真实使用场景)下测试头盔动态定位精度,以optitrack输出的6DoF数据为真值,计算头盔6DoF和optitrack真值之间的位移和角度偏差。最终测试结果达到了位移平均偏差0.0055m、角度平均偏差0.328141°的毫米级高精准度水平。

浅谈“VR之舵”——Hawkeye Vslam定位系统在大朋VR E4中的表现 - 天天要闻

(optitrack实验室环境实测效果:黄色轨迹是头盔6DoF,白色轨迹是optitrack 6DoF)

而大朋E4 Hawkeye Vslam定位系统在降低延迟方面也表现突出,基于高帧率低延时的imu惯性导航加4个广角鱼眼相机实现的高精度定位跟踪,配合高精度的预测算法,可以实现接近于0ms的跟踪延时。

浅谈“VR之舵”——Hawkeye Vslam定位系统在大朋VR E4中的表现 - 天天要闻

(蓝色轨迹为头盔6dof-x轴运动轨迹(vslam算法输出),绿色轨迹为头盔真实6dof-x轴运动轨迹;红色轨迹为头盔6dof-y轴运动轨迹(vslam算法输出),紫色轨迹为头盔真实6dof-y轴运动轨迹)

其次是手柄,大朋VR E4的 6DoF动作控制器,采用了红外光主动式光学定位追踪方案,以分布式计算方式与高精度的紧耦合融合算法实现手柄和头显的交互,完成手柄的6DoF高精度定位追踪。

手柄选型上更是采用了工业级IMU传感器,以及抗电磁干扰设计,让头手6DoF交互在一般游戏环境下都能达到0.1s高速响应识别、毫米级动态追踪误差、亚毫米级静态追踪和漂移误差的高精准度。

浅谈“VR之舵”——Hawkeye Vslam定位系统在大朋VR E4中的表现 - 天天要闻

最显著的成效体现在类似《Beat Saber》这类对手柄定位精度要求较高的VR游戏上。想必不少玩家都体会过手柄挥出,但“光剑”没动或乱动的情况,让人烦躁不堪。

有了大朋E4,即使开启《Beat Saber》hard难度,也依然可以“指哪打哪”,让玩家真正感受到在虚拟现实世界的动静自如。

虚拟与现实的碰撞

“I see you.”这是《阿凡达1》当中的经典台词,男主在人类状态下看到女主,虚拟与现实在这一刻碰撞,所带来的感动难以言表。

浅谈“VR之舵”——Hawkeye Vslam定位系统在大朋VR E4中的表现 - 天天要闻

大朋 E4优化升级的定位系统不仅带来了更优质的游戏体验,也是对VR定位方案、6DoF复杂场景应用的一次革新优化与案例打造,今后也将为大朋VR系列产品乃至同品类其他产品提供经验借鉴,让虚拟与现实无距离碰撞的那一天,提早到来。

数码分类资讯推荐

iQOO Neo9s Pro+配置曝光:1.5K+144Hz直屏、骁龙8Gen3 - 天天要闻

iQOO Neo9s Pro+配置曝光:1.5K+144Hz直屏、骁龙8Gen3

不久前,数码博主@数码闲聊站 透露,iQOO将推出搭载骁龙8 Gen3处理器的iQOO Neo9S Pro+。该博主今日的一份爆料中提到了这款新机的更多配置信息。按照爆料中的说法来看,iQOO Neo9S Pro+目前采用了一块6.78英寸
5K壁纸:望山河 - 天天要闻

5K壁纸:望山河

5K壁纸感谢大家一直以来的支持和关注:5K壁纸感谢大家一直以来的支持和关注:在这组手机壁纸上,海天一色的美景与万里长城、布达拉宫交相辉映,构成了一幅壮丽的画面。大海与天空融为一体,呈现出无尽的蓝色,给人一种广阔而宁静的感觉。
5K壁纸;宇宙之光。 - 天天要闻

5K壁纸;宇宙之光。

5K壁纸感谢大家一直以来的支持和关注:5K壁纸感谢大家一直以来的支持和关注:《宇宙之光》在这些浩瀚无垠的宇宙中多彩的光手机壁纸上,仿佛置身于无尽的宇宙之中,被多彩的光芒所包围。
5K壁纸:绯红女巫 奥美。 - 天天要闻

5K壁纸:绯红女巫 奥美。

这些手机壁纸展现了一位奥美女平时生活中的瞬间,捕捉到了她自然而真实的一面。不知用什么形容词来形容奥美,落落大方,气质优雅,还是 古灵精怪。
国内有NVIDIA定制AI芯片,为啥没有AMD的?性能太强不准卖 - 天天要闻

国内有NVIDIA定制AI芯片,为啥没有AMD的?性能太强不准卖

在这个科技飞速发展的时代,人工智能已经不再是遥不可及的未来科技,而是正在悄然改变我们的生活。作为AI领域的佼佼者,NVIDIA可谓是当之无愧的领头羊。近日,这家硅谷科技巨头推出了一款名为Grace的定制AI芯片,其性能实在是太强大了,简直就是AI加速器中的"钻石王老五"!
单潜望和双潜望,vivo X100 Ultra还是OPPO Find X7 Ultra? - 天天要闻

单潜望和双潜望,vivo X100 Ultra还是OPPO Find X7 Ultra?

手机摄像头的重要性,可以说是不言而喻的。在这个视觉化时代,一款出色的手机相机不仅能让我们随时记录生活点滴,更能捕捉那些稍纵即逝的精彩瞬间。而在手机摄像头中,潜望镜头则扮演着至关重要的角色,它赋予了手机超强的变焦能力,让我们对远处的风景大物件了如指掌。