北大提出基于人眼视觉特性的沉浸式视频传输系统，改进VR视频体验

2022年09月30日01:39:25 热门 1417

虚拟现实视频作为新一代视频类型被越来越多的人所关注，区别于传统视频，其良好的沉浸感和更大的自由度给人带来次世代的视频体验。然而360°沉浸式视频传输所需要的带宽远高于传统视频。现有的视频传输系统缺省认为用户感知360°视频与传统视频相同，这与实际用户观看沉浸式视频的方式严重不符，造成了严重的带宽浪费。北京大学提出了新一代基于沉浸式视频感知质量模型的360°视频传输系统Pano，旨在有限带宽下，最大化用户的感知质量，在提供高质量观看体验的同时大幅度降低带宽消耗。目前这一成果已被计算机网络方向的世界顶级学术会议 ACM SIGCOMM 2019 收录, 引起国内外广泛关注。

360°沉浸式视频又称全景视频，有别于传统视频单一的观看视角，人们可以360度自由观看视频的任意区域。在过去的几年中，越来越多的视频内容提供商（如爱奇艺、优酷、Youtube等）提供了360°在线视频服务，但由于360°视频的超高带宽需求，在线用户体验仍然处于较低水平，根据有关文献研究，360°视频需要80倍于传统视频传输的带宽才能达到和观看传统视频相似的体验。虽然一些现有的360°视频传输系统提出基于用户视窗的传输方式，在一定程度上减少了带宽消耗，但是这仍与用户实际感知360°视频质量的方式有着较大区别，造成了严重的带宽浪费。北京大学和芝加哥大学的研究人员近期针对人眼感知360°视频质量的机理进行了深入的研究，提出了360°视频感知质量模型，极大了降低了360°视频的带宽消耗。

360°视频感知质量模型

Pano提出，在用户进行360°视频观看时，其感知质量的方式和以下六个因素相关。其中包括三个传统视频因素和三个360°视频特有因素。

三个传统视频因素包括：1）视频物体的亮度，据有关文献研究，当视频物体的亮度过高和过低时，用户对物体的视觉敏感度会大幅度下降。 2）视频对象的纹理复杂度，据有关文献研究，当视频对象的纹理复杂度较高时，用户对物体的视觉敏感度会大幅度下降。 3）视频对象与用户中心视点的夹角，据有关文献研究，用户只对凝视点处周围的物体有着很高的视觉敏感度，而对于其余区域随着视频对象与用户中心视点的夹角增大，用户的视觉敏感度会逐渐下降。区别于传统视频，由于360°视频视角更广范围更大，夹角因素的影响也更加显著。

特别地，根据Pano的研究表明，还存在三个360°视频特有的人眼感知质量因素：1）视频物体运动速度。传统人类视觉系统研究表明，人对运动物体的视觉敏感度会有所下降。类似的，Pano研究发现在360°视频中，同样存在由于用户头部旋转和物体相对运动造成的视觉敏感度下降。2）用户视点与视频物体的景深差。在现实中当人凝视在某一个固定距离的物体上时，其余不同距离的物体就会变得模糊不清，Pano发现人类视觉系统的这一特点在观看360°视频时亦存在。3）人眼的明暗适应。传统人类视觉系统的研究表明，人的视觉系统在大幅度明暗变化后的一段时间对物体的视觉敏感度会大幅度下降，Pano发现在360°视频中明暗变化的影响同样存在。

Pano首次将上述人眼视觉感知360°视频质量的因素引入网络视频传输。使用科学统计的手段建立了用户视觉敏感度的量化数学模型。其次，根据按照不同视觉敏感程度对360°视频进行空间切块划分，形成用户视觉敏感度驱动的空间视频分块。最后，根据实际的观看情景（如用户的视点位置，用户的视点移动速度等），对不同区域动态分配传输码率，例如敏感程度较低的区域传输较低的码率，敏感程度较高的区域传输较高的码率。

北京大学的研究团队已实现了Pano的系统原型，根据大量的主观实验表明，Pano提出的360°视频感知质量模型可大幅提升了用户的观看体验，降低带宽消耗。在相同质量体验条件下，可比现有的360°视频传输技术节省41%-46%的带宽消耗。

研究价值

目前360°视频已经被各大视频内容服务商所提供，但由于超高的带宽需求，其质量体验远远差于传统视频，这也是阻碍沉浸式视频进一步被使用和普及的重要原因。Pano的价值在于将人眼视觉特性引入网络视频传输，能够更加充分地利用当前有限的带宽，给用户提供尽可能高的视频观看体验，这对于沉浸式视频的进一步推广和普及具有重大的意义。

结束语

该项目距离真正的工业化落地还有一段较长的距离，更加精确的感知质量模型以及更加贴合实际的系统优化是未来仍然需要进一步完善的目标。

目前，该项研究的学术论文《Pano: Optimizing 360° Video Streaming with a Better Understanding of Quality Perception》已被ACM SIGCOMM 2019接收，是由北京大学计算机研究所的张行功团队和芝加哥大学的江鋆晨团队共同合作完成，并得到阿里、爱奇艺等机构的支持。