北大提出基於人眼視覺特性的沉浸式視頻傳輸系統，改進VR視頻體驗

2022年09月30日01:39:25 熱門 1417

虛擬現實視頻作為新一代視頻類型被越來越多的人所關注，區別於傳統視頻，其良好的沉浸感和更大的自由度給人帶來次世代的視頻體驗。然而360°沉浸式視頻傳輸所需要的帶寬遠高於傳統視頻。現有的視頻傳輸系統缺省認為用戶感知360°視頻與傳統視頻相同，這與實際用戶觀看沉浸式視頻的方式嚴重不符，造成了嚴重的帶寬浪費。北京大學提出了新一代基於沉浸式視頻感知質量模型的360°視頻傳輸系統Pano，旨在有限帶寬下，最大化用戶的感知質量，在提供高質量觀看體驗的同時大幅度降低帶寬消耗。目前這一成果已被計算機網絡方向的世界頂級學術會議 ACM SIGCOMM 2019 收錄, 引起國內外廣泛關注。

360°沉浸式視頻又稱全景視頻，有別於傳統視頻單一的觀看視角，人們可以360度自由觀看視頻的任意區域。在過去的幾年中，越來越多的視頻內容提供商（如愛奇藝、優酷、Youtube等）提供了360°在線視頻服務，但由於360°視頻的超高帶寬需求，在線用戶體驗仍然處於較低水平，根據有關文獻研究，360°視頻需要80倍於傳統視頻傳輸的帶寬才能達到和觀看傳統視頻相似的體驗。雖然一些現有的360°視頻傳輸系統提出基於用戶視窗的傳輸方式，在一定程度上減少了帶寬消耗，但是這仍與用戶實際感知360°視頻質量的方式有着較大區別，造成了嚴重的帶寬浪費。北京大學和芝加哥大學的研究人員近期針對人眼感知360°視頻質量的機理進行了深入的研究，提出了360°視頻感知質量模型，極大了降低了360°視頻的帶寬消耗。

360°視頻感知質量模型

Pano提出，在用戶進行360°視頻觀看時，其感知質量的方式和以下六個因素相關。其中包括三個傳統視頻因素和三個360°視頻特有因素。

三個傳統視頻因素包括：1）視頻物體的亮度，據有關文獻研究，當視頻物體的亮度過高和過低時，用戶對物體的視覺敏感度會大幅度下降。 2）視頻對象的紋理複雜度，據有關文獻研究，當視頻對象的紋理複雜度較高時，用戶對物體的視覺敏感度會大幅度下降。 3）視頻對象與用戶中心視點的夾角，據有關文獻研究，用戶只對凝視點處周圍的物體有着很高的視覺敏感度，而對於其餘區域隨着視頻對象與用戶中心視點的夾角增大，用戶的視覺敏感度會逐漸下降。區別於傳統視頻，由於360°視頻視角更廣範圍更大，夾角因素的影響也更加顯著。

特別地，根據Pano的研究表明，還存在三個360°視頻特有的人眼感知質量因素：1）視頻物體運動速度。傳統人類視覺系統研究表明，人對運動物體的視覺敏感度會有所下降。類似的，Pano研究發現在360°視頻中，同樣存在由於用戶頭部旋轉和物體相對運動造成的視覺敏感度下降。2）用戶視點與視頻物體的景深差。在現實中當人凝視在某一個固定距離的物體上時，其餘不同距離的物體就會變得模糊不清，Pano發現人類視覺系統的這一特點在觀看360°視頻時亦存在。3）人眼的明暗適應。傳統人類視覺系統的研究表明，人的視覺系統在大幅度明暗變化後的一段時間對物體的視覺敏感度會大幅度下降，Pano發現在360°視頻中明暗變化的影響同樣存在。

Pano首次將上述人眼視覺感知360°視頻質量的因素引入網絡視頻傳輸。使用科學統計的手段建立了用戶視覺敏感度的量化數學模型。其次，根據按照不同視覺敏感程度對360°視頻進行空間切塊劃分，形成用戶視覺敏感度驅動的空間視頻分塊。最後，根據實際的觀看情景（如用戶的視點位置，用戶的視點移動速度等），對不同區域動態分配傳輸碼率，例如敏感程度較低的區域傳輸較低的碼率，敏感程度較高的區域傳輸較高的碼率。

北京大學的研究團隊已實現了Pano的系統原型，根據大量的主觀實驗表明，Pano提出的360°視頻感知質量模型可大幅提升了用戶的觀看體驗，降低帶寬消耗。在相同質量體驗條件下，可比現有的360°視頻傳輸技術節省41%-46%的帶寬消耗。

研究價值

目前360°視頻已經被各大視頻內容服務商所提供，但由於超高的帶寬需求，其質量體驗遠遠差於傳統視頻，這也是阻礙沉浸式視頻進一步被使用和普及的重要原因。Pano的價值在於將人眼視覺特性引入網絡視頻傳輸，能夠更加充分地利用當前有限的帶寬，給用戶提供儘可能高的視頻觀看體驗，這對於沉浸式視頻的進一步推廣和普及具有重大的意義。

結束語

該項目距離真正的工業化落地還有一段較長的距離，更加精確的感知質量模型以及更加貼合實際的系統優化是未來仍然需要進一步完善的目標。

目前，該項研究的學術論文《Pano: Optimizing 360° Video Streaming with a Better Understanding of Quality Perception》已被ACM SIGCOMM 2019接收，是由北京大學計算機研究所的張行功團隊和芝加哥大學的江鋆晨團隊共同合作完成，並得到阿里、愛奇藝等機構的支持。