高通撐腰,AR眼鏡開始輕裝上陣

從 2016 年發布以來,AR 遊戲《Pokémon Go》就創造了無數的奇蹟,不僅刷新了大眾對 AR 體驗的認知,還在商業上取得了巨大的成功,即使在全球遭遇新冠疫情之後,依然能讓玩家在 2021 年投入約 13 億美元,同比 2019 年還高出約 4 億美元。


但手機屏幕既不是為 AR 而設計的,也不是 AR 的最終歸屬。


11 月 17 日,在高通舉辦的 2022 年驍龍峰會上,不僅發布了基於驍龍 XR2 Gen 1 平台打造的驍龍 AR2 Gen 1——高通首款專門面向下一代 AR 智能眼鏡的處理晶元,高通還聯合《Pokémon Go》開發商 Niantic 展示了 AR 頭顯的最新參考設計。


AR 眼鏡參考設計,圖/高通


根據介紹,該設計在前部採用了常規的 AR 眼鏡設計,主體是超薄的透明顯示屏幕,還配備了多個相對隱蔽的對外和對內攝像頭以及一塊 AR 協處理器,有明顯的面罩設計以貼合面部。AR 主計算單元則被安置在了後部,再通過頭帶連接前部的顯示屏幕,無線連接模塊似乎被放置在頭帶內側。


同時,Niantic 在一段 AR 原型機實機演示視頻中展示了更多的細節,比如電池被明顯放在後部,此外還配有一個手部控制器。


圖/Niantic


Niantic 在會上強調,AR 眼鏡或頭顯至少不應該超過 250g 重,並至少提供 1-2 小時的持續續航。要做到這兩點,AR 晶元需要變得更小,同時還要提供更低的功耗和更強的處理性能。


這正是高通在驍龍 AR2 Gen 1 上所做的,但比起現有的性能提升,高通為 AR 設想的技術路徑更值得期待。


算力不夠,手機來湊


一個客觀的事實是,目前真正的 AR 眼鏡還遠未達到工業化和量產階段。


現階段存在一些 AR 頭戴顯示器產品,比如 Nreal、雷鳥等,但更多只是作為一種「觀影設備」,沒有多少交互能力。而在光譜在另一側,如微軟 HoloLens 2 和最近上市的 Magic Leap 2 等,高昂的成本和較大的體積、重量都限制了它們在消費級 AR 市場的可能性。


目前在硬體技術上困擾 AR 設備的核心是兩點——光學顯示和計算性能。後者更是要面對算力、續航和體積的不可能三角。高通在靠近這個目標,並且展示了一個頗具可行性的未來。


據高通介紹,驍龍 AR2 Gen 1 採用了多晶元的架構,由 AR 處理器、AR 協處理器和無線連接模塊組成,分布在 AR 設備的不同位置並起不同作用。對比驍龍 XR2 Gen 1,驍龍 AR2 Gen 1 的 PCB 佔用空間減少了 40%,AI 性能提升 2.5 倍,同時功耗還降低了 50%,分散式也使晶元運行產生的廢熱不再聚集,從而實現更好的散熱效果。


圖/高通


這些改進都讓一個更輕便的長續航 AR 眼鏡成為可能,或者用高通的話說:「這使得 AR 眼鏡可以舒適地長時間佩戴,並滿足消費者和企業的需求。」


具體到多晶元架構,其中 AR 協處理器負責從連接的攝像頭和感測器中收集數據,支持眼球追蹤和虹膜識別,由於在設計上就專註數據收集,功耗也得以降低。


AR 處理器是主計算單元,高通表示 AR 處理器「針對低運動(手部動作等)到光子(數據傳輸)的延遲進行了優化」,同時支持最多 9 個並發攝像頭,還增強了一系列感知能力,包括:專用硬體加速引擎,改善用戶運動跟蹤和定位;AIR 加速器,減少手動跟蹤或 6DoF 等敏感輸入交互的延遲;投影引擎,以獲得更平滑的體驗。


但除此之外,很多人都會忽視驍龍 AR2 Gen 1 的無線連接模塊。


驍龍 AR2 Gen 1 無線連接模塊利用 WiFi 7 連接 AR 眼鏡與智能手機或其他主機設備,眼鏡端收集的數據和感知結果——6DoF、眼球和手勢追蹤等——將傳輸到主機端,由主機端上的晶元進行畫面渲染,再經由編碼器及壓縮,最終傳輸回眼鏡端顯示。


圖/高通


從數據流通的角度看,當用戶使用搭載驍龍 AR2 Gen 1 的 AR 眼鏡,AR 協處理器會從本地感測器,如攝像頭中採集大量本地數據,經由 AR 處理器計算處理,通過高通的 FastConnect 7800(WiFi 7 晶元)傳輸到搭載驍龍 8 Gen 2 的旗艦手機中。再由驍龍 8 Gen 2 進行畫面渲染,並經過編碼和壓縮,回傳至 AR 眼鏡解碼,最後經過重投影引擎並顯示在 AR 眼鏡的屏幕上。


高通宣稱整個完整過程的延遲將小於:9ms


高速低延遲的無線連接,已經可以讓手機分擔 AR 眼鏡部分場景的算力需求了。當然,9ms 的延遲還遠遠無法滿足所有場景。高通指出,有些對延遲極為敏感的任務會直接在 AR 處理器上處理完成並顯示在 AR 眼鏡的屏幕中,比如股票交易、多人在線遊戲等,其他更複雜的數據需求將被轉移到搭載驍龍處理器的智能手機、PC 等主機設備上。


不過,高通還是畫了一張更大的餅,或者說描繪了更大的可能。


手機,也是 AR 的主機


就在《Pokémon Go》推出的 2016 年,一段鯨魚在體育館高高躍起並落下的視頻衝擊了所有看過的觀眾。


圖/Magic Leap


當時 AR 行業尚處在高光時刻,微軟 HoloLens 帶來的震撼還沒有散去,AR 初創公司 Magic Leap 就帶著這段視頻和 Magic Leap One 再次激起了我們對 AR 的期待與興奮,不久後還拿到了谷歌阿里等投資者共計超 26 億美元的投資。


等到 2018 年首款 Magic Leap One 創作者版真正發售,首批到手的媒體發現 Magic Leap One 遠遠沒達到他們宣傳出的效果,缺點有視場角 FoV 小、亮度低、不夠清晰……但相比微軟 HoloLens,Magic Leap One 頭顯部分的重量只有前者的一半多一點——316g,到今年發售的 Magic Leap 2,更進一步減小到 248g,這很大程度上要歸功於外置處理器盒子——一個微型 PC 或者說異型手機,因為系統已經轉向 Android。


Magic Leap 2 的外置主機,搭載 Android 定製系統,圖/Magic Leap


但如果要面向消費級市場,這樣的設計也導致很難將 Magic Leap 帶到室外場景。高通的想法則是用高速低延遲的無線代替有線,用搭載驍龍旗艦處理器的手機作為「主機」,充分利用我們口袋裡的高性能計算平台。


甚至更進一步,高通希望在 2025 年後實現完全的分散式處理,將 AR 眼鏡的大部分算力需求分派給我們身邊的各種智能終端,包括智能手機、平板、筆記本電腦、智能手錶等。


事實上,普通用戶在使用中不會關注計算處理的終端,就像用 PC 時我們只會關注顯示器、鍵盤和滑鼠,用手機更是只關注那塊屏幕。算力在哪對用戶來說不重要,重要的是交互和顯示界面。

HoloLens 2,圖/微軟


算力的解放,不僅可以緩解 AR 眼鏡續航和體積的矛盾,光學顯示方案也會有更大的改進空間。而高通對驍龍 AR 晶元寄予的想法也是:「徹底改變頭戴式眼鏡的外形,並為現實世界/虛擬世界的組合開創一個空間計算體驗的新時代。」


誠然,即使是驍龍 AR2 Gen 1 距離高通描繪的「新時代」依然還很遠,核心是無線連接和分散式技術的突破,但高通確實在一步步接近。當前的分體式 AR 眼鏡幾乎都採用有線連接設計,只有在投屏這類簡單任務上支持無線,而高通在支持有線連接的階段就明白無線才是未來,並有計劃地推進 AR 眼鏡與手機的低延遲無線連接。


這當然也是整個 AR 行業的共識,AR 眼鏡最終都是要朝輕量化、小型化的方向演進。但不同的是,高通認為實現目標的技術路徑應該是分散式的多終端支持,而非在摩爾定律失效的背景下主動踏入「算力、續航和體積」的不可能三角。



題圖來自 Niantic。