NVIDIA Omniverse：引領 AI 和元宇宙的未來

不久前的 cadencelive silicon valley 2024 大會上，黃仁勛曾公開表示，ai 將為數據中心、機器人和自動駕駛、生命科學三大領域帶來革命性顛覆。人型機器人降至1萬至2萬美元將是未來必定的趨勢，因為全球科技企業都在加大該方面的投入，包括 nvidia 也成立了機器人實驗室。

“我們需要一個模擬引擎，以數字的方式為機器人呈現世界，這樣機器人就有了一個學習如何成為機器人的‘健身房’，我們稱這個虛擬世界為 omniverse。”

誰不想擁有一台價格更低的人型機器人呢？在擁有機器人之前，或許可以先擁有它的“健身房”。

無處不在的 omniverse

與其說整個科技圈離不開 nvidia ，不如說 nvidia 的布局太前瞻。

早在元宇宙概念走進大眾視野之前，nvidia 就已經着手於相關技術的開發及儲備。在深刻洞察各個行業對於虛擬世界和數字孿生的需求後，nvidia 對此進行了針對性研發，推出了 omniverse 平台。在其不斷迭代自身解決方案的同時，眾多大型企業紛紛通過 omniverse 構建了自己的數字孿生或工業元宇宙。

omniverse 不是一個工具，而是一個技術平台——可以開發、部署基於物理模擬的工業數字化應用平台。大多用戶可能已經習慣了使用他們熟悉的 isv ，或是已經適應了某一套生態系統，omniverse 則可以集成並增強這些工具的功能，並把已有的工具、數字資產連接到全世界最大規模的設計和模擬行業的生態系統中去。   

眾所周知，nvidia 是 gpu 的發明者，也是專業視覺可視化領域的行業領袖。nvidia 可以利用其 gpu 做高階像素渲染、頂點渲染，不僅支持10k的光線追蹤，還能做基於物理規則的仿真模擬。將所有數字資產的連接、管理，以及高階的圖形性能和 ai 技術融合在一起，就是 omniverse 平台。

自2019年誕生至今，五年間 omniverse 迭代了多個版本，帶來了眾多全新功能，覆蓋了各行各業的使用場景，包括汽車、製造、媒體、影視、建築、能源、科學運算、仿真等。

用 nvidia 自己的話說：“ omniverse is everywhere！”

為什麼 ai 離不開 omniverse ？

生成式 ai 部署的劇增正在推動各行業的數字化變革，自動駕駛汽車、人形機器人、智能倉儲、大規模智慧城市等的工作流程也將被徹底改變。omniverse 基於 ai 的仿真工作流的訓練模擬，以及之後階段的部署，也將迎來全新加速。

1、ai 訓練環境的部署對於應用有哪些要求？

首先，最重要的是效率。效率決定一切，訓練得慢，你的產品就比別人慢，產品只是“可用”或“一般可用”，甚至運行得比別人慢，那麼還沒等你的產品出來，別人的很可能早已佔領了市場。而訓練和部署的效率完全取決於算力，算力最終對應的是 gpu 的供給。

其次，是高保真。高保真的意義在於渲染精度、模型精度、訓練精度。不同的數字資產對於精度有着不同要求。比如面對c端的應用或c端模型，做瀑布流、做推薦系統，對渲染精度的要求就沒那麼高。基於不同用戶對精度的要求，用雙進度去渲染、訓練、計算模型，提供不同的解決方案。

第三，要渲染到用戶的終端顯示設備上去。omniverse 提供了專業、可視化、協同工作的解決方案，最後渲染出的結果畫質要好、要符合物理定律、要有光線追蹤，而這些，最終還是要落到 gpu 算力上去。

2、仿真是提升安全水平的關鍵

一直以來，開發者們都是使用現實世界的數據進行訓練、測試和驗證。但如遇到罕見場景或無法在現實世界中獲取的數據，該方法就存在局限性。傳感器仿真則提供了有效測試無數“假設”場景和各種環境條件的完美解決方式，不僅簡化了開發流程、提高了效率，還降低了開發自主機器的門檻。

仿真對於自主系統的訓練、測試和部署至關重要，而要實現現實世界級的仿真度難度極高，需要對自主系統傳感器和周圍環境的物理特性及行為進行精確建模。

omniverse 可以通過高保真以及符合物理規則的傳感器仿真實現全棧訓練和測試工作，讓開發者能夠更好地理解和預測自主系統在現實世界中的表現，就如同給自動駕駛汽車、機器人裝上了一個超級大腦，讓它們在現實世界中的表現更加出色、安全。

此外，omniverse 在 ai 領域的應用還體現在其對數據的高效處理和分析能力上。通過集成ai算法，omniverse 能夠對大量的模擬數據進行深度學習，從而優化產品設計、提高生產效率、預測維護需求等。

omniverse cloud api：

數字孿生的新篇章

2022年，omniverse cloud 發布；2024 gtc 上，五款全新 omniverse cloud api 發布，藉助 omniverse cloud api ，開發者們可以輕鬆地將 omniverse 的核心技術直接集成到現有的數字孿生設計與自動化軟件應用中，以及用於測試和驗證機器人或自動駕駛汽車等自主機器的仿真工作流中。

黃仁勛說：“遠程工作的設計師可以像在同一個工作室中一樣協作；工廠規劃人員可以在真實工廠的數字孿生中設計新的生產流程；在將自動駕駛汽車的新軟件發布到車隊之前，軟件工程師可以基於數字孿生模型進行測試。新一波只能在虛擬世界中完成的工作即將到來。omniverse cloud 將連接數千萬設計師和創作者，以及數十億未來 ai 和機器人系統。”

omniverse cloud api 有多強大？做 3d 建模應用程序的開發人員和編程人員，可能不太懂大模型或生成式 ai，但現在，只需調用已經準備好的 api 幫助執行就好，甚至可以用大模型的方式，僅需輸入一些數據，omniverse cloud 就可以響應。無需具備專業知識，也不再需要請專業技術人員完成某專業工作，而是利用 ai 去理解、完成需求。由此大大降低了企業的開發門檻，提升效率的同時也節約了成本。

omniverse cloud api 可以設計、模擬、構建和運行符合物理規則的數字孿生，不僅加速了產品開發周期，還提高了產品設計的精確性和可靠性。ansys、cadence、達索系統旗下 3dexcite、hexagon、微軟、羅克韋爾自動化、西門子和 trimble 等全球大型工業軟件製造商都已將 omniverse cloud api 加入其軟件組合中。

當 nvidia omniverse 

遇上 apple vision pro

此前 gtc 上的驚喜之一，便是 nvidia 與 apple 兩大巨頭的強強聯手—— omniverse 登錄 apple vision pro：一個物理精確的汽車數字孿生，被全保真地傳輸到  apple vision pro 的高分辨率顯示器上，設計師可以在 mr 中，實時、沉浸地操作高保真、複雜的 3d 模型，從而更好地優化產品設計。

實現這一技術的難度其實非常大。要知道移動設備的算力是有限的，如果用移動設備本身進行運算，是無法得到理想的高保真渲染結果的，無論精度、延遲，或是符合物理定律，這些都是巨大的挑戰。所以必須結合遠端算力和邊緣算力，以及用流媒體的方式去呈現。而 nvidia omniverse 強大的空間計算能力，能夠實現沉浸式體驗，以及人、產品、流程與物理空間之間的無縫互動。將 apple vision pro 突破性的高分辨率顯示屏與 nvidia 的 rtx 雲渲染技術相結合，只需設備和網絡連接便可提供空間計算體驗。

為什麼高精度、低延遲、符合物理定律的全保真很重要？因為用 mr 設備查看內容時，如果頭的轉動跟畫面同步不匹配的話，就像人坐車時，眼睛看到的和運動感知的交感神經系統不匹配，就會暈。如果 mr 設備算得不夠快、延遲不夠低，佩戴者就可能會頭暈，甚至噁心、想吐。所以全保真不僅要保證用戶看到的畫面細膩、逼真、分辨率高，同時雲、光影、火焰、粒子、空氣、動力等一切元素都要符合自然界的真實規律進行物理模擬，還要能夠在 mr 設備上呈現出來。這就是全保真，也就是數字孿生。

能夠在 apple vision pro 中實現全保真傳輸，有效減輕頭暈等不適，3d 工作流尤其是工業數字孿生工作流還被遊戲化了，相信會激發出越來越多年輕藝術家、設計師的靈感。

蘋果視覺產品部門副總裁 mike rockwell 就表示：“通過將 apple vision pro 突破性的超高分辨率顯示屏與來自 nvidia 加速計算流式傳輸的 openusd 內容的逼真渲染相結合，能夠為沉浸式體驗帶來巨大的發展機遇。空間計算將重新定義設計師和開發者創造迷人數字內容的方式，推動創意與互動新時代的到來。”

nvidia x 西門子 

共同打造工業元宇宙

gtc 上還有一個演示讓人眼前一亮，就是 nvidia 和西門子的合作案例。這段不禁讓人聯想到《三體》中“古箏行動”的“審判日”號巨輪。當然，omniverse 在影視製作及媒體領域的應用更為廣泛，虛擬製片早就可以以假亂真，如今有了 ai 的加持，omniverse 能夠做出更逼真的渲染和更為豐富的細節，為觀眾帶來更為震撼的影視效果。

黃仁勛表示：“ omniverse 和生成式ai都是將價值高達50萬億美元的重工業市場進行數字化所需的基礎技術。”這個50萬億美元的巨大市場已然成為用軟件重新定義的市場。眾多行業巨頭正利用數字孿生來設計、模擬、構建、運營以及優化他們的資產及工作流程。

加速計算、生成式 ai、基於 usd 的跨節點、跨地點的實時在線協同系統、基於 rtx 的高階渲染系統……將這些 nvidia 的“看家本領”全部融合在一起，再從雲端調用 api ，便可以更快、更好地加速工作流。

西門子是工業自動化軟件基礎設施、建築技術和交通領域的領先者，結合 nvidia 在加速圖形和人工智能領域的成果，將為用戶帶來生產和產品全生命周期的效率、生產力以及流程等優化提升。目前，西門子已在其 xcelerator 平台使用 omniverse cloud api，最先接入的是雲端產品生命周期管理軟件 teamcenter x ，將複雜的工業數據集進行統一和可視化，將數字世界和物理世界相結合。

早在2022年，nvidia 便宣布進一步拓展和西門子的合作夥伴關係，將西門子的 xcelerator 和 nvidia的omniverse 平台連接起來，共同打造工業元宇宙。

西門子總裁兼首席執行官 roland busch 表示：“通過 nvidia omniverse api，西門子能夠利用生成式 ai 賦能客戶，使其符合物理學的數字孿生變得更具沉浸感。這將幫助所有人在實際建造前，對下一代產品、製造流程和工廠進行虛擬設計、建造和測試。通過將現實世界與數字世界相結合，西門子數字孿生技術正在幫助全球企業提高競爭力、彈性和可持續發展能力。”

結語：

nvidia 表示，今年的主題是“讓 omniverse 的應用落地”，而 omniverse 在全球範圍內的三大應用方向分別是：數字化孿生工廠、產品設計和基於產品設計的配置系統。

此外，nvidia 不僅是研發者，它本身也是整個行業基於 ai 加速和 omniverse 仿真物理孿生的受益者，如果沒有 omniverse ，沒有 omniverse api ，沒有合作夥伴的技術支持，nvidia 也不可能如此迅速地構建好大型數據中心系統。

隨着大模型的迅猛發展，相信在 ai 加持下的 omniverse 很快將給世界帶來更多驚喜，也將繼續引領元宇宙和生成式 ai 的未來。