「工程師的元宇宙」:NVIDIA深度學習技術讓2D像瞬間「起立」變3D

2021年04月27日20:19:07 科技 1931

快系好安全帶,你的平面汽車可以隨時出發!

GANverse3D 由多倫多的 NVIDIA AI 研究實驗室開發,作為 NVIDIA Omniverse 平台的擴展應用,它能將平面圖像轉換成逼真的 3D 模型,並將其可視化地呈現在虛擬空間中,供人們自由操控。

GANverse3D已為美國電視劇《霹靂遊俠》 (Knight Rider) 中的 AI 汽車基特 (KITT) 注入新的靈魂。研究人員將汽車基特的平面圖像輸入到模型中,通過預測相應的 3D 紋理網格, GANverse3D 生成出了基特的 3D 模型,讓其在虛擬空間中行駛,並配有逼真的前燈、尾燈和轉向燈。

此外,NVIDIA Omniverse 套件和 NVIDIA PhysX 工具還可以將預測的紋理轉成高質量材料,使基特具有更加真實的外觀和「觸感」。

「工程師的元宇宙」:NVIDIA深度學習技術讓2D像瞬間「起立」變3D - 天天要聞

(來源:NVIDIA)


通過 GANverse3D ,即使沒有 3D 建模方面的知識,建築師、創作者、遊戲開發人員和設計師也能輕鬆地將平面設計轉換成立體模型,並能最大程度削減渲染方面的預算。

「警察抓小偷」式的學習模式

GANverse3D 的基礎原理是生成式對抗網絡(GAN, Generative Adversarial Networks )。

生成式對抗網絡是一種新近的深度學習模型,最早由伊安·好夥伴教授(Ian Goodfellow)於 2014 年提出,一經提出,學界對 GAN 的研究如火如荼。

GAN的框架包括至少兩個模塊:生成模型(Generative Model)和判別模型(Discriminative Model)。

好夥伴教授將其原理比作制假鈔的偽造者 (Generator) 和警察 (Discriminator) 之間的博弈。偽造者不斷更新技術製造以假亂真的鈔票,警察則需用更先進的技術甄別假鈔,兩人在對抗中不斷升級各自的技能。


因此,在 GAN 模型的訓練過程中,生成網絡 G(Generator,簡稱 G) 的任務就是要生成逼真的圖像欺騙判別網絡 D(Discriminator,簡稱 D),而 D 的目標是區分 G 生成的圖像和真實圖像。如此,G 和 D 便構成了一個動態「博弈過程」。最終,在理想情況下,G 能夠生成以假亂真的圖像成功混淆 D 的判斷。

在原始理論中, G 和 D 只要是能夠擬合相應模型的函數即可,並不要求二者都是神經網絡。但實際開發中人們多使用深度神經網絡作為 G 和 D 。一個優秀的 GAN 應用需要科學有效的訓練方法,否則神經網絡模型的自由性可能會導致輸出不理想。

NVIDIA 利用生成式對抗網絡形成訓練數據集。這就像攝影師繞着一輛停泊的汽車,從不同的角度拍攝以獲得多視角圖像一樣。這些多視角圖像最終會被放入逆向圖 (inverse graphics) 的渲染框架中,以此合成 3D 圖像。

逆向圖指是從 2D 圖像推斷 3D 網格模型的過程。以前的逆向圖模型依賴於 3D 圖形作為訓練數據,NVIDIA 的 GANverse3D 則是根據真實圖像進行訓練。NVIDIA 研究員 Jun Gao 表示,以真實圖像作為訓練基礎得到的AI模型,「能更好地推廣到現實世界中。」

在沒有 3D 要素的幫助下,「我們把 GAN 模型變成了一個非常高效的數據生成器,這樣我們就可以基於網絡上的任何 2D 圖像創建出 3D 對象。」NVIDIA 研究員 Wenzheng Chen 說。

有關 GAN verse3D 研究成果將在 5 月份的 ICLR 會議和 6 月份的 CVPR 會議上發表。


為工程師搭建元宇宙

英偉達 CEO 黃仁勛:「科幻小說中的元宇宙已經近了。」


眾多科技公司都在從元宇宙 (Metaverse) 概念中汲取靈感,英偉達也不例外,趁熱推出元宇宙的工程師版。

黃仁勛在 2021 GTC 大會上宣布,英偉達要推出 to B 端的實時協作仿真平台 Omniverse ——一個面向企業的虛擬工作平台。

英偉達早在去年 10 月推出 Omniverse 測試版,並在遊戲、建築等領域得到應用。寶馬、愛立信、沃爾沃、Adobe 等超過超過 17,000 名客戶體驗了測試版。

黃仁勛在此前的採訪中表示, Omniverse 能讓遊戲開發者輕鬆應對複雜的流水線工作,以此提升工作效率。在 Omniverse 平台上,動畫、紋理、燈光、幾何圖形等常規遊戲製作的流水線工程將能一舉打通鏈接。每個人都能看到他人在做什麼,並能做到「眼見為實」。

「工程師的元宇宙」:NVIDIA深度學習技術讓2D像瞬間「起立」變3D - 天天要聞

(來源:NVIDIA)

遊戲、架構和設計領域的創作者們高度依賴於虛擬世界,在產品完成之前,他們需要測試和可視化其原型。但僅是渲染一輛汽車、一條街道就需要捕獲成百上千的多視角圖像,期間會產生大量成本。因此並非每位創作者資源和精力將其繪製的圖像轉成 3D 模型。

基於此, NVIDIA 開發 GANverse3D 應用,可以迅速追蹤實時光線來創造一個真實的虛擬世界。

任何 2D 圖像都可以在 Omniverse 中轉換成可以自定義和製作動畫的 3D 圖形。

NVIDIA 深度學習工程師 Jean-Francois Lafleche 表示:「Omniverse 讓研究人員能夠將激動人心的前沿研究直接帶給創作者和最終用戶。作為 Omniverse 的擴展程序, GANverse3D 將幫助藝術家為遊戲開發、城市規劃甚至訓練新的機器學習模型創建更豐富的虛擬世界。」

科技分類資訊推薦

摩爾線程GPU加速超圖軟件三維GIS SuperMap!全國產 流暢穩定 - 天天要聞

摩爾線程GPU加速超圖軟件三維GIS SuperMap!全國產 流暢穩定

快科技6月27日消息,在北京舉辦的2024空間智能軟件技術大會上,國產GPU領頭羊摩爾線程展示了基於國產空間智能軟件技術SuperMap開發的最新成果——摩爾線程全功能GPU加速三維GIS全國產解決方案。此方案中,在摩爾線程國產MTT S系列GPU的算力支持下,超圖軟件的SuperMap三維GIS可以流暢、穩定地運行在全國產環境中。SuperMap...
維修更自由:蘋果宣布將增強 iPhone 對第三方顯示屏和電池的支持 - 天天要聞

維修更自由:蘋果宣布將增強 iPhone 對第三方顯示屏和電池的支持

IT之家 6 月 26 日消息,蘋果今天發佈了一份白皮書,概述了公司在設備可維修性和耐用性方面的政策。蘋果在其中透露,iPhone 將在 2024 年晚些時候「更好地支持第三方顯示屏和電池」。首先,蘋果表示今年晚些時候 True Tone 功能將兼容第三方 iPhone 顯示屏:True Tone 功能需要通過校準才能正常工作,由於無法為第三方顯示...
支付寶怎麼關閉自動充值話費?手把手教你! - 天天要聞

支付寶怎麼關閉自動充值話費?手把手教你!

雖然在支付寶開通自動充值話費能保證手機不因欠費而停機,但是有很多人表示會產生莫名扣費,甚至有人出現兩次扣費的情況,想要關閉卻找不到入口了。那該怎麼辦呢?今天的視頻一定能幫到您,感興趣的朋友一起來看看吧。
機械革命極光X遊戲本細節公布 - 天天要聞

機械革命極光X遊戲本細節公布

IT之家 6 月 26 日消息,機械革命旗下主打高性價比的極光系列官宣迎來一位新成員 —— 極光 X 遊戲本,該遊戲本將採用全新的模具,至高可選擇酷睿 i7-14650HX 處理器搭配 GeForce RTX 4070 顯卡。
賽力斯怎麼抱上華為大腿的 博主:張興海讓CTO親自送車上門給余承東試車 - 天天要聞

賽力斯怎麼抱上華為大腿的 博主:張興海讓CTO親自送車上門給余承東試車

快科技6月26日消息,誰能想到,數年前還籍籍無名的東風小康,抱上華為大腿,更名賽力斯後,股價一飛衝天,市值一度超過1500億元,成為中國造車新勢力中的龍頭品牌。而賽力斯之所以能和華為搭上線,這期間還有一段往年秘事,日前,有博主發視頻,將賽力斯和華為合作的初始淵源,給網友講述了出來。據博主介紹,2020年底時,...
湖北電信天地一體「潮科技」,築牢防汛安全「堤壩」 - 天天要聞

湖北電信天地一體「潮科技」,築牢防汛安全「堤壩」

極目新聞記者 蘭莎通訊員 許國勝 蔡源源6月18日,湖北入梅,梅雨期雨水集中、強度大、致災風險高,湖北省防辦已要求全省各地全力做好「防淹」「防災」「防險」工作。近日,極目新聞記者走訪中國電信湖北公司,現場觀看多重保障基站搭建、「衛星通信」、無人機等新型防汛通信裝備演練。現場體驗5G-A、人工智能、手機直連衛星...
純電續航318km 2025款嵐圖FREE 318評測解析 - 天天要聞

純電續航318km 2025款嵐圖FREE 318評測解析

在剛過去的5月,嵐圖汽車累計交付新車4521輛,同比增長51%;1-5月累計交付新車24869輛,同比增長107%,銷量穩定攀升。作為嵐圖汽車旗下的暢銷中大型SUV,嵐圖FREE近期帶來了它的全新版本——2025款嵐圖FREE 318,這款車擁有318km純電續航,是混動SUV純電續航最長的車型,綜合續航達到1458km,連跨2、3個省市的長途自駕游也...
何俊聰有新職!曾任東莞市麻涌鎮鎮長 - 天天要聞

何俊聰有新職!曾任東莞市麻涌鎮鎮長

6月26日上午,東莞市十七屆人大常委會第二十二次會議召開,表決通過人事任免事項;其中,任命何俊聰為東莞市信訪局局長,免去趙胤的東莞市信訪局局長職務。何俊聰。
中國國家版本館第二批版本捐贈入藏大會舉行,萬方數據知識服務平台入藏 - 天天要聞

中國國家版本館第二批版本捐贈入藏大會舉行,萬方數據知識服務平台入藏

近日,中國國家版本館第二批版本捐贈入藏大會暨「文瀚聚珍」精品版本展在京舉行。本次捐贈包括來自全國有關公藏單位和民間藏家捐贈的1.5萬餘冊/件實物版本和131TB數字版本,呈現歷史文化價值高、版本地域廣泛、數字內容豐富的特點。作為捐贈代表企業,北京萬方數據股份有限公司總經理梁冰出席會議並在捐贈儀式上發言。他表...
OpenAI宣布斷供,國產大模型來「平替」? - 天天要聞

OpenAI宣布斷供,國產大模型來「平替」?

撰文 | 李信馬題圖 | TechRadar不久前,在 ChatGPT 「崩了」的時候,有中國網友自嘲道,發現登不上賬號,都會先卑微地反省下是不是自己的問題,直到 OpenAI 官方發了通知,才確定是對方的問題。而今,情況變得更嚴峻了。