「工程師的元宇宙」:NVIDIA深度學習技術讓2D像瞬間「起立」變3D

2021年04月27日20:19:07 科技 1931

快系好安全帶,你的平面汽車可以隨時出發!

GANverse3D 由多倫多的 NVIDIA AI 研究實驗室開發,作為 NVIDIA Omniverse 平台的擴展應用,它能將平面圖像轉換成逼真的 3D 模型,並將其可視化地呈現在虛擬空間中,供人們自由操控。

GANverse3D已為美國電視劇《霹靂遊俠》 (Knight Rider) 中的 AI 汽車基特 (KITT) 注入新的靈魂。研究人員將汽車基特的平面圖像輸入到模型中,通過預測相應的 3D 紋理網格, GANverse3D 生成出了基特的 3D 模型,讓其在虛擬空間中行駛,並配有逼真的前燈、尾燈和轉向燈。

此外,NVIDIA Omniverse 套件和 NVIDIA PhysX 工具還可以將預測的紋理轉成高質量材料,使基特具有更加真實的外觀和「觸感」。

「工程師的元宇宙」:NVIDIA深度學習技術讓2D像瞬間「起立」變3D - 天天要聞

(來源:NVIDIA)


通過 GANverse3D ,即使沒有 3D 建模方面的知識,建築師、創作者、遊戲開發人員和設計師也能輕鬆地將平面設計轉換成立體模型,並能最大程度削減渲染方面的預算。

「警察抓小偷」式的學習模式

GANverse3D 的基礎原理是生成式對抗網絡(GAN, Generative Adversarial Networks )。

生成式對抗網絡是一種新近的深度學習模型,最早由伊安·好夥伴教授(Ian Goodfellow)於 2014 年提出,一經提出,學界對 GAN 的研究如火如荼。

GAN的框架包括至少兩個模塊:生成模型(Generative Model)和判別模型(Discriminative Model)。

好夥伴教授將其原理比作制假鈔的偽造者 (Generator) 和警察 (Discriminator) 之間的博弈。偽造者不斷更新技術製造以假亂真的鈔票,警察則需用更先進的技術甄別假鈔,兩人在對抗中不斷升級各自的技能。


因此,在 GAN 模型的訓練過程中,生成網絡 G(Generator,簡稱 G) 的任務就是要生成逼真的圖像欺騙判別網絡 D(Discriminator,簡稱 D),而 D 的目標是區分 G 生成的圖像和真實圖像。如此,G 和 D 便構成了一個動態「博弈過程」。最終,在理想情況下,G 能夠生成以假亂真的圖像成功混淆 D 的判斷。

在原始理論中, G 和 D 只要是能夠擬合相應模型的函數即可,並不要求二者都是神經網絡。但實際開發中人們多使用深度神經網絡作為 G 和 D 。一個優秀的 GAN 應用需要科學有效的訓練方法,否則神經網絡模型的自由性可能會導致輸出不理想。

NVIDIA 利用生成式對抗網絡形成訓練數據集。這就像攝影師繞着一輛停泊的汽車,從不同的角度拍攝以獲得多視角圖像一樣。這些多視角圖像最終會被放入逆向圖 (inverse graphics) 的渲染框架中,以此合成 3D 圖像。

逆向圖指是從 2D 圖像推斷 3D 網格模型的過程。以前的逆向圖模型依賴於 3D 圖形作為訓練數據,NVIDIA 的 GANverse3D 則是根據真實圖像進行訓練。NVIDIA 研究員 Jun Gao 表示,以真實圖像作為訓練基礎得到的AI模型,「能更好地推廣到現實世界中。」

在沒有 3D 要素的幫助下,「我們把 GAN 模型變成了一個非常高效的數據生成器,這樣我們就可以基於網絡上的任何 2D 圖像創建出 3D 對象。」NVIDIA 研究員 Wenzheng Chen 說。

有關 GAN verse3D 研究成果將在 5 月份的 ICLR 會議和 6 月份的 CVPR 會議上發表。


為工程師搭建元宇宙

英偉達 CEO 黃仁勛:「科幻小說中的元宇宙已經近了。」


眾多科技公司都在從元宇宙 (Metaverse) 概念中汲取靈感,英偉達也不例外,趁熱推出元宇宙的工程師版。

黃仁勛在 2021 GTC 大會上宣布,英偉達要推出 to B 端的實時協作仿真平台 Omniverse ——一個面向企業的虛擬工作平台。

英偉達早在去年 10 月推出 Omniverse 測試版,並在遊戲、建築等領域得到應用。寶馬、愛立信、沃爾沃、Adobe 等超過超過 17,000 名客戶體驗了測試版。

黃仁勛在此前的採訪中表示, Omniverse 能讓遊戲開發者輕鬆應對複雜的流水線工作,以此提升工作效率。在 Omniverse 平台上,動畫、紋理、燈光、幾何圖形等常規遊戲製作的流水線工程將能一舉打通鏈接。每個人都能看到他人在做什麼,並能做到「眼見為實」。

「工程師的元宇宙」:NVIDIA深度學習技術讓2D像瞬間「起立」變3D - 天天要聞

(來源:NVIDIA)

遊戲、架構和設計領域的創作者們高度依賴於虛擬世界,在產品完成之前,他們需要測試和可視化其原型。但僅是渲染一輛汽車、一條街道就需要捕獲成百上千的多視角圖像,期間會產生大量成本。因此並非每位創作者資源和精力將其繪製的圖像轉成 3D 模型。

基於此, NVIDIA 開發 GANverse3D 應用,可以迅速追蹤實時光線來創造一個真實的虛擬世界。

任何 2D 圖像都可以在 Omniverse 中轉換成可以自定義和製作動畫的 3D 圖形。

NVIDIA 深度學習工程師 Jean-Francois Lafleche 表示:「Omniverse 讓研究人員能夠將激動人心的前沿研究直接帶給創作者和最終用戶。作為 Omniverse 的擴展程序, GANverse3D 將幫助藝術家為遊戲開發、城市規劃甚至訓練新的機器學習模型創建更豐富的虛擬世界。」

科技分類資訊推薦

聯想 EA350 開放式真無線耳機開售:支持藍牙 5.4,首發 129 元 - 天天要聞

聯想 EA350 開放式真無線耳機開售:支持藍牙 5.4,首發 129 元

IT之家 6 月 9 日消息,日前,聯想 EA350 開放式真無線耳機在京東平台開售,原價 179 元,首發價 129 元。據介紹,這款新品耳機採用零感親膚材質,左右耳都有單獨的觸控按鍵,可隨意切歌、接聽掛斷電話、喚醒語音助手,支持閃連 5.4 技術。首次配對後,打開倉蓋自動開機,自動完成連接,拿起即可聆聽。該產品配備 13mm 動圈...
市場變化:蘋果份額25%下滑,國產品牌崛起時機已到? - 天天要聞

市場變化:蘋果份額25%下滑,國產品牌崛起時機已到?

文|斗戰聖魔歸來蘋果手機曬出真實遭遇,國產品牌「突飛猛進」時刻到了時間到了六月,如果要問手機市場到底朝着什麼樣的路線發展,那麼答案大概不可能偏離「同質化、跟風與模仿」這些關鍵詞不過正是在這些名詞之間,如果稍微細看一眼手機行業的目前最新的趨勢
Magic6大跳水跌至3856元,16+512G殺瘋了! - 天天要聞

Magic6大跳水跌至3856元,16+512G殺瘋了!

512GB頂配竟不到4000元一則榮耀Magic6大降價的消息在網上引起了熱議。沒錯,就是那款今年1月份剛上市,以極致性能和影像實力俘獲無數果粉的Magic6系列,僅僅過了短短五個月,就迎來了一次」from天價to白菜」的大跳水。
群體沉迷色情,全因馬斯克?評論區不忍直視,笑掉大牙 - 天天要聞

群體沉迷色情,全因馬斯克?評論區不忍直視,笑掉大牙

近日,一則新聞讓人感到吃驚,一個長期生活在亞馬遜雨林深處的原始部落沉浸在互聯網中,他們整天所痴迷的並不是求知,也不是直播,而是網絡色情!在這個部落里,互聯網成為了一種新興的稀罕物,因為在去年9月突然之間就聯網了,網絡讓這裡的人感到前所未有的
外媒評特斯拉上線百度地圖V20:緩解中國對數據安全擔憂 - 天天要聞

外媒評特斯拉上線百度地圖V20:緩解中國對數據安全擔憂

導讀:特斯拉最新版本OTA(空中下載技術)上線了城市車道級導航,同日百度地圖官宣V20車道級導航現已全球首發特斯拉。(文/鄧文靜 編輯/高莘)6月7日,特斯拉最新版本OTA(空中下載技術)上線了城市車道級導航,同日百度地圖官宣V20車道級導
最新消息!她已離職!曾凌晨發文道歉 - 天天要聞

最新消息!她已離職!曾凌晨發文道歉

本月初,百度副總裁璩靜在短視頻平台上發佈的幾條出鏡視頻引髮網友關注,特別是其提到「員工鬧分手提離職我秒批」等職場話題引髮網友質疑,一度登上微博熱搜。