文/VR陀螺 林德

上周,熱搜話題#英偉達發(fā)布會的黃仁勛是假的#,引起了大眾的的激烈討論。不管是不是知悉英偉達,或是其創(chuàng)始人黃仁勛的網(wǎng)友,無一不被報道中的CG技術(shù)所震驚。

簡單概括一下這件事,有媒體報道稱,英偉達在上周的SIGGRAPH 2021(計算機圖形學頂級年度會議)上發(fā)布的官方幕后紀錄片中,自曝了今年4月的英偉達發(fā)布會上發(fā)表演講的創(chuàng)始人老黃是“假的”,是數(shù)字人。

不過隨著事情的持續(xù)發(fā)酵,有網(wǎng)友開始質(zhì)疑這一消息的真假。

而后根據(jù)英偉達的澄清,我們得知,四月份的英偉達發(fā)布會上僅有約15秒的鏡頭是“虛擬老黃”,其余都是黃仁勛真人出境。

四月份英偉達發(fā)布會的黃仁勛

雖然只有短短15秒的“虛擬人老黃”,許多人還是被英偉達的CG渲染能力所震驚。真就“以假亂真”,字面意思!

借助8月12日發(fā)布的幕后紀錄片《Connecting in the Metaverse: The Making of the GTC Keynote》(在元宇宙中連接:GTC主題演講的制作),我們得以了解到一些這場“出圈”的發(fā)布會背后的制作故事。

在紀錄片的開頭,英偉達的工程師Rev說道,每年的GTC是一個展現(xiàn)英偉達工程師與團隊一年成果的絕佳場所。以往的GTC主題演講都是通過PPT制作演示過程向觀眾投影,而今年的GTC與先去的發(fā)布會不同的是,Rev和他的團隊是在英偉達的Omniverse平臺中來完成整個主題演講的創(chuàng)作與渲染。

簡單介紹一下,NVIDIA Omniverse是英偉達在2019年正式發(fā)布的一個計算機圖形與仿真模擬平臺,在USD(通用場景描述)的基礎(chǔ)上,通過Connector工具將不同軟件、工具整合在Omniverse中,能夠?qū)崿F(xiàn)實時協(xié)作、加速設(shè)計工作流程。

?

?

圖源:網(wǎng)絡

換句話說,Omniverse允許不同分工的人員在同一時間使用不同軟件、工具對同一部設(shè)計作品進行編輯處理,并且彼此之間可以實時看到處理進度和效果。這對3D工作者而言,Omniverse的出現(xiàn)帶來了極大的便利性。

15秒的虛擬“老黃”  英偉達費了多少工夫

從紀錄片中,我們了解到整個GTC主題演講發(fā)布會上的演示,是英偉達和一支小型藝術(shù)家團隊利用了NVIDIA Omniverse平臺上的各種渲染技術(shù),進行3D掃描、動態(tài)捕捉、AI合成、畫面渲染等制作而成的。

由于疫情的影響,GTC發(fā)布會無法像之前一樣與觀眾進行面對面交流,今年的GTC只好以線上發(fā)布會的形式召開。經(jīng)過一番討論,英偉達團隊將廚房主題定為了這次發(fā)布會的主題背景。 據(jù)了解,整個發(fā)布會的廚房布景為CG動畫效果。

為了創(chuàng)建黃仁勛家中廚房的3D數(shù)字孿生,團隊在黃仁勛的廚房里以從各個角度拍攝了數(shù)百張照片,通過3D建模軟件構(gòu)建一個粗略的模型,以作為增加建模細節(jié)和準確性的起點。

?

圖源:postperspective

廚房里的物件大概有6千到8千個,還有成千上萬個螺絲釘。可想而知,這個工作量是龐大的。 ?

?

此外,團隊還提到,他們在廚房里放了一個樂高版的黃仁勛和帶有英偉達發(fā)布的軟件產(chǎn)品TAO標志的橄欖油罐,作為本次發(fā)布會的彩蛋。

紀錄片中提到,除了對廚房進行虛擬化,黃仁勛還挑戰(zhàn)了“虛擬化自己”,這也就是我們上文說到的,15秒的虛擬黃仁勛。

為了實現(xiàn)這個任務,團隊駕駛著有數(shù)百個單反相機的大卡車到黃仁勛的家門口,完成第一步,即3D掃描。

為3D掃描拍攝了數(shù)千照片的黃仁勛

建模 在有了黃仁勛的模型之后,團隊的目標就是讓這個模型“活”過來,其中最為主要的兩個重點就是模型的面部表現(xiàn)和身體表現(xiàn)。

虛擬黃仁勛的面部表現(xiàn)是由英偉達的Audio2Face技術(shù)驅(qū)動,可以根據(jù)音頻來實現(xiàn)面部表現(xiàn)的自動化。

但上圖這個模型,在皮膚紋理、燈光等等方面還遠達不到“栩栩如生”的狀態(tài)。因此,英偉達的研究團隊通過一項名為Face Video to Video的技術(shù),將拍攝得到的黃仁勛照片映射到CG他自己的CG動畫版本上。

“這種技術(shù)使我們的CG模型達到一個令人信服的結(jié)果。”

合成

經(jīng)過龐大的工作量,英偉達團隊完成了背景和面部表現(xiàn),不過面部的生動表現(xiàn)僅僅是成功的一半。前文提到,還原老黃最重要的另一個部分是身體表現(xiàn)。

因此在身體表現(xiàn)的部分,英偉達研究團隊聘請了一位演員,讓他穿上動態(tài)捕捉裝備,并且記錄下該演員模仿黃仁勛演講的身體姿態(tài)。通過名為Audio to Gesture的技術(shù),使得演講的音頻作為身體動作表現(xiàn)的獨特傳輸驅(qū)動。

動捕

據(jù)悉,該團隊一共做了21個版本的“黃仁勛”。研究人員還表示,這21個版本的“黃仁勛”有著不同的性能,在拍板最后決定是使用哪一個時,他還感覺自己是進行選角活動,因為這些“黃仁勛”表現(xiàn)得都很不錯。

最后,再通過CG動畫渲染技術(shù),才得以實現(xiàn)短短15秒的虛擬“黃仁勛”演示。

渲染

“虛擬老黃”的演示不光騙過了大家,還幫助英偉達在SIGGRAPH 2021上獲得了“最佳展示獎”。

Omniverse更新:聯(lián)手Adobe和Blender 打通元宇宙創(chuàng)作全流程

幕后制作紀錄片中,研究人員也提到,Omniverse的想法是將現(xiàn)有的,做3D的各種工具連接在一起,以構(gòu)建Metaverse。為了滿足更多創(chuàng)作者的需求,通過AI簡化3D建模,使得3D建模變得更加容易,他們希望每個行業(yè)中,都有人在使用Omniverse平臺上的工具。

即使Metaverse現(xiàn)在僅僅處于概念階段,但這樣一來,不論是對真實世界的復刻,還是基于Omniverse創(chuàng)造一個完全逼真的3D環(huán)境,都將助力Metaverse的形成。

借助此次活動,英偉達的Omnivers平臺也得到了進一步進化升級,并宣布將聯(lián)手Adobe和Blender對Omniverse平臺進行重大擴展。

大家都聽說過的P圖軟件Photoshop和視頻剪輯軟件PR等都隸屬于Adobe,Blender則是一個開源的三維動畫工具。

Blender現(xiàn)在將支持通用場景描述(USD),使藝術(shù)家能夠訪問Omniverse生產(chǎn)管道。并且,英偉達還推出了實驗性的Blender alpha 3．0  USD,其中將包括更高級的USD和材料支持,據(jù)悉,將很快為Blender用戶提供此功能。

Adobe正在與NVIDIA合作開發(fā)Substance 3D插件,該插件將為Omniverse提供Substance材料支持,為Omniverse和Substance 3D用戶開啟新的材料編輯功能。

此外,英偉達還發(fā)布了一個新的Omniverse擴展,GANverse3D – Image2Car,它可以使AI 3D建模變得更加容易。GANverse3D基于一個在2D照片上進行訓練的生成模型,合成數(shù)千個對象的多視圖來預測3D幾何、紋理和零件分割標簽。

例如下圖,在生成的過程中,可以將汽車的單張照片轉(zhuǎn)變成在虛擬場景中的3D模型,并配置有逼真的前燈、閃光燈和車輪。

除新增擴展程序外,英偉達還對一些創(chuàng)意應用程序進行了更新,包括對已推出的August Studio驅(qū)動程序、Topaz Sharpen AI、Reallusion Character Creator以及Capture One 21。

英偉達Omniverse開發(fā)平臺副總裁Richard Kerris曾表示:"英偉達Omniverse通過使Metaverse的愿景成為現(xiàn)實來連接各個世界。根據(jù)開發(fā)者、合作伙伴和客戶的意見,我們正在推進這個革命性的平臺,以便從個人到大型企業(yè)中的每個人都能與他人合作,建立令人驚嘆的虛擬世界,并使其外觀、感覺和行為與物理世界一樣。"  

SIGGRAPH 2021  英偉達推出新顯卡RTX A2000

在上周二的SIGGRAPH 2021上,除了揭示了GTC發(fā)布會上的CG演示之外,英偉達還帶來了一些其他軟件及新硬件的更迭消息。

首先,是與Omniverse開發(fā)平臺全線打通的Topaz Sharpen AI v3．2版本發(fā)布。新版本改進了由RTX GPU和Tensor Cores加速的AI模型,增加了1．5倍的運動模糊功能,以進一步減少偽影。

通過實時處理蒙版筆畫和覆蓋顯示的自定義控件,改進了應用內(nèi)蒙版。

Reallusion Character Creator v4．43是第一個集成Audio2Face的第三方應用程序,現(xiàn)在允許創(chuàng)作者將角色從 Character Creator導出到 Omniverse 作為具有 Audio2Face 兼容的 USD 文件。通過允許面部和唇部動畫完全由語音輸入作為AI驅(qū)動,而不管語言如何,從而簡化了3D角色動畫的創(chuàng)作過程。

Capture One 21 v14．3．0更新添加了一個新的Magic Brush工具,可以在瞬間根據(jù)圖像內(nèi)容創(chuàng)建復雜的蒙版,用于圖層編輯,處理底層圖像。并且在這個過程中,與CPU相比,使用GPU時速度可提高至多3倍。

在硬件方面,英偉達宣布了新顯卡產(chǎn)品RTX A2000,一款低級別的、完全支持RTX的專業(yè)顯卡。據(jù)了解,RTX A2000是一個雙插槽、低矮式的顯卡,因此將適合2U服務器和較小的桌面機箱。此外,RTX A2000擁有3328個內(nèi)核,在處理能力和帶寬方面幾乎與Quadro P5000相當。不過,值得注意的是,RTX A2000的內(nèi)存僅有6GB。

從性能上來看,RTX A2000介于GeForce 3050TI和3060之間,應該可以滿足大多數(shù)UHD視頻編輯的需求。這款顯卡將于10月份開始供貨。

以上截圖均來源:英偉達