新智元報(bào)道

編輯：桃子 小咸魚(yú)

【新智元導(dǎo)讀】元宇宙這條路，又多了一個(gè)實(shí)力干將！近日，Unity斥資16.25億美元收購(gòu)了《阿凡達(dá)》、《復(fù)聯(lián)4》背后的視覺(jué)特效公司W(wǎng)eta Digital。

還記得復(fù)仇者聯(lián)盟4最終大戰(zhàn)那個(gè)恢弘的場(chǎng)面嗎？

又或是在阿凡達(dá)星球上的奇遇?

這些精彩的畫(huà)面，總是讓人非常好奇：如此嘆為觀止的震撼的視覺(jué)特效，究竟是出自誰(shuí)之手呢？

答案揭曉！

這些經(jīng)典電影背后強(qiáng)大的渲染技術(shù)正是來(lái)自曾6次獲得奧斯卡最佳視覺(jué)效果獎(jiǎng)，由著名導(dǎo)演Peter Jackson創(chuàng)建的Weta Digital（維塔數(shù)字）。

而就在11月9日，這家工作室被全球交互式實(shí)時(shí)3D（Real Time 3D，RT3D）內(nèi)容創(chuàng)作和運(yùn)營(yíng)平臺(tái)Unity出資16.25億美元收購(gòu)。

根據(jù)公告的說(shuō)法，本次收購(gòu)是為了將 Weta Digital 的獨(dú)家視覺(jué)特效（VFX）工具集成到Unity平臺(tái)，為實(shí)現(xiàn)新一代3D創(chuàng)意內(nèi)容和塑造「元宇宙」的未來(lái)提供幫助。

那么就是說(shuō)，未來(lái)Unity要在「元宇宙」這條路上大步流星。

二次元！會(huì)生氣賣(mài)萌的「真人老婆」

要建立元宇宙，打造數(shù)字人類(lèi)化身是最重要的核心難點(diǎn)之一。

但是，或許你無(wú)法想象，數(shù)字化身的逼真度目前已經(jīng)可以無(wú)限逼近人類(lèi)。

下面這位真人小姐姐便是由 Unity 用時(shí)2個(gè)月打造。

她會(huì)嘟嘴賣(mài)萌，也會(huì)緊皺眉頭生氣，如果有了她你還需要再捏造二次元老婆么。

前段時(shí)間，Unity技術(shù)開(kāi)放日上揭秘了數(shù)字人的部分制作流程，主要分為兩個(gè)主題，一個(gè)是渲染，一個(gè)是流程。

上面這個(gè)虛擬小姐姐的制作用到的就是人臉掃描+FACS表情編碼技術(shù)來(lái)進(jìn)行實(shí)時(shí)高清渲染。

虛擬人頭發(fā)渲染是通過(guò)機(jī)器掃描一位真人，之后再用Unity最近發(fā)布了全新的頭發(fā)系統(tǒng)進(jìn)行渲染。

在設(shè)置中可以將不同的配置進(jìn)行分組，每個(gè)配置文件都可以調(diào)細(xì)節(jié)。

Unity團(tuán)隊(duì)介紹道，「關(guān)于數(shù)字人臉部動(dòng)畫(huà)的制作，我們是用手機(jī)蘋(píng)果 ARKit 方法進(jìn)行面部表情捕捉的?！?/p>

關(guān)于面部表情捕捉，這其實(shí)是另外一項(xiàng)技術(shù)，需要搭配蘋(píng)果手機(jī)并使用 Face Cap 軟件，面部表情捕捉可以提供更高精度和細(xì)節(jié)的面部表情。

通過(guò)使用 FBX 文件導(dǎo)件，可以用左邊的白模把動(dòng)作移動(dòng)到角色上。

還有，數(shù)字人眼瞼的幾何形狀這一部分的制作并非易事。

由于在捕獲真人數(shù)據(jù)的過(guò)程中睫毛部分遮擋了眼瞼，數(shù)據(jù)難免存在噪音。

結(jié)果就會(huì)導(dǎo)致眼瞼的幾何形狀不準(zhǔn)確，這意味著必須找到一種方法來(lái)重建這些區(qū)域的幾何形狀。

Unity 可以將這些數(shù)據(jù)輸入系統(tǒng)，并使用差分網(wǎng)格處理技術(shù)（Differential Mesh Processing tech）進(jìn)行了特定區(qū)域的降噪和重建。

那么，Unity 如何通過(guò)技術(shù)來(lái)?yè)崞桨櫦y？

面部圖像中的特征在輸入序列中就存在遺漏的表面細(xì)節(jié)，比如皺紋和毛孔的拉伸。

為了處理這些細(xì)致的表面細(xì)節(jié)，Unity 將導(dǎo)入序列的幾何圖形與來(lái)自 Snappers Systems 的混合形狀基于面部的特征映射結(jié)合起來(lái)。

前后額部皺紋貼合

眼鏡著色部分是 Unity 通過(guò)眼睛著色器有效地將眼睛模擬為兩層，其中第一層用于描述角膜和表面的液體，第二層用于描述鞏膜和虹膜，通過(guò)第一層可見(jiàn)。

照明在兩層之間被分開(kāi)，鏡面照明是專(zhuān)門(mén)為頂層評(píng)估的，而漫射照明只是為底層評(píng)估的。

包括淚線(xiàn)這么一個(gè)微小細(xì)節(jié)也不能放過(guò)。

就那下面兩個(gè)對(duì)比圖來(lái)說(shuō)，左邊沒(méi)有淚線(xiàn)，右邊添加了淚線(xiàn)，并且進(jìn)行了陰影處理，哪個(gè)更真實(shí)也就不言而喻。

添加淚線(xiàn)前后對(duì)結(jié)果

Unity介紹自己的數(shù)字人生產(chǎn)全量流程包括了：4D真人掃描，高精度面部建模等等。

可能以后甚至不需要真人演員，用數(shù)字人就可以拍出一線(xiàn)大片，也不用考慮會(huì)有緋聞、合同等各種問(wèn)題。

對(duì)于Unity來(lái)說(shuō)，其自身還有一套HDRP高清渲染管線(xiàn)，這是專(zhuān)為高端硬件上的高畫(huà)質(zhì)渲染量身定制的工具，可以充分挖掘PC和主機(jī)的全部視覺(jué)保真度。

可以看到，用Unity HDRP可以打造出影視大片級(jí)的畫(huà)面。

Unity的渲染能力已經(jīng)可以傲視群雄了。

而這次收購(gòu)更是強(qiáng)強(qiáng)聯(lián)合，Unity將Weta Digital的技術(shù)整合到自己的平臺(tái)后，或許未來(lái)我們會(huì)在更多的游戲和元宇宙場(chǎng)景中看到這兩家公司帶來(lái)的呈現(xiàn)效果。

那么，Weta Digital 能夠?yàn)閁nity帶來(lái)什么樣的技術(shù)呢？

Unity+Weta Digital，如虎添翼

Weta Digital成立于1993年，成立多年來(lái)一直是視覺(jué)特效（VFX）設(shè)計(jì)領(lǐng)域的前沿創(chuàng)新者之一。

截至2017年，Weta Digital 已經(jīng)獲得了6項(xiàng)奧斯卡最佳視覺(jué)效果獎(jiǎng)，其中就包括《指環(huán)王：指環(huán)王：護(hù)戒使者》(2001)、《指環(huán)王：雙塔》(2002)、《指環(huán)王：王者歸來(lái)》(2003)、《金剛》(2005)、《阿凡達(dá)》(2009) 和《叢林王子》(2016)。

「Weta Digital的技術(shù)代表了有史以來(lái)最完整的三維創(chuàng)建、模擬和渲染工具鏈。Peter Jackson和Weta Digital整個(gè)團(tuán)隊(duì)的才華對(duì)Unity公司的所有人來(lái)說(shuō)都是難以置信的鼓舞。」

Weta Digital 15年的深度研發(fā)，帶來(lái)了數(shù)十種行業(yè)領(lǐng)先的工具，如Manuka、Gazebo、Barbershop、Lumberjack、Loki、Squid、Koru等，這些工具都無(wú)縫集成到了Weta Digital的生產(chǎn)流水線(xiàn)中。

這些工具是獲獎(jiǎng)電視和電影的基礎(chǔ)，如《阿凡達(dá)》、《黑寡婦》、《權(quán)力的游戲》、《指環(huán)王》、《猩球崛起》、《神奇女俠》、《X特遣隊(duì)》等等。

Weta Digital的視覺(jué)特效（VFX）工具在動(dòng)作捕捉、表演捕捉和CGI技術(shù)上頗有建樹(shù)。

為了完美捕捉演員面部細(xì)節(jié)，技術(shù)人員會(huì)先使用Koru，一個(gè)先進(jìn)的木偶操縱系統(tǒng)，可以捕捉多角色的表演并且支持高性能動(dòng)畫(huà)、布料模擬和類(lèi)似應(yīng)用。

在創(chuàng)建好木偶后，需要用演員的牙齒和牙齦的模具建立面部肌肉系統(tǒng)，完成面部表情人偶（數(shù)字替身），用來(lái)建立表情庫(kù)。

這時(shí)就用到了Facial Tech。Facial Tech提供了高級(jí)面部捕捉和操作工作流，并且使用機(jī)器學(xué)習(xí)來(lái)支持面部肌肉的直接操作，可以將演員面部捕捉轉(zhuǎn)移到目標(biāo)人偶模型上。

然后，還要再建立一個(gè)合適的臉部表面，包括肌肉上面的脂肪組織、表面的皮膚層等等。

Tissue工具可以讓藝術(shù)家和動(dòng)畫(huà)師能夠創(chuàng)建生物學(xué)上精確的解剖角色模型，精確地表示肌肉和皮膚的行為，并將生成的角色轉(zhuǎn)移到模擬工具中。

精細(xì)的頭發(fā)渲染也是一大難題。

Weta Digital的視覺(jué)特效（VFX）工具中有一套頭發(fā)和毛皮工具：Barbershop，支持從生長(zhǎng)到梳理的整個(gè)工作流程。

藝術(shù)家可以使用程序工具和藝術(shù)家指導(dǎo)工具的組合來(lái)生長(zhǎng)頭發(fā)和毛發(fā)，調(diào)整生長(zhǎng)模式，并修飾最終模型，高級(jí)的程序工具甚至還支持編發(fā)之類(lèi)的概念。而且生成的模型是實(shí)時(shí)模擬的，可以提供由運(yùn)動(dòng)和風(fēng)產(chǎn)生的真實(shí)動(dòng)態(tài)。

最終，通過(guò)這樣一步一步的建模，就可以塑造一個(gè)有血有肉的人物形象。

值得一提的是，將面部捕捉投影到動(dòng)作捕捉木偶上這一過(guò)程是可以實(shí)時(shí)觀看的，計(jì)算機(jī)生成的內(nèi)容和現(xiàn)場(chǎng)攝像機(jī)輸入也支持現(xiàn)場(chǎng)混合進(jìn)行現(xiàn)場(chǎng)觀看。

除了這些工具外，Unity此次收購(gòu)Weta Digital，還將從Weta Digital那里拿到成千上萬(wàn)的素材庫(kù)庫(kù)，其中包括城市和自然環(huán)境、動(dòng)植物、人類(lèi)、人造物體、材料、紋理等。

WetaFX團(tuán)隊(duì)將繼續(xù)進(jìn)行電影和電視的視覺(jué)特效制作，并在未來(lái)幾年繼續(xù)為這個(gè)資源庫(kù)提供素材。

而Unity的目標(biāo)是將這些工具變成云支持的，并確保它們能夠輕松地集成在目前的工作流和Unity引擎中。這樣就可以將世界級(jí)的視覺(jué)特效工具交到全球數(shù)百萬(wàn)創(chuàng)作者和藝術(shù)家的手中，讓下一代實(shí)時(shí)3D（Real Time 3D，RT3D）發(fā)揮創(chuàng)造力，從而塑造元宇宙的未來(lái)。

「Weta Digital的工具為我們創(chuàng)造了無(wú)限的可能性，讓原本生活在我們想象中的世界和生物栩栩如生，」仍然擔(dān)任Weta Digital董事長(zhǎng)的彼得·杰克遜說(shuō)。

「Unity和Weta Digital可以共同為任何行業(yè)的任何藝術(shù)家創(chuàng)造一條道路，讓他們能夠利用這些極具創(chuàng)造力的工具，這無(wú)異于改變游戲規(guī)則，Unity正是將這一愿景變?yōu)楝F(xiàn)實(shí)的公司?！?/p>

關(guān)鍵詞： unity 面部 工具 宇宙 阿凡達(dá) 老婆 神奇女俠 猩球崛起 黑寡婦