見過用 GAN 來 P 圖，見過用 GAN P 視頻嗎？瞧，原本一直在面無表情地講話的人，全程露出了微笑；原本得 4、50 歲的人，直接變 20 幾歲了：

另一邊，正在微笑唱歌的“赫敏”一下子憤怒起來，還能換上一張幾歲小孩的臉：

美國前總統(tǒng)也如此，4 種版本的面部狀態(tài)信手拈來，甚至連性別都給 P 成女的了：

不管人臉表情和狀態(tài)如何變化，這些視頻都沒有給人任何違和感，全程如此的絲滑～哦對(duì)，除了真人，動(dòng)漫視頻里的臉也可以 P：

有點(diǎn)厲害了。

基于 GAN 的視頻面部編輯

這個(gè)模型出自以色列特拉維夫大學(xué)。

眾所周知，GAN 在其潛空間內(nèi)編碼豐富語義的能力，已經(jīng)被廣泛用于人臉編輯。不過將它用在視頻中還是有點(diǎn)挑戰(zhàn)性：一個(gè)是缺乏高質(zhì)量數(shù)據(jù)集，一個(gè)是需要克服時(shí)間一致性 （temporal coherency）這一基本障礙。

不過研究人員認(rèn)為，第二點(diǎn)這個(gè)障礙主要是人為的。因?yàn)樵曨l本具備時(shí)間一致性，編輯后的視頻卻變了，部分原因就是在 editing pipeline 中對(duì)一些組件（component）處理不當(dāng)。而他們提出的這個(gè)視頻人臉語義編輯框架，相對(duì)于當(dāng)前技術(shù)水平做出了重大改進(jìn)：只采用了標(biāo)準(zhǔn)的非時(shí)序 StyleGAN2，對(duì) GAN editing pipeline 中的不同組件進(jìn)行分析，確定哪些組件具備一致性，就用這些組件來操作。整個(gè)過程不涉及任何用來維持時(shí)間一致性的額外操作。具體流程一共分為六步：

1、輸入視頻首先被分割成幀，每幀中的人臉都被裁剪下來并對(duì)齊；

2、使用預(yù)訓(xùn)練的 e4e 編碼器，將每張已裁剪的人臉反演到預(yù)訓(xùn)練的 StyleGAN2 的潛空間中；

3、在所有并行幀中使用 PTI（最新提出的一種視頻人臉編輯方法）對(duì)生成器進(jìn)行微調(diào)，糾正初始反演中的錯(cuò)誤，恢復(fù)全局一致性；

4、所有幀通過使用固定的方向和步長(zhǎng)，線性地操縱其軸心潛碼（pivot latent codes）進(jìn)行相應(yīng)編輯；

5、再次微調(diào)生成器，將背景和編輯過的人臉“縫合”在一起；

6、反轉(zhuǎn)對(duì)齊步驟，并將修改后的人臉粘貼回視頻中。

△ 注意頸部曾產(chǎn)生了大量瑕疵，在最后一步完全修復(fù)好

和 SOTA 模型對(duì)比

這個(gè)模型效果到底有多好，來個(gè)對(duì)比就知道：

第一個(gè)是變年輕、第二、三個(gè)都是變老?？梢悦黠@看到目前的 SOTA 模型（Latent Transformer）和 PTI 模型中的人臉會(huì)“抽巴”，并出現(xiàn)一些偽影，而這個(gè)新模型就避開了這些問題。

此外，研究人員還進(jìn)行了時(shí)間一致性測(cè)試。指標(biāo)包含兩個(gè)：

局部時(shí)間一致性（TL-ID），通過現(xiàn)成的一致性檢測(cè)網(wǎng)絡(luò)來評(píng)估相鄰兩幀之間的一致性。TL-ID 分?jǐn)?shù)越高，表明該方法產(chǎn)生的效果越平滑，沒有明顯的局部抖動(dòng)。

全局時(shí)間一致性（TG-ID），同樣使用一致性檢測(cè)網(wǎng)絡(luò)來評(píng)估所有可能的幀（不一定相鄰）之間的相似性。得分為 1 表示該方法成功保持了和原視頻的時(shí)間一致性。

結(jié)果如下：

可以看到，這個(gè)新模型在兩項(xiàng)指標(biāo)中都略勝一籌。

最后，代碼將于 2 月 14 號(hào)發(fā)布，感興趣的朋友可以蹲一蹲了～

論文地址：

https://arxiv.org/abs/2201.08361

項(xiàng)目主頁：

https://stitch-time.github.io/

關(guān)鍵詞： 一致性 人臉 模型 視頻 組件 編輯 生成器 gan 語義 全局