deepfakes超進化!反覆變臉行雲流水,完全沒有PS痕跡,推特10萬點贊_風聞
量子位-量子位官方账号-2019-08-19 15:11
魚羊 栗子 發自 凹非寺
量子位 報道 | 公眾號 QbitAI
Deepfakes要衝出天際了。
這裏有一段神奇的視頻 (被我裁成了動圖) ,請擦亮眼睛觀看。
因為講話的人類,中途從比爾·哈德,變成了施瓦辛格:
行雲流水。説不清什麼時候,已經換好了。
所以,如果有小夥伴沒看清,可以參考以下:
這是比爾·哈德。

這是施瓦辛格。
後來,施瓦辛格一轉頭,又變回了比爾·哈德,毫無拼接痕跡:

△ 比爾哈德口型矚目
由於真偽難辨,此處鄭重説明,比爾·哈德才是這集柯南秀 (原本請來的) 嘉賓。
上面的換臉成果展,是從高清視頻(1080p) 裏截來的,視頻出自一個名叫ctrl shift face的團隊。
鬼斧神工,引起了推特用户的大規模震驚,贊數已經超過10萬:
△ 震驚臉取樣
除此之外,也有冷靜的觀眾,想起了碧蘿奶奶:
△ 如果哪天能實時拯救直播,細思恐極我竟不知道,他們倆這麼像!?
現在,考驗臉盲患者的時刻到了。

你看得出是哪一刻變了臉麼?
這場訪談,最初的嘉賓依然是比爾·哈德。
就在把臉轉向主持人的一瞬,變成了湯姆·克魯斯,並且是年少的樣子:
△ 上為湯姆·克魯斯,下為比爾·哈德
這隻AI的一個重大優點,就是給側顏**換臉也流暢自如。**許多換臉界的前輩是做不到的。
插播一個可愛的細節,比爾·哈德轉臉的時候,原本説的話就是:
And then Tom Cruise walks in.
看到這渾然天成的魔法,推特評論區爆炸了:
嚇屎我了,他和湯姆·克魯斯好像啊!(稍有意譯)
另外一位臉盲選手,也表示矇蔽:
不過,這段訪談還沒完。
比爾·哈德用阿湯哥的臉放飛了幾秒,就不知不覺變回了自己:

註釋一下,手放在嘴上的時候,已經變回來了。
這表示,有所遮擋的人臉,對AI來説也沒什麼壓力。
而再一低眉的工夫,嘉賓又變成了賽斯·羅根,主持人已經壞掉了:

就是這個胖胖,還和周杰倫一起演過《青蜂俠》:
如果你感覺,在採訪的中途變身,嚇跑主持人不大合適。
那麼,給電影換主角也不錯啊。
告訴你個秘密,終結者是史泰龍演的:

就算一明一暗,光線劇烈變化,換臉也絲毫沒有受阻。
施瓦辛格用經典尬笑,回應“換角傳聞”:

△ 原來的配方
那麼問題來了,是什麼樣的算法,造就了幾乎天衣無縫的換臉神技?
DeepFaceLab
團隊説,他們的成果,主要歸功於DeepFaceLab這個開源項目:https://github.com/iperov/DeepFaceLab
DeepFaceLab是Deepfakes換臉術的一個軟件工具包,安裝簡單,使用方便,更新及時。在GitHub上已有5000多星。
代碼公開是一方面。另一方面,從項目描述看,不需要太多算力就能跑 (詳見下文) 。總體説來門檻很低。
軟件包裏有多種模型,各有特點:
H64 (2GB+顯存),64像素模式。這是經典模型,DeepFakes最初揚名就是靠它。DeepFaceLab對它做了些改進,讓這個模型在低顯存情況下也能用低配置參數運行。
H128 (3GB+顯存),128像素模型,比H64像素更高,細節更豐富。能應對大部分遠景和中景鏡頭,適合亞洲臉型。
DF (5GB+顯存),H128的全臉模型。它換出來的臉通常比H128更像,但兼容性更差,邊緣問題突出。
LIAEF128 (5GB+顯存),結合了DF,IAE的改進型128全臉模型。這個模型存在閉眼識別問題。
SAE (最低配置2GB+,推薦配置11GB+),風格化的編碼器,基於風格損失的新型超級模型。可以有效重建被遮擋的臉。可玩性高,參數可調,調優空間大。
DeepFaceLab唯一的安裝要求就是對應版本的顯卡驅動,甚至不需要CUDA和CuDNN。
軟件的中文官網提供了下載通道 (有無需魔法的百度網盤版本) ,以及詳細的安裝教程。
同時還自帶許多人臉圖片數據。
官網説,DeepFaceLab雖然沒有可視化界面,但步驟非常清晰,操作並不複雜。
換臉主要分為五個階段:
視頻轉圖片、提取臉部、訓練模型、人臉替換、合成視頻。
每個步驟只需點擊BAT文件即可執行。
想要入門AI換臉的小夥伴,也可以在DeepFaceLab中文官網找到豐富的教程:https://www.deepfakescn.com/
雖然,DeepFaceLab描述的硬件要求不高,但ctrl shift face能做到今天的效果,背後很可能有貴貴的GPU在燃燒 (儘管沒披露技術細節,不知道有沒有改進算法) 。
這樣的話,團隊大概十分需要經費。
你看,ctrl shift face官網提供了三檔氪金服務,供大家打錢,打錢,打錢:
一級會員shallow fakes,每月僅需1美元,就可以給他們捐款了 (誤) ,捐款之後還能提前看到團隊產出的最新視頻。
二級會員deep fakes每月5美元。比起一級會員,二級會員能觀看更多視頻內容 (大概率是裏番),以及幕後花絮。
而每月花10美元成為三級會員deeper fakes,就能下載各種換臉數據集了。
咦,三級會員?
一隻彩蛋
説到這裏,ctrl shift face團隊其實是股清流。
比起女神,他們似乎更喜歡把男藝人,換到小電影裏。你看這隻一臉幸福的阿湯哥 (和他的肌肉) :



Ctrl Shift Face官網:https://www.patreon.com/ctrl_shift_face
DeepFaceLab開源代碼:https://github.com/iperov/DeepFaceLab
p.s. 如果之前的臉盲測試題太簡單,閣下可以觀賞一條完整視頻,數數一共變了多少次:
視頻連接請戳https://mp.weixin.qq.com/s/skKHc1nTV_brj5ocmVwtoQ