字節AI實習生搞出這個玩意兒,撩到了圖靈獎大神,我用了用結果畫風逐漸鬼畜起來……_風聞
量子位-量子位官方账号-2021-06-10 14:54
這樣的於和偉老師,還是你熟悉的那個“接着奏樂接着舞”的feel嗎?
而如果容嬤嬤也進入到這個次元,畫風竟然……
啊,是世外高人的感覺沒錯了,容嬤嬤不愧是童年真神!
那如果把互聯網大佬們變成這樣的畫風,又會是怎樣一種場面?
先看看雷軍,端的是劍眉星目,風流倜儻。
再看BAT的三位大佬……
好傢伙,感覺可以直接看圖寫作,去橙光遊戲整一個《互聯網風雲錄之三雄爭霸》了。
(萬字腹稿已就位……)
連歪果仁,也能被這個次元統一畫風。
看圖靈獎得主、深度學習三巨頭,Bengio狷狂,Hinton堅毅,LeCun冷傲,絕世高手的feel直接拉滿,隨時可以華山論劍走一波。
**△**Hinton大佬小説男主臉實錘
連LeCun本人看了,都忍不住轉發:
想必你也看出來了,這確實又是GAN的傑作。
不過這個來自字節跳動的GAN屆新秀,可不止是能當橙光遊戲立繪帶師。
卡通風:
油畫風:
甚至是特朗普風……
只要男女各100張照片作為訓練樣本,讓AgileGAN看上1個小時,它就都能信手拈來。
即使照片上的人戴了口罩,也能把臉補全:
還會自動把帽子轉換成頭髮。戴的帽子越多頭髮就越密,如果戴5層帽子,就是這樣了:
甚至還能開發出一些鬼畜玩法,比如把生成的圖像再喂回去……

**△**LeCun變美女
而培養出這麼一個文能繪圖、武能鬼畜的GAN的,是字節跳動和南洋理工大學。一作宋果鮮,目前在字節跳動擔任研究實習生。
並且,AgileGAN的相關論文已經入選SIGGRAPH 2021。
只需100對樣本訓練1小時
之所以命名為AgileGAN (敏捷GAN),是因為它在一塊V100上訓練時間只需要1小時,訓練數據集也只需要大概100對樣本(男女各100張)。
這麼強,怎麼做到的?
要知道風格遷移的一大難點,就是如照片到卡通這種面部幾何形狀變化較大的遷移。
如果過於強調保留幾何形狀特徵,會造成不符合審美的扭曲與瑕疵。
但是保留的少了遷移完就和輸入的照片不像了。
**△**以前的算法不是臉發綠就是五官扭曲
這是因為,風格遷移算法如StyleGAN2,通把照片的特徵編碼成向量,逆映射(Inversion Mapping)到隱空間 (Latent Space)。
在此基礎上對向量進行變換,再映射回圖像,就能產生加減年齡,轉換性別的效果。
**△**圖源 GAN Inversion: A Survey
但是AgileGAN團隊發現,像StyleGAN2那樣尋找最佳的隱空間映射是行不通的,因為適用於真實照片的映射並不一定適用於其他風格。
AgileGAN以StyleGAN2為基礎進行改進,解決辦法分為兩部分。
第一個是層級變分自編碼器 (hierarchical Variational Eutoencoder,簡稱hVaE)。
在確保映射隱空間分佈符合原始高斯分佈的同時,將原來的一個隱空間分成不同分辨率的多個隱空間,可以更好地編碼圖像中不同層次的細節。
第二個是從StyleGAN2的預訓練權重開始,重新微調出一個屬性感知的生成器。
包括不同屬性(如性別、年齡)的多個生成路徑和多個判別器,以更好地實現依賴屬性的風格遷移。
StyleGAN2生成器和屬性感知的生成器這兩個訓練階段是獨立執行的,可以並行訓練。
這樣分開操作不僅減少了需要的訓練數據集大小,還使風格遷移擁有更大的靈活性。
不過使用小數據集時判別器容易過擬合。解決辦法是加入一個早期停止策略,一旦風格化效果達到預期,就停止訓練。
這還沒完,如果用上一階運動技術(First Order Motion),AgileGAN還可以完成視頻的風格遷移。
字節跳動實習生一作
另外,AgileGAN還是個“實習生作品”,成型於一作宋果鮮在字節跳動實習期間。
宋果鮮,本科畢業於中科大數學專業,目前正在南洋理工大學攻讀計算機科學博士學位。同時,他也是字節跳動美國AI實驗室的實習生。
他的研究方向主要是計算機視覺和計算機圖形學,包括基於圖像的3D人臉重建/分析、VR/AR應用等等。
所以,在AgileGAN眼裏,宋同學又是什麼樣的呢?
髮量和髮質,真的很優秀了。
説起來,沒準以後就能在抖音直接玩上這樣的GAN了。
要是等不及,作者已經放出了試玩版:
論文地址:https://guoxiansong.github.io/homepage/paper/AgileGAN.pdf
項目地址:https://guoxiansong.github.io/homepage/agilegan_cn.html
參考資料:
[1]https://www.researchgate.net/publication/348487325_GAN_Inversion_A_Survey
[2]https://mp.weixin.qq.com/s/ayt6g-5KoSV14s6a5mp9pg