字節AI實習生搞出這個玩意兒，撩到了圖靈獎大神，我用了用結果畫風逐漸鬼畜起來……_風聞
量子位-量子位官方账号-2021-06-10 14:54
這樣的於和偉老師，還是你熟悉的那個“接着奏樂接着舞”的feel嗎？
而如果容嬤嬤也進入到這個次元，畫風竟然……
啊，是世外高人的感覺沒錯了，容嬤嬤不愧是童年真神！
那如果把互聯網大佬們變成這樣的畫風，又會是怎樣一種場面？
先看看雷軍，端的是劍眉星目，風流倜儻。
再看BAT的三位大佬……
好傢伙，感覺可以直接看圖寫作，去橙光遊戲整一個《互聯網風雲錄之三雄爭霸》了。
（萬字腹稿已就位……）
連歪果仁，也能被這個次元統一畫風。
看圖靈獎得主、深度學習三巨頭，Bengio狷狂，Hinton堅毅，LeCun冷傲，絕世高手的feel直接拉滿，隨時可以華山論劍走一波。
**△**Hinton大佬小説男主臉實錘
連LeCun本人看了，都忍不住轉發：
想必你也看出來了，這確實又是GAN的傑作。
不過這個來自字節跳動的GAN屆新秀，可不止是能當橙光遊戲立繪帶師。
卡通風：
油畫風：
甚至是特朗普風……
只要男女各100張照片作為訓練樣本，讓AgileGAN看上1個小時，它就都能信手拈來。
即使照片上的人戴了口罩，也能把臉補全：
還會自動把帽子轉換成頭髮。戴的帽子越多頭髮就越密，如果戴5層帽子，就是這樣了：
甚至還能開發出一些鬼畜玩法，比如把生成的圖像再喂回去……
**△**LeCun變美女
而培養出這麼一個文能繪圖、武能鬼畜的GAN的，是字節跳動和南洋理工大學。一作宋果鮮，目前在字節跳動擔任研究實習生。
並且，AgileGAN的相關論文已經入選SIGGRAPH 2021。
只需100對樣本訓練1小時
之所以命名為AgileGAN (敏捷GAN)，是因為它在一塊V100上訓練時間只需要1小時，訓練數據集也只需要大概100對樣本(男女各100張)。
這麼強，怎麼做到的？
要知道風格遷移的一大難點，就是如照片到卡通這種面部幾何形狀變化較大的遷移。
如果過於強調保留幾何形狀特徵，會造成不符合審美的扭曲與瑕疵。
但是保留的少了遷移完就和輸入的照片不像了。
**△**以前的算法不是臉發綠就是五官扭曲
這是因為，風格遷移算法如StyleGAN2，通把照片的特徵編碼成向量，逆映射(Inversion Mapping)到隱空間 (Latent Space)。
在此基礎上對向量進行變換，再映射回圖像，就能產生加減年齡，轉換性別的效果。
**△**圖源 GAN Inversion: A Survey
但是AgileGAN團隊發現，像StyleGAN2那樣尋找最佳的隱空間映射是行不通的，因為適用於真實照片的映射並不一定適用於其他風格。
AgileGAN以StyleGAN2為基礎進行改進，解決辦法分為兩部分。
第一個是層級變分自編碼器 (hierarchical Variational Eutoencoder,簡稱hVaE)。
在確保映射隱空間分佈符合原始高斯分佈的同時，將原來的一個隱空間分成不同分辨率的多個隱空間，可以更好地編碼圖像中不同層次的細節。
第二個是從StyleGAN2的預訓練權重開始，重新微調出一個屬性感知的生成器。
包括不同屬性（如性別、年齡）的多個生成路徑和多個判別器，以更好地實現依賴屬性的風格遷移。
StyleGAN2生成器和屬性感知的生成器這兩個訓練階段是獨立執行的，可以並行訓練。
這樣分開操作不僅減少了需要的訓練數據集大小，還使風格遷移擁有更大的靈活性。
不過使用小數據集時判別器容易過擬合。解決辦法是加入一個早期停止策略，一旦風格化效果達到預期，就停止訓練。
這還沒完，如果用上一階運動技術(First Order Motion)，AgileGAN還可以完成視頻的風格遷移。
字節跳動實習生一作
另外，AgileGAN還是個“實習生作品”，成型於一作宋果鮮在字節跳動實習期間。
宋果鮮，本科畢業於中科大數學專業，目前正在南洋理工大學攻讀計算機科學博士學位。同時，他也是字節跳動美國AI實驗室的實習生。
他的研究方向主要是計算機視覺和計算機圖形學，包括基於圖像的3D人臉重建/分析、VR/AR應用等等。
所以，在AgileGAN眼裏，宋同學又是什麼樣的呢?
髮量和髮質，真的很優秀了。
説起來，沒準以後就能在抖音直接玩上這樣的GAN了。
要是等不及，作者已經放出了試玩版：
論文地址：https://guoxiansong.github.io/homepage/paper/AgileGAN.pdf
項目地址：https://guoxiansong.github.io/homepage/agilegan_cn.html
參考資料：
[1]https://www.researchgate.net/publication/348487325_GAN_Inversion_A_Survey
[2]https://mp.weixin.qq.com/s/ayt6g-5KoSV14s6a5mp9pg