惡狗變萌犬,路人妹子變老婆:日本開源GAN“插件”,想P哪裏點哪裏_風聞
量子位-量子位官方账号-2019-04-16 14:53
花栗子 發自 凹非寺
量子位 出品 | 公眾號 QbitAI
這是一隻面露兇光的哈士奇。
但它兇不過三秒,只要在眼睛上刷一刷:

就回歸了呆萌的本性。
機智的你可能已經發現,是左下角那隻 (有點像博美的) 小狗,幫它找到了自我。
既然眼睛圓潤了,耳朵就沒必要再掙扎,也刷一下吧:

一鍵換上梗犬的耳朵,更加温柔了。
還有,只要讓憂鬱的小獵犬保持皺眉,再把嘴張開,便可以獲得職業假笑。
想修哪裏點哪裏,這是東京大學和日本獨角獸Preferred Networks開源的“插件”,可調教各種GAN:包括BigGAN和StyleGAN,也不用重新訓練。
另外,既然是來自東瀛的AI,當然可以定製老婆啦:
已為您生成,棕瞳的貓女。
有Demo可以玩,還有開源代碼。
不過為什麼,修改局部也可以這樣天衣無縫?
面露兇光
團隊用了兩種方法。
一種是標籤拼貼 (Label Collage) 。拼貼大法名叫sCBN。
通俗地説,圖上的各種色彩代表不同的標籤,共同組成一張標籤圖 (Label Map) 。比如,紅色是狐狸的頭:
修改一個標籤,把圖上的某個部分,標成自己想要的樣子:比如把狐狸的頭,標成狗頭。它就真的變成了狗:
△“綠色”的後背部分也修改了
這就是從標籤圖上生成的結果。
做法很簡單,只要在歸一化參數上,應用一下位置相關的仿射變換 (Affine-Transformations) ,就能在空間上改變語義信息,不用重新訓練一隻GAN,直接用預訓練網絡就可以。
這樣,把金毛變成獅子,人類依然笑得燦爛:
就算不是動物,兩岸青山相對出,中間的綠草如茵,也能變成碧波粼粼:
但有時候,要修改的部分,對應的並不是單一的標籤。
這時,便有了名叫特徵混合 (Feature Blending) 的第二種方法。
它不需要用標籤圖,直接把幾張圖拼起來就可以了。
一張是源圖:
兩張作為樣本,老爺爺的鬍子,和小朋友的劉海:
然後,最初的男生就有了花白的鬍子和棕色的頭簾:
原理是,雖然想要修改的部位,對應的不是某一個標籤;但圖上的一個區域,依然可以對應到一組神經元。
前段時間轟動的GAN Dissection算法,就是給網絡做解剖,找到一組神經元,對應某個中間特徵 (Intermediate Feature) 。
特徵混合,就是要加工各種中間特徵,把它們無縫融合到一起。
你看,丹鳳眼的面癱少年:
有了棕色的大眼睛,再加上愉快的嘴:
畫風就全然不一樣了。
你一定還記得,開頭的老婆也是這樣生成的:
如果“紅瞳才是正義!”,今後就可以把這樣的方法插進各種GAN,一鍵追求正義,不用再截下轉瞬即逝的緣分了:

△ 這是英偉達StyleGAN的作品