惡狗變萌犬，路人妹子變老婆：日本開源GAN“插件”，想P哪裏點哪裏_風聞

花栗子 發自 凹非寺

量子位 出品 | 公眾號 QbitAI

這是一隻面露兇光的哈士奇。

但它兇不過三秒，只要在眼睛上刷一刷：

就回歸了呆萌的本性。

機智的你可能已經發現，是左下角那隻 (有點像博美的) 小狗，幫它找到了自我。

既然眼睛圓潤了，耳朵就沒必要再掙扎，也刷一下吧：

一鍵換上梗犬的耳朵，更加温柔了。

還有，只要讓憂鬱的小獵犬保持皺眉，再把嘴張開，便可以獲得職業假笑。

想修哪裏點哪裏，這是東京大學和日本獨角獸Preferred Networks開源的“插件”，可調教各種GAN：包括BigGAN和StyleGAN，也不用重新訓練。

另外，既然是來自東瀛的AI，當然可以定製老婆啦：

已為您生成，棕瞳的貓女。

有Demo可以玩，還有開源代碼。

不過為什麼，修改局部也可以這樣天衣無縫？

面露兇光

團隊用了兩種方法。

一種是標籤拼貼 (Label Collage) 。拼貼大法名叫sCBN。

通俗地説，圖上的各種色彩代表不同的標籤，共同組成一張標籤圖 (Label Map) 。比如，紅色是狐狸的頭：

修改一個標籤，把圖上的某個部分，標成自己想要的樣子：比如把狐狸的頭，標成狗頭。它就真的變成了狗：

△“綠色”的後背部分也修改了

這就是從標籤圖上生成的結果。

做法很簡單，只要在歸一化參數上，應用一下位置相關的仿射變換 (Affine-Transformations) ，就能在空間上改變語義信息，不用重新訓練一隻GAN，直接用預訓練網絡就可以。

這樣，把金毛變成獅子，人類依然笑得燦爛：

就算不是動物，兩岸青山相對出，中間的綠草如茵，也能變成碧波粼粼：

​但有時候，要修改的部分，對應的並不是單一的標籤。

這時，便有了名叫特徵混合 (Feature Blending) 的第二種方法。

它不需要用標籤圖，直接把幾張圖拼起來就可以了。

一張是源圖：

兩張作為樣本，老爺爺的鬍子，和小朋友的劉海：

然後，最初的男生就有了花白的鬍子和棕色的頭簾：

原理是，雖然想要修改的部位，對應的不是某一個標籤；但圖上的一個區域，依然可以對應到一組神經元。

前段時間轟動的GAN Dissection算法，就是給網絡做解剖，找到一組神經元，對應某個中間特徵 (Intermediate Feature) 。

特徵混合，就是要加工各種中間特徵，把它們無縫融合到一起。

你看，丹鳳眼的面癱少年：

有了棕色的大眼睛，再加上愉快的嘴：

畫風就全然不一樣了。

你一定還記得，開頭的老婆也是這樣生成的：

如果“紅瞳才是正義！”，今後就可以把這樣的方法插進各種GAN，一鍵追求正義，不用再截下轉瞬即逝的緣分了：

△ 這是英偉達StyleGAN的作品