AI對應配音改演員口型 湯姆·漢克斯也能流利説日語_風聞

近日，英國AI創企Flawless使用Deepfake（深度偽造技術）調整演員面部表情，讓他們改變口型説外語，解決觀眾觀看外國電影時演員口型與字幕或配音不同步的問題。該公司將這一可視化翻譯技術產品命名為TrueSync，在該工具下，湯姆·漢克斯在《阿甘正傳》中也可以流利地説着日語。

電影使用TrueSync再製作後，即使一名演員用英語拍攝了一部電影，對於聽中文配音的電影觀眾來説，似乎所有的演員都在講中文。

一、多語言可視化翻譯，Deepfake釋放電影潛力

使用Deepfake技術改變視頻存在一定風險，因為這會創造從未發生過的場景，讓演員講出他們沒有説過的話，例如楊冪換臉等視頻的出現給當事人帶來一定的困擾。

但Deepfake技術也可以讓電影製作更為便捷，成本更低，釋放電影真正的潛力。

事實證明，以前將外國電影進行多語言配音或字幕更改的方式，會降低電影畫質，對外國觀眾來説觀看較差。

Flawless公司的TrueSync工具將Deepfake技術用於電影製作，電影製品人和內容所有者都可以利用TrueSync工具將外語電影視覺翻譯成任何觀眾的母語。

二、變口型後電影沒法看？最大限度保留表演細節

Flawless彙集AI科學家、電影製片人和技術人員，所研發的TrueSync工具是全球首個使用AI以多種語言創建完美對口型可視化的系統。

TrueSync可以最大限度的保留原版電影的質量和沉浸感，保留所有演員特質表演細節。

因此，大家無需擔心Deepfake技術會破壞電影整體情緒。

在計算機圖形學的飛速發展下，Deepfake技術也在不斷迭代。

現在，業餘創作者只需要用手機和電腦，也可以創作出好萊塢水準的電影，而無需耗費好萊塢電影類似的成本。

例如，曾經在視頻剪輯中手動擦除對象是一個非常耗時的過程，需要逐幀調整，而現在剪輯軟件已經可以自動處理了。

三、剪輯師、鬼畜者福音，“AI換嘴”技術已逆天

近年來，AI圖像處理能力正持續突破，各國AI換口型技術也在不斷創新迭代。

印度海德拉巴大學和英國巴斯大學研發了一個名為Wav2Lip的AI模型，可以在視頻中同步生成準確唇語。任何人物身份，甚至包括卡通人物，任何語音和語言，都可以將口型視頻高精度同步到任何目標語音。

▲Wav2Lip技術下配口型

美國華盛頓大學基於公開的奧巴馬音視頻片段，用AI分析了數百萬幀影像，以確定奧巴馬嘴唇、牙齒、嘴角等臉部變化，生成了口型幾乎完美匹配、高度逼真的假視頻。

▲奧巴馬換口型技術流程圖

此外，斯坦福大學、馬克斯普朗克信息學研究所、普林斯頓大學和Adobe Research的研究人員組織了一個團隊，創建了一種AI算法，給定任意文本就能隨便改變一段視頻里人物説的話，並且改動後看不出篡改痕跡。

▲改變文字後生成新視頻

結語：Deepfake提升視頻生產效率

在Deepfake技術的發展下，電影製作商不僅可以降低電影譯製成本，還可以在演員唸錯台詞時進行補救，從整體上提升電影生產效率。

誕生於2017年的Deepfake雖近年來飽受非議，但隨着相關監管的嚴格以及技術人員素養的提升，Deepfake商用場景不斷拓展，逐漸在內容生產領域顯現出自己的潛力。