《賽博朋克2077》是如何將人物表情和口型本地化的？_風聞

　　“除了嘴型之外，他們的額頭、眼睛、脖子的動作和面部表情也都非常自然。”

　　在開發《賽博朋克2077》期間，“巫師”系列開發商CD Projekt Red與許多名人進行了合作。例如，讓著名影星基努·裏維斯扮演角色強尼銀手，而瑞典朋克樂隊Refused和加拿大流行歌手Grimes則參與了遊戲裏的音樂表演。

　　但你很可能從未聽説過Jali Research的名字。這是一家來自加拿大的面部動畫公司，在《賽博朋克2077》的本地化過程中為CDPR提供了協助。

　　Jali成立於多倫多大學內部，由博士生波夫·愛德華茲（Pif Edwards）、曾獲得奧斯卡獎的動畫師兼總監克里斯·蘭德雷斯（Chris Landreth），以及尤金·富梅（Eugene Fiume）和卡蘭·辛格（Karan Singh）兩位教授聯合創辦。

　　Jali Research的部分成員

　　一些基本方法

　　起初愛德華茲的主要研究方向是面部動畫，不過後來轉移到了語言表達上，因為他認為當人們在表達想法時，幾乎總是在説話。他對當時用來處理語音和動畫的那些工具感到不滿，決定自己構建新工具。

　　2016年，Jali向計算機圖形學會議SIGGRAPH提交了一篇將程序性講話作為主題的論文，CDPR在讀過那篇文章後與他們取得聯繫。

　　在2015年發售的《巫師3》中，CDPR使用算法來處理8種不同語言角色配音的面部動畫，並在一定程度上取得了成功。不過，《賽博朋克2077》還有更遠大的目標，希望對10種語言的角色配音進行口型同步，包括英語、德語、西班牙語、法語、意大利語、波蘭語、巴西葡萄牙語、俄語、中文普通話和日語。

　　CDPR將機器學習和基於規則的人工智能進行了結合使用。其中，機器學習被用於“校準”階段，目標是讓機器弄清楚當某個人説話時，究竟會發出哪些聲音。

　　“假設我們有一份音頻文件，裏邊有人正在説‘Hello’。”Jali聯合創始人兼首席技術官愛德華茲解釋道，“H音是從哪裏開始，在哪裏結束的？e、l和o的聲音又在哪裏？我們會標記特定語言的信息，然後訓練一個機器學習過程，讓它使用數據來識別聲音。”

　　“之後你可以扔給它一句此前從未見過的新對話，而它將會預測聲音之間的界線，以及每個音素的持續時間。”

　　我們可能從未注意到表情和口型的本地化，但這也許就是成功？

　　Jali接下來會進入工作的第二階段，即動畫製作。他使用老式基於規則的AI，以確定哪些面部動作與角色正在發出的聲音相對應。這套系統會對特定的輸入做出響應，執行操作。

　　“藉助這種基於規則的方法，我們可以根據角色發音來判斷應該採用哪種嘴型。”愛德華茲説，“例如，你在説‘dude’和‘you’時嘴型看上去很像，但它們是兩個完全不同的詞……當你念出某些特定字母或聲音時，嘴型未必一成不變。你不能説這是個en音，所以我發音時嘴型就像這樣。你得考慮很多變量，包括字母前後有哪些其他音節等。”

　　“我們對語音做過大量研究，積累了各方面的很多不同知識，並制定了一系列規則。無論你正在發出什麼聲音，無論不同語言在發音上有哪些區別，我們都知道需要配備怎樣的面部表情。”愛德華茲説。

　　這種技術結合的美妙之處在於，在機器學習過程的支持下，同一套基於規則的AI可以被運用於多種不同方言。“我們必須針對每種語言專門訓練機器學習過程，但動畫的組成部分是相同的。我們沒有針對日語的特定動畫模型，只有語言模型。”

　　在遊戲裏，玩家最直觀的感受還是配音

　　“令我驚訝的是，語言學的一般規則適用於所有語言，但這很難……人們之所以不願意進行這類基於規則的工作，是因為你不得不瞭解這些規則，需要耗費很長時間。”

　　Jali幫助開發團隊節省了大量時間。平均而言，一位動畫師需要花大約7小時才能做完單個角色在遊戲裏説1分鐘話的動畫，而《賽博朋克2077》不但是一款含有巨量對話的大型RPG，還得支持10種不同語言配音的口型同步，顯然需要CDPR付出巨大的人力和時間成本。

　　除了口型，還能做什麼

　　從某種意義上講，藉助這種本地化技術，《賽博朋克2077》還將世界各地的更多語言視為“一等語言”。很多時候，遊戲發行商只會在作品中針對英語同步角色口型，在為其他語言做本地化時會進行額外的配音，效果卻往往不盡人意。

　　“舉個例子，假設你想將一句對話從英語翻譯成法語。”愛德華茲解釋説，“翻譯後的版本可能比原句長得多。許多遊戲的做法僅僅是加長動畫，但看上去可能非常蠢。工作室不得不這麼做，因為他們不能重做口型同步了。”

　　“面部動畫也很重要，Jali的技術讓所有元素顯得協調。當你玩這款遊戲時，會發現説普通話的角色確實就像在説普通話。”

　　在這個技術下，當切換一種語言後，除了嘴型之外，他們的動作和其他面部表情也能做到跟這種語言比較搭配

　　有趣的是，CDPR在創辦初期就是以面向波蘭本土市場引進海外遊戲起家的。在過去，大多數波蘭人願意玩盜版遊戲，部分原因在於海外發行商不想花工夫將遊戲翻譯成波蘭語。隨着CDPR將更多精力放在翻譯和本地化上，越來越多的波蘭玩家願意花錢購買正版遊戲。

　　這種理念似乎一直延續至今。今年夏天，CDPR中國公關和市場總監Darren Ding曾在社交媒體上透露，中國是《賽博朋克2077》預購玩家數量最多的國家。這既是因為中國人口眾多，也與《賽博朋克2077》在中文本地化方面的出色表現不無關係。

　　“我和一位俄羅斯同事聊過我們正在做些什麼。”愛德華茲説，“他是《巫師3》的忠實粉絲，但只玩過英語版本，因為那是《巫師3》最受關注的版本。當那位俄羅斯同事玩到《賽博朋克2077》時，他特別興奮，因為他將獲得與那些説英語的人完全一樣的體驗。”

　　“這是讓玩家進一步沉浸於遊戲的方式，能夠幫助他們不再出戲，真正深入體驗故事。”