《狂飆》裏孟德海到底説了什麼？你猜出來了嗎？_風聞

近來大熱的電視劇《狂飆》突然掀起了一陣“破案”浪潮，很多觀眾化身名偵探，想要破解一個秘密。只不過，這個秘密並不是劇裏的案情，而是關於這部劇本身。

原來，《狂飆》後半部分的劇情出現了不少大轉彎，和之前鋪墊的劇情邏輯並不一致。觀眾懷疑，這些劇情是電視劇已經拍攝完成後，又經過了二次剪輯、配音，將原劇情進行了更改。

圖片截取自電視劇《狂飆》

觀眾還給這個疑問提出了證據：很多劇中人的口型和台詞對不上。觀眾盯着演員的嘴巴反覆看，甚至解讀出了“原始台詞”。

如今，許多影視作品會採取後期配音的製作方式，台詞和口型對不上時有發生。那麼，看口型猜出的台詞，靠不靠譜呢？

01

動嘴巴包含的信息

咱們先來做一個小遊戲。請看下面這張圖：

唇讀小謎題，圖片來源：Wikipedia

這是一道有趣的圖片謎題，圖上這十二個人在説自己名字拍下了“照片”。我們知道，他們的名字分別叫做歐姆（Oom）、艾爾登（Alden）、伊斯特曼（Eastman）、阿爾弗萊德（Alfred）、阿瑟（Arthur）、盧克（Luke）、弗萊切（Fletcher）、馬修（Matthew）、西奧多（Theodore）、理查德（Richard）、舍莫（Shirmer）和西斯沃特（Hisswald）。你能分辨出誰是誰嗎？

請你放大圖片，把他們的名字念上一遍，對一對他們的口型與自己的口型。你會發現，即便不借助英文發音，中國人也能猜出個大概。這正是因為咱們説話的時候，口型體現了正在發出的聲音。僅僅看口型，確實可以猜出一些發音。

圖庫版權圖片，不授權轉載

科學家發現，説話的信息雖然主要靠語音，但是口型也非常重要。嬰兒在學説話的時候，會特別關注家長的口型。如果給嬰兒放一段視頻，故意把語音和口型配錯，嬰兒立刻就能發覺，顯得非常困惑。在語言學習早期，模仿口型可以幫助學習者模仿發音。

人們很早就發現了口型和語音對應的規律，並且用口型來輔助理解語言。在古代，聾人就依靠看口型來理解聽人説話，這種方法叫做**“****唇讀”**。直到今天，許多聾人學校還會教唇讀。後天聽力下降的人一般不會學習手語，一些培訓機構也會幫助這些人學習唇讀，用唇讀輔助聽語音，可以幫助他們更好的溝通。許多聾人長期利用唇讀，唇讀技巧更為高超，可以看着一個人的面部動作，猜出他説的話。

這麼説來，觀眾看着口型就能猜出原本的台詞啦？可能要讓你失望了，哪怕是經過訓練的唇讀專家，想要完全復原台詞也不靠譜。這又是為什麼呢？

02

唇讀的侷限

2006 年世界盃決賽中，有一次著名的犯規：法國著名球星齊達內在比賽中突然用頭撞向意大利隊員馬特拉齊的胸口。對方應聲摔倒，齊達內也因為這個犯規動作遭紅牌罰下。

那場比賽本來是齊達內代表法國國家隊打入的世界盃決賽，又是他退役前的最後一場比賽，用這種方式退場，讓球迷十分錯愕。

圖片截取自 2006 年世界盃比賽

結合齊達內憤怒退場的錄像和時候表現，人們才意識到，這次犯規事出有因。馬特拉齊對着齊達內小聲説了什麼，才讓他失控。賽後兩位當事人卻各執一詞。齊達內説，馬特拉齊出言侮辱他的姐姐和母親；馬特拉齊承認出言不遜，卻否認侮辱對方家人。

媒體自然不會放過這個八卦，他們找來唇讀專家，對着當時的錄像分析馬特拉齊究竟説了什麼。結果，大家解讀出的結果卻並不一致。第二年，馬特拉齊在一次採訪中透露了自己説的話，也和唇讀專家解讀的也不相同。當然，運動員有可能事後粉飾自己的言辭，但這個例子至少説明，人們並不能靠唇讀並不能嚴絲合縫的猜出原來的句子。

圖庫版權圖片，不授權轉載

語言學家發現，英語大概有 40 多個可以分辨的發音，但是，多個不同的發音卻共享相近的口型。漢語的情況也一樣，你也可以對着鏡子試一下，漢語拼音b和p，k和g，還有z、c和s等等口型就非常近似。這是因為，人們在説話的時候，喉嚨、舌頭和嘴唇都要做出相應動作。而人們往往只能觀察到嘴唇和一點點舌頭，喉嚨的動作用眼睛完全看不到。

聾人在唇讀的時候，如果知道對話話題，又和説話人很熟悉，不僅可以通過唇讀獲取信息，還能依據上下文和對方的説話習慣提升準確度。但是，如果只是遠遠看一眼別人嘴唇運動，沒有上下文的支持，唇讀的準確性就會降低許多。

03

靜音之後

口型似乎更好認了？

看來，看視頻的時候發現口型對不上很容易，但是單靠口型猜出原來的台詞卻沒那麼容易。不過，還有一個有趣的現象值得一説，有些網友在破譯劇情的時候發現了一個現象：直接看視頻，語音會干擾口型的判斷，但是如果把視頻關了，猜測原來的台詞就容易一點。

沒錯，語音和口型的信息是會相互影響的。有時候，只要聽到語音，哪怕口型對不上，也不至於過分出戲。近年來，一些演員在影視劇拍攝時甚至沒有完整念出過台詞，而是完全靠後期配音，但依然可以製作出不過分違和的作品。而且，人們在看譯製片時也有感覺，最精妙的配音似乎是演員自然説出來的，完全沒有“配”的感覺。這正是語音影響了對口型的認知。

反過來，口型還能影響對語音的認知。科學家做過一個實驗，先錄製了一個人發出“ba”這個字音的視頻。看口型、聽聲音大家都覺得一切正常。隨後，演員的口型變成了“fa”，但聲音依然是“ba”。此時，人們聽到的聲音一點沒變，但看着視頻，居然就聽出一點“fa”的聲音來。這個現象，叫做**“麥格克現象”**（McGurk effect）。它説明，人類在和人對話的時候，會自動把語音的信息和唇讀信息整合在一起。口型變了，居然也能影響到語音。

視頻來源：BBC地平線紀錄片

04

人工智能

怎麼又是你？

看來，唇讀包含的信息有侷限，人類理解語音和口型有極限，想靠口型猜測劇情這條路是走不通了。不過，也許未來人們有辦法進一步提升唇讀的能力，這就要靠人工智能來幫忙了。來自 Google 的科學家找來大量視頻訓練電腦，提升唇讀的準確性。這項研究的進展遠遠比不上語音識別，但是電腦也有一定的準確性了。

圖片來源：參考文獻[9]

還有，一家叫做 Jali 的人工智能公司開發了一項新技術，只要輸入語音和文字，就能讓 3D 人物自動對上口型。一些 3D 遊戲能夠提供十幾種語言的配音，其中的人物表情和口型都能對應到特定語言上。如果靠動畫師手工調整，這是一項不可能的任務，但是有了人工智能，就能做出精美的演出效果。

圖片來源：jaliresearch

也許，未來的影視劇會考慮用虛擬演員替代真人。畢竟，虛擬演員的口型和台詞永遠對得上，唇讀名偵探出馬的機會都沒有了。

最後，關於開頭的那個唇讀小謎題，你有解開嗎？快留言告訴我們你的答案吧！

參考文獻：

[1] Sam Loyd’s Cyclopedia of Puzzles, 1914

[2] Dodd B(1976). Lip reading in infants: attention to speech presented in- and out-of-synchrony. Cognitive Psychology Oct;11(4):478-84

[3] 徐誠. (2013). 唇讀研究回顧：從聾人到正常人. 華東師範大學學報(教育科學版), 31(1): 56-61.

[4] 雷江華, 張鳳琴, 方俊明. (2004). 字詞條件下聾生唇讀漢字語音識別的實驗研究. 中國特殊教育, 53(11), 37-39.

[5] 紅牌終結一代球王 齊達內頂人事件蓋棺定論. 中國新聞網, 2007.3.6

[6] Auer, ET (2010). “Investigating speechreading and deafness”. Journal of the American Academy of Audiology. 21 (3): 163–8.

[7] McGurk H., MacDonald J. (1976). “Hearing lips and seeing voices”. Nature. 264 (5588): 746–748.

[8] 羅霄驍, 康冠蘭, 周曉林. (2018). McGurk效應的影響因素與神經基礎. 心理科學進展, 2018, 26(11): 1935-1951

[9] Chung, J. S., Senior, A., Vinyals, O., & Zisserman, A. (2017). Lip Reading Sentences in the Wild. 2017 IEEE Conference on Computer Vision and Pattern Recognition (CVPR), 3444–3453.

[10] Cyberpunk 2077’s dialogue was lip-synced by AI. Engadget, 2020.10.20

作者：陳朝 北京師範大學認知神經科學碩士

審核：陶寧 中科院生物物理所 副研究員

本文封面圖片及文內圖片來自版權圖庫

圖片內容不授權轉載

原創圖文轉載請後台回覆“轉載”