沒有字幕、音畫不同步就聽不懂電視劇在説什麼？你不是一個人！_風聞

撰文 | 阿嫺

審校 | Skin

你也是“一定要看着字幕才能理解演員的對白，沒有字幕就看不下去電視劇”的人嗎？

遇到音畫不同步，字幕總是比演員口型慢一句的電視劇或者電影，總是難受地無法繼續看下去……這是為什麼？

圖源gifer

1976年，英國心理學家哈利·麥格克（Harry McGurk）與約翰·麥克唐納（John MacDonald）在進行一項語音知覺的實驗中，無意發現了一個奇怪現象。

通過讓嬰兒觀看一位母親説話的影片，同時搭配該位母親的配音，這項語音知覺實驗可以記錄不同月齡的嬰兒對於語音的反應。但在一次實驗中，播放影片的畫面和聲音並未同步，使得影片中説話者唇形為“ga”，卻播放出“ba”的聲音。神奇的是，麥格克與麥克唐納卻聽到了第三種語言，既不是“ga”和“ba”，而是**“da”**。

，時長01:11

你也試試看？｜YouTube

其實，當一個人説話的聲音與唇形變化不一致，我們會產生的錯聽的現象並非個例。兩位心理學家據此招募了更多受試者參與研究，結果發現高達98%的受試者在唇形為“ga”、播放聲為“ba”的情況下都聽到了“da”的聲音。

研究人員還將兩種聲音對調，讓視頻中的人的唇形發“ba”，卻播放“ga”，結果是約有54%的受試者都聽到了第三種聲音——“gabga”或“bagba”。

圖源參考資料[2]

在我們的認知裏，耳朵負責“聽”東西，眼睛負責“看”東西，看上去它們好像是獨立工作、沒有聯繫。實際上，聽覺與視覺之間會協同工作，幫助我們理解這個世界。

比如你有沒有經歷過，和一個近視的朋友準備聊天時，突然被他打斷：“你等一下，我沒戴眼鏡聽不清……”

圖源網絡

在上述的實驗中，由於視覺接收到的信息和聽覺接收到的信息不一致，視覺信息會影響聽覺信息，致使人聽到錯誤的第三種聲音，這個現象稱為麥格克效應（McGurk effect）。

研究人員猜測，可能是因為“ba”和“da”的聲音輪廓相似，更具體地説，它們的第二共振峯相似。“da”的第二共振峯部分（下圖以藍色突出顯示）的頻率位於“ba”和“ga”之間。且在視覺領域，“ga”和“da”的嘴型相似，因為這兩個音節的嘴都稍微張開（見下圖）。當大腦接收到相互衝突的聽覺和視覺輸入時，它似乎“自作聰明”地找到了一個可以解釋這種衝突的中間答案——da。

但是，這一理論卻無法解釋將兩種聲音對調的實驗結果。

圖源參考資料[2]

近年來，研究人員對麥格克效應不斷深入研究，結果發現：與他人對話時，耳朵會將接收到的刺激（語音）傳遞至大腦的初級聽覺皮質（下圖藍色A1區域），雙眼接收到的刺激（比如對方嘴唇變化、面部表情、手勢）則會傳遞到初級視覺皮質（下圖V1區域），這兩個區域會將信息進一步傳遞到****顳上溝（STS，下圖紫色處）進行整合。

圖源參考資料[2]

由於音頻和視覺信息的整合發生在語音感知的早期，這也使得麥格克效應非常穩定。它和某些視錯覺不同，一旦人們“看穿”視錯覺的把戲，它們就會崩潰。

然而，那些已經研究麥格克效應二十多年的人，比如美國心理學家勞倫斯·羅森布拉姆（Lawrence Rosenblum）卻説：“即便我知道這種現象正在發生，也體驗到了這種效應，但我仍然無法自主控制它，但那個不存在的聲音依舊會在腦中響起。”

著名的視錯覺試驗——赫曼方格。當你注視黑色方格之間的白色空間時，你會發現其他的白色空間都變灰了。｜Wiki

那該效應是所有人都能體驗到嗎？影響麥格克效應的影響因素有哪些？

研究發現，不熟悉説話者面孔的人比熟悉説話者面孔的參與者更容易受影響。當説話者正在移動或者説話者臉上存在視覺干擾物時，麥格克效應會減弱。與之類似的是，如果聽者的注意力轉移到觸覺上（比如觸摸某物）時，麥格克效應會大大減弱。技藝高超的音樂家對麥格克效應大多是免疫的。

**麥格克效應的強度也因語言而異。**荷蘭語、英語、西班牙語、德語、意大利語和土耳其語的使用者比中文和日語使用者更容易體驗麥格克效應。或許是出於禮貌，日本人説話一般不會觀察直視對方的臉，也就不會觀察對方的嘴唇變化。**而在面部表情比較豐富，喜歡直視對方的其他國家的人的交流當中，麥格克效應相對會明顯一些。**除了交流的語言類型、習慣外，如果視覺或者聽力受損，麥格克效應也會減弱。

圖源gifer

追劇和看電影的過程恰恰就是一種視聽整合的展現，我們可以通過字幕來更快地理解演員的對話和劇情。沒有字幕，我們就會過度關注演員的口型，如果後期配音與口型不一致，甚至出現了0.01秒的延遲，你可能就會看不下去，甚至渾身難受。

讓我們説，謝謝字幕組！

參考資料：

[1]https://www.frontiersin.org/articles/10.3389/fpsyg.2014.00725/full

[2]https://www.predictivebrainlab.com/files/theses/Thesis_Claudia_Luettke_2018.pdf

[3]Delbeuck, X., Collette, F., & Van der Linden, M. (2007). Is Alzheimer’s disease a disconnection syndrome?: Evidence from a crossmodal audio-visual illusory experiment.  Neuropsychologia,  45 (14), 3315-3323.

[4]https://bigthink.com/thinking/mcgurk-effect-perception/

[5]https://www.simplypsychology.org/mcgurk-effect.html

[6]https://threatenedtaxa.org/index.php/JoTT/article/view/498/844