大腦如何區分「迪奧」與「奧迪」？紐大最新研究揭秘_風聞

詹士 發自 凹非寺

量子位 | 公眾號 QbitAI

人腦是如何快速處理語音的？是不是跟計算機系統差不多？

最新一項研究顯示，確實十分相近。

具體來説，當輸入語音時，人腦會給每個單詞打上一個時間戳，放進「緩存」中再進行處理，其上限為3個聲音標記。

這項發現來自紐約大學研究團隊，這兩天剛登上「自然通訊」（Nature Communications）。

值得一提的是，科學家還發現不同語音在神經元聽覺皮層會引發不同位置放電，加入位置信息編碼。

因而，區分「迪奧」與「奧迪」，對我們來説十分容易。

具體他們如何得出這些結論？

往下看。

腦內有個「時間戳」處理語音信號

此前研究中，科學家更多着眼於大腦如何處理單個聲音，對於「如何快速構建聲音信息序列」尚存很多未知。

為此，他們找來21位受試者，母語為英語，聽力正常且無神經系統疾病史。

這些受試者需要專心聽2小時口語敍述，內容為4個短篇故事，語速為每分鐘145-205個單詞。

該過程中，每人大腦將接收50518個音素，13798個單詞及1108個句子，腦磁圖（MEG）將記錄他們大腦內的神經反應。

研究者首先觀察了哪些聲音特徵影響了大腦編解碼。

他們確定了31個語言特徵進行觀察，其中包括聲音大小、音色、信息量、音節、語速、音節在單詞句子裏的位置……

結果顯示，大腦可對聲音信號進行理解（解碼），平均反應時間在50-300ms之間。在諸多特徵中，聲音大小、頻率、元輔音、鼻音、擦音等聲學信號激發的MEG信號更高，相比下，信息量大小及音節位置激發較小。

研究者進一步探究了多個音素輸入的影響。

他們發現人腦對語音解碼平均時間為300ms，這大於了實驗設定的語音音素輸入的78ms，這意味着大腦需要同時處理多個音素。

下圖比較了連續音素輸入下，聽覺系統聲音輸入及神經系統反應的同步解碼情況，能看出兩者同步進行：

此外，人腦內對音素序列的有效緩存大於3個。

下圖能看出，同時輸入X個音素後，大腦對其還原能力的情況。3個語音標記內，基本能達到80%以上相似度，其運行原理與「時間戳」類似。

但大於等於4個，還原度就大幅降低：

更進一步，研究者希望弄明白，大腦在同時處理多個語音過程中，如何不混淆它們？

他們先通過實驗發現，同一個語音特徵在腦內激活的位置是不變的，如下圖P1音素，儘管存在位置不同，但激活的信號特徵一致：

但由於音素順序帶有一套動態編碼方案，研究者假定大腦將對輸入音素進行延遲處理。

如下所示，通過觀察不同特徵輸入在大腦內激活位置的變化，研究團隊發現：

隨時間推移，音量、爆破音、鼻音等聲音特徵信號仍集中在聽覺皮層傳遞，但音素位置（最右）信號卻傳遞到了額葉位置。

結合上述觀察，研究者認為，雖然大腦存在「時間戳」可並行處理輸入詞語，同時，還通過一套位置的動態編碼防止相鄰語音被混淆。

此外，研究者還發現大腦能動態調整處理序列延遲和緩存記憶時長的多少，主要基於輸入詞語的信息量等特徵，未來還需繼續探索。

關於作者

最後，認識一下該成果的研究團隊。

一作Laura Gwilliams，紐約大學心理系博士生，現在加州大學舊金山分校；

二作Jean-Remi King，同樣來自紐約大學心理系。

參考鏈接：

[1] https://www.nyu.edu/about/news-publications/news/2022/november/our-brains--time-stamp--sounds-to-process-the-words-we-hear.html

[2]https://www.nature.com/articles/s41467-022-34326-1#citeas