Nature今發表腦機接口領域重大突破：華裔教授成功解碼腦電波，併合成語音_風聞

許多患有神經疾病的患者因喪失語言能力，需要依賴特定的通訊設備進行溝通，這類設備利用腦機接口或者頭部、眼睛的動作來控制光標選擇字母，從而説出他們想説的話。但是，這個過程比人類的正常語速慢得多，往往是在蹦單詞。

4 月 25 日，Nature 雜誌發表了加州大學舊金山分校（University of California San Francisco）的一項最新成果，該校神經外科華裔教授 Edward Chang 及同事開發出一種可以將腦活動轉化為語音的解碼器。這套人類語音合成系統，通過解碼與人類下頜、喉頭、嘴唇和舌頭動作相關的腦信號，併合成出受試者想要表達的語音。

研究人員表示，腦機接口正迅速成為恢復功能喪失的臨牀可行手段，這項最新的研究成果解決了癱瘓和失語患者所面臨的重大挑戰，並可能是讓他們恢復“説話”能力的重要一步。

在 Nature 雜誌同時配發的評論文章中，埃默裏大學和佐治亞理工學院的 Chethan Pandarinath 和 Yahia Ali 認為，這種使用控制嘴唇、舌頭、喉部和下頜運動的神經信號合成語音的腦機接口設備，可以成為在失語者中恢復語音功能的奠基性工作。

解讀大腦的意圖

説話似乎是一件毫不費力的事，但實際上説話卻是人類執行的最複雜的活動之一。它需要精確、動態地協調聲道咬合結構中的肌肉、嘴唇、舌頭、喉部和下頜。

當一個人因中風、肌萎縮側索硬化（霍金即患此病）或其他神經系統疾病而喪失語言功能和溝通能力時，對他的影響和打擊可能是毀滅性的。

如果有一種技術，能將神經活動轉化為言語，那對於因神經損傷而無法溝通的人來説將具有變革性。理論上説，腦機接口技術可以通過直接從大腦“讀取”人的意圖，並使用該信息來控制外部設備或移動癱瘓的肢體，來幫助癱瘓的人完成説話或運動。

在科幻世界裏，意念控制的實現可以順手拈來、輕而易舉。而在現實世界中，其背後的腦機接口技術已有近百年的歷史。科學家們也一直希望在該領域實現科學研究與應用技術的突破，為許多當前仍無法解答的難題提供更好的探索工具，幫助人類進一步瞭解自己的大腦，進而預防、診斷、治療腦部疾病及其他重大疾病，並將這一技術廣泛應用於睡眠管理、智能生活和殘疾人康復等領域。

圖 | 使用特製語音合成器的史蒂芬·霍金（來源：newzpole.com）

目前一些用於大腦控制打字的腦機接口技術，依賴於測量頭部或眼睛的殘餘非語言運動，或者依賴於控制光標以逐個選擇字母並拼出單詞，已經可以幫助癱瘓的人通過設備每分鐘輸出多達 8 個單詞。

這些技術已經給有嚴重溝通障礙的患者帶來了巨大的生活改善，但與自然語音每分鐘 150 個單詞的平均速度比起來，現有技術的輸出速度還是太慢了，距離通過腦機接口實現自然語音的流暢交流還有很大差距。

**直接通過大腦活動信號來合成語音，是一種頗有前景的替代方案。**拼寫只是離散字母的連續串聯，而語音則是一種高效的通信形式。與基於拼寫的方法相比，直接語音合成具有幾個主要優點。除了以自然語速傳遞無約束詞彙的能力之外，直接語音合成還能捕獲語音的韻律元素，例如音調、語調，這些是文本輸出所不具備的。

此外，**當前替代通信設備的實際限制是學習和使用它們所需的認知努力。**因此，對於由肌萎縮性側索硬化或腦幹中風引起的癱瘓患者，通過直接記錄來自大腦皮層的神經控制信號來合成語音，是實現自然語言高通信速率的唯一手段，也是最直觀的方法。

2017 年, 本文作者 Edward Chang 以及他的研究生 Claire Tang 就曾在 Science 雜誌發表論文，闡述大腦皮層顳上回神經元在語言中的重要性。研究發現了人類大腦中用於辨別相對聲調變化的神經元，這種神經元可以幫助人類在語言中明確表達感情、交流思想。

圖 | Edward Chang 教授（來源：UCSF）

但揭示大腦信號如何控制聲道發音部位的運動仍具有挑戰性。因為説話這一過程需要對聲道咬合部位進行非常精確和快速的多維控制。而且，語音合成還存在一個與以往完全不同的挑戰，就是解碼聲道運動和聲音之間複雜的對應關係。自然語音產生涉及 100 多塊小肌肉，從肌肉運動到聲音的映射也不是一對一的。

​

合成能聽懂的語音

在 Nature 的這項最新研究中，為了實現將腦信號轉換為可理解的合成語音，並且是以流利説話者的速度輸出，研究人員設計了一種神經解碼器，明確地利用人類皮層活動中編碼的運動學和聲音表徵來合成可聽語音。

研究人員招募 5 名正在接受癲癇治療的參與者，作為癲癇治療的一部分，他們會通過電極監測大腦活動。研究人員在 5 名受試者大聲説出幾百個句子時，記錄下他們的高密度腦電圖（ECoG）信號，並跟蹤控制語音和發生部位運動的大腦區域活動。

為了重建語音，研究人員設計了一種循環神經網絡（RNN），首先將記錄的皮質神經信號轉化為聲道咬合關節運動，然後將這些解碼的運動轉化為口語句子。

圖 | 用於語音合成的腦機接口（來源：Nature）

以前的語音合成研究採用了上圖 a 的方法，即使用腦電圖設備監測大腦語音相關區域的神經信號，並嘗試使用循環神經網絡將這些信號直接解碼為合成語音。

而 Edward Chang 以及同事開發了一種不同的方法（上圖 b），將解碼分為兩個步驟。

第一步，將神經信號轉換成聲道咬合部位的運動（紅色），這其中涉及語音產生的解剖結構（嘴唇、舌頭、喉和下頜）。而為了實現神經信號到聲道咬合部位運動的轉化，就需要大量聲道運動與其神經活動相關聯的數據。但研究人員又難以直接測量每個人的聲道運動，因此他們建立了一個循環神經網絡，根據以前收集的大量聲道運動和語音記錄數據庫來建立關聯。

第二步，將聲道咬合部位的運動轉換成合成語音

圖 | 神經解碼語音合成過程（來源：Nature）

研究人員的這種兩步解碼方法，產生的語音失真率明顯小於使用直接解碼方法所獲得的語音。在包含 101 個句子的試驗中，聽者可以輕鬆地識別並記錄下合成的語音。

在另外的測試中，一名受試者首先按要求説出句子，然後再不出聲地做出相同的發音動作。結果表明，無聲言語的合成效果不如有聲言語，但是研究人員認為仍有可能解碼無聲言語的特徵。

所有當前用於語音解碼的方法都需要使用發聲語音訓練解碼器，基於這些方法的腦機接口技術也就不能讓不會説話的人上手就用。對於已經喪失説話能力的患者來説，無法發聲訓練解碼器是一個大問題。

但 Edward Chang 表示，**雖然語音解碼的準確性大大降低，但受試者在沒有聲音的情況下模仿發音仍然可以進行語音合成。**至於那些不再產生語音相關運動的個體是否適用這套最新的語音合成腦機接口系統，還需要未來的進一步研究。

Chethan Pandarinath 和 Yahia Ali 認為，無論是在語音重建的準確性方面，還是在聽眾對所產生語句的辨識力方面，Edward Chang 及其同事的研究結果都為語音合成腦機接口的概念驗證提供了令人信服的證據。

（來源：麻省理工科技評論）

不過，要使該系統真正成為一個臨牀可行的語音合成腦機接口，還存在許多挑戰，畢竟重構語音的可懂度（intelligibility）仍遠低於自然語音。好在，通過收集更大的數據集並繼續開發基礎計算方法，或許可以進一步改善語音合成腦機接口技術。

由於不能直接在動物身上進行相關研究，這在一定程度上限制了人類語言產生的研究進展，但近十年來，隨着深度學習和人工神經網絡的出現，以及多學科協作的能力，從探索語言相關大腦區域的開創性臨牀研究，到語音合成腦機接口的概念證明，都取得了引人注目的快速發展。

隨着語音合成腦機接口的概念證明，我們期待有關臨牀試驗的早日開展，也期待那些語言障礙患者能夠早日重獲自由説話並與世界重新聯繫的能力。