華人團隊用大模型實現“讀心術”：大腦活動直接變文字 | NeurIPS 2023_風聞

克雷西 發自 凹非寺

量子位 | 公眾號 QbitAI

NeurIPS收錄的一項新研究，讓大模型也學會“讀心術”了！

通過學習腦電波數據，模型成功地把受試者的腦電圖信號翻譯成了文本。

而且整個過程不需要大型設備，只要一塊特製的“頭巾”就能實現。

這項成果名為DeWave，能在不通過侵入式設備和MRI的情況下解讀腦電波並翻譯成文本。

由於用了大模型來讀腦，因此報道DeWave的iFLScience也管它叫BrainGPT。

DeWave雖然不是最早實現腦電波解碼的技術，但是它第一個做到了非侵入且無需MRI的腦電波-文本轉換。

如果能夠規模化運用，DeWave將為腦部癱瘓的人羣提供交流上的幫助。

那麼，DeWave的表現到底怎麼樣呢？

測評成績超SOTA

由於DeWave採用非侵入式方法，信號中的噪聲更強，解析難度更高，但相比於此前的SOTA方法，DeWave的測試成績還是有所提高。

研究團隊採用了公開的ZuCo數據集，其中包含了一萬多個不重複的句子；受試者進行自然閲讀的同時，研究團隊對他們的腦信號和正在閲讀的文本進行記錄。腦電波信號採樣頻率為500Hz，包含128個信道。

如果輸入的EEG信息已經按照眼動追蹤方式的特徵切分好，那麼DeWave大概可以準確解讀出句子的三分之一；即使不切分也能夠成功捕捉一部分的關鍵詞。

研究結果還顯示，DeWave對單詞的解析準確率高於整句，對動詞的準確率高於名詞。

數據方面，研究團隊一共讓DeWave對29名受試者的腦電圖進行了採集和解析。

結果顯示，有切分時，DeWave在BLUE-N數據集上成績比傳統方法高出了3-18%，在ROUGE-1數據集上也有最高6.35%的提升。

如果不做切分，DeWave與相同條件的傳統方法相比，表現最多提升了120%。

為了評估DeWave的魯棒性，團隊對其進行了跨受試者（Cross-subject）測試。

這輪測試一共有18名受試者，其中一人的腦電波相信被用於訓練。

然後，研究團隊觀察了模型在其他17人上進行測試時的表現，與被用於訓練的人差距越小，説明模型的魯棒性越強。

結果顯示，DeWave的分數下降值低於傳統模型，顯示出了更強的魯棒性和泛化能力。

那麼，DeWave是如何實現腦電波解碼的呢？

用大模型解讀腦電波

DeWave的核心是引入了名為“離散碼本”的概念。

通過向量化編碼器，連續的腦電圖信號被拆分為離散形式，分別與詞彙進行對齊。

之後，研究團隊將離散化的數據送入Transformer編碼器，得到上下文語義融合的向量表示。

將向量化的文本信息作為監督數據，用得到的向量化信號對BART大模型進行訓練，就得到了DeWave。

新的信號解析過程也與之相似——先進行離散化和向量化編碼，然後用BART對其進行解讀，就得到了文本信息。

同時，為了增強可解碼性研究團隊還通過正負樣本對編碼進行調節，使DeWave解析出的語義更接近目標文本詞向量。

作者簡介

DeWave團隊一共有五名成員，全都是華人。

第一作者是悉尼科技大學的Yiqun Duan，來自H(Human-centric)AI研究中心，研究方向是機器智能和腦機接口。

除了DeWave，Duan此前還有一項基於擴散模型的“反向成果”——把文字轉換成腦電波的工具BrainDiffusion。

該研究中心主任Chin-Teng Lin教授是本文的通訊作者。

同實驗室的Jinzhao Zhou和Yu-Kai Wang，以及悉尼大學的Zhen Wang也參與了此項目。

論文地址：https://arxiv.org/abs/2309.14030v2

參考鏈接：https://www.iflscience.com/new-mind-reading-braingpt-turns-thoughts-into-text-on-screen-72054