對人類而言，溝通至關(guān)重要。然而，全球有數(shù)以萬計的人因腦損傷而無法實現(xiàn)正常交流。
腦損傷是指腦組織的異常，可由神經(jīng)系統(tǒng)疾病或創(chuàng)傷性腦損傷（TBI）引起，導(dǎo)致各種神經(jīng)功能缺損。此前發(fā)表在《柳葉刀神經(jīng)病學(xué)》的研究顯示，2021 年 全球有超過 30 億人患有神經(jīng)系統(tǒng)疾病 ，如中風(fēng)、阿爾茲海默癥、腦膜炎、癲癇和自閉癥譜系障礙等。此外，全球每年也約有 6900 萬人遭受著因道路交通事故等導(dǎo)致的創(chuàng)傷性腦損傷。
能否“修復(fù)”損傷的大腦，對于改善人類的日常生活和工作至關(guān)重要，且意義重大。
今天，Meta 公布了兩項重磅研究，他們聯(lián)合認知科學(xué)和神經(jīng)科學(xué)頂尖研究機構(gòu)巴斯克認知、大腦和語言中心（BCBL）， 采用非侵入式方法利用 AI 解碼大腦語言、并進一步理解人類大腦如何形成語言 。這兩項突破性的研究成果也 使得高級機器智能 （Advanced Machine Intelligence, AMI） 更加接近實現(xiàn) 。
據(jù)介紹，第一項研究成功地通過非侵入式方法解碼了腦部活動中句子的生成，準(zhǔn)確 解碼了多達 80% 的字符 ，也就是說可以完全通過大腦信號重建想表達的完整句子；第二項研究則詳細介紹了 AI 如何幫助理解這些大腦信號，并 闡明大腦如何有效地將思想轉(zhuǎn)化為一連串的文字 。
這不僅有助于幫助無法溝通的患者恢復(fù)語言能力，也幫助科學(xué)家加深對大腦處理語言和認知過程的理解，推動精度更高、更安全可靠的 腦機接口（BCI）的開發(fā) 。
01 從大腦活動到文本輸出：依靠非侵入式方法解碼
目前的方法表明，可以通過神經(jīng)假體向 AI 解碼器輸入指令信號來恢復(fù)交流。然而，當(dāng)前的立體定向腦電圖和皮層腦電圖等侵入式腦記錄技術(shù)需要神經(jīng)外科干預(yù)，且難以推廣，非侵入式方法又通常受到其記錄信號的噪聲復(fù)雜性的限制。
在 第一項研究中 ，Meta 團隊提出了一種非侵入式方法來解碼大腦活動中的句子生成，并在 35 名腦部狀態(tài)健康的志愿者中證明了其有效性。
他們 訓(xùn)練了一個新的 AI 模型 ，可以解碼來自腦電圖（EEG）或腦磁圖（MEG）的句子 ，參與者則在 QWERTY 鍵盤上輸入簡短的句子。該 AI 模型可以解碼參與者用 MEG 記錄輸入的多達 80% 的字符，平均字符錯誤率（CER）為 32% ，大大優(yōu)于傳統(tǒng)的 EEG（CER：67%）。對于表現(xiàn)最佳的參與者，該模型實現(xiàn)了 19% 的 CER，并且可以完美解碼訓(xùn)練集之外的各種句子。
具體實驗設(shè)計如下：
參與者坐在投影屏幕前，MEG 和 EEG 分別距離眼睛 100 厘米和 70 厘米，鍵盤放在一個穩(wěn)定的平臺上。M/EEG 傳感器與鍵盤之間的距離為 70 厘米，確保參與者能以自然的姿勢打字。 每次實驗包括三個步驟：閱讀、等待、鍵入 。
圖｜鍵入實驗設(shè)計
首先，準(zhǔn)備好的句子在參與者面前的屏幕上逐詞顯示，以黑色大寫字體呈現(xiàn)在 50% 灰色背景上，持續(xù)時間在 465 至 665 毫秒之間，單詞之間沒有間隔。其次，在每個句子的最后一個單詞消失后，屏幕上會顯示一個黑色的固定十字，持續(xù) 1.5 秒，參與者被要求在 1.5 秒內(nèi)記住這個句子。當(dāng)十字從屏幕上消失后， 參與者開始憑記憶輸入句子 。
在打字過程中，屏幕上不會顯示任何字母，但有最低限度的視覺反饋，即每按一次鍵，屏幕中央的黑色小方塊就順時針旋轉(zhuǎn) 10 度，有助于在不呈現(xiàn)按鍵輸入的情況下發(fā)出成功按鍵的信號，從而確保參與者最小化眼球運動。
參與者盡可能準(zhǔn)確地鍵入句子，不使用空格糾錯，同時將注意力集中在屏幕中央，使用大寫字母且不帶重音。每次測試包括 128 個不重復(fù)的陳述性句子（西班牙語），每句話包含 5 到 8 個單詞，由定語、名詞、形容詞、介詞和動詞組成。在 EEG 中，參與者共輸入了 4000 個句子和 146000 個字符；在 MEG 中，共輸入了 5100 個句子和 193000 個字符。
接下來，他們對深度學(xué)習(xí)架構(gòu) Brain2Qwerty 進行了訓(xùn)練，以解碼這些 M/EEG 信號中的單個字符 。Brain2Qwerty 則通過三個核心階段從大腦活動中解碼文本：（1） 一個卷積模塊（convolutional module），輸入的是 500 毫秒窗口的 M/EEG 信號；（2）一個在句子層面上訓(xùn)練的 transformer 模塊（3）一個預(yù)訓(xùn)練的語言模型 ，用來糾正 transformer 模塊的輸出。性能評估使用的是句子層面的 CER。
圖｜參與者輸入與基于 MEG 解碼的文本結(jié)果（標(biāo)紅為錯誤部分）
他們評估了平均字符錯誤率 ，結(jié)果顯示，Brain2Qwerty 在 MEG 和 EEG 上的錯誤率分別為 32±0.6% 和 67±1.5% ，反映了不同記錄設(shè)備之間的巨大差異，表現(xiàn)最好和最差的 EEG 受試者在不同句子中的 CER 分別為 61±2.0% 和 71±2.3%，表現(xiàn)最好和最差的 MEG 受試者在各句子中的 CER 分別為 19±1.1% 和 45±1.2%。
圖｜解碼表現(xiàn)較好的 EEG 和 MEG 文本對比，正確解碼字符標(biāo)為藍色，錯誤為紅色
那么，相比于經(jīng)典的基線架構(gòu)，Brain2Qwerty 的性能如何呢？
為了解決這個問題，他們 用同樣的方法訓(xùn)練了線性模型和 EEGNet（一種用于腦機接口技術(shù)的流行架構(gòu)） ，并通過跨受試者的 Wilcoxon 檢驗比較了它們與 Brain2Qwerty 的解碼性能。就 MEG 而言，EEGNet 在手誤率（HER）(p=0.008) 和 CER (p<10-4) 方面均優(yōu)于線性模型，但就 EEG 而言，EEGNet 僅在 HER 方面優(yōu)于線性模型(p=0.03)。然而， EEGNet 的效果仍然不如 Brain2Qwerty ，相比之下，Brain2Qwerty 在 EEG 和 MEG 的 CER 上分別提高了 1.14 倍和 2.25 倍。
該項研究結(jié)果表明，侵入式和非侵入式方法之間的差距縮小，這也為開發(fā)安全的腦機接口開辟了道路。
02 從思想到語言的轉(zhuǎn)化：層次化的表征生成
第二項研究旨在理解協(xié)調(diào) 人類大腦語言生成的神經(jīng)機制 。
研究說話時的大腦活動對神經(jīng)科學(xué)來說一直極具挑戰(zhàn)性，部分原因是存在一個簡單的技術(shù)問題：移動嘴巴和舌頭會嚴重干擾神經(jīng)成像信號。
為了探索大腦如何將想法轉(zhuǎn)化為復(fù)雜的運動動作序列，Meta 團隊使用 AI 幫助解釋參與者輸入句子時的 MEG 信號。 通過每秒拍攝 1000 張大腦快照，他們能夠精確定位思想轉(zhuǎn)化為單詞、音節(jié)甚至單個字母的準(zhǔn)確時刻。
這一研究建立在第一項研究的輸入句子實驗基礎(chǔ)上，為了研究大腦何時以及是否會產(chǎn)生語言表征的層次結(jié)構(gòu)， 他們從這些信號(X)線性解碼了四個層次表征的向量嵌入(Y) ：上下文詞嵌入（使用 GPT-2），去上下文詞嵌入（使用 Spacy），音節(jié)嵌入（使用 FastText）以及字母（使用 One-Hot-Encoder，OHE），使用皮爾遜相關(guān)系數(shù)評估解碼性能。
圖｜左為實驗設(shè)計，右為解碼層次
研究結(jié)果表明， 大腦在產(chǎn)生語言時采用層次化的過程，首先生成上下文表征，然后依次生成詞匯、音節(jié)和字母表征 ，證實了語言理論的層次預(yù)測：大腦會產(chǎn)生一系列表征，產(chǎn)生每個單詞之前的神經(jīng)活動以上下文、單詞、音節(jié)和字母級表征的連續(xù)上升和下降為標(biāo)志，并 逐漸將它們轉(zhuǎn)化為無數(shù)的動作 ，例如鍵盤上的實際手指運動。
此外，這項研究還揭示了大腦如何連貫而同時地表達連續(xù)的單詞和動作。研究結(jié)果表明，大腦 使用一種“動態(tài)神經(jīng)代碼” ——一種特殊的神經(jīng)機制，它可以 鏈接連續(xù)的表達 ，同時在很長一段時間內(nèi)保持每個表達。
圖 | 輸入每個單詞前大腦產(chǎn)生的語言表征層次
然而，Meta 團隊也表示，這些研究也存在一些局限性。
例如，當(dāng)前的 解碼性能仍不夠完善 ，線性解碼算法可能無法捕捉大腦活動的復(fù)雜性，需要更復(fù)雜的解碼算法；且還不適用于實時解碼，需要開發(fā)實時架構(gòu)。在實用層面上，MEG 要求受試者處于磁屏蔽室中并保持靜止。此外，使用打字任務(wù)來探究語言產(chǎn)生的神經(jīng)機制，可能無法完全反映自然語言產(chǎn)生的神經(jīng)機制，研究也主要在健康的參與者中進行， 還需要進一步研究在腦損傷患者中的適用性 。
03 催生“無障礙交互”新范式
交流是人類活動的重要內(nèi)容，用技術(shù)解決交流能力失去或缺陷的問題，一直是科技先驅(qū)關(guān)注的前沿。
近年來，全球腦機接口技術(shù)正在快速跨越科幻與現(xiàn)實的邊界。例如，侵入式腦機接口技術(shù)已在運動控制和語言解碼等方面取得突破，馬斯克的 Neuralink 公司利用 Link 芯片，使癱瘓患者能以意念操控機械臂完成復(fù)雜動作；而腦機接口與 AR/VR 融合的多模態(tài)交互技術(shù)也在不斷發(fā)展，Synchron 公司通過腦機接口操控 Apple Vision Pro 的案例，為消費級應(yīng)用帶來了無限遐想。同時， 非侵入式腦機接口技術(shù)因無需手術(shù)、低風(fēng)險的特點，更適合大規(guī)模應(yīng)用 ，也取得了顯著進步。
此外，AI 模型的引入有望徹底提升解碼效率和優(yōu)化醫(yī)療決策， 未來或能借助 LLM 實時解析腦電信號，將零散的神經(jīng)活動轉(zhuǎn)化為連貫語言 ，甚至實現(xiàn)與外部 AI 系統(tǒng)的直接交互，從而 催生“無障礙交互”新范式 。
對此，你怎么看呢？