機器之心原創
作者:微胖
科學家使用大腦成像技術繪制了一幅地圖,讓我們清楚看到大腦不同區域如何表征 958 個常見英語詞匯及其含義。揭開這個謎題會有意想不到的回報:通過觀察大腦活動,就能知道你在想什么。
英語詞典按照字母順序排列出所有常用英文單詞,人類大腦又是如何儲存這些詞匯的呢?解開這個謎題的回報將是巨大的:通過觀察大腦活動,就能知道你正在想什么。
神經科學家們一直都在研究「讀心術」,試圖解碼大腦信息。
伯克利大學 Brian Pasley 等人曾試圖解碼人類自忖時的語詞。在治療癲癇病人的過程中,研究人員將電極植入大腦顳葉,記錄病人聽人說話時大腦的活動情況。他們發現, 顳葉只會被聲音的某些方面激活,比如特殊的頻率。以此為基礎,伯克利的研究人員設計了一套算法,僅以神經活動為基礎,解碼人類自忖時的語詞。(當然,前提是假設自忖和聽別人說話會激發一些相同的神經信號。這樣,用以識別聽到語詞的算法,也能用來解碼自忖時的語詞。)
在荷蘭,馬斯特里赫特大學 Joao Correia 等人的「讀心術」研究已經證實,大腦某個區域會對特定詞匯做出反應。
伯克利大學神經科學家 Jack Gallant 自己的實驗室也巳經發現,大腦會根據意義類別,比如動物或建筑物,對視覺信息進行分類。
但是,大腦究竟如何安置詞匯和概念——這是通往清楚解讀人類思想的關鍵一步——仍然模糊不清。
這正是Jack Gallant 及其研究團隊想要征服的下一個高峰。是否能夠在大腦皮層,這個灰色物質褶皺的外層,繪制出更加完整的語義地圖,看看大腦各區域如何對具有類似語義內容的詞匯做出反應?不同受試的語義地圖是否存在類似地方?Jack Gallant 表示,希望能在大腦處于自然狀態時,完成所有這些研究工作。
他們做到了。
在最新一期《Nature》封面文章《Semantic information in natural narrative speech is represented in complex maps that tile human cerebral cortex》中, Jack Gallant 和他的團隊(Gallant 認知、計算和系統神經科學實驗室)終于成功繪制出大腦語義地圖(985 個英語常用詞匯語義)。我們可以清楚看到大腦如何根據更深一層的詞匯含義,將詞匯安置到諸如數字、地點或其他基于共通主題的子類別當中。
方法和過程
為了繪制出語義地圖,研究人員請來 7 位受試傾聽 The Moth Radio Hour 里的故事。在受試聽故事時,科學家使用 fMRI(功能性磁共振成像)記錄下大腦血氧水平的變化——一種神經活動的信號。然后,將故事文本的詞匯意義與腦部活動數據進行對比,看看相關詞匯組如何在 5—8 萬個豌豆大小位置(遍及整個大腦皮層)引發神經反應。
論文第一作者 Alexander Huth 之所以采用 The Moth Radio 里面的故事,是因為它們既短小又吸引人。故事越迷人,科學家們就越有自信:接受腦部掃描測試的受試沒有走神。7 個人,每個人要聽 2 個小時的故事,大致要聽 25,000 個詞匯(words)——以及 3,000 多個不同詞匯(words)。
如同覆蓋在大腦皮層上的彩色被子,這幅地圖作品用彩虹般的色彩描繪出大腦如何將單個詞匯及其傳達的概念分組。
講述故事過程中,研究人員也會轉錄下故事,并記錄下讀出每個單詞的時間。
然后,研究人員利用 fMRI 數據和記錄下來的故事文本,建立計算模型,根據受試者聽到詞匯的函數來預測大腦活動。為了驗證這些模型,研究人員利用它們來預測大腦對新故事的 fMRI 反應。結果發現,這些模型能夠相對良好地預測幾個寬闊大腦皮層區域的反應。
接下來,研究人員試圖發現皮層每個點所代表的語義信息類型。為了將相當高維度的語義模型視覺化,他們使用了一種叫做主要成分分析(principal components analysis , PCA)的降維技術。PCA 會找出數據中最重要的維度,這樣,研究人員就可以將 985 —維的模型降到只有三維,同時還能盡可能多的保存住信息。利用這三個維度,研究人員大致視覺化出皮層每個地方所代表的語義信息類型,揭示出覆蓋在大腦表面上的復雜語義地圖。
最后,為了發現這些地圖中的哪些方面是所有受試所共享的,他們采用了一種新的叫做 PrAGMATiC(一個概率和生成模型)的計算方法。這種方法可以找出受試共享的功能區域,同時也能容許每個區域解剖學位置上存在個體差異。
研究發現
結果顯示,詞匯及相關術語(terms)都激活了大腦同一個區域。比如,大腦左邊,耳朵以上,這塊小面積區域代表著單詞「受害人(victim)」。 這塊區域也對 「殺害(killed)」, 「宣告有罪(convicted)」,「謀殺(murdered)」和「認罪(confessed)」有反應。大腦右側,近頭部頂端,也是會對以下詞匯產生反應的大腦位置之一:「妻子」、「丈夫」、「孩子」、「父母」。
人的大腦右半球。當從上下文聽到覆蓋在皮層上的語詞時,可以預測出這些語詞會在相應區域附近引發強烈反應。綠色詞匯幾乎都是視覺和觸覺方面的詞匯,紅色詞匯與社交有關。
代表每個詞匯的大腦位置不止一處,因為詞匯往往不止一個含義。比如,大腦有個部分,會可靠地對「頂部(top)」做出反應,也會對其他描繪衣服的單詞做出反應(top 也有上衣的意思)。但是,單詞「頂部(top)」也激活了許多大腦其他區域。其中一個區域還會對數字和度量單詞做出反應(top 也有最大、最高之意),另一個區域與建筑(top 表示頂層)和地點相關。
由此可見,并不存在一個單獨的大腦區域來儲存一個詞匯或者概念。大腦中,一個單獨的位置與許多相關詞匯存在聯系。而且,每一個單獨詞匯會點亮許多不同的大腦位置。它們一起,形成了一張網絡,這張網絡代表著我們使用中每個詞匯語義:生命與愛;死亡和稅收;云彩,佛羅里達和胸罩。研究人員一共識別出12個簇群(clusters),每個簇群都保存著與特定概念相應的語詞。
另外,研究人員驚訝發現:所有受試大腦地圖是類似的,這意味著,他們的大腦以相同的方式組織詞匯意思。不過,科學家僅掃描了五位男士與兩位女士。所有受試均以英語為母語。擁有不同背景和文化的人,很可能會有不同的大腦語義地圖。
三位不同受試的語義地圖,不同顏色分布存在相似性
研究還發現,語言網絡占用的大腦區域非常廣闊,并不局限于少數幾個區域。而且,語義表征是高度雙邊的,具有功能對稱性:在對語詞做出回應的大小和多變方面,大腦右半球和左半球是一樣的。這一發現對當前教條提出了挑戰。根據幾十年來對腦部受損患者的研究,當前教條認為,語言僅與左半球有關。
對研究的評價
帝國理工的神經學家 Richard Wise 說,長期以來,科學家一直懷疑語詞被儲存在大腦的意義云中。因此,這項研究結果并非真的讓人驚訝。

劍橋大學語音、語言和大腦研究中心(Centre for Speech, Language and the Brain )負責人、認知神經科學家 Lorraine Tyler 說,在廣度和方法上,這項研究堪稱杰作。但是,目前這種形式的大腦地圖并沒有捕捉到詞語意思的微妙區別。以 「table 」這個詞為例。它可能屬于許多不同語義組。「它可以指用來吃東西的東西,用木頭做的東西,很重的東西,有四條腿的東西,不會動的東西,等等。詞匯能夠得以靈活運用,離不開這類細節的語義信息,但是,在分析過程中,這類信息被丟掉了!
普林斯頓的神經科學家 Uri Hasson 對這項研究表示贊賞。他指出,許多研究觀察的是,說出一個孤立的詞匯或句子時,大腦活動情況如何。和這些研究不同,Gallant 研究小組的成果揭示出大腦在真實世界情景中的運作方式。Hasson 相信,最終,根據大腦活動,重現一個人正在想著的詞匯,是有可能的。另外,他也指出,這項研究的道德應用問題影響很大。一個更加良性的使用方法是,通過觀察大腦活動,評估某些政治信息是否被有效地傳遞給公眾。
波士頓大學的 Swathi Kiran表示,「我們正苦于那些不漂亮、不夠整齊以及受損的大腦,這篇文章告訴我們正常大腦的樣子!乖撗芯坑兄谌藗兞私庵T如老年癡呆癥或失語癥患者的語言缺損現象。總之,正如 Hasson 所說,「研究的應用方式很多,我們僅觸及其表面。」
值得一提的是,這項研究也有方法上的重要貢獻。研究人員開發出數據驅動方法,它們對恢復詳細的語義地圖足夠敏感。有了這種方法,研究人員就能高效繪制出許多不同語義信息類型的地圖。這些方法也能被用于繪制其他與語言有關的信息地圖,比如,語素信息。
同時,這篇論文采用的數據驅動方法,也進一步推動了認知神經科學領域中,數據驅動型研究方法(也是人類神經解剖學和功能連接研究中常見的方法)與傳統、基于假設的實驗研究方法之爭。作為同行,Uri Hasson 對新方法欣然接受,「做科學研究,并不只有一種方法。」
下一步
人類語言是一種復雜信號,包含多種不同信息類型:音素(phonemes)、詞素(morphemes)、句法(syntax)、語義和敘述,等等。在對敘事語言的自然理解過程中,大腦必須處理這些所有的不同方面。因此,語言的每一個不同方面都要在大腦某處表現出來。
目前,研究團隊已經開始研究新的地圖:大腦如何保存語言其他方面的信息,從音素到句法(syntax)。不過,到目前為止,大腦敘述結構地圖還是難以捉摸!该看蜗氲揭惶讛⑹鎏卣,我們就被告知這些不是正確的敘述特征組!
|