自然·人類行為：大語言模型如何調控人類語言網絡

導語

這篇發表于 Nature Human Behaviour 的研究提出了一個相當前沿、也頗具沖擊力的問題：如果大語言模型（large language models, LLMs）不僅能模仿人類語言行為、預測閱讀時的大腦反應，那么它是否還能進一步“反過來”幫助我們設計語言刺激，去有方向地增強或減弱大腦語言網絡（language network）的活動？本文給出的答案是：可以，而且已經在功能磁共振成像（functional MRI, fMRI）實驗中做到了。

關鍵詞：大語言模型（large language models, LLMs）；語言網絡（language network）；功能磁共振成像（functional MRI, fMRI）；編碼模型（encoding model）；驚異度（surprisal）；語法良構性（grammatical well-formedness）；可解釋性（plausibility）；閉環控制（closed-loop control）

彭晨丨作者

論文題目：Driving and suppressing the human language network using large language models 發表時間：2024年1月3日 論文地址：https://www.nature.com/articles/s41562-023-01783-7 論文期刊：Nature Human Behaviour

過去幾年，認知神經科學中一個很重要的發現是：大語言模型并不只是工程工具，它們在某種程度上也成了研究人類語言加工的計算模型。尤其是像 GPT 這類單向 Transformer，它們生成的內部表征，居然能夠較好地預測人在閱讀語言時的大腦活動。問題在于，以往大多數研究都停留在開環（open-loop）階段，也就是研究者先給受試者看一組自然句子，再觀察模型能否解釋這些腦反應。模型是被動擬合數據的，而不是主動生成刺激去驗證自己。

這項研究真正的突破，就在于把這個思路推進到了閉環控制（closed-loop control）。研究者不再滿足于“模型能不能預測”，而是進一步追問：模型能不能告訴我們，什么樣的句子會使得語言網絡產生更高的激活水平，什么樣的句子又會讓它相對沉寂？如果模型真的能做到這一點，那么它就不只是語言行為的模仿者，而是成了連接語言計算與神經機制的實驗工具。

用 GPT2-XL 建立人腦語言網絡的編碼模型

研究首先構建了一個面向左半球語言網絡的編碼模型。實驗中，5 名訓練受試者閱讀了 1,000 條經過精心篩選、具有高度語言多樣性的六詞句子。研究者使用 fMRI 記錄這些句子在語言網絡中誘發的血氧水平依賴信號（blood-oxygen-level-dependent, BOLD），再將這些腦反應與 GPT2-XL 的句子表征對應起來，利用嶺回歸（ridge regression）訓練出一個模型，用來預測“任意一句話”會引起多強的語言網絡活動（圖 1）。

這一步并不是簡單地把句子輸入模型就結束了。研究者專門比較了 GPT2-XL 不同層的表征，最終選取第 22 層作為最佳特征來源，因為它在交叉驗證中具有最高的腦預測性能。這個編碼模型在留出句子上的預測相關達到 r = 0.38，而該數據條件下的噪聲上限（noise ceiling, NC）約為 r = 0.56。換言之，模型已經捕捉到相當大一部分真正與刺激相關的可解釋神經方差。研究者還進一步測試了不同表征提取方式以及 BERT-large 等替代架構，發現總體結論相當穩健。

圖 1. a. 開發了一個針對人類大腦左半球語言網絡的編碼模型（M），旨在識別能最大程度或最小程度激活該語言網絡的新型句子。五名參與者（訓練參與者）在快速的事件相關設計中閱讀了一個大規模樣本（n = 1000），該樣本是從六詞語料庫中提取的句子，這是基準集（采樣以最大化語言多樣性；補充信息部分 1）；同時，他們的大腦活動通過 fMRI 進行記錄。在每個訓練參與者的大腦網絡中的各個體素上記錄的血氧水平變化響應被在每個參與者之間進行平均，從而得出針對這 1000 個基準集句子的平均語言網絡響應。我們從雙向注意力 Transformer 語言模型 GPT2-XL 的表示中訓練了一個嶺回歸模型，該模型對應于 1000 個平均的 fMRI 響應。由于 GPT2-XL 能夠為任何句子生成表示，所以編碼模型（M）能夠預測任意句子的左半球語言網絡響應。為了給編碼模型挑選出表現最佳的層，對 GPT2-XL 的所有 49 個層進行了評估，并選擇了在針對未使用數據集句子的腦反應預測性能方面表現最優的那層。b，為了評估編碼模型（M），研究確定了一組句子，能夠以最大程度地激活語言網絡（驅動句子）或以最小程度激活（抑制句子）。為此，我們從各種大型文本語料庫中獲取了約 180 萬句 GPT2-XL 的嵌入，生成了預測的語言網絡響應，并對這些響應進行排序，以選擇那些相對于基線集預測會增加或減少腦反應的句子。最后，研究在新的參與者（評估參與者）中采集了對這些新句子的腦反應數據。

在語料中尋找“最能激活”與“最能抑制”的句子

有了編碼模型之后，研究團隊從 9 個大型文本語料庫中搜集了大約 180 萬條句子，然后讓模型為每個句子生成一個“預測腦反應值”。在此基礎上，他們篩選出兩組新刺激：250 條被預測為最能驅動語言網絡的句子，稱為驅動句（drive sentences）；以及 250 條被預測為最能抑制語言網絡活動的句子，稱為抑制句（suppress sentences）。

這里的設計非常關鍵。研究不是在已有的 1,000 條訓練句子里做分析，而是專門去尋找模型認為處在分布邊緣的新句子，再拿這些全新的句子去測全新的受試者。這樣做的意義在于，它真正考驗了模型的泛化能力：模型捕捉到的，究竟只是訓練數據中的統計模式，還是某些跨個體共享的語言—神經映射規律？

新受試者大腦反應的泛化預測

接下來，3 名新的受試者參加了事件相關（event-related）fMRI 實驗。研究者把 250 條驅動句、250 條抑制句與原先的 1,000 條基線句（baseline sentences）隨機混合呈現。結果非常清楚：驅動句引起的語言網絡反應顯著高于抑制句，也顯著高于基線句；相反，抑制句的反應顯著低于基線句。按未標準化的 BOLD 信號計算，驅動句比基線句高出 85.7%，而抑制句比基線句低了 97.5%。這種差異在統計上極為顯著。

更重要的是，研究者又用 4 名新受試者做了塊設計（blocked design）實驗，結果仍然復現：驅動句最高，基線句居中，抑制句最低。雖然區塊設計中差異幅度略小，但模式完全一致。這說明，模型引導的刺激篩選并不是某種偶然的分析產物，而是在不同實驗范式下都能成立的穩健現象。

研究者還嘗試了一種更具探索性的修改法（modify approach），即從隨機句子出發，通過梯度方法直接生成可能引發高或低腦反應的新句子。結果顯示，這一方法能一定程度上生成“高驅動”句子，但難以有效生成真正的“抑制”句子，原因很可能是這些自動改寫后的句子常常接近詞表堆砌，不在原始模型訓練所覆蓋的語言分布之內。這個細節恰好說明，所謂“調控大腦”并不意味著隨便造一些句子就可以，語言刺激仍然必須保持某種可被語言系統識別的形式結構。

圖 2. 模型選擇能夠有效地驅動、抑制語言網絡中的反應的句子。a. 利用編碼模型來挑選那些能在功能上明確的語言網絡中引發最大反應（驅動型句子）或最小反應（抑制型句子）的句子。將左半球語言網絡定義為這五個分區邊界內的區域，這些區域在為每位參與者獲取的功能定位實驗中被激活（激活率前 10%）。b. 對于 n = 3 名新評估參與者，在 250 個驅動型句子、250 個抑制型句子和 1000 個基線句子的平均語言網絡 fMRI 反應，以事件相關、單次試驗的 fMRI 方式收集。激發的 BOLD 反應在驅動狀態下比基線狀態下高出 85.7%，而在抑制狀態下則比基線狀態低 97.5%。c. 對于 n = 4 位評估參與者，收集了 240 個驅動句、240 個抑制句和 240 個基線句（從 250 個驅動句、250 個抑制句和 1000 個基線句的超集中隨機抽取）的平均語言網絡 fMRI 反應，采用阻斷式 fMRI 方式。激發的 BOLD 反應在驅動狀態下比基線狀態高 12.9%，而在抑制狀態下比基線狀態低 56.6%。d. 每種條件的示例句子。

模型可預測單個句子的腦反應

如果說前面的結果證明了模型能在條件層面區分“高驅動”和“低抑制”，那么接下來研究者考察的是更細粒度的問題：它能不能預測每一個具體句子的神經反應？在 1,500 條句子范圍內，模型預測值與新受試者真實腦反應之間的相關達到 r = 0.43；即使只看 1,000 條自然語料中的基線句，相關也有 r = 0.30。進一步考慮到跨被試差異與測量噪聲帶來的理論上限，這一成績已經接近可達到上限的七成到八成。

這意味著，GPT2-XL 所學到的表征并不是某種只在訓練參與者身上成立的偶然映射，而是抓住了語言網絡對句子加工時較穩定、跨個體共享的那部分神經規律。對認知神經科學來說，這一點尤其重要，因為它讓我們第一次看到，大語言模型可以作為“神經可操作的語言空間”來使用。

圖 3. 該編碼模型對于來自三位新參與者的對偏離分布的句子的腦部反應仍能保持較高的預測準確性。句子級別的大腦反應隨預測反應的變化情況以及相應的句子示例。預測的大腦反應來自編碼模型。觀察到的大腦反應是 n = 3 位評估參與者語言網絡反應的平均值。藍色點代表抑制句子，灰色點代表基線句子，紅色點代表驅動句子。抑制和驅動句子的選擇分別導致低或高的大腦反應，因此它們分別聚集在預測軸（x 軸）的低端和高端。預測的大腦反應來自編碼模型（x 軸）。模擬的大腦反應（y 軸）是通過從代表經驗性參與者間差異的噪聲分布中采樣而獲得的。該圖展示了在考慮到參與者間的差異以及功能性磁共振成像測量誤差的情況下，所能達到的最高預測性能。

語言網絡偏愛“意外”的語句

在成功操控腦反應之后，研究者進一步利用這組擴展后的句子集來問一個基礎問題：語言網絡究竟對什么樣的語言輸入最敏感？為此，他們為 2,000 條句子整理了 11 個特征指標。其中一項來自 GPT2-XL 本身，即句子概率的對數值，用來刻畫驚異度；另外 10 項來自大規模行為評分，共有 3,600 名參與者參與，對句子的語法良構性（grammaticality）、可解釋性/合理性（plausibility）、心理狀態內容（mental states）、物體內容（physical objects）、地點內容（places）、情緒效價（valence）、喚醒度（arousal）、可視化程度（imageability）以及一般頻率和對話頻率進行打分。

結果顯示，最穩定、最核心的規律之一是：越“出人意料”的句子，越會引發更強的語言網絡活動。也就是說，低概率、高驚異度（surprisal）的句子讓大腦語言系統工作得更厲害。這和過去心理語言學與腦成像研究中關于加工難度的認識是一致的。但研究并沒有止步于“驚異度越高，反應越強”這樣單線條的結論。更有意思的是，語法良構性和語義合理性也都對腦反應有獨立貢獻，而且呈現出一種倒 U 型關系：不是越不合語法、越不合理，反應就越強；相反，最強的反應往往出現在“中等良構、中等合理”的句子上。研究者據此提出兩種同時存在的機制：第一，刺激需要先像“真正的語言”一樣，足夠符合語言經驗，才能有效進入語言網絡；第二，在達到這個最低門檻之后，越出乎預期、越需要額外加工的句子，越會進一步推高神經反應。

圖 5. 驚訝感以及其他一些句子特性會調節語言網絡中的反應。a) 左腦語言網絡反應與五類共 2000 個句子的 11 個句子屬性（列）之間的相關性。b) 所顯示的句子屬性之間的相關性，針對 n = 2000 個句子（左圖）或 n = 1000 個句子（右圖）。c) 句子級別的大腦反應隨句子屬性的變化情況。

“平淡、常見、好想象”的句子更安靜

研究還發現，那些容易想象、內容涉及具體物體和地點、被認為更常見的句子，往往引起更低的語言網絡反應。情緒上更積極的句子也略微對應更低的反應，而喚醒度本身則沒有明顯獨立作用。尤其值得注意的是，“心理狀態內容”并沒有在控制驚異度之后解釋更多方差，這與一個經典觀點相一致：語言網絡主要負責語言加工本身，而并不等同于負責心理理論（theory of mind）的社會認知網絡。

從這個角度看，語言網絡似乎并不偏愛那些“畫面感很強、內容很具體、人人都熟悉”的句子。相反，它更容易被那些既像語言、又不那么容易一眼看穿的輸入所吸引。也就是說，語言系統真正“興奮”的，往往不是最簡單最常見的話，而是那些仍在語言經驗邊界之內、卻又要求額外整合和預測更新的句子。

結語

這項工作的意義，不只是又一次證明“大模型與大腦相關”。更重要的是，它把神經科學、心理語言學與人工智能之間的關系推進了一步：大模型不再只是“被拿來對照人腦”的對象，而成為主動設計實驗刺激、探索腦區功能組織的工具。研究者指出，未來這樣的編碼模型可以作為“虛擬語言網絡”（virtual language network），在計算機中高通量地模擬各種實驗對比，快速提出假設，再在真實腦成像中閉環驗證。對于臨床應用，它也可能幫助更高效地定位語言回路，例如用于神經外科手術前評估。當然，研究也有明確邊界。首先，它把左半球語言網絡作為整體來研究，尚未深入區分網絡內部更精細的功能異質性。其次，實驗語言僅限英語。再次，fMRI 的時間分辨率有限，未來若結合顱內電生理，或許可以在逐詞時間尺度上更精確地追蹤模型表征與神經活動的關系。

如果說過去的大語言模型讓我們驚訝于“機器越來越像人在說話”，那么這篇文章更進一步展示了另一層意義：模型所學到的語言表征，已經足以成為操控人腦語言反應的實驗杠桿。它并沒有真正“讀取思想”，也沒有神秘地“控制意識”，但它確實證明了一件事——當模型與大腦在表征空間中足夠接近時，人工智能就能成為理解高階認知系統的一把新鑰匙。

計算神經科學讀書會

人類大腦是一個由數以百億計的神經元相互連接所構成的復雜系統，被認為是「已知宇宙中最復雜的物體」。本著促進來自神經科學、系統科學、信息科學、物理學、數學以及計算機科學等不同領域，對腦科學、類腦智能與計算、人工智能感興趣的學術工作者的交流與合作，集智俱樂部聯合國內外多所知名高校的專家學者發起神經、認知、智能系列讀書會第三季——，涵蓋復雜神經動力學、神經元建模與計算、跨尺度神經動力學、計算神經科學與AI的融合四大模塊，并希望探討計算神經科學對類腦智能和人工智能的啟發。讀書會已完結，現在報名可加入社群并解鎖回放視頻權限。

詳情請見：

1.

2.

3.

4.

5.

6.

7.

#速遞