大腦如何“規(guī)劃”未來？我們可能一直把問題想窄了

認(rèn)知神經(jīng)科學(xué)前沿文獻(xiàn)分享

基本信息

Title:Planning in the Brain: It’s Not What You Think It Is

發(fā)表時間:2026.4.16

發(fā)表期刊:Annual Review of Neuroscience

獲取原文:

1. 添加小助手:PSY-Brain-Frontier即可獲取PDF版本

引言

在大腦與決策研究里，“規(guī)劃”長期有一個幾乎不言自明的經(jīng)典形象：個體面對選擇時，像棋類程序那樣沿著未來行動樹向前推演，比較不同路徑的后果，再決定下一步怎么做。這套思路深受人工智能早期樹搜索算法影響，也與心理學(xué)中“世界模型”或“認(rèn)知地圖”的觀念緊密相連：大腦先學(xué)到環(huán)境結(jié)構(gòu)，再在決策時從當(dāng)前狀態(tài)出發(fā)做前向搜索。它確實(shí)解釋了人和動物為何能在新情境中表現(xiàn)出靈活、目標(biāo)導(dǎo)向的行為，但一個關(guān)鍵困難始終存在——真正的內(nèi)部模擬過程往往是隱性的，僅靠行為結(jié)果很難判斷它到底在何時發(fā)生、以何種形式發(fā)生。

Marcelo G. Mattar 和 Nathaniel D. Daw 在這篇綜述中正是從這里切入，重新審視“規(guī)劃”這一概念本身。作者認(rèn)為，把規(guī)劃主要理解為“做決定時的在線前向搜索”過于狹窄，甚至可能只是更一般機(jī)制中的一個不具代表性的特殊案例。更合適的表述是：凡是能夠借助心理模擬來支持學(xué)習(xí)、從而改善未來行為的計算過程，都可以納入規(guī)劃的范圍。這樣一來，規(guī)劃的關(guān)鍵就不再只是在選擇當(dāng)下“往前搜幾步”，而是包括在決策之前、乃至決策之外，通過模擬經(jīng)驗(yàn)完成預(yù)計算、更新價值表征、塑造策略選擇等過程。

實(shí)驗(yàn)設(shè)計與方法邏輯

文章的組織邏輯很明確：先回顧經(jīng)典規(guī)劃觀，即基于世界模型在決策時進(jìn)行前向搜索；再結(jié)合人工智能中的預(yù)計算、緩存、Dyna 架構(gòu)與蒸餾思路，強(qiáng)調(diào)模擬經(jīng)驗(yàn)更重要的用途往往是支持學(xué)習(xí)，而非僅服務(wù)當(dāng)下選擇。隨后，作者圍繞 Figure 1 提出的四種視角展開論證：在線前向搜索、離線模擬驅(qū)動的預(yù)規(guī)劃、借助時間抽象表征實(shí)現(xiàn)的“少搜索或無搜索”規(guī)劃，以及由元學(xué)習(xí)塑形的任務(wù)特異性規(guī)劃策略。全文因此不是在比較互斥模型，而是在重構(gòu)“規(guī)劃”這一概念的邊界。

核心發(fā)現(xiàn)

發(fā)現(xiàn)一：作者將“規(guī)劃”從決策時的前向搜索，擴(kuò)展為由心理模擬支持學(xué)習(xí)的一類更廣義計算

全文最核心的貢獻(xiàn)，是對“規(guī)劃”定義本身的改寫。Figure 1a–d 以同一迷宮場景并列展示四種機(jī)制：Figure 1a 代表經(jīng)典在線前向搜索，但 Figure 1b–d 進(jìn)一步加入離線預(yù)規(guī)劃、無需迭代搜索的時間抽象表征以及元學(xué)習(xí)。這個總圖之所以重要，不是因?yàn)樗峁┝诵聰?shù)據(jù)，而是因?yàn)樗鞔_表明：作者并不把前向搜索當(dāng)作規(guī)劃的標(biāo)準(zhǔn)模板，而是把它視為眾多實(shí)現(xiàn)方式中的一種。結(jié)合摘要與引言可見，作者真正想強(qiáng)調(diào)的是，心理模擬的主要價值常常體現(xiàn)在“提前學(xué)會如何更好決策”，而不是只在選擇時臨場展開推演。

Figure 1 Four views of planning in the brain.

發(fā)現(xiàn)二：海馬回放常常更像離線預(yù)計算與學(xué)習(xí)，而非直接控制當(dāng)下選擇

圍繞回放的討論，是全文最直接的神經(jīng)證據(jù)鏈。Figure 1b 概括了作者的關(guān)鍵主張：模擬軌跡可以在決策尚未到來之前生成，并通過訓(xùn)練下游價值表征來影響后續(xù)行為。文中回顧的人類功能磁共振成像、腦磁圖以及嚙齒類研究都顯示，相關(guān)再激活不僅會在選擇時出現(xiàn)，也常在獎勵剛被引入時、安靜休息期、停頓期甚至睡眠中出現(xiàn)；其內(nèi)容還能預(yù)測之后的靈活選擇表現(xiàn)。作者尤其強(qiáng)調(diào)，后向回放更容易解釋為信用分配，而非即刻前視搜索；同時，嚙齒類的長程回放常發(fā)生在靜止時，而不是動物真正移動、最需要即時選擇之際。

發(fā)現(xiàn)三：后繼表征與網(wǎng)格細(xì)胞相關(guān)編碼提示，大腦可以在不逐步搜索的情況下實(shí)現(xiàn)靈活評估

Figure 1c 是全文“規(guī)劃不等于樹搜索”的另一條關(guān)鍵證據(jù)。作者指出，后繼表征會把某一狀態(tài)之后可能遇到的未來狀態(tài)進(jìn)行聚合，因此當(dāng)目標(biāo)價值變化時，系統(tǒng)可通過一次加權(quán)讀出完成重新評估，而不必每次都沿狀態(tài)樹逐步展開。這種時間抽象機(jī)制保留了相當(dāng)程度的靈活性，卻顯著降低了在線計算負(fù)擔(dān)。文中進(jìn)一步討論，內(nèi)嗅皮層的網(wǎng)格細(xì)胞可被視為支持這類長程預(yù)測的表征基礎(chǔ)，其群體活動近似于一組能夠表達(dá)長期動態(tài)關(guān)系的基函數(shù)，使規(guī)劃更像讀取預(yù)測地圖，而不只是反復(fù)模擬一步轉(zhuǎn)移。

發(fā)現(xiàn)四：前額葉元學(xué)習(xí)可能塑造大腦何時規(guī)劃、如何規(guī)劃以及調(diào)用哪種模擬策略

如果說前兩部分討論的是規(guī)劃的實(shí)現(xiàn)材料，F(xiàn)igure 1d 討論的則是規(guī)劃機(jī)制本身如何被學(xué)習(xí)出來。作者在“Meta-learning: Learning How to Plan”一節(jié)提出，規(guī)劃并不是一個跨任務(wù)固定不變的通用算法，而會在反復(fù)任務(wù)經(jīng)歷中被經(jīng)驗(yàn)持續(xù)塑形。按照這一視角，前額葉皮層的持續(xù)性、循環(huán)性動態(tài)可能承擔(dān)類似“內(nèi)環(huán)算法”的功能，而跨情境的學(xué)習(xí)則通過較慢的塑性過程來優(yōu)化這種動態(tài)，使其更適配特定任務(wù)結(jié)構(gòu)。

歸納總結(jié)和點(diǎn)評

這篇綜述最有分量的地方，在于它不是單純?yōu)榻?jīng)典“模型式?jīng)Q策”框架補(bǔ)充新現(xiàn)象，而是重新設(shè)置了“規(guī)劃”這一研究問題：大腦中的規(guī)劃更像是一組利用心理模擬來進(jìn)行學(xué)習(xí)、預(yù)計算與策略塑形的過程，前向搜索只是其中一種情形。沿著這一框架，海馬回放、后繼表征、網(wǎng)格細(xì)胞相關(guān)編碼以及前額葉動態(tài)不再是彼此割裂的線索，而被放進(jìn)同一理論坐標(biāo)中理解，為“靈活行為究竟如何在神經(jīng)系統(tǒng)中實(shí)現(xiàn)”提供了更統(tǒng)一的敘述。同時，作者也保持了必要克制：不同機(jī)制未必能被單一理論完全統(tǒng)一，不同物種、任務(wù)與測量手段之間的映射關(guān)系仍待厘清，而依賴預(yù)計算與緩存的方案雖然高效，也會在環(huán)境變化時面臨失效風(fēng)險。正因?yàn)闆]有把框架寫成終局答案，這篇文章的價值反而更清楚——它真正推動的是我們看待規(guī)劃的方式。

請打分

這篇剛剛登上 Annual Review of Neuroscience 的研究，是否實(shí)至名歸？我們邀請您作為“云審稿人”，一同品鑒。精讀全文后，歡迎在匿名投票中打分，并在評論區(qū)分享您的深度見解。

分享人：BQ

審核：PsyBrain 腦心前沿編輯部

你好，這里是「PsyBrain 腦心前沿」

專注追蹤全球認(rèn)知神經(jīng)科學(xué)的最尖端突破

視野直擊 Nature, Science, Cell 正刊 及核心子刊與頂級大刊

每日速遞「深度解讀」與「前沿快訊」

科研是一場探索未知的長跑，但你無需獨(dú)行。歡迎加入PsyBrain 學(xué)術(shù)社群，和一群懂你的同行，共同丈量腦與心智的無垠前沿。

點(diǎn)擊卡片進(jìn)群，歡迎你的到來

一鍵關(guān)注，點(diǎn)亮星標(biāo) ? 前沿不走丟！

一鍵分享，讓更多人了解前沿