重復(fù)博弈中的決策：主動(dòng)推理的啟示

Decision-Making in Repeated Games: Insights from Active Inference

重復(fù)博弈中的決策：主動(dòng)推理的啟示

https://www.mdpi.com/2076-328X/15/12/1727

摘要

本綜述系統(tǒng)地探索了主動(dòng)推理框架在闡明重復(fù)博弈中決策的認(rèn)知機(jī)制方面的潛力。重復(fù)博弈以多輪互動(dòng)和社會(huì)不確定性為特征，與現(xiàn)實(shí)世界的社會(huì)場景密切相似，其中決策過程涉及相互連接的認(rèn)知組件，如推斷、策略選擇和學(xué)習(xí)。與傳統(tǒng)強(qiáng)化學(xué)習(xí)模型不同，基于自由能最小化原則的主動(dòng)推理，在單一生成模型內(nèi)統(tǒng)一了感知、學(xué)習(xí)、規(guī)劃和行動(dòng)。信念更新通過最小化變分自由能而發(fā)生，而探索 - 利用困境則通過最小化期望自由能來平衡。基于部分可觀測馬爾可夫決策過程，該框架自然地納入了社會(huì)不確定性，且其層次結(jié)構(gòu)允許模擬心智化過程，為社會(huì)決策提供了統(tǒng)一的解釋。未來研究可以通過模型模擬和行為擬合進(jìn)一步驗(yàn)證其有效性。

關(guān)鍵詞：重復(fù)博弈；決策；計(jì)算建模；主動(dòng)推理

1. 引言

重復(fù)博弈中的決策是人類智能的一個(gè)關(guān)鍵方面，長期以來一直是心理學(xué)和人工智能等領(lǐng)域廣泛研究的焦點(diǎn)（Akata 等，2025；van Dijk & De Dreu，2021）。在重復(fù)博弈中，參與者進(jìn)行多輪人際互動(dòng)，這些互動(dòng)與現(xiàn)實(shí)社會(huì)世界高度相似——而現(xiàn)實(shí)社會(huì)世界通常被描述為比非社會(huì)世界更具不可預(yù)測性和不確定性（Feldman Hall & Shenhav，2019）。社會(huì)情境中的決策呈現(xiàn)出顯著的復(fù)雜性與難度。這不僅源于在他人行為不可預(yù)測的情況下識(shí)別最大化自身利益選擇的挑戰(zhàn)，還源于調(diào)和自身利益與他人利益的必要性，這要求在合作與競爭之間進(jìn)行權(quán)衡（Lee，2008）。此類決策對人工智能和人類行動(dòng)者均構(gòu)成重大挑戰(zhàn)。因此，對其認(rèn)知機(jī)制的深入探究，不僅對于提升人類決策能力至關(guān)重要，也有助于推動(dòng)人工智能向更高智能、對復(fù)雜社會(huì)環(huán)境的更強(qiáng)適應(yīng)性以及更高效的人機(jī)協(xié)作方向發(fā)展。

傳統(tǒng)心理學(xué)方法在評(píng)估此類復(fù)雜動(dòng)態(tài)過程方面存在局限。計(jì)算建模作為一種以嚴(yán)謹(jǐn)性、科學(xué)精確性和可解釋性為特征的定量方法論，已在計(jì)算精神病學(xué)等領(lǐng)域得到廣泛應(yīng)用（Hitchcock 等，2022；Montague 等，2012），并在社會(huì)心理學(xué)中展現(xiàn)出新興的應(yīng)用價(jià)值（Cushman，2024；Hackel & Amodio，2018）。它能夠通過數(shù)學(xué)形式化方法模擬行為現(xiàn)象背后的復(fù)雜認(rèn)知過程，對支配人類行為的動(dòng)態(tài)機(jī)制提供嚴(yán)謹(jǐn)?shù)目茖W(xué)刻畫，并從行為數(shù)據(jù)中推導(dǎo)出無法直接觀測的潛變量（Montague，2018）。借此，它為深化對心理與神經(jīng)機(jī)制的理解建立了新穎的理論框架，同時(shí)克服了傳統(tǒng)研究方法的局限性。

為刻畫決策過程，研究者已發(fā)展出多種計(jì)算模型家族。與將決策框架化為由最大化外部獎(jiǎng)勵(lì)原則驅(qū)動(dòng)的適應(yīng)性行為的強(qiáng)化學(xué)習(xí)不同（Sutton & Barto，1998），主動(dòng)推理將決策概念化為一個(gè)最小化自由能的過程（K. Friston 等，2016）。在該框架中，決策主體通過探索環(huán)境以降低不確定性，最小化預(yù)期結(jié)果與偏好結(jié)果之間的差異，同時(shí)動(dòng)態(tài)整合感知與策略選擇。主動(dòng)推理框架為模擬人類在部分可觀測環(huán)境（如社會(huì)情境）中的認(rèn)知過程提供了一個(gè)有前景的模型。該方法有望顯著深化我們對人類智能如何在不斷變化的社會(huì)情境中實(shí)現(xiàn)適應(yīng)性決策的理解。

1. 博弈論與重復(fù)博弈

2.1. 博弈論發(fā)展史

博弈論的發(fā)展經(jīng)歷了一個(gè)從思想到理論、從簡單到復(fù)雜的漫長過程，如圖 1 所示。在現(xiàn)代博弈論正式確立之前很久，博弈論思想便已存在。早在古代，中國的《孫子兵法》與西方的馬基雅維利《君主論》中就已蘊(yùn)含了戰(zhàn)略互動(dòng)、利益權(quán)衡等博弈論核心概念。16 世紀(jì)，意大利數(shù)學(xué)家吉羅拉莫·卡爾達(dá)諾在其著作《論賭博游戲》（Liber de Ludo Aleae）中，首次運(yùn)用數(shù)學(xué)方法分析骰子等賭博游戲的概率與收益，標(biāo)志著博弈論思想的萌芽。

約翰·馮·諾依曼的工作在 20 世紀(jì)上半葉確立了博弈論作為一個(gè)獨(dú)立領(lǐng)域。1928 年，馮·諾依曼發(fā)表了《派對游戲理論》（On the Theory of Parlor Games），首次證明了極小極大定理，為兩人零和博弈提供了堅(jiān)實(shí)的數(shù)學(xué)基礎(chǔ)（Neumann, 1928）。他將該證明簡化為布勞威爾不動(dòng)點(diǎn)定理的擴(kuò)展，這種方法后來成為博弈論和數(shù)理經(jīng)濟(jì)學(xué)中的標(biāo)準(zhǔn)方法。馮·諾依曼與經(jīng)濟(jì)學(xué)家奧斯卡·摩根斯坦合作，將這些思想發(fā)展成一部于 1944 年出版的巨著《博弈論與經(jīng)濟(jì)行為》。該書首次為博弈論建立了系統(tǒng)的公理框架；它明確將博弈論定位為經(jīng)濟(jì)學(xué)的分析工具，為其后來的廣泛應(yīng)用奠定了基礎(chǔ)（Von Neumann & Morgenstern, 1944）。

博弈論成為一門獨(dú)立學(xué)科后，其核心概念不斷被突破和完善，促使其理論體系顯著改進(jìn)。約翰·納什通過提出博弈論中最重要的概念——納什均衡（Nash, 1950），做出了杰出貢獻(xiàn)。在多人博弈中，當(dāng)所有參與者的策略形成一個(gè)穩(wěn)定的組合，使得沒有任何參與者可以通過單方面改變自身策略來提高自身收益時(shí)，該策略組合即構(gòu)成納什均衡。納什均衡是一個(gè)比傳統(tǒng)極小極大解更為一般的解概念，不僅適用于零和博弈，也適用于所有博弈模型。約翰·海薩尼提出了貝葉斯納什均衡，適用于參與者沒有關(guān)于對手類型的完全信息的情況（Harsanyi, 1968）。通過引入對手類型的概率分布，他成功地將不完全信息轉(zhuǎn)化為不完美信息，突破了此前博弈論主要集中于完全信息的局限。這使得能夠更準(zhǔn)確地模擬不確定性條件下的人類決策。萊因哈德·澤爾滕提出了子博弈完美納什均衡，該均衡通過消除序貫博弈中不可信的威脅，確保均衡策略在每個(gè)子博弈中都是合理且可行的，從而從動(dòng)態(tài)視角完善了納什均衡（Selten, 1975）。因構(gòu)建了完整、嚴(yán)謹(jǐn)且現(xiàn)實(shí)的博弈論理論框架，并對均衡分析做出了開創(chuàng)性貢獻(xiàn)，約翰·納什、約翰·海薩尼和萊因哈德·澤爾滕共同獲得了 1994 年諾貝爾經(jīng)濟(jì)學(xué)獎(jiǎng)。

2.2. 重復(fù)博弈

根據(jù)參與者行動(dòng)的先后順序及信息的可獲得性，博弈可分為靜態(tài)博弈與動(dòng)態(tài)博弈。在靜態(tài)博弈中，參與者同時(shí)行動(dòng)，且不了解他人的先前行動(dòng)；而在動(dòng)態(tài)博弈中，參與者依次行動(dòng)，并能夠獲知可觀測的行動(dòng)歷史。重復(fù)博弈是動(dòng)態(tài)博弈的一種特殊形式，指具有相同結(jié)構(gòu)的階段博弈被連續(xù)多次進(jìn)行。每次迭代的條件、規(guī)則和內(nèi)容保持一致，參與者在每輪互動(dòng)后可觀察歷史行為，這要求他們在決策時(shí)權(quán)衡短期收益與長期利益。

前文提及的學(xué)者約翰·納什和萊因哈德·澤爾滕為建立重復(fù)博弈中的均衡概念做出了重要貢獻(xiàn)。除他們的工作外，許多其他研究者也對重復(fù)博弈進(jìn)行了深入探討。羅伯特·奧曼開創(chuàng)了無限次重復(fù)博弈理論，證明理性參與者可以通過觸發(fā)策略（例如，只要對手合作就繼續(xù)合作，一旦觀察到對手背叛則觸發(fā)報(bào)復(fù)性不合作）實(shí)現(xiàn)穩(wěn)定的合作。這解決了重復(fù)博弈中合作如何產(chǎn)生的核心難題，并為長期互動(dòng)場景提供了理論框架（Aumann, 1981）。托馬斯·謝林將重復(fù)博弈與現(xiàn)實(shí)社會(huì)情境相結(jié)合，將分類框架完善為沖突博弈、合作博弈與協(xié)調(diào)博弈。他還引入了聚點(diǎn)、承諾策略等概念，解釋了重復(fù)互動(dòng)中的參與者如何通過共享認(rèn)知快速達(dá)成合作（Schelling, 1960）。在囚徒困境錦標(biāo)賽中，研究者驗(yàn)證了以牙還牙策略（即在每一輪中模仿對手上一輪的行動(dòng)）在重復(fù)博弈中的最優(yōu)性（Axelrod, 1980）。該策略簡潔明了，持續(xù)促進(jìn)了合作，為理解現(xiàn)實(shí)世界中的合作行為提供了強(qiáng)有力的實(shí)證與模擬支持。

根據(jù)參與者利益相互依賴的性質(zhì)，重復(fù)博弈可分為三種不同類型：沖突博弈、合作博弈與協(xié)調(diào)博弈（Schelling, 1960）。

沖突博弈，亦稱零和博弈，是指參與者利益本質(zhì)上相互對立的戰(zhàn)略情境。在此類博弈中，所有參與者的收益與損失總和恒等于零，即一方的收益必然意味著另一方的損失（Schelling, 1960）。在此框架下，參與者之間的合作在結(jié)構(gòu)上是不可能的；相反，決策以競爭為前提。參與者專注于隱藏自身的戰(zhàn)略意圖，同時(shí)試圖推斷對手的策略與心理狀態(tài)以優(yōu)化自身結(jié)果。沖突博弈在現(xiàn)實(shí)情境中普遍存在，涵蓋競技體育（如乒乓球）、棋類游戲（如國際象棋），以及石頭剪刀布游戲。在心理學(xué)研究中，此類對抗性框架常被用作實(shí)驗(yàn)范式，以探究欺騙、不平等及相關(guān)戰(zhàn)略表現(xiàn)（Lacomba 等，2017；Zhang 等，2017）。

合作博弈，亦稱混合動(dòng)機(jī)博弈，其特征為個(gè)體面臨競爭與協(xié)作雙重激勵(lì)的互動(dòng)，導(dǎo)致收益結(jié)構(gòu)既非純粹對抗也非完全一致。此類博弈本質(zhì)上涉及自我與他人之間的資源分配，迫使參與者應(yīng)對一個(gè)關(guān)鍵的權(quán)衡：是合作以最大化集體利益，還是背叛以確保個(gè)人收益（Miller Moya, 2007）。與零和沖突博弈不同，合作框架中的參與者表現(xiàn)出更強(qiáng)的理解對手策略的動(dòng)機(jī)（Wang & Kwan, 2023）。囚徒困境、信任博弈和獨(dú)裁者博弈等合作博弈被廣泛用于調(diào)查合作與背叛的形成（Bonowski & Minnameier, 2022；Loennqvist & Walkowitz, 2019；Press & Dyson, 2012）。囚徒困境是一個(gè)典型例子，其中兩名參與者在無溝通的情況下獨(dú)立選擇“合作”與“背叛”。其收益結(jié)構(gòu)的特征是四個(gè)關(guān)鍵結(jié)果：相互合作為雙方帶來中等獎(jiǎng)勵(lì)；相互背叛導(dǎo)致中等懲罰；而單方面背叛使背叛者獲得最大收益，代價(jià)是合作者遭受最高懲罰。該矩陣如圖 2 所示。博弈的收益矩陣描述了參與者可用的策略及其相應(yīng)結(jié)果。基于該矩陣，可以對策略及其期望效用進(jìn)行定量分析。在單次囚徒困境中，背叛構(gòu)成了在理性下最大化個(gè)人收益的優(yōu)勢策略。然而，在重復(fù)博弈中，持續(xù)背叛冒著在后續(xù)回合觸發(fā)對手報(bào)復(fù)性背叛的風(fēng)險(xiǎn)，從而減少長期累積收益。正是在這種動(dòng)態(tài)中，合作逐漸形成（A. M. Colman 等，2018）。

協(xié)調(diào)博弈是一種參與者利益完全一致的博弈類型。在此類博弈中，所有參與者的收益與損失完全相同，意味著雙方要么共同成功，要么共同失敗（Schelling, 1960）。在此博弈規(guī)則下，由于雙方利益的高度契合，合作成為其必然選擇。參與者只需考慮如何相互協(xié)調(diào)，而無需斟酌如何分配資源或解決利益沖突。協(xié)調(diào)博弈，如匹配博弈（例如猜正反游戲），涉及參與者僅在選擇相同選項(xiàng)時(shí)獲得正收益，而選擇不同則雙方均無收益的情境。盡管此類博弈在決策研究中較少被探討，但它們常被用于研究合作過程中的腦間同步現(xiàn)象（Cui 等，2012；Pan 等，2017）。

1. 重復(fù)博弈中的決策

在社會(huì)環(huán)境中，人類決策需要明確考慮他人的行為。博弈為定量評(píng)估此類社會(huì)決策提供了一個(gè)有價(jià)值的方法論框架，其結(jié)構(gòu)化的互動(dòng)情境使得研究合作、競爭與信任形成等社會(huì)認(rèn)知過程成為可能（Maurer 等，2018；Ng & Au，2016；Zhang 等，2017）。與參與者既無共同歷史也無未來預(yù)期的單輪博弈不同，重復(fù)博弈更貼近現(xiàn)實(shí)生活中的社會(huì)互動(dòng)。此類互動(dòng)涉及多次連續(xù)的接觸，參與者在各輪之間接收反饋。反饋使參與者能夠更新其對對手的信念，并相應(yīng)調(diào)整自身策略，從而導(dǎo)致行為隨時(shí)間動(dòng)態(tài)演變（Cochard 等，2004）。

大量研究集中于非社會(huì)不確定性下的決策。個(gè)體優(yōu)先關(guān)注能夠減少不確定性的線索（Walker 等，2019），并更關(guān)注具有更高不確定性的選項(xiàng)（Stojic 等，2020a）。增加的不確定性提高了個(gè)體的學(xué)習(xí)率（Speekenbrink & Shanks, 2010），并促進(jìn)探索性行為（Stojic 等，2020b）。雖然非社會(huì)不確定性影響決策的機(jī)制在一定程度上可以擴(kuò)展到社會(huì)不確定性，但社會(huì)情境本質(zhì)上涉及更大的不可預(yù)測性。這是因?yàn)樗说男袨閯?dòng)機(jī)難以直接觀察且隨時(shí)間動(dòng)態(tài)演變。此外，在涉及與他人重復(fù)互動(dòng)的情境中——如重復(fù)博弈——次優(yōu)決策可能產(chǎn)生持久的負(fù)面影響。這些影響可能阻礙與他人合作的形成，并最終損害自身利益。

為解決社會(huì)不確定性并做出適應(yīng)性決策，個(gè)體發(fā)展出專門機(jī)制，其中社會(huì)推斷發(fā)揮重要作用。推斷可根據(jù)認(rèn)知控制程度及相應(yīng)的努力成本分為自動(dòng)推斷和控制推斷（Feldman Hall & Shenhav, 2019）。當(dāng)在游戲中遇到對手時(shí)，個(gè)體基于對手的特征（如膚色和衣著）迅速且自動(dòng)地形成初步印象——包括他們是否值得信任、具有威脅性或?qū)で箫L(fēng)險(xiǎn)（Hughes 等，2017）。當(dāng)關(guān)于他人的信息稀缺時(shí)，人們迅速訴諸既定的社會(huì)規(guī)范，假設(shè)他人更可能基于合作和信任等原則做出決策（Fleischhut 等，2022）。自動(dòng)推斷消耗最少的認(rèn)知資源，并能強(qiáng)烈約束隨后對對手的預(yù)測。相比之下，控制推斷需要更大的認(rèn)知控制，以更細(xì)致的方式推斷對手的動(dòng)機(jī)和具體行為，從而更新初步印象。人們經(jīng)常進(jìn)行觀點(diǎn)采擇，采用他人的觀點(diǎn)或其情境背景來想象或推斷他們的觀點(diǎn)和態(tài)度（Devaine 等，2014；Galinsky 等，2005）。這一過程縮小了預(yù)測他人行為的范圍，并進(jìn)一步減少社會(huì)不確定性。

基于對對手的推斷，個(gè)體需要在游戲中進(jìn)行適當(dāng)?shù)牟呗赃x擇。傳統(tǒng)行為博弈論認(rèn)為策略選擇基于期望效用最大化原則（Von Neumann & Morgenstern, 1944）。假設(shè)個(gè)體理性地權(quán)衡不同行動(dòng)序列的未來獎(jiǎng)勵(lì)，并選擇產(chǎn)生最高收益的策略。然而，這一原則在高不確定性的社會(huì)決策情境中面臨解釋局限（A. Colman, 2003）。它依賴于個(gè)體形成和更新關(guān)于他人行為的精確概率信念的能力，當(dāng)對手策略未知或動(dòng)態(tài)變化時(shí)，這構(gòu)成重大挑戰(zhàn)。最近發(fā)展的主動(dòng)推理框架提供了一個(gè)新穎的視角。它提出策略選擇基于自由能最小化原則——即最小化預(yù)測誤差（Parr & Friston, 2019）。這一過程既包括最小化實(shí)際結(jié)果與個(gè)體偏好結(jié)果之間的差異，也包括主動(dòng)減少對環(huán)境的 uncertainty (不確定性)。因此，策略選擇的驅(qū)動(dòng)因素從僅僅追求獎(jiǎng)勵(lì)擴(kuò)展為對實(shí)用價(jià)值和認(rèn)知價(jià)值的雙重追求。

在重復(fù)博弈中，策略選擇產(chǎn)生的結(jié)果直接指導(dǎo)個(gè)體隨后的決策。參與者可以直接觀察對手對其行為選擇的反應(yīng)，在游戲輪次間接收反饋，并進(jìn)行學(xué)習(xí)（Behrens 等，2007）。他們通過加權(quán)這些信息源，將新的反饋?zhàn)C據(jù)與先前的推斷整合，從而更新他們對對手的預(yù)測（Speekenbrink & Shanks, 2010）。根據(jù)反饋是否與先前預(yù)測一致，它可以擴(kuò)大或縮小關(guān)于對手可能行為的信念分布（Feldman Hall & Shenhav, 2019）。隨著博弈展開，參與者持續(xù)收集關(guān)于對手的信息，學(xué)習(xí)其行為模式。學(xué)習(xí)率受不確定性影響；在重復(fù)博弈開始時(shí)，當(dāng)社會(huì)不確定性最高時(shí)，學(xué)習(xí)率也處于峰值（Courville 等，2006；Speekenbrink & Shanks, 2010）。同時(shí)，參與者在學(xué)習(xí)過程中面臨關(guān)鍵的探索 - 利用權(quán)衡（Gershman, 2019；Krafft 等，2021）。他們必須權(quán)衡選擇：是探索未知策略以觀察對手的反應(yīng)并獲得關(guān)于此類行為價(jià)值的信息，還是利用基于過去經(jīng)驗(yàn)最大化即時(shí)收益的已知策略（Speekenbrink & Konstantinidis, 2015）。過度探索可能導(dǎo)致效率降低，而過早利用現(xiàn)有經(jīng)驗(yàn)可能導(dǎo)致錯(cuò)過更好的策略。

社會(huì)博弈情境引發(fā)高水平的不確定性，在此期間，決策過程如圖 3 所示，涉及相互關(guān)聯(lián)的推斷、策略選擇和學(xué)習(xí)機(jī)制。自動(dòng)推斷和控制推斷作為連續(xù)體的兩極同時(shí)運(yùn)作，約束關(guān)于對手意圖和行為的預(yù)測。這些預(yù)測基于不同原則指導(dǎo)參與者的戰(zhàn)略選擇，并通過重復(fù)博弈中的學(xué)習(xí)不斷更新，從而進(jìn)一步減少社會(huì)不確定性。人類社會(huì)認(rèn)知類似于一個(gè)復(fù)雜的計(jì)算系統(tǒng)，允許個(gè)體預(yù)測、響應(yīng)并協(xié)調(diào)他人的行為，從而支撐社會(huì)互動(dòng)的穩(wěn)定性。

1. 決策的計(jì)算建模

隨著計(jì)算科學(xué)的進(jìn)步，計(jì)算思想滲透到科學(xué)的許多領(lǐng)域，并在認(rèn)知科學(xué)和神經(jīng)科學(xué)中發(fā)揮整合性解釋作用（Montague 等，2012）。雖然專注于人類社會(huì)行為，社會(huì)心理學(xué)致力于基于人類認(rèn)知的普遍原則解釋社會(huì)生活（Cushman & Gershman, 2019）。因此，計(jì)算思想越來越多地被社會(huì)心理學(xué)研究者采納和應(yīng)用。計(jì)算建模提供了一個(gè)嚴(yán)謹(jǐn)?shù)目蚣埽郧逦铱山忉尩姆绞矫枋鋈祟惿鐣?huì)性背后的抽象理論（Cushman, 2024）。由于重復(fù)博弈中的決策涉及推斷和學(xué)習(xí)等遞歸認(rèn)知過程——其中遞歸性以循環(huán)因果關(guān)系為特征，代表了計(jì)算建模中的一個(gè)核心概念（Qinglin & Yuan, 2021）。此外，計(jì)算建模建立了一個(gè)相互作用關(guān)系的系統(tǒng)，允許推斷和學(xué)習(xí)模型被整合以捕捉更復(fù)雜的認(rèn)知過程。因此，采用計(jì)算建模來調(diào)查重復(fù)博弈中潛在的社會(huì)心理機(jī)制是高度可行的。

當(dāng)前用于決策研究的計(jì)算模型主要可分為兩大類：強(qiáng)化學(xué)習(xí)模型和貝葉斯模型。強(qiáng)化學(xué)習(xí)模型基于理性主體假設(shè)，在該領(lǐng)域被廣泛用于模擬個(gè)體在互動(dòng)行為中如何從結(jié)果反饋中學(xué)習(xí)（Tomov 等，2021；Tump 等，2024；Yifrah 等，2021）。這些模型將個(gè)體 - 環(huán)境互動(dòng)概念化為馬爾可夫決策過程（MDP），其中主體可以觀察環(huán)境的所有可能狀態(tài)并通過行動(dòng)影響它。隨著環(huán)境狀態(tài)的轉(zhuǎn)換，獎(jiǎng)勵(lì)函數(shù)向個(gè)體提供反饋，個(gè)體轉(zhuǎn)而基于最大化累積獎(jiǎng)勵(lì)的原則調(diào)整其行為（Puterman, 1994）。研究人員已將各種認(rèn)知策略與強(qiáng)化學(xué)習(xí)框架整合，開發(fā)了一系列決策模型。例如，前景 - 效價(jià)學(xué)習(xí)模型假定個(gè)體評(píng)估不同選項(xiàng)的期望效用，并使用強(qiáng)化學(xué)習(xí)規(guī)則更新期望效價(jià)以指導(dǎo)決策（Ahn 等，2008）。同樣，效價(jià) + 堅(jiān)持模型將啟發(fā)式策略與強(qiáng)化學(xué)習(xí)相結(jié)合，提出選擇受先前行動(dòng)及其結(jié)果的影響，這些與期望效價(jià)整合以指導(dǎo)后續(xù)決策（Worthy 等，2013）。

強(qiáng)化學(xué)習(xí)模型的理性主體假設(shè)與個(gè)體在日常生活中的決策行為并不完全一致，且個(gè)體運(yùn)作的環(huán)境并非完全可觀測——相反，它充滿不確定性。因此，與強(qiáng)化學(xué)習(xí)模型不同，用于決策的貝葉斯模型基于部分可觀測馬爾可夫決策過程（POMDP），它將決策環(huán)境的狀態(tài)形式化為僅部分可觀測（Itoh & Nakamura, 2007）。貝葉斯模型假設(shè)個(gè)體表現(xiàn)出有限理性，并持有對環(huán)境狀態(tài)的自身先驗(yàn)信念；他們可以根據(jù)從互動(dòng)中獲得的反饋更新這些信念以形成后驗(yàn)信念，然后據(jù)此做出決策。相比之下，貝葉斯框架將決策概念化為一個(gè)基于內(nèi)部和外部信息在不確定性下進(jìn)行信念更新的過程，從而為日常社會(huì)互動(dòng)中的決策行為提供了更合理的解釋（Feldman Hall & Shenhav, 2019）。同時(shí)，貝葉斯框架不要求個(gè)體以嚴(yán)格的貝葉斯最優(yōu)方式行為。相反，近似貝葉斯推斷過程可以有效地解釋人類決策行為。

1. 主動(dòng)推理的基本概念

主動(dòng)推理作為近似貝葉斯推斷的一種具體實(shí)現(xiàn)和計(jì)算框架，建立在一個(gè)關(guān)鍵前提之上：即有機(jī)體擁有其環(huán)境統(tǒng)計(jì)規(guī)律性的內(nèi)部生成模型。擁有該模型，有機(jī)體可以推斷其感知的隱藏原因，并選擇最優(yōu)行動(dòng)以實(shí)現(xiàn)期望結(jié)果。同時(shí)，主動(dòng)推理框架由兩個(gè)核心概念支撐（R. Smith 等，2022）。第一個(gè)是決策者不僅僅是被動(dòng)的貝葉斯觀察者。相反，他們主動(dòng)與環(huán)境互動(dòng)以收集信息并尋求偏好觀測。第二個(gè)是貝葉斯推斷，指的是基于觀測到的可能結(jié)果分布，對先驗(yàn)信念進(jìn)行不確定性加權(quán)的更新，正如貝葉斯定理所形式化的那樣：

在貝葉斯定理中，左側(cè) p(s|o) 代表關(guān)于可能狀態(tài)（s）的后驗(yàn)信念——即在納入新觀測（o）之后更新的信念分布。這里，s 是一個(gè)抽象變量，可以代表任何可以形成信念的實(shí)體。在右側(cè)，p(s) 表示在獲取新觀測之前關(guān)于 s 的先驗(yàn)信念。項(xiàng) p(o|s) 是似然項(xiàng)，代表給定狀態(tài)為 s 時(shí)觀測到 o 的概率。分母 p(o) 代表模型證據(jù)，也稱為邊際似然，它表示觀測到 o 的總概率。它作為歸一化常數(shù)，確保后驗(yàn)信念構(gòu)成有效的概率分布。

例如，在合作博弈中，我們需要推斷對手更傾向于合作還是背叛。這里，s 代表對手的行為類型。假設(shè)對手可以粗略地分為兩種類型：s? 代表合作型，s? 代表背叛型。變量 o 對應(yīng)在博弈每一輪中觀測到的對手實(shí)際行為。在博弈開始之前，我們可以通過社會(huì)推斷形成對對手的初步印象。例如，如果我們認(rèn)為對手傾向于合作，我們可以給 s? 分配較高的先驗(yàn)概率，如 p(s?) = 0.8，因此 p(s?) = 0.2。假設(shè)在博弈的反饋階段，我們觀測到對手的背叛。在此情境下，p(o|s?) 表示合作型對手會(huì)背叛的概率；這個(gè)值預(yù)期較低，例如 p(o|s?) = 0.3。相反，p(o|s?) 表示背叛型對手會(huì)背叛的概率，這個(gè)值會(huì)較高，例如 p(o|s?) = 0.7。邊際似然 p(o)，作為歸一化常數(shù)，被計(jì)算為在所有可能對手類型下觀測到背叛的總概率：p(o) = p(o|s?) × p(s?) + p(o|s?) × p(s?) = (0.3 × 0.8) + (0.7 × 0.2) = 0.38。對手是合作型的后驗(yàn)信念隨后通過貝葉斯定理更新：p(s?|o) = [p(o|s?) × p(s?)]/p(o) = (0.3 × 0.8)/0.38 ≈ 0.632。類似地，對手是背叛型的后驗(yàn)信念為：p(s?|o) = [p(o|s?) × p(s?)]/p(o) = (0.7 × 0.2)/0.38 ≈ 0.368。基于這次貝葉斯更新，在觀測到一次背叛實(shí)例后，玩家關(guān)于對手行為模式的信念發(fā)生轉(zhuǎn)變：分配給合作型的概率從 80% 下降到約 63.2%，而背叛型的概率從 20% 增加到 36.8%。在隨后的博弈輪次中，這個(gè)后驗(yàn)信念成為新的先驗(yàn)。玩家繼續(xù)根據(jù)對手的新行動(dòng)執(zhí)行貝葉斯更新，迭代地精煉他們的信念以更好地逼近對手的真實(shí)行為模式。

在這個(gè)簡單的例子中，我們能夠容易地?cái)?shù)值計(jì)算貝葉斯定理。然而，超出最簡單的信念分布，貝葉斯定理中的邊際似然 p(o) 在計(jì)算上是難以處理的。它要求對所有可能狀態(tài)下的觀測概率求和。隨著狀態(tài)維度數(shù)量的增加，需要求和的項(xiàng)數(shù)呈指數(shù)級(jí)增長。例如，在博弈中，對手的類型可能由多個(gè)參數(shù)定義，如合作傾向、風(fēng)險(xiǎn)厭惡和能力。在這種情況下，計(jì)算 p(o) 變成在超高維空間上的積分，這直接執(zhí)行是不可行的。由于在復(fù)雜模型中通過精確貝葉斯推斷計(jì)算后驗(yàn)信念是不可行的，需要近似技術(shù)來解決這個(gè)問題。這種計(jì)算不可行性是主動(dòng)推理中變分自由能（VFE）核心概念的根本原因。

由于精確后驗(yàn)分布 p(s|o) 在計(jì)算上難以處理，引入了一個(gè)簡單的近似后驗(yàn)分布 q(s)。通過優(yōu)化算法調(diào)整參數(shù)，使 q(s) 盡可能緊密地逼近 p(s|o)，將不可計(jì)算的貝葉斯推斷轉(zhuǎn)化為最小化可計(jì)算函數(shù)的優(yōu)化問題。用于量化兩個(gè)分布之間差異的度量是 Kullback-Leibler（KL）散度。兩個(gè)分布匹配得越緊密，KL 散度越小。通過基于相關(guān)方程的數(shù)學(xué)推導(dǎo)，q(s) 和 p(s|o) 之間的散度可以表達(dá)如下：

主動(dòng)推理框架將感知和學(xué)習(xí)視為最小化變分自由能的過程（K. J. Friston, 2010）。感知對應(yīng)于基于每個(gè)新觀測實(shí)時(shí)更新后驗(yàn)信念，為感覺輸入提供最佳解釋；學(xué)習(xí)對應(yīng)于在長期觀測中逐漸調(diào)整模型參數(shù)以與累積的經(jīng)驗(yàn)保持一致。在感知和學(xué)習(xí)的過程中，主體不僅僅關(guān)注找到最佳擬合的后驗(yàn)。它還努力以最簡約的方式更新其信念，避免與先驗(yàn)信念產(chǎn)生過度偏離，從而在準(zhǔn)確性和復(fù)雜性之間取得平衡。

主動(dòng)推理不僅涉及對過去和當(dāng)前信息的處理，還涵蓋了關(guān)于未來狀態(tài)的規(guī)劃和行動(dòng)選擇。與感知和學(xué)習(xí)背后的原理相似，規(guī)劃和行動(dòng)選擇的目標(biāo)是選擇一個(gè)在未來能最小化變分自由能的策略 π π。關(guān)鍵的區(qū)別在于將變分自由能擴(kuò)展以納入預(yù)期的未來觀測，從而產(chǎn)生期望自由能（EFE）。期望自由能（G）的具體推導(dǎo)如下所示。其方程的前兩行與變分自由能的非常相似，唯一的區(qū)別是包含了在期望下的未來觀測 o。在第三行將期望自由能分解為與信息尋求和獎(jiǎng)勵(lì)尋求相關(guān)的兩個(gè)分量之后，第四行引入了主體的偏好 C。作為一個(gè)決策模型，主動(dòng)推理同樣需要對偏好進(jìn)行編碼。與將偏好編碼為外部獎(jiǎng)勵(lì)函數(shù)的強(qiáng)化學(xué)習(xí)不同，主動(dòng)推理通過將偏好觀測 p ( o ∣ C ) 納入期望自由能，將其內(nèi)化為生成模型的一部分。

在主動(dòng)推理中，規(guī)劃和行動(dòng)選擇被概念化為最小化期望自由能的過程——即主體尋求一種能夠最大化實(shí)用價(jià)值與認(rèn)知價(jià)值之和的策略（Hodson 等，2024；Parr & Friston，2019）。因此，在行為選擇過程中，主體不僅試圖通過利用已知資源來最大化獎(jiǎng)勵(lì)回報(bào)，還追求探索未知信息以減少不確定性。期望自由能為重復(fù)博弈中的探索 - 利用困境提供了一個(gè)原則性的解決方案（Gijsen 等，2022）。尋求認(rèn)知價(jià)值的探索和尋求實(shí)用價(jià)值的利用被視為最小化期望自由能的兩個(gè)同等重要的方面。探索 - 利用權(quán)衡從強(qiáng)化學(xué)習(xí)中的序列決策問題，轉(zhuǎn)變?yōu)榕c期望自由能最小化相關(guān)的單一目標(biāo)函數(shù)的優(yōu)化。選擇探索還是利用取決于當(dāng)前的不確定性水平和期望獎(jiǎng)勵(lì)水平（R. Smith 等，2022）。值得強(qiáng)調(diào)的是，期望自由能內(nèi)的認(rèn)知價(jià)值項(xiàng)形式化地實(shí)例化了一種定向探索機(jī)制，類似于好奇心，驅(qū)動(dòng)主體自主且積極地尋求能夠減少對隱藏狀態(tài)不確定性的觀測（K. Friston 等，2015；Parr & Friston，2017）。

1. 為什么選擇主動(dòng)推理？在重復(fù)博弈決策中的優(yōu)勢

主動(dòng)推理是一個(gè)基于生成模型的理論框架，通常形式化為部分可觀測馬爾可夫決策過程（POMDP），為理解重復(fù)博弈中的決策提供了深度和廣度。其優(yōu)勢不僅在于能夠在單一的自由能最小化原則下統(tǒng)一多個(gè)認(rèn)知過程，還在于其能夠更緊密地捕捉人類社會(huì)互動(dòng)的核心本質(zhì)。未來的研究可以通過計(jì)算模型比較和模擬來驗(yàn)證主動(dòng)推理模型的有效性。此外，通過將這些模型擬合行為博弈數(shù)據(jù)和神經(jīng)影像數(shù)據(jù)，我們可以嚴(yán)格檢驗(yàn)其參數(shù)的心理和神經(jīng)意義，從而彌合計(jì)算、行為和腦功能之間的差距。

6.1. 自由能原理：認(rèn)知整合與行為優(yōu)化的統(tǒng)一框架

自由能原理認(rèn)為，變化環(huán)境中的任何自組織系統(tǒng)（如大腦）都必須最小化其自由能，以維持生存所需的穩(wěn)態(tài)（K. J. Friston 等，2006）。自由能作為驚訝（surprise）的上界，是預(yù)測誤差的可處理度量。主動(dòng)推理框架最基本的理論優(yōu)勢恰恰在于這一自由能原理。它超越了將感知、學(xué)習(xí)、規(guī)劃和行動(dòng)選擇視為獨(dú)立模塊的傳統(tǒng)模型范式，轉(zhuǎn)而提供了一個(gè)統(tǒng)一且生物學(xué)上合理的計(jì)算框架。該框架將所有這些認(rèn)知過程概念化為單一原則的不同表現(xiàn)形式：自由能最小化（K. J. Friston，2010）。這一特性使其在為重復(fù)博弈中固有的復(fù)雜決策過程建模時(shí)具有卓越的解釋力。在重復(fù)博弈的背景下，玩家對對手的感知（推斷其隱藏狀態(tài)）、即時(shí)行動(dòng)選擇（選擇合作或背叛）以及從多輪互動(dòng)中學(xué)習(xí)（更新關(guān)于對手行為模式的信念）不再被視為獨(dú)立的認(rèn)知過程。相反，在這一統(tǒng)一框架下，它們被整合為主動(dòng)推理的統(tǒng)一過程。

傳統(tǒng)認(rèn)知科學(xué)研究通常為感知和行動(dòng)等不同認(rèn)知功能預(yù)設(shè)不同的優(yōu)化目標(biāo)。例如，感知以準(zhǔn)確性為優(yōu)化目標(biāo)，而行動(dòng)以效用為優(yōu)化目標(biāo)。在社會(huì)決策中，個(gè)體對他人思想和感受推斷的準(zhǔn)確性至關(guān)重要，因?yàn)樗婕邦A(yù)測、控制和決策結(jié)果（Vorauer 等，2025）。研究者關(guān)注如何在社會(huì)互動(dòng)中優(yōu)化人際感知的準(zhǔn)確性（Kenny & Albright，1987）。在行動(dòng)層面，從博弈論的角度來看，個(gè)體在博弈中的目標(biāo)是不斷優(yōu)化其行為以逼近最優(yōu)策略，尋求最大化自身效用（Camerer，2003）。面對具有不同優(yōu)化目標(biāo)的感知和行動(dòng)，主動(dòng)推理框架允許它們圍繞同一基本目標(biāo)對齊：最小化模型的預(yù)測誤差——即自由能的最小化。在感知方面，最小化自由能涉及更新他人思想和感受的內(nèi)部狀態(tài)，以減少“對他人的預(yù)期思想”與“實(shí)際觀測到的互動(dòng)線索”之間的差異，最終提高人際感知的準(zhǔn)確性。在行動(dòng)方面，最小化自由能涉及調(diào)整自身行為，使“互動(dòng)的實(shí)際結(jié)果”更接近“偏好的預(yù)期結(jié)果”，從而提高行為效用。

此外，關(guān)于重復(fù)博弈中探索 - 利用困境這一核心問題，自由能原理同樣提供了一個(gè)內(nèi)源性的解決方案，使行為優(yōu)化能夠?qū)崿F(xiàn)動(dòng)態(tài)平衡。傳統(tǒng)強(qiáng)化學(xué)習(xí)模型通常依賴外部調(diào)節(jié)的參數(shù)來控制探索與利用行為。例如，在ε-貪婪策略中，ε代表探索的概率，而1-ε對應(yīng)利用，ε通常在學(xué)習(xí)過程中按時(shí)間表衰減（Vermorel & Mohri，2005）。ε的設(shè)置和調(diào)整通常由經(jīng)驗(yàn)或數(shù)學(xué)考量指導(dǎo)，而非基于有充分依據(jù)的認(rèn)知機(jī)制。相比之下，在主動(dòng)推理中，這種權(quán)衡通過期望自由能的最小化被內(nèi)化，將其重構(gòu)為具有更原則性認(rèn)知基礎(chǔ)的統(tǒng)一優(yōu)化問題（K. Friston 等，2015）。在期望自由能的數(shù)學(xué)公式中，實(shí)用價(jià)值（pragmatic value）激發(fā)利用行為，而認(rèn)知價(jià)值（epistemic value）促進(jìn)探索行動(dòng)（Kirsh & Maglio，1994）。探索和利用被整合到單一的目標(biāo)函數(shù)（驚訝最小化）中，其中行動(dòng)選擇旨在最大化認(rèn)知價(jià)值和實(shí)用價(jià)值的綜合（K. J. Friston，2010）。因此，與經(jīng)典的期望效用最大化相比，自由能原理下的驚訝最小化并不與之矛盾，而是通過納入認(rèn)知價(jià)值對其進(jìn)行了擴(kuò)展。這使得模型能夠動(dòng)態(tài)適應(yīng)博弈情境。在互動(dòng)早期階段，當(dāng)社會(huì)不確定性較高時(shí)，認(rèn)知價(jià)值占主導(dǎo)地位，導(dǎo)致明顯的探索行為。隨著關(guān)于對手的信念變得更加精確，不確定性降低，認(rèn)知價(jià)值的權(quán)重減小，實(shí)用價(jià)值越來越多地指導(dǎo)決策，導(dǎo)致自然地向利用轉(zhuǎn)變。這種動(dòng)態(tài)平衡源于內(nèi)部信念狀態(tài)的演變，而非外部參數(shù)調(diào)節(jié)，顯著增強(qiáng)了模型在描述重復(fù)博弈中人類行為時(shí)的真實(shí)性和解釋力。

此外，自由能原理為常見觀察到的行為提供了令人信服的解釋，例如在高獎(jiǎng)勵(lì)情境下的風(fēng)險(xiǎn)承擔(dān)以及在缺乏外在激勵(lì)時(shí)的好奇心驅(qū)動(dòng)探索（R. Smith 等，2022）。通過將探索 - 利用權(quán)衡納入自由能原理的統(tǒng)一框架，主動(dòng)推理框架在行為優(yōu)化和認(rèn)知整合方面都表現(xiàn)出強(qiáng)大的解釋力。

6.2. 模擬社會(huì)互動(dòng)的本質(zhì)

社會(huì)決策的核心挑戰(zhàn)源于社會(huì)不確定性，這種不確定性在社會(huì)世界中無處不在——不僅僅局限于重復(fù)博弈情境。在社會(huì)互動(dòng)過程中，他人的思想和意圖在很大程度上是隱藏的，使得推斷其行為及其對我們的影響變得困難（Feldman Hall & Shenhav，2019；Kappes 等，2019）。主動(dòng)推理基于部分可觀測馬爾可夫決策過程（POMDP）框架，自然地將這種不確定性和不可觀測性納入其模型中（R. Smith 等，2022）。此外，主動(dòng)推理在其數(shù)學(xué)公式中固有地包含了解決這種不確定性的行為驅(qū)動(dòng)力。

大量先前的研究集中于探索獎(jiǎng)勵(lì)和懲罰對社會(huì)決策的影響，揭示了與獎(jiǎng)勵(lì)相關(guān)的計(jì)算和神經(jīng)回路在選擇引導(dǎo)中起著至關(guān)重要的作用，類似于非社會(huì)決策（Ruff & Fehr，2014）。然而，另一個(gè)同樣重要的引導(dǎo)因素卻被忽視了：減少社會(huì)不確定性的動(dòng)機(jī)（Alchian，1950）。在社會(huì)互動(dòng)中，人們經(jīng)常從事探索性行為以減少不確定性；這些行為并不帶來直接獎(jiǎng)勵(lì)，甚至可能涉及風(fēng)險(xiǎn)和成本。此類行為的出現(xiàn)表明，除了決策帶來的實(shí)用獎(jiǎng)勵(lì)外，理解他人的思想和減少社會(huì)不確定性本身也具有內(nèi)在價(jià)值——這是一種區(qū)別于外在獎(jiǎng)勵(lì)的價(jià)值（Loewenstein，1994）。在社會(huì)互動(dòng)中，個(gè)體擁有一種主動(dòng)探索他人思想和意圖的欲望，被稱為人際好奇心（interpersonal curiosity）（Way & Taffe，2025）。為了滿足人際好奇心，個(gè)體需要減少不確定性。主動(dòng)推理的期望自由能將認(rèn)知價(jià)值納入行為選擇中。認(rèn)知價(jià)值，也稱為內(nèi)在價(jià)值，在數(shù)學(xué)上對應(yīng)于信息增益或不確定性的減少（K. Friston 等，2015）。根據(jù)期望自由能理論，個(gè)體的行為選擇不僅旨在最大化實(shí)用價(jià)值，同時(shí)也受到最大化內(nèi)在認(rèn)知價(jià)值的驅(qū)動(dòng)。這種計(jì)算機(jī)制為個(gè)體為何在社會(huì)互動(dòng)中表現(xiàn)出人際好奇心提供了清晰的解釋。

在社會(huì)互動(dòng)中，個(gè)體需要推斷他人的思想、觀點(diǎn)、情緒狀態(tài)和行為模式等等。這既涉及形成初步印象的自動(dòng)推斷，也涉及如觀點(diǎn)采擇等控制性推斷（Devaine 等，2014；Hughes 等，2017）。當(dāng)在重復(fù)博弈情境中對這種心智化過程進(jìn)行建模時(shí)，主動(dòng)推理的層次模型提供了一個(gè)優(yōu)雅的框架（K. J. Friston 等，2017；Proietti 等，2023）。其貝葉斯網(wǎng)絡(luò)表示如圖 4d 所示。為了便于理解復(fù)雜的層次模型，圖 4 展示了各種主動(dòng)推理模型從簡單到復(fù)雜的演變過程。在圖中，圓圈代表變量，方塊代表調(diào)節(jié)關(guān)系的因素，箭頭表示變量之間的依賴關(guān)系。圖 4a 描述了靜態(tài)感知的生成模型，僅涉及單個(gè)時(shí)間點(diǎn)，類似于標(biāo)準(zhǔn)貝葉斯推斷。與前文對貝葉斯定理的描述一致，s 代表抽象的隱藏狀態(tài)，o 表示可觀測的結(jié)果，D 代表關(guān)于隱藏狀態(tài) s 的先驗(yàn)信念，A 是似然函數(shù)，指定了在給定狀態(tài) s 下觀測到 o 的概率。圖 4b 展示了動(dòng)態(tài)感知的生成模型。與圖 4a 相比，它包含了兩個(gè)或更多時(shí)間點(diǎn)，并包括狀態(tài)轉(zhuǎn)移矩陣 B，該矩陣描述了隱藏狀態(tài) s 如何隨時(shí)間演變。圖 4c 在圖 4b 的基礎(chǔ)上增加了策略選擇，代表帶有行動(dòng)選擇的動(dòng)態(tài)感知。這里，π 表示策略，其中不同的策略對應(yīng)不同的狀態(tài)轉(zhuǎn)移矩陣。G 代表期望自由能，C 代表偏好結(jié)果。圖 4d 展示了層次模型，該模型包含兩個(gè)層次的生成模型。在此架構(gòu)中，較高層次的隱藏狀態(tài) s? 為較低層次的隱藏狀態(tài) s? 提供先驗(yàn)信念。相反，較低層次模型的后驗(yàn)信念在給定時(shí)間點(diǎn)被視為較高層次模型的觀測值。較高層次模型的似然矩陣 A? 介導(dǎo)了層次之間的這種雙向信息流。這種結(jié)構(gòu)允許較高層次模型比較低層次模型以更慢的時(shí)間尺度更新，這就是為什么該框架也被稱為深層時(shí)間模型（deep temporal model）。

在重復(fù)博弈情境中，理解他人行為背后的思想和目標(biāo)通常需要觀察博弈中一系列具體的行為。這類似于通過觀察對手身體各部位的運(yùn)動(dòng)特征來推斷網(wǎng)球中一次擊球（例如正手或反手）背后的更高層次意圖（Proietti 等，2023）。在層次化主動(dòng)推理模型中，主體利用層次結(jié)構(gòu)的下層來處理每一輪博弈中的具體選擇，而上層則表征對手的更高層次、更穩(wěn)定的屬性——如意圖、策略或人格特質(zhì)。例如，在多輪囚徒困境博弈中，上層模型中的先驗(yàn)信念 式（如合作型、欺騙型、以牙還牙型等）。對手的策略可能隨時(shí)間緩慢變化，主體通過觀點(diǎn)采擇和學(xué)習(xí)過程逐漸更新這些高層信念，這與上層模型的特征相一致。關(guān)于對手策略模式的高層信念，結(jié)合高層似然矩陣，生成關(guān)于對手下一輪具體行為的預(yù)測。這些預(yù)測作為下層模型的先驗(yàn)信念，從而指導(dǎo)主體自身的具體行為選擇。層次模型提供了相當(dāng)大的靈活性，使其能夠針對不同博弈情境進(jìn)行定制。它能夠?qū)€(gè)體的高階信念進(jìn)行建模，使得模擬社會(huì)互動(dòng)中的心智化成為可能，從而為人類社會(huì)決策過程提供更接近的近似。

6.3. 未來方向：模型模擬與行為擬合

主動(dòng)推理的解釋力不僅在理論層面（例如通過自由能原理）得到證明，還在于它提供了一個(gè)計(jì)算上可處理且可測試的生成模型，有效地架起了理論與數(shù)據(jù)之間的橋梁。通過模擬研究，研究人員表明，主動(dòng)推理模型在動(dòng)作理解、認(rèn)知控制和運(yùn)動(dòng)預(yù)期等領(lǐng)域生成的關(guān)于感知和行為的預(yù)測，與實(shí)證觀察到的模式緊密匹配（Harris 等，2022；Proietti 等，2025；Proietti 等，2023）。其他研究人員則在來自趨避沖突、內(nèi)感受推斷和定向探索等認(rèn)知過程的行為數(shù)據(jù)上采用模型擬合，提取關(guān)鍵模型參數(shù)，這些參數(shù)作為有效的生物標(biāo)志物，用于區(qū)分健康個(gè)體和精神病理個(gè)體（R. Smith 等，2021，2020a，2020b）。除了計(jì)算精神病學(xué)之外，將主動(dòng)推理模型擬合到運(yùn)動(dòng)預(yù)期任務(wù)行為數(shù)據(jù)的研究同樣得出了能有效區(qū)分專家與新手的參數(shù)（Harris 等，2023）。然而，相對較少的研究人員使用模擬或行為擬合方法將主動(dòng)推理模型應(yīng)用于社會(huì)認(rèn)知研究。主動(dòng)推理框架在理解重復(fù)博弈中社會(huì)決策方面的理論優(yōu)勢同樣仍需嚴(yán)格檢驗(yàn)。

模型模擬和行為擬合是兩種互補(bǔ)的方法論，構(gòu)成了從理論驗(yàn)證到實(shí)證測試的遞進(jìn)過程。模型模擬基于理論構(gòu)建模型以生成模擬數(shù)據(jù)。這是一個(gè)在理想化環(huán)境中進(jìn)行的演繹過程，使研究人員能夠測試?yán)碚摰膬?nèi)部一致性和生成能力。未來的研究可以基于特定博弈任務(wù)，為生成模型定義狀態(tài)空間（隱藏狀態(tài) s、觀測 o）、似然矩陣 A 和狀態(tài)轉(zhuǎn)移矩陣 B。通過調(diào)整先驗(yàn)信念和期望自由能精度等參數(shù)，研究人員可以觀察主體的策略模式是否與實(shí)證觀察到的行為一致。例如，可以基于囚徒困境博弈規(guī)則構(gòu)建一個(gè)層次化主動(dòng)推理模型。通過操縱高層模型的先驗(yàn)來模擬具有不同對手初始印象的主體（例如預(yù)期合作與預(yù)期背叛），研究人員可以調(diào)查合作形成的過程是否存在差異，從而測試該模型能否復(fù)現(xiàn)實(shí)證觀察到的戰(zhàn)略模式。在通過模擬對模型有效性進(jìn)行初步驗(yàn)證的基礎(chǔ)上，行為擬合進(jìn)一步將該模型應(yīng)用于實(shí)證行為數(shù)據(jù)。該方法從真實(shí)數(shù)據(jù)出發(fā)，要么比較模型的擬合優(yōu)度，要么估計(jì)其參數(shù)。作為模型反轉(zhuǎn)的一種形式，行為擬合檢驗(yàn)了理論的外部效度和解釋力。通過收集游戲?qū)嶒?yàn)參與者的行為數(shù)據(jù)（例如具體選擇、反應(yīng)時(shí)、主觀報(bào)告），研究人員可以將主動(dòng)推理模型與強(qiáng)化學(xué)習(xí)等經(jīng)典計(jì)算模型進(jìn)行比較。這種比較檢驗(yàn)了主動(dòng)推理模型能否有效解釋人類行為數(shù)據(jù)，并評(píng)估其擬合優(yōu)度。從擬合中估計(jì)出的參數(shù)可作為計(jì)算生物標(biāo)志物，用于區(qū)分群體并量化社會(huì)決策中的個(gè)體差異。未來的工作可以設(shè)計(jì)包含不同類型博弈的實(shí)驗(yàn)任務(wù)以收集人類行為數(shù)據(jù)。使用相同的主動(dòng)推理模型，研究人員可以通過僅將特定結(jié)構(gòu)參數(shù)作為博弈類型的函數(shù)進(jìn)行調(diào)整，來擬合跨博弈類型的數(shù)據(jù)。如果該模型成功解釋了多樣博弈情境中的人類行為，這將證明其作為社會(huì)決策統(tǒng)一理論的潛力和普遍性。此外，將神經(jīng)影像數(shù)據(jù)與計(jì)算模型參數(shù)整合，將有助于揭示社會(huì)決策背后的神經(jīng)計(jì)算機(jī)制，從而促進(jìn)主動(dòng)推理在社會(huì)認(rèn)知神經(jīng)科學(xué)中更廣泛和深入的應(yīng)用。

然而，必須承認(rèn)的是，將主動(dòng)推理應(yīng)用于社會(huì)決策研究面臨著若干挑戰(zhàn)。主動(dòng)推理仍然主要是一個(gè)理論框架，其實(shí)證應(yīng)用仍處于早期階段。其高度的計(jì)算復(fù)雜性和大量的參數(shù)使得建模過程對心理學(xué)領(lǐng)域的研究者而言相對具有挑戰(zhàn)性。此外，現(xiàn)有的主動(dòng)推理模型構(gòu)建指南主要基于相對簡單的實(shí)驗(yàn)任務(wù)（R. Smith 等，2022）；將其遷移到更復(fù)雜的重復(fù)博弈中是一項(xiàng)艱巨的任務(wù)。同時(shí)，科學(xué)哲學(xué)領(lǐng)域的研究者對自由能原理提出了質(zhì)疑（Colombo & Wright，2021），認(rèn)為它過于抽象和普遍，無法替代對認(rèn)知和行為背后具體機(jī)制的研究。這是一個(gè)重要的提醒：盡管我們認(rèn)可其作為理論框架的強(qiáng)大解釋力，但同樣必須重視實(shí)證研究，以驗(yàn)證和證實(shí)其計(jì)算模型具體實(shí)現(xiàn)的有效性。

1. 結(jié)論

本綜述系統(tǒng)地考察了主動(dòng)推理框架在闡明重復(fù)博弈中決策背后的認(rèn)知機(jī)制方面的潛力。與單輪博弈不同，重復(fù)博弈更貼近現(xiàn)實(shí)生活中的社會(huì)互動(dòng)，因此作為研究社會(huì)決策的經(jīng)典范式。直接觀察他人思想和動(dòng)機(jī)的困難引入了社會(huì)不確定性，這顯著增加了重復(fù)博弈中決策的復(fù)雜性。個(gè)體必須基于多輪互動(dòng)的反饋進(jìn)行實(shí)時(shí)學(xué)習(xí)和戰(zhàn)略調(diào)整，這一過程涉及相互連接的認(rèn)知組件，如推斷、策略生成和學(xué)習(xí)。面對如此復(fù)雜的認(rèn)知過程，傳統(tǒng)強(qiáng)化學(xué)習(xí)模型雖然擅長捕捉經(jīng)驗(yàn)驅(qū)動(dòng)的價(jià)值更新，但在處理不完全信息和推斷對手策略方面的能力有限。貝葉斯推斷可以準(zhǔn)確描述信念更新和不確定性管理，然而傳統(tǒng)精確貝葉斯方法往往難以完全與行動(dòng)策略選擇整合。在此背景下，主動(dòng)推理框架通過自由能原理，在單一生成模型結(jié)構(gòu)內(nèi)統(tǒng)一了感知、學(xué)習(xí)、規(guī)劃和行動(dòng)。感知和學(xué)習(xí)通過最小化變分自由能來實(shí)現(xiàn)，從而平衡模型復(fù)雜性與準(zhǔn)確性。規(guī)劃和行動(dòng)選擇通過最小化期望自由能來實(shí)現(xiàn)，從而最大化認(rèn)知價(jià)值和實(shí)用價(jià)值。與其他模型相比，主動(dòng)推理框架提供了一種強(qiáng)大的方法來解決重復(fù)博弈中固有的關(guān)鍵探索 - 利用困境。基于部分可觀測馬爾可夫決策過程（POMDP）構(gòu)建，該框架自然地納入了社會(huì)不確定性。此外，其層次結(jié)構(gòu)為社會(huì)互動(dòng)中心智化過程的合理表征提供了可能。未來的研究應(yīng)使用模型模擬和行為擬合的互補(bǔ)方法進(jìn)一步評(píng)估該框架的實(shí)證效度。總之，主動(dòng)推理框架為理解重復(fù)博弈中的人類行為提供了一個(gè)統(tǒng)一且具有解釋力的視角。它為揭示社會(huì)決策的隱藏動(dòng)態(tài)提供了嚴(yán)謹(jǐn)?shù)姆椒ㄕ摚瑥亩鴮⒆约憾ㄎ粸橥七M(jìn)計(jì)算社會(huì)心理學(xué)的有力工具。

原文鏈接：https://www.mdpi.com/2076-328X/15/12/1727