觀影《極限審判》：當人工智能成為法官會發生什么？

最新上映的影片《極限審判》（Mercy）將由人工智能法官進行自動化審判的未來場景搬上了大銀幕。

在不遠未來的2029年8月14日，位于美國加州洛杉磯的人工智能法庭Mercy開啟了第十九場審判，被告人正是最初協助建立法庭的雷文（Raven）警官。雷文被控殺死了他的妻子，各項證據表明，他作為兇手的可能性高達97.5%。要想成功地為自己辯護，他必須在90分鐘的時間內將這種可能性降低5%，從而建立“合理懷疑”，否則倒計時結束他就會被自動執行死刑。影片的長度恰好也是90分鐘，雷文雖然否認自己是兇手，卻因為醉酒失憶，于是證據展示也是探尋真相的游戲開始……

撰文｜畢洪海（北京航空航天大學法學院）

真相存在于黑白之間

影片的故事情節具有科幻的性質，但是在法律未來主義者的眼中，隨著技術的快速進步，以人工智能取代人類作為法律決定者的“法律奇點”時刻正在無限接近。影片的整體基調是警示的，犯罪與刑罰涉及太多的灰色地帶，無法完全交由人工智能法庭裁決。

我們經?？吹降拿绖蚨问牵寒斅蓭熢诒P問證人時，證人只能回答是或否。這種只能二選一的方式，似乎完美契合計算機的二進制語言。人工智能法官馬多克斯（Maddox）也只相信事實，“人人都會撒謊，只有事實是非黑即白的?！比欢孜木俑嬖V她，真相是存在于黑白之間的。事實是客觀存在或發生的事和物。雷文警官與妻子發生了爭執、餐刀上留有他的指紋、妻子死亡前口中呼喊他的名字、兩人的感情已經出現了危機，所有事實都可以通過文字或錄像再現。然而真相就是雷文殺死了自己的妻子嗎？

因為并不存在直接的事實證據，所以人們對于真相只能是基于既有事實的認知和建構，難以完全避免主觀性，甚至無法完全擺脫經驗、知識和立場的影響，從既有事實中構造出不同的認知。影片中人工智能法官馬多克斯的兩次錯誤，都是被人有意識地利用事實構造出犯罪的“假相”：第一起審判是人為毀滅了證明被告無罪的事實，第十九起審判則是人為構造了陷害被告的事實。人工智能只能根據其所見推斷表面上的真實，至少說明了其無法識破這種精心設計的騙局。若是在死刑審判中，一個人工智能系統制造冤假錯案的概率是十九分之二，這是任何一個法律體系都不可能容忍的。相比之下，一個人工系統若是放縱漏網之魚的概率是十九分之二，我們是否會更樂意選擇后者這種有瑕疵的系統呢？

電影《極限審判》劇照。

不受偏見左右可能也意味著無法共情

當然，可以說人工智能法官的錯誤都是人類的錯誤，只要能夠保證證據的全面、真實和客觀，并非人工智能系統本身的問題。人工智能系統的優點，恰恰是因為不受人類情緒的左右，例如法官的心理、律師在法庭上的表演以及陪審團的憤怒等，可以做出完全客觀中立的最終判決。影片中的雷文警官，正是因為造成自己搭檔之死的被告被陪審團無罪釋放，成為了Mercy法庭最初的建立者和忠實的執行者。除此之外，影片似乎也在預設人工智能法庭在效率和效果方面的優點，相較于傳統刑事審判拖沓的程序設計，人工智能法庭為政府節省了數十億美元，而且洛杉磯的犯罪率下降了68%。

自近代早期以來，在自然科學的影響下，通過精密技術增加法律的確定性，以自動化的法律機器排除法律適用中人類因素的影響，一直就是許多思想家的夢想。其形態誠如二十世紀初馬克思·韋伯所述：“現代法官就像一臺自動售貨機，人們把文件和費用從上面扔進去，法官就會從下面吐出判決書和多少具有說服力的理由?！蔽覀冊谌粘ＵZ言中經常見到“情理法”三者并用，或是“法不容情”這樣的表述。法官的恣意、大眾的情緒在法律適用中往往都是被作為負面因素看待的，所以必須通過法律和程序加以約束。

而在計算法律學的視野下，為了便于人工智能技術在法律領域更普遍的應用，未來的立法應該具有充分的技術意識，盡可能采用計算機能夠識別和理解的方式加以表述。然而到目前為止，在全世界范圍內，完全自動化的情形只在少數行政領域得到了明確的允許，這些領域的行政決定往往數量眾多、規則清晰且是反復出現的同類案件。鑒于法律本身是一種帶有價值導向的體系，法律的語言中存在模糊之處，因此當規范通過數據或者計算機程序進行轉譯時，有可能存在價值上的損失，甚至以數據驅動的自我學習的人工智能系統，可能會引入數據中存在的偏見。所以當涉及到模糊的語言、開放的文本和價值權衡的時候，應該禁止由人工智能系統完全自動作出決定，當決定關系到憲法上所保護的重要權利時尤其應該如此。最典型的如德國《行政程序法》第35a條和歐盟《人工智能法》第5條關于禁止使用人工智能的情形。

即便前述問題可以經過技術迭代得到解決，人工智能的自動化決定取代人工決定，還意味著“同理心”無法在法律適用中發揮作用。同理心并非一種情感，而是一種能夠承認、回應和理解他人處境的能力，當涉及到少數弱勢群體時更是如此。所以影片中一個頗為令人回味的情節是，人工智能法庭的建設者和執行者雷文警官，最終自己坐到了被告席上，讓其與其他十八起案件的被告“感同身受”。同理心是目前尚未發展出（或許永遠也無法發展出）人類情感的人工智能所不具備的。當然，如同所有人類的情緒一樣，同理心更容易在具有相同身份的人之間產生，即“像我”，同理心也意味著其可能產生偏袒。但是真正的問題不是應否發揮同理心的作用，而是如何防止同理心被濫用。

電影《極限審判》劇照。

從人機對抗

到人機合作

人類和人工智能的相處方式并非只有彼此替代一種模式，影片還給我們展示了從人機對話到人機合作的模式，善加利用人工智能當然可以增強人類自身的能力。雷文警官利用自己身為專業執法人員的直覺和理性冷峻的人工智能法官，從最初的法律論證，即雷文警官是否有罪，發展到協作尋找案件真相，最后則是合作阻止犯罪的發生。

直覺是一種讓人瞬間感知和快速反應的能力，雷文警官的直覺告訴他哪里不對勁，但直覺往往是跳躍的，缺少細節和證據的支撐；人工智能法官馬多克斯則運用理性分析的過程，逐個排除相關因素，預測引爆裝置失效的概率。人工智能所缺少的關鍵功能正是像人類一樣的意識和情感，人工智能也無法應對系統中沒有預先設定程序的突發事件。即便是目前擬人化人工智能所提供的情感共鳴，也只是基于數據的模擬。因此人工智能技術的努力方向之一就是模擬人類的情感和直覺。當雷文談到自己對妻子的愛時，馬多克斯甚至以嘲弄的口氣說那不過是一種因為多巴胺分泌所帶來的生理現象，而作為一種生理現象就是可觀察和感知的。

但在影片的最后，人工智能法官馬多克斯似乎呈現出驚訝、慌亂甚至被雷文的懇求所打動，當載有雷文女兒的卡車沖向Mercy法庭時，人類的應對方式是毫無情感的理性計算，決定摧毀卡車以保全人工智能法庭，而馬多克斯似乎利用自己的能力讓爆炸裝置失靈了。塵埃落定之際，雷文反問了一句：我們全都是按照規定的流程行事的？或許對于人工智能來說是如此，然而人生不可能是被預先設定或可被隨意改寫的程序代碼，也不完全是行走在預定的軌道上，人生是五顏六色的，每個人都需要有情感來填補內心深處的空隙。

電影《極限審判》劇照。

“寬恕法庭”真的實現了寬恕嗎？

影片中人工智能系統的設定還突破了兩個非常重要的約束條件。第一個是現實約束。人工智能系統能力的發揮有賴于可獲取的海量數據。影片設定的人工智能系統馬多克斯是一個全能性（omnipotent）的數字利維坦，可以獲取所有監控錄像的信息，可以訪問諸如私人電子郵件、短信、Instagram社交賬號等任何網絡信息，可以輕松繞開私人密碼，可以隨時打通任何一個人的電話。馬多克斯唯一的不足則是通過物理世界的空中警察小隊來補充的，這支隊伍可以迅即抵達任何規定的地點。這樣一個人工智能系統同時也是一個全面的監控系統，不僅可以用于審判中的調查取證，同樣也可以用于預測犯罪。這不禁讓人想到《少數派報告》（Minority Report）中預測犯罪的“先知”和美劇《疑犯追蹤》（Person of interest）中的“機器”（The Machine），后者通過大規模的社會監控預測有計劃的犯罪。

第二個是規范約束。影片中的人工智能法庭是一種全權性的機構（omnicompetent）：獲得了社會公眾的高度信任；馬多克斯集起訴人、法官和行刑者于一身；其指令至高無上，所有人都必須服從；她被允許查看任何云端數據，也無須搜查令即可訪問私人設備信息?；蛟S她唯一的約束就是兩條最簡單不過的條文：實體法律上的是“殺人者死”；程序法上的是允許被告有90分鐘的時間證明存在合理懷疑。效率即正義，在這樣一個極致的效率工具面前，被告人除了利用人工智能系統自身的力量之外，幾乎被剝奪了任何的權益保障。

人類法庭目前為止所有的設置，無論是指定辯護人，通過陪審團審判，還是通過漫長的庭審過程進行舉證和質證，都是為了正義所付出的必要成本和代價，也是為了尊重每一個生命所付出的成本和代價。這種設置不僅惠及少數群體，也惠及所有人。因此，全自動的人工智能法庭這樣的設想，或許在認知的層面上很有趣，然而因為其失敗率、規范性以及隱性的代價方面，在涉及人類基本權利的領域中很難被允許。

影片最大的諷刺之處在于人工智能法庭的名字叫作“寬恕”（Mercy）。然而整個審判過程中卻看不到絲毫的“寬恕”，甚至可以說是毫不寬?。∕erciless）。在影片的審判場景中，被告人孤零零地被捆在椅子上，只能與“高高在上”的人工智能系統進行對話。這不禁令人想起卡夫卡式的“距離暴政”（distance of tyranny），因為距離的疏離而缺乏同情心。每個人在面臨像是Mercy這樣龐大的機器時都是脆弱的，只有像雷文警官這樣熟練的專業人士才有可能充分地展開自救。

在美國法律上，最能體現“寬恕”的權力有三種：第一種是陪審團的否決權（Jury Nullification），即陪審團有權在認定被告有罪的前提下，因不認同相關法律或認為起訴不當，通過自身的裁量作出無罪判決。第二種是檢察官決定不起訴的權力；第三種則是總統給予特赦的權力。

誠如美國哲學家杰拉爾德·J·波斯特馬（Gerald J. Postema）所述，若是在刑事審判中沒有寬恕進行調劑，就會在社會中產生一種“令人無法容忍的自以為是。被告的罪過表明的是一種值得譴責的弱點，而這種弱點，自以為是的官員對自己說，我是不會有的。這同樣體現在普通人對有犯罪記錄者的鄙夷當中……我們默默地對自己說：幸好我不像那些人?！?/p>

承認寬恕，就是承認每個人都具有的一種脆弱性。

本文為獨家原創文章。作者：畢洪海；編輯：劉亞光；校對：陳荻雁。未經新京報書面授權不得轉載，歡迎轉發至朋友圈。

最近微信公眾號又改版啦

大家記得將「新京報書評周刊」設置為星標

不錯過每一篇精彩文章～

了解2025新京報年度閱讀推薦書單