深度Transformer流形中的潛在客體永久性：拓撲相變、自由能原理與重正化群流

深度Transformer流形中的潛在客體永久性：拓撲相變、自由能原理與重正化群流

Latent Object Permanence: Topological Phase Transitions, Free-Energy Principles, and Renormalization Group Flows in Deep Transformer Manifolds

https://arxiv.org/pdf/2601.19942

摘要

1 引言

針對 Transformer 模型的可解釋性研究 [1] 通常將其潛在空間 視為連續的語義場，其中意義以近似線性方向編碼 [2,3]。然而，多步推理需要實際上是離散的操作：否定、量化、變量綁定以及組合控制流。各種瓶頸假設——例如意識先驗[4] 和類似膠囊的分解 [5]——表明，高層認知需要稀疏、可操作的因子，這些因子的行為類似于潛在的“對象”。

我們研究深度 Transformer 是否自發實現了這種離散化，其機制類似于重整化群 [7]：一種粗粒化流，積分掉短程關聯（局部句法），并穩定長程算子（邏輯/語義關系）。與強調淺層特征疊加的論述 [6,8] 不同，我們關注出現推理的深層區，并探究潛在幾何是否表現出相變的特征。

核心論點。在足夠規模下，深度扮演了隱式冷卻計劃的角色：注意力變得更加尖銳，自由能降低，協方差譜出現尖峰與間隙，有效維度發生坍縮。我們將臨界后的區域解釋為“固態”相，在該相中，潛在軌跡集中于支持跨步驟對象持久性的穩定吸引盆（瞬態類對象）附近。

2 預備知識與可觀測變量

3 潛在流形的信息幾何3.1 由輸出分布誘導的 Fisher 度量

3.2 曲率作為層次結構的代理指標

曲率量（例如 Ricci 曲率）度量測地線的匯聚/發散，并可以對表征的層次結構進行編碼。雖然我們不假定常曲率，但我們提出以下內容作為一個診斷性假設：

定義 3.1（雙曲嵌入假設（診斷性））。當有效潛在幾何在相關子空間中表現出負曲率時，深層語義層次結構會得到促進。預期淺層的行為更接近局部歐幾里得幾何（句法），而深層可能誘導出更負曲率的有效幾何（層次化語義）。

4 注意力的熱力學：一個自由能原理4.1 Softmax 作為吉布斯分布

5 隨機矩陣理論基線與尖峰協方差5.1 作為零模型的 Marchenko–Pastur 分布

5.2 低秩信號與尖峰

一個典型的結構化模型是尖峰協方差形式

注 2.在高維漸近理論中，尖峰模型存在一個檢測閾值（BBP 型相變）：當尖峰強度超過某個臨界值時，它會在譜上變得可分離，從而將“隱藏”因子轉變為“可觀測”的特征向量方向 [17]。我們將此作為概念類比：增加模型規模可以將語義因子推過可檢測性閾值，表現為涌現的尖峰和秩坍縮。

6 重整化群視角與嚴格的譜坍縮條件6.1 作為橫向收縮的粗粒化

我們現在給出充分的條件下，某個深度區間必然會產生有效維度坍縮，從而將 RG 思想形式化為不相關方向的收縮。

6.2 邏輯可分性蘊含低秩結構（混合模型）

為了將類似邏輯的離散性與譜聯系起來，而不假設冪律關系，考慮一個簡單但嚴謹的模型：潛在狀態聚集在 k k個原型周圍。

8 方法論8.1 模型套件

我們分析一套參數量跨越一個數量級的模型，以區分容量受限行為與涌現現象 [9,10]：

• 小規模（10億–30億參數）：Qwen-2.5-1.5B [11], Gemma-2-2B [12]。

• 中等規模（80億–110億參數）：Llama-3-8B [13]；基于 SOLAR-10.7B 的 110 億參數類模型 [14]。

• 大規模（300億+ 參數）：MiroThinker-30B（面向推理）。

8.3 潛在對象探測與量化

圖 1 可視化了這一序參量的微觀演化。熱力圖顯示，該相變不僅僅是均值的偏移，更是概率質量的分岔：推理模型發展出一個與低完整性背景分離的獨特的高完整性模式（“固態”帶），而較小的模型仍然保持有效的單峰分布。

10 討論10.1 從疊加到正交性約束

疊加可以在有限維度中編碼許多特征 [8]。然而，類邏輯操作施加了可分性約束：如果一個表征必須在多步鏈中可靠地區分互斥的謂詞，那么穩定的類區域（吸引盆）就變得有利。定理 6.3 表明，即使是一個簡單的類混合模型，也會產生嚴格的低秩加各向同性結構，從而在不假設任何特定冪律的情況下產生譜間隙和有效秩坍縮。

10.2 瞬態類對象作為動力學對象

我們以同時兼容收縮機制和自由能銳化機制的方式來定義 TCO。

10.3 為什么c0.42可能在跨尺度下保持穩定

11 結論

我們提供了一個擴展的、數學上明確的框架，將大型語言模型中的涌現推理能力與潛在幾何中的相變聯系起來。我們的貢獻包括：(i) 對注意力的熱力學變分刻畫（自由能最小化）；(ii) 隨機矩陣理論基線（Marchenko–Pastur 譜 bulk）以及基于尖峰的結構；(iii) 通過橫向收縮實現譜坍縮的充分條件；(iv) 嚴格的混合模型結果，表明離散的類結構蘊含低秩的信號特征值。在此觀點下，瞬態類對象是由類似重整化群的深度流所產生的穩定吸引盆，該深度流在壓縮不相關方向的同時，保留了一個低維的語義骨架。

原文鏈接：https://arxiv.org/pdf/2601.19942