DPO「只看總分不看細(xì)節(jié)」？TI-DPO用Token重要性重塑大模型對齊

在當(dāng)今的大模型后訓(xùn)練（Post-training）階段，DPO（直接偏好優(yōu)化） 憑借其無需訓(xùn)練獨(dú)立 Reward Model 的優(yōu)雅設(shè)計(jì)和高效性，成功取代 PPO 成為業(yè)界的 「版本之子」，被廣泛應(yīng)用于 Llama-3、Mistral 等頂流開源模型的對齊中。

然而，隨著對模型能力要求的日益嚴(yán)苛，DPO 的缺陷逐漸浮出水面。

究竟該如何讓 DPO 學(xué)會「去偽存真」，精準(zhǔn)識別出那些真正決定勝負(fù)的 Critical Tokens？

針對這一問題，來自中國科學(xué)院自動化研究所、字節(jié)跳動、微軟亞洲研究院和北京科技大學(xué)的研究者們在被選為 ICLR 2026 Oral 的新工作中聯(lián)合提出了一種全新的 TI-DPO 框架。

• 論文：《Token-Importance Guided Direct Preference Optimization》
• 論文地址：https://arxiv.org/abs/2505.19653
• 開源地址：https://github.com/gracefulning/TIDPO

研究背景與意義

主流方法正面臨兩個(gè)核心難題，這使得模型難以實(shí)現(xiàn)真正精細(xì)化的語義控制:

• 痛點(diǎn)一：序列級的「二元對立」陷阱。傳統(tǒng)方法依然停留在序列級別（Sequence-level）的粗粒度優(yōu)化上，簡單粗暴地將數(shù)據(jù)劃分為好與壞。這種二元監(jiān)督信號極度匱乏，因?yàn)樗谏w高質(zhì)量回復(fù)中可能混雜著瑕疵 Token 的事實(shí)，導(dǎo)致了模型在連續(xù)語義空間中微調(diào)效果差，甚至引發(fā)采樣分布偏移（Distribution Shift）。
• 痛點(diǎn)二：被偏差綁架的「偽」重要性。即使試圖下沉到 Token 級別，現(xiàn)有的重要性評估手段也存在問題。許多方法依賴概率預(yù)測或簡單加權(quán)，這導(dǎo)致它們直接繼承了模型架構(gòu)的固有缺陷 ——「U 型注意力偏差」（Lost in the Middle），模型天生傾向于過度關(guān)注首尾 Token 而忽略中間的核心語義。

TI-DPO 的核心機(jī)制

TI-DPO 的核心思想是：既然 Token 生而不同，那就給它們「加權(quán)」。 通過引入混合加權(quán)機(jī)制和三元組損失，TI-DPO 能夠精準(zhǔn)識別并放大「關(guān)鍵 Token」的信號，同時(shí)抑制噪聲，從而實(shí)現(xiàn)比傳統(tǒng) DPO 更準(zhǔn)、更穩(wěn)的對齊效果。它主要包含兩大核心機(jī)制：

1. 混合加權(quán)機(jī)制 (Hybrid Weighting)

為了找出誰才是決定回復(fù)質(zhì)量的「勝負(fù)手」，TI-DPO 設(shè)計(jì)了一套數(shù)據(jù)驅(qū)動與先驗(yàn)結(jié)構(gòu)相結(jié)合的權(quán)重計(jì)算法：

• 梯度歸因：計(jì)算 Loss 對每個(gè) Token Embedding 的梯度范數(shù)。簡單來說，誰對最終輸出貢獻(xiàn)大，誰的權(quán)重就高。
• 高斯先驗(yàn)：針對 LLM 常見的「U 型注意力偏差」（過度關(guān)注開頭結(jié)尾），引入高斯分布強(qiáng)制模型關(guān)注中間的語義核心。

最終的 Token 權(quán)重 ，是這兩者的凸組合：

新的 Token 級 DPO 加權(quán)損失函數(shù)如下：

2. 三元組損失 (Triplet Loss)

TI-DPO 不再滿足于非黑即白的二元對比，而是引入了度量學(xué)習(xí)中的神器Triplet Loss。它在訓(xùn)練過程中構(gòu)建了三個(gè)角色：

TI-DPO 損失函數(shù)：TI-DPO 的最終優(yōu)化目標(biāo)便是兩者的加權(quán)和：

實(shí)驗(yàn)結(jié)果

為了驗(yàn)證 TI-DPO 的實(shí)際戰(zhàn)力，研究團(tuán)隊(duì)在 Llama-3 (8B/3B) 和 Mistral-7B 等多個(gè)主流基座模型上進(jìn)行了測試，對比了包括 DPO、SimPO 以及最近大火的 GRPO 等 10+ 種對齊算法。

1. 綜合能力評估

如圖 1，在 Llama-3.1-8B-Instruct 基座上，TI-DPO 的綜合平均分達(dá)到 62.3，超過 GRPO (62.1) 和 DPO (60.8) 。

2. 細(xì)分領(lǐng)域表現(xiàn)優(yōu)秀

在 IFEval（指令遵循）、TruthfulQA（真實(shí)性）和 HumanEval（代碼生成） 這三大最考驗(yàn)細(xì)節(jié)把握的任務(wù)上，TI-DPO 的表現(xiàn)大幅超越了 DPO、SimPO 以及 GRPO。

3. 消融實(shí)驗(yàn)：核心組件缺一不可

Table 2 的消融實(shí)驗(yàn)結(jié)果表明，TI-DPO 的所有核心組件（包括混合加權(quán)機(jī)制、高斯先驗(yàn)和三元組損失）對于模型性能都至關(guān)重要，移除任意模塊均會導(dǎo)致在通用能力、數(shù)學(xué)推理及代碼生成等各項(xiàng)指標(biāo)上的顯著下降。

4. 案例展示：一眼看懂「關(guān)鍵 Token」

為了驗(yàn)證 TI-DPO 是否真的學(xué)會了「抓重點(diǎn)」，作者展示了一個(gè)醫(yī)療咨詢案例（「頭痛該怎么辦？」）的權(quán)重可視化熱力圖。

• 在 Preferred 回復(fù)中（左）：模型給「seek medical attention」和「promptly」分配了極高的權(quán)重（紅色深色區(qū)域），抓住了「安全第一」的核心。
• 在 Non-Preferred 回復(fù)中（右）：模型精準(zhǔn)「抓包」了「painkillers casually」這種潛在的高風(fēng)險(xiǎn)建議，并賦予高權(quán)重加以懲罰。
• Intermediate Response是模型當(dāng)前的自我水平：「建議多休息，如果惡化再看醫(yī)生」。TI-DPO 引導(dǎo)模型在生成過程中，不斷向 Preferred 的價(jià)值觀靠攏，同時(shí)規(guī)避 Non-preferred 的陷阱，從而完成從粗放向精細(xì)的進(jìn)化。

這種有力地證明 TI-DPO 不是在死記硬背，而是真的讀懂了人類價(jià)值觀。

總結(jié)與貢獻(xiàn)

TI-DPO 的提出，為大模型對齊從粗放的序列級優(yōu)化向更精細(xì)的 Token 級控制轉(zhuǎn)變提供了一個(gè)有力的嘗試。它不再滿足于籠統(tǒng)地判斷回答的「好壞」，而是試圖厘清每一個(gè) Token 在價(jià)值對齊中的真實(shí)貢獻(xiàn)。

實(shí)驗(yàn)結(jié)果表明，TI-DPO 在指令遵循、真實(shí)性與代碼生成等任務(wù)上，相比 GRPO 等基線取得了穩(wěn)定的性能提升，驗(yàn)證了提升數(shù)據(jù)利用的「顆粒度」是增強(qiáng)模型能力的有效路徑。

TI-DPO 以其在去噪和細(xì)節(jié)控制上的特性，為后續(xù)的 RLHF 研究提供了一個(gè)值得關(guān)注的新方向。我們期待看到更多圍繞「細(xì)粒度價(jià)值對齊」的探索，推動大模型向著更精準(zhǔn)、更可控的方向進(jìn)化。