AdaGen: 讓圖像生成模型學(xué)會(huì)自適應(yīng)策略

當(dāng)前主流的圖像生成模型——擴(kuò)散模型（如 DiT）、自回歸模型（如 VAR）、掩碼生成模型（如 MaskGIT）、流模型（如 SiT）——都遵循一個(gè)共同范式：將復(fù)雜的圖像生成任務(wù)拆解為多個(gè)可控的子步驟，逐步迭代完成。然而，這種多步策略引入了一個(gè)不可忽視的問題：每一步都需配置大量超參數(shù)（如噪聲水平、采樣溫度、引導(dǎo)尺度等），而現(xiàn)有方法普遍依賴手工設(shè)計(jì)的靜態(tài)調(diào)度規(guī)則來管理這些參數(shù)。

這種做法存在兩個(gè)重要缺陷：一是需要大量專家知識(shí)和反復(fù)調(diào)參，二是"一刀切"的靜態(tài)策略無法適配每個(gè)樣本的獨(dú)特特性。

本文提出AdaGen——一個(gè)通用的、可學(xué)習(xí)的、樣本自適應(yīng)的生成策略框架。通過強(qiáng)化學(xué)習(xí)訓(xùn)練一個(gè)輕量級(jí)策略網(wǎng)絡(luò)，AdaGen 能根據(jù)當(dāng)前生成狀態(tài)自動(dòng)為每個(gè)樣本定制最優(yōu)的生成策略，在四大主流生成范式上均實(shí)現(xiàn)了顯著的性能提升與效率優(yōu)化。

• 論文標(biāo)題：
• AdaGen: Learning Adaptive Policy for Image Synthesis
• 論文鏈接：
• https://arxiv.org/abs/2603.06993
• 論文代碼：
• https://github.com/LeapLabTHU/AdaGen

核心動(dòng)機(jī)：從"靜態(tài)一刀切"到"動(dòng)態(tài)因材施教"

圖：AdaGen的核心思想?，F(xiàn)有方法使用預(yù)定義的靜態(tài)策略，所有樣本共享相同調(diào)度規(guī)則；AdaGen則通過RL訓(xùn)練的策略網(wǎng)絡(luò)，為每個(gè)樣本自適應(yīng)地產(chǎn)生定制化的生成策略。

現(xiàn)有的多步生成模型在推理時(shí)，所有樣本共享同一套預(yù)定義的調(diào)度規(guī)則。以 MaskGIT 為例，即使生成步數(shù)為 T = 16，也需要配置 64 個(gè)策略參數(shù)（每步 4 個(gè)參數(shù)），實(shí)際操作中極度依賴人工經(jīng)驗(yàn)。更關(guān)鍵的是，一張簡單的風(fēng)景圖和一張復(fù)雜的人物肖像，真的應(yīng)該用完全相同的生成策略嗎？

AdaGen 的核心思想非常直觀：引入一個(gè)通過強(qiáng)化學(xué)習(xí)訓(xùn)練的策略網(wǎng)絡(luò)（Policy Network），讓它觀察當(dāng)前的生成狀態(tài)，自動(dòng)且自適應(yīng)地為每個(gè)樣本決定最優(yōu)的生成參數(shù)。

統(tǒng)一 MDP 建模：一個(gè)框架統(tǒng)一四大生成范式

狀態(tài)轉(zhuǎn)移 (Transition)：由預(yù)訓(xùn)練的生成模型決定。擴(kuò)散模型和流模型的轉(zhuǎn)移由 ODE 求解器確定，是確定性的；MaskGIT 和自回歸模型的轉(zhuǎn)移則是隨機(jī)的。

對抗獎(jiǎng)勵(lì)建模：不讓策略"投機(jī)取巧"

訓(xùn)練策略網(wǎng)絡(luò)的另一個(gè)核心挑戰(zhàn)在于：如何設(shè)計(jì)有效的獎(jiǎng)勵(lì)信號(hào)？論文探索了三種方案，揭示了一個(gè)重要發(fā)現(xiàn)：

圖：三種獎(jiǎng)勵(lì)設(shè)計(jì)的對比。(a) 用FID作獎(jiǎng)勵(lì)：FID雖低至2.56，但圖像質(zhì)量差，保真度不達(dá)標(biāo)；(b) 用預(yù)訓(xùn)練獎(jiǎng)勵(lì)模型：保真度好了但樣本多樣性嚴(yán)重不足；(c) AdaGen的對抗獎(jiǎng)勵(lì)建模：保真度與多樣性兼顧。

(a) 用 FID 作獎(jiǎng)勵(lì)：雖然 FID 數(shù)值可以被優(yōu)化到很低（2.56），但生成圖像的視覺質(zhì)量反而很差。策略網(wǎng)絡(luò)學(xué)會(huì)了"刷"指標(biāo)的捷徑，犧牲了視覺保真度。

(b) 用預(yù)訓(xùn)練獎(jiǎng)勵(lì)模型：保真度上去了，但生成樣本趨于同質(zhì)化，多樣性嚴(yán)重不足。策略過擬合于獎(jiǎng)勵(lì)模型的偏好。

(c) 對抗獎(jiǎng)勵(lì)建模（AdaGen 的方案）：引入一個(gè)判別器作為獎(jiǎng)勵(lì)模型，與策略網(wǎng)絡(luò)進(jìn)行對抗訓(xùn)練。策略網(wǎng)絡(luò)試圖最大化獎(jiǎng)勵(lì)，而判別器則不斷提高區(qū)分真假圖像的標(biāo)準(zhǔn)，有效防止策略過擬合。最終實(shí)現(xiàn)了保真度與多樣性的良好平衡。

圖：AdaGen的訓(xùn)練流程。策略網(wǎng)絡(luò)控制生成過程產(chǎn)生圖像，對抗獎(jiǎng)勵(lì)模型同時(shí)評(píng)估生成結(jié)果并不斷自我進(jìn)化。預(yù)訓(xùn)練生成模型在整個(gè)過程中保持凍結(jié)。

訓(xùn)練算法簡潔優(yōu)雅，核心循環(huán)僅包含兩步：(1) 策略網(wǎng)絡(luò)優(yōu)化：生成圖像，用 PPO 算法更新策略網(wǎng)絡(luò)使獎(jiǎng)勵(lì)最大化；(2) 獎(jiǎng)勵(lì)模型優(yōu)化：同時(shí)采樣真實(shí)和生成圖像，訓(xùn)練判別器更好地區(qū)分兩者。兩者交替進(jìn)行，形成類似 GAN 的博弈過程。

動(dòng)作平滑：馴服高維動(dòng)作空間的探索

圖：優(yōu)化過程。當(dāng)生成步數(shù)從T=8增加到T=32時(shí)（黃色曲線），優(yōu)化變得不穩(wěn)定且性能下降。引入動(dòng)作平滑后（紅色曲線），訓(xùn)練恢復(fù)穩(wěn)定且性能超越T=8基線。

論文發(fā)現(xiàn)，不穩(wěn)定性的根源在于 PPO 探索時(shí)對每步獨(dú)立添加高斯噪聲，導(dǎo)致動(dòng)作序列出現(xiàn)劇烈且不必要的高頻波動(dòng)。而對于逐步推進(jìn)的迭代生成過程，最優(yōu)策略往往是平滑變化的。為此，論文提出動(dòng)作平滑技術(shù)——對策略輸出施加指數(shù)移動(dòng)平均（EMA）濾波：

圖：動(dòng)作平滑前后的對比。左側(cè)未平滑時(shí)，動(dòng)作序列劇烈抖動(dòng)（FID=3.5）；右側(cè)引入平滑后，序列合理平穩(wěn)（FID=2.3）。

上圖直觀對比了平滑前后的效果：從雜亂無章的鋸齒波到平滑有序的下降曲線，F(xiàn)ID 也從 3.5 降至 2.3。

實(shí)驗(yàn)結(jié)果：四大范式全面提升

跨范式有效性驗(yàn)證

AdaGen 在 ImageNet 256×256 上跨越四大生成范式、六個(gè)模型進(jìn)行了驗(yàn)證。在所有范式和推理步數(shù)下，AdaGen 均一致超越對應(yīng)的基線方法，且性能增益在推理步數(shù)較少時(shí)更為顯著：

表：AdaGen 在 ImageNet 256×256 上的 FID-50K 結(jié)果（↓越低越好），覆蓋四大生成范式。注：MaskGIT、DiT、SiT 在不同推理步數(shù) T 下評(píng)測；VAR 采用固定的 10 步生成，因此僅在 T=10 列報(bào)告結(jié)果。

效率優(yōu)勢

圖：AdaGen在四種模型上的質(zhì)量-效率權(quán)衡。無論是理論計(jì)算量（TFLOPs）還是實(shí)際GPU/CPU推理時(shí)延，AdaGen均能推進(jìn)質(zhì)量-效率前沿，實(shí)現(xiàn)1.6×到3.6×的推理加速。

上圖系統(tǒng)展示了 AdaGen 在四種生成模型上的質(zhì)量-效率權(quán)衡。無論是理論計(jì)算量還是實(shí)際推理延遲，AdaGen 均一致推進(jìn)了質(zhì)量-效率前沿，實(shí)現(xiàn)1.6× 到 3.6×的推理加速。

極低的額外開銷

AdaGen 的策略網(wǎng)絡(luò)僅為生成器增加0.07% 到 0.40%的額外推理計(jì)算量，因此其性能提升并不以增大推理開銷為代價(jià)：

表：AdaGen 策略網(wǎng)絡(luò)的推理開銷占生成器總計(jì)算量的比例。

結(jié)語

AdaGen 將生成策略的設(shè)計(jì)從"手工藝術(shù)"轉(zhuǎn)變?yōu)?數(shù)據(jù)驅(qū)動(dòng)的優(yōu)化問題"。通過統(tǒng)一的 MDP 建模、對抗獎(jiǎng)勵(lì)設(shè)計(jì)和動(dòng)作平滑技術(shù)，AdaGen 以一種輕量、通用的方式，在四大主流生成范式上實(shí)現(xiàn)了 17% 到 54% 的性能提升，或 1.6× 到 3.6× 的推理加速。這一工作表明，多步生成模型的潛力遠(yuǎn)未被充分挖掘——一個(gè)好的"調(diào)度策略"，和模型架構(gòu)本身同樣重要。