視頻版Vision-Banana來了？大一統(tǒng)框架UniVidX刷新視頻任務SOTA

近日，由香港科技大學 MMLab 及合作團隊完成的研究工作「UniVidX: A Unified Multimodal Framework for Versatile Video Generation via Diffusion Priors」被計算機圖形學頂級會議 SIGGRAPH 2026 正式接收。

• 論文地址：https://arxiv.org/pdf/2605.00658
• 代碼：https://github.com/houyuanchen111/UniVidX
• 項目主頁：https://huggingface.co/houyuanchen/UniVidX
• 
  

圖 1：該圖系統(tǒng)性展示了 UniVidX 在多模態(tài)視頻生成中的統(tǒng)一建模能力，覆蓋 Text→X、X→X 及 Text&X→X 三類核心范式。上半部分為 UniVid-Intrinsic，支持逆向渲染、重打光、Intrinsic 生成等任務；下半部分為 UniVid-Alpha，支持 RGBA 生成、視頻摳圖與視頻 inpainting 等任務。結果表明，單一框架即可覆蓋原本需要多個獨立模型完成的復雜視頻圖形任務。

該工作提出了一個面向多模態(tài)視頻生成與理解的一體化統(tǒng)一框架 UniVidX，在多項視頻圖形任務上達到或刷新當前最優(yōu)性能，標志著視頻擴散模型在通用化方向上的重要進展。

圖 2：該圖展示了 UniVidX 的核心結構，包括隨機條件掩碼、解耦門控 LoRA 以及跨模態(tài)自注意力。不同模態(tài)在訓練中被動態(tài)劃分為條件或目標，從而實現(xiàn)全方向生成能力。通過共享注意力機制與模塊化參數(shù)適配，模型在保證一致性的同時有效避免模態(tài)間干擾。

長期以來，視頻圖形學與視頻生成領域的發(fā)展呈現(xiàn)出明顯的任務割裂。不同問題往往依賴獨立建模，例如視頻逆向渲染、視頻重打光、視頻摳圖、視頻 inpainting 以及文生視頻等任務，通常需要分別訓練專用模型來完成。

這種以固定輸入——輸出映射為核心的建模方式，限制了模型對復雜真實場景的適應能力，也阻礙了跨任務知識的共享與遷移。在實際應用中，視頻內(nèi)容往往涉及多種模態(tài)與多種操作的組合，傳統(tǒng)方法難以提供統(tǒng)一且高效的解決路徑。

圖 3：該圖對比了 UniVid-Intrinsic 與現(xiàn)有方法在 Intrinsic 生成任務中的表現(xiàn)。相比基線方法存在的模態(tài)錯位與細節(jié)缺失，UniVidX 在 RGB、反照率與法線之間保持了更高的一致性。結果表明，該方法能夠穩(wěn)定生成具有物理一致性的多模態(tài)視頻序列。

針對這一問題，UniVidX 從建模范式上進行了系統(tǒng)性重構。該框架的核心思想，是將不同視頻圖形任務統(tǒng)一為多模態(tài)條件生成問題，使任意模態(tài)既可以作為輸入條件，也可以作為生成目標，從而實現(xiàn)「任意模態(tài)到任意模態(tài)」的統(tǒng)一建模能力。在這一統(tǒng)一空間中，RGB 視頻、法線、反照率、光照、Alpha 通道以及前景背景等信息不再彼此割裂，而是通過共享的生成機制進行協(xié)同建模。

圖 4：該圖展示了 UniVidX 在 Intrinsic 生成和 RGBA 生成任務中的定量評測。無論在用戶評分還是時間一致性指標上，UniVidX 均優(yōu)于現(xiàn)有方法。值得注意的是，該方法可實現(xiàn)多層分解生成，體現(xiàn)出更強的統(tǒng)一建模能力。

為了實現(xiàn)這一統(tǒng)一能力，UniVidX 在模型結構與訓練機制上提出了一系列關鍵設計。

首先，通過隨機條件掩碼機制，模型在訓練過程中不斷改變輸入與輸出模態(tài)的劃分，從而學習全方向的生成關系，而非固定映射。這一機制使模型具備更強的泛化能力，可以適應多樣化的任務需求。

其次，通過解耦門控 LoRA，模型為不同模態(tài)分配獨立參數(shù)空間，并在對應模態(tài)作為生成目標時動態(tài)激活，從而有效避免不同模態(tài)之間的參數(shù)干擾，同時保留預訓練擴散模型的原始生成能力。

此外，跨模態(tài)自注意力機制通過在不同模態(tài)之間共享信息，實現(xiàn)了幾何、光照與語義層面的統(tǒng)一約束，顯著提升了生成結果的一致性與穩(wěn)定性。

圖 5：該表系統(tǒng)比較了 UniVid-Intrinsic 與多種代表性方法在反照率、光照、法線及正向渲染任務上的性能。UniVidX 在 PSNR、SSIM 及 LPIPS 等指標上整體領先。結果驗證了統(tǒng)一框架在多任務場景中的綜合優(yōu)勢。

在具體實現(xiàn)上，研究團隊基于該框架構建了兩個代表性模型，用于覆蓋不同類型的視頻圖形任務。UniVid-Intrinsic 面向 Intrinsic，可統(tǒng)一處理 RGB、反照率、輻照度和法線等模態(tài)，支持文本到 Intrinsic 生成、視頻逆向渲染、正向渲染以及視頻重打光等任務。

與此同時，UniVid-Alpha 面向視頻層級分解與合成，統(tǒng)一建模混合視頻、前景、背景與 Alpha 通道，支持視頻摳圖、視頻 inpainting 以及前景與背景替換等關鍵應用。兩個模型在統(tǒng)一框架下共同支持 Text→X、X→X 以及 Text&X→X 三類生成范式，總計覆蓋十五類典型視頻任務，驗證了該方法的廣泛適用性。

圖 6：該圖展示了不同方法在逆向渲染和正向渲染任務中的視覺效果。相比其他方法存在的偽影與細節(jié)丟失，UniVidX 生成結果更接近真實分布。尤其在光照一致性與幾何細節(jié)方面，表現(xiàn)出更高的穩(wěn)定性與精度。

值得關注的是，UniVidX 在數(shù)據(jù)效率方面表現(xiàn)出顯著優(yōu)勢。實驗結果表明，即使在不足千條視頻的數(shù)據(jù)規(guī)模下，模型仍能夠在多個任務上達到或超過現(xiàn)有最優(yōu)方法，并在真實場景與分布外數(shù)據(jù)上保持良好的泛化能力。這一現(xiàn)象表明，該方法并非依賴大規(guī)模任務數(shù)據(jù)進行學習，而是通過合理的結構設計與訓練策略，有效激活并利用了預訓練視頻擴散模型中蘊含的動態(tài)世界先驗。

圖 7：該表展示了 UniVidX 在真實世界 MAW 數(shù)據(jù)集上的反照率估計性能。盡管僅在合成數(shù)據(jù)上訓練，模型仍取得最佳強度誤差指標，并在色度誤差上保持競爭力。結果表明該方法具備良好的跨域泛化能力。

在系統(tǒng)評測方面，UniVidX 在多個關鍵任務中取得領先表現(xiàn)。在視頻逆向渲染與正向渲染任務中，模型在 PSNR、SSIM 及感知指標上整體優(yōu)于現(xiàn)有擴散模型方法；在法線估計任務中，在顯著減少訓練數(shù)據(jù)規(guī)模的情況下仍達到接近甚至優(yōu)于專用模型的性能；在視頻摳圖任務中，作為無需額外輔助信息的模型，其結果超過多種依賴 mask 輸入的方法。同時，在文本驅(qū)動生成任務中，模型在視覺質(zhì)量、語義一致性以及跨模態(tài)一致性方面均獲得更高評價，且在時間一致性方面顯著優(yōu)于圖像級方法。

圖 8：該表對比了 UniVidX 與多種專用法線估計方法的性能。盡管訓練數(shù)據(jù)規(guī)模顯著更小，UniVidX 仍達到接近甚至優(yōu)于部分專用模型的精度。該結果體現(xiàn)了利用擴散先驗進行統(tǒng)一建模的高數(shù)據(jù)效率優(yōu)勢。

從更高層面來看，UniVidX 的價值不僅體現(xiàn)在單項任務性能的提升上，更體現(xiàn)在其系統(tǒng)能力的整合與擴展。由于所有模態(tài)共享統(tǒng)一的生成框架，不同任務可以在同一模型內(nèi)部靈活組合，從而支持更加復雜的視頻編輯與內(nèi)容生成流程。

例如，可以先進行視頻逆向渲染獲取物理屬性，再基于文本進行重打光或材質(zhì)編輯；也可以通過 Alpha 分解實現(xiàn)視頻 inpainting 與背景替換。這種多模態(tài)可組合的能力，使 UniVidX 從單一模型擴展為面向復雜應用的統(tǒng)一視頻圖形引擎。

圖 9：該表展示了 UniVid-Alpha 在視頻摳圖任務上的定量表現(xiàn)。作為無需輔助 mask 輸入的方法，UniVidX 在 MAD、MSE 等關鍵指標上優(yōu)于多種現(xiàn)有方法。結果說明擴散模型先驗能夠有效替代傳統(tǒng)顯式分割信號。

總體而言，UniVidX 的提出標志著視頻擴散模型正在從單一任務工具向通用視頻圖形基礎模型轉(zhuǎn)變。該工作驗證了一個重要方向：在具備強大預訓練先驗的前提下，通過合理的多模態(tài)建模機制，可以將傳統(tǒng)圖形學中的分解、估計、生成與編輯任務統(tǒng)一到同一框架中。這一進展不僅為視頻生成與理解提供了新的技術路徑，也為自動駕駛仿真、具身智能、影視制作等領域的實際應用奠定了重要基礎。

作者介紹

本文第一作者為南京大學本科生陳厚源，即將入學香港科技大學 MMLab 開展研究。本文通訊作者為香港科技大學 MMLab 饒安逸老師。值得一提的是，斯坦福大學博士生 Lvmin Zhang 也是本文作者之一，他此前曾與饒安逸老師合作完成 ControlNet、IC-Light 等代表性工作，其中 ControlNet 曾獲 ICCV Marr Prize。此外，清華大學趙昊老師也為該工作提供了重要指導，共同推動了項目的完成。