ICLR 2026 I 英偉達(dá) & 普渡大學(xué)用agent閉環(huán)實(shí)現(xiàn)文生3D

大模型正在進(jìn)入 “Agent 時(shí)代”

大模型正在從 “會(huì)說(shuō)會(huì)寫(xiě)” 走向 “會(huì)規(guī)劃、會(huì)執(zhí)行” 的 Agent 時(shí)代。對(duì)具身智能來(lái)說(shuō)，這種變化尤其關(guān)鍵。因?yàn)檎嬲拗茩C(jī)器人和智能體能力上限的，很多時(shí)候并不是算法本身，而是現(xiàn)實(shí)世界中過(guò)高的試錯(cuò)成本：一次抓取失敗、一次路徑規(guī)劃失誤，代價(jià)都遠(yuǎn)高于在虛擬環(huán)境中的反復(fù)迭代。也正因如此，一個(gè)物理合理、結(jié)構(gòu)真實(shí)、能夠支撐交互和仿真的 3D 世界，正變得越來(lái)越重要。

從一句文本描述直接生成一個(gè)真正 “能用” 的三維場(chǎng)景，遠(yuǎn)比生成幾張好看的圖片更難。一個(gè)場(chǎng)景是否可用，不僅取決于里面有沒(méi)有桌子、椅子和書(shū)架，而且取決于這些物體之間的關(guān)系是否合理：杯子能不能真正放在桌面上，書(shū)能不能被擺進(jìn)書(shū)架里，椅子是不是面向一個(gè)符合使用常識(shí)的位置，整個(gè)空間會(huì)不會(huì)出現(xiàn)穿插、漂浮和不穩(wěn)定支撐。換句話(huà)說(shuō)，3D 場(chǎng)景生成最難的地方，從來(lái)不是 “生成資產(chǎn)”，而是讓空間關(guān)系看起來(lái)像真實(shí)世界，并且真的能夠服務(wù)于交互、仿真和具身智能任務(wù)。

圍繞這一問(wèn)題，來(lái)自英偉達(dá) Cosmos Lab 與普渡大學(xué)的研究者提出了 Scenethesis（ICLR 2026）。與其過(guò)擬合小樣本的 3D 場(chǎng)景數(shù)據(jù)，他們換了一個(gè)思路：把語(yǔ)言、視覺(jué)和物理約束組織成一個(gè)可以自我迭代的 Agent 閉環(huán)系統(tǒng)，讓文本生成 3D 場(chǎng)景這件事，不再只是一次性的 “生成”，而更像一個(gè)不斷規(guī)劃、檢查、修正的過(guò)程。

• 論文標(biāo)題：Scenethesis: A Language and Vision Agentic Framework for 3D Scene Generation
• 文章鏈接：https://arxiv.org/pdf/2505.02836
• 英偉達(dá)網(wǎng)站：https://research.nvidia.com/labs/dir/scenethesis/

可交互三維場(chǎng)景生成的兩個(gè)長(zhǎng)期困境

過(guò)去幾年里，可交互 3D 場(chǎng)景生成大致沿著兩條路線(xiàn)發(fā)展。

第一類(lèi)方法依賴(lài) 3D-FRONT 等室內(nèi)數(shù)據(jù)集訓(xùn)練模型，在室內(nèi)布局上已經(jīng)取得了不少進(jìn)展，但它們的能力往往也被訓(xùn)練分布牢牢鎖住了：會(huì)擺客廳和臥室，不代表能自然泛化到其他室內(nèi)布局，甚至街道、海灘或公園等室外場(chǎng)景；能處理常見(jiàn)家具關(guān)系，也不意味著能穩(wěn)定建模 “小物體放置于大物體中” 這類(lèi)更細(xì)粒度、更長(zhǎng)尾的空間關(guān)系。

另一類(lèi)方法則開(kāi)始借助大語(yǔ)言模型做開(kāi)放式布局規(guī)劃。語(yǔ)言模型的優(yōu)勢(shì)是組合能力強(qiáng)、語(yǔ)義覆蓋廣，能夠根據(jù)文本描述快速搭出場(chǎng)景框架，但它畢竟運(yùn)行在符號(hào)空間里，不在幾何空間里。于是我們經(jīng)常看到這樣的結(jié)果：物體類(lèi)別是對(duì)的，關(guān)系描述也大體沒(méi)錯(cuò)，可一旦落到真實(shí)三維空間，就會(huì)出現(xiàn)椅子朝墻、柜子擋窗、物體浮空甚至彼此穿插等不符合常識(shí)的現(xiàn)象。

核心問(wèn)題：如何有效生成 “空間物理真實(shí)的 3D 場(chǎng)景”？

Scenethesis 的出發(fā)點(diǎn)，正是在這兩類(lèi)路線(xiàn)之間找到一個(gè)新的結(jié)合方式。研究者注意到，語(yǔ)言模型擅長(zhǎng)的是語(yǔ)義規(guī)劃，卻缺少對(duì)真實(shí)空間的直覺(jué)；而視覺(jué)模型雖然不會(huì)直接 “理解” 場(chǎng)景邏輯，卻天然攜帶大量現(xiàn)實(shí)世界的空間統(tǒng)計(jì)先驗(yàn)。

因此，這項(xiàng)工作的核心并不是把幾個(gè)模塊簡(jiǎn)單拼起來(lái)，而是讓它們?cè)谝粋€(gè)閉環(huán)里各司其職：先由語(yǔ)言模型做粗粒度規(guī)劃，再借助視覺(jué)模塊把抽象的語(yǔ)義關(guān)系落到更真實(shí)的空間布局中，隨后引入物理優(yōu)化去消除穿模和不穩(wěn)定支撐，最后再由判斷模塊檢查整個(gè)場(chǎng)景是否滿(mǎn)足常識(shí)與一致性要求，不滿(mǎn)足就繼續(xù)修復(fù)。

系統(tǒng)流程圖

Scenethesis：四階段 Agent 系統(tǒng)

Scenethesis 是一個(gè)無(wú)需重新訓(xùn)練場(chǎng)景生成模型的系統(tǒng)框架，其流程包含四個(gè)階段。

第一階段：語(yǔ)義模型進(jìn)行粗粒度規(guī)劃

在具體流程上，Scenethesis 會(huì)先根據(jù)文本提示識(shí)別場(chǎng)景類(lèi)型、挑選關(guān)鍵錨點(diǎn)物體，并構(gòu)建一個(gè)初步的層級(jí)布局。這個(gè)階段更像 “構(gòu)思”，會(huì)理解用戶(hù)輸入的場(chǎng)景類(lèi)型，然后推理場(chǎng)景里應(yīng)該有什么、哪些物體之間會(huì)有空間關(guān)系，確保資產(chǎn)庫(kù)中有規(guī)劃好的物體，最后以 JSON 格式輸出選中的物體以及擴(kuò)充過(guò)的場(chǎng)景描述。

第二階段：視覺(jué)模塊進(jìn)行空間落地

真正讓這項(xiàng)工作區(qū)別于很多語(yǔ)言規(guī)劃方法的是視覺(jué)模塊的介入和物理優(yōu)化的過(guò)程：系統(tǒng)先生成參考圖像，再通過(guò)實(shí)例分割和深度估計(jì)恢復(fù)場(chǎng)景結(jié)構(gòu)，估計(jì)物體的初始 3D 大小，從而把原本停留在語(yǔ)言層面的描述，轉(zhuǎn)化為更加貼近真實(shí)世界的空間線(xiàn)索。到了這一步，系統(tǒng)已經(jīng)不再是憑語(yǔ)言 “腦補(bǔ)” 布局，而是在借助視覺(jué)先驗(yàn)讓場(chǎng)景變得更像現(xiàn)實(shí)空間。

第三階段：物理參與生成過(guò)程

為了讓場(chǎng)景生成不僅僅是 “視覺(jué)上看起來(lái)不錯(cuò)”，還需要確保生成的場(chǎng)景符合物理規(guī)律。傳統(tǒng)布局方法常常只在 3D 包圍盒層面做碰撞檢查，這對(duì)于復(fù)雜物體關(guān)系來(lái)說(shuō)過(guò)于粗糙，既難以表達(dá)精細(xì)接觸，也很難處理 “放進(jìn)書(shū)架里” 這類(lèi)更復(fù)雜的支撐關(guān)系。Scenethesis 采用有符號(hào)距離場(chǎng) (SDF)，用更細(xì)粒度的幾何對(duì)齊與物理約束，讓優(yōu)化過(guò)程直接考慮接觸、支撐和穩(wěn)定性。這樣一來(lái)，小物體不只是 “看起來(lái)” 靠近某個(gè)大物體，而是真正被放進(jìn)了合理的位置；整個(gè)場(chǎng)景也因此顯著減少了漂浮、穿插和不穩(wěn)定現(xiàn)象。

第四階段：自檢與修復(fù)機(jī)制

系統(tǒng)最后還加入了 judge 模塊，對(duì)物體類(lèi)別、空間關(guān)系和整體結(jié)構(gòu)進(jìn)行一致性判斷。如果場(chǎng)景沒(méi)有通過(guò)檢查，系統(tǒng)就會(huì)重新規(guī)劃和修復(fù)。這種 “生成 — 檢查 — 修復(fù) — 再生成” 的閉環(huán)，讓 3D 場(chǎng)景生成第一次更接近 Agent 式工作流。它不是一次性吐出結(jié)果，而是在多模態(tài)反饋中不斷把結(jié)果推向更合理的狀態(tài)。實(shí)驗(yàn)顯示：第一輪生成通過(guò)率約 72%，引入自檢機(jī)制后提升至 91%。

實(shí)驗(yàn)結(jié)果：空間關(guān)系不僅更真實(shí)，而且 “物理” 合理

從結(jié)果上看，這種路線(xiàn)帶來(lái)的提升并不只是視覺(jué)上的 “更像”，而是空間關(guān)系和物理合理性的同步改善。論文顯示，加入這套閉環(huán)后，場(chǎng)景生成在碰撞率從 6.1% 降至 0.8%，同時(shí)還能更穩(wěn)定地處理上方、內(nèi)部、下方等更豐富的空間關(guān)系。更重要的是，這種方法并沒(méi)有被室內(nèi)數(shù)據(jù)分布鎖死，在海灘、街道、公園等戶(hù)外環(huán)境中，同樣能夠生成開(kāi)放性的結(jié)構(gòu)更自然、物理更可信的可交互場(chǎng)景。對(duì)于虛擬內(nèi)容創(chuàng)作、仿真環(huán)境搭建以及具身智能訓(xùn)練來(lái)說(shuō)，這一點(diǎn)尤其關(guān)鍵：研究者真正需要的，從來(lái)不是一套只能擺拍的三維世界，而是一個(gè)能夠被操作、被編輯、被反復(fù)試驗(yàn)的空間環(huán)境。

Scenethesis 與其他方法生成的場(chǎng)景對(duì)比

只需要給一段文字描述，Scenethesis 就能生成對(duì)應(yīng)的可交互三維場(chǎng)景

未來(lái)方向

當(dāng)然，Scenethesis 也并不是終點(diǎn)。它仍然受到資產(chǎn)庫(kù)多樣性、遮擋場(chǎng)景下對(duì)應(yīng)精度以及可動(dòng)結(jié)構(gòu)資產(chǎn)支持能力的影響。但這項(xiàng)工作的價(jià)值在于，它提供了一種很有代表性的方向：當(dāng)文本到 3D 不再只是 “生成一個(gè)結(jié)果”，而是變成一個(gè)由語(yǔ)言、視覺(jué)和物理共同驅(qū)動(dòng)的閉環(huán)過(guò)程，我們也許才真正開(kāi)始逼近 “可交互世界生成” 這件事的核心。對(duì)于正在走向空間智能和具身智能的大模型來(lái)說(shuō)，這或許比再做一個(gè)更會(huì)擺家具的生成器，更接近下一階段真正重要的問(wèn)題。