CVPR 2026 | 1000萬(wàn)段駕駛視頻，教會(huì)模型如何估計(jì)相機(jī)位姿

不用百萬(wàn)級(jí) 3D 標(biāo)注，模型也能從普通駕駛視頻中學(xué)會(huì)「自己是怎么動(dòng)的」。Wayve 的 LA-Pose 試圖把未標(biāo)注視頻里的運(yùn)動(dòng)信號(hào)，轉(zhuǎn)化為自動(dòng)駕駛系統(tǒng)所需的相機(jī)位姿估計(jì)能力。

一輛車駛過(guò)一段路，它該如何知道自己剛才在三維空間中怎樣移動(dòng)？

對(duì)人來(lái)說(shuō)，答案似乎很自然：看一段行車視頻，道路、車輛、路燈和建筑如何在畫面中移動(dòng)，幾乎就能判斷相機(jī)是在直行、轉(zhuǎn)彎、減速，還是停下。但對(duì)自動(dòng)駕駛系統(tǒng)來(lái)說(shuō)，這是一項(xiàng)核心幾何感知能力。系統(tǒng)不僅要看見(jiàn)場(chǎng)景，還要知道相機(jī)在連續(xù)幀之間發(fā)生了怎樣的平移和旋轉(zhuǎn)。

過(guò)去，訓(xùn)練這類模型往往依賴高質(zhì)量 3D 真值標(biāo)注。為了得到這些標(biāo)注，通常需要 LiDAR、精密標(biāo)定、重建管線或仿真系統(tǒng)。數(shù)據(jù)越準(zhǔn)，成本越高；成本越高，覆蓋的城市、天氣和道路類型就越有限。模型最后也容易繼承這些數(shù)據(jù)集本身的邊界。

Wayve 的最新研究 LA-Pose 換了一個(gè)切入點(diǎn)：先不要求模型直接學(xué)習(xí)精確 3D 位姿，而是讓它從海量未標(biāo)注駕駛視頻里理解「運(yùn)動(dòng)長(zhǎng)什么樣」。這篇論文已被 CVPR 2026 接收，完整題目是 LA-Pose: Latent Action Pretraining Meets Pose Estimation。

論文標(biāo)題：LA-Pose: Latent Action Pretraining Meets Pose Estimation

• 項(xiàng)目地址：https://la-pose.github.io/
• 論文地址：https://arxiv.org/abs/2604.27448
• Wayve 博客：https://wayve.ai/thinking/la-pose/
• 作者：Zhengqing Wang, Saurabh Nair, Prajwal Chidananda, Pujith Kachana, Samuel Li, Matthew Brown, Yasutaka Furukawa
• 機(jī)構(gòu)：Wayve、Simon Fraser University
• 會(huì)議：CVPR 2026

一句話概括這篇論文

LA-Pose 先從約 1000 萬(wàn)段未標(biāo)注駕駛視頻中自監(jiān)督學(xué)習(xí)「潛在動(dòng)作」表示，再用少量 3D 標(biāo)注訓(xùn)練一個(gè)輕量級(jí)位姿預(yù)測(cè)頭，把視頻里的運(yùn)動(dòng)規(guī)律轉(zhuǎn)化為準(zhǔn)確、高效、可泛化的相機(jī)位姿估計(jì)能力。

為什么這件事難

相機(jī)位姿估計(jì)要回答的是：相機(jī)從上一幀到下一幀，到底移動(dòng)了多遠(yuǎn)、轉(zhuǎn)了多少角度？這聽(tīng)起來(lái)像一個(gè)幾何問(wèn)題，但在真實(shí)道路上，情況遠(yuǎn)比干凈數(shù)據(jù)集復(fù)雜。夜間、雨天、隧道、擁擠城市道路、山路和鄉(xiāng)村道路都會(huì)出現(xiàn)，視覺(jué)外觀變化很大，傳統(tǒng)監(jiān)督訓(xùn)練很難靠有限標(biāo)注覆蓋所有情況。

LA-Pose 的出發(fā)點(diǎn)是，真實(shí)駕駛視頻本身已經(jīng)包含了大量運(yùn)動(dòng)線索。車輛向前開(kāi)、轉(zhuǎn)彎、減速、駛?cè)胨淼溃嬅娑紩?huì)隨時(shí)間發(fā)生規(guī)律變化。問(wèn)題不一定是「怎樣標(biāo)更多 3D 數(shù)據(jù)」，也可以是「怎樣讓模型先從普通視頻里學(xué)會(huì)運(yùn)動(dòng)」。

核心方法：先學(xué)運(yùn)動(dòng)，再學(xué)位姿

圖：LA-Pose 的兩階段方法。

LA-Pose 分成兩個(gè)階段。

第一階段是 Latent Action Pretraining。研究團(tuán)隊(duì)用約 1000 萬(wàn)段未標(biāo)注駕駛視頻片段進(jìn)行自監(jiān)督預(yù)訓(xùn)練，讓模型學(xué)習(xí)一種「潛在動(dòng)作」表示。可以把它理解為相鄰畫面之間運(yùn)動(dòng)變化的緊湊編碼：車輛是否在左轉(zhuǎn)、右轉(zhuǎn)、直行、減速，畫面結(jié)構(gòu)如何隨時(shí)間變化，這些信息不需要人工寫成標(biāo)簽，而是天然藏在視頻序列里。

具體來(lái)說(shuō)，LA-Pose 訓(xùn)練了一個(gè)逆向 - 正向動(dòng)力學(xué)系統(tǒng)。模型看到連續(xù)視頻幀后，需要捕捉「當(dāng)前畫面如何變化到下一幀」的規(guī)律。它不知道車輛的精確速度、航向角或 3D 位姿，也沒(méi)有被提供位姿標(biāo)簽；它只是通過(guò)觀看大量駕駛視頻，逐漸學(xué)會(huì)哪些視覺(jué)變化對(duì)應(yīng)哪些運(yùn)動(dòng)模式。

第二階段再把這種運(yùn)動(dòng)表示用于位姿估計(jì)。研究者凍結(jié)預(yù)訓(xùn)練得到的運(yùn)動(dòng)編碼器，只在其上接一個(gè)輕量級(jí)位姿預(yù)測(cè)頭，并用少量高質(zhì)量 3D 標(biāo)注微調(diào)。這個(gè)預(yù)測(cè)頭會(huì)把潛在動(dòng)作轉(zhuǎn)換為相機(jī)位姿，包括相對(duì)平移、旋轉(zhuǎn)、視場(chǎng)角和尺度。整個(gè)推理過(guò)程仍然是前饋式的，因此更接近實(shí)際部署對(duì)效率的要求。

沒(méi)有位姿標(biāo)簽，也能長(zhǎng)出運(yùn)動(dòng)結(jié)構(gòu)

圖：潛在動(dòng)作空間中自然浮現(xiàn)的運(yùn)動(dòng)結(jié)構(gòu)。

這篇論文里最直觀的結(jié)果之一，是潛在動(dòng)作空間自己長(zhǎng)出了結(jié)構(gòu)。

當(dāng)研究者把學(xué)到的潛在動(dòng)作可視化到二維空間后，相似動(dòng)作會(huì)自然聚在一起，不同區(qū)域?qū)?yīng)直行、左轉(zhuǎn)、右轉(zhuǎn)、停止等駕駛行為。這說(shuō)明模型并不只是記住畫面外觀，而是在沒(méi)有 3D 標(biāo)注的情況下，學(xué)到了具有幾何意義的運(yùn)動(dòng)先驗(yàn)。

另一個(gè)有意思的發(fā)現(xiàn)是：表示并不是越大越好。LA-Pose 的實(shí)驗(yàn)顯示，一個(gè) 50 維的潛在空間瓶頸，雖然不一定最擅長(zhǎng)重建畫面細(xì)節(jié)，卻比更高維的表示更適合后續(xù)位姿估計(jì)。壓縮迫使模型丟掉一部分外觀信息，留下更關(guān)鍵的運(yùn)動(dòng)結(jié)構(gòu)。

結(jié)果：更少標(biāo)注，更高精度

實(shí)驗(yàn)結(jié)果顯示，LA-Pose 在 Waymo 和 PandaSet 等自動(dòng)駕駛基準(zhǔn)上，相比近期前饋式方法取得超過(guò) 10% 的位姿精度提升，同時(shí)所需標(biāo)注數(shù)據(jù)少了多個(gè)數(shù)量級(jí)。

更重要的是，在沒(méi)有參與訓(xùn)練的 PandaSet 上，LA-Pose 依然超過(guò)基線方法，展示出較強(qiáng)的跨數(shù)據(jù)集泛化能力。對(duì)于自動(dòng)駕駛來(lái)說(shuō)，這一點(diǎn)很關(guān)鍵：系統(tǒng)不能只在熟悉數(shù)據(jù)集里表現(xiàn)穩(wěn)定，也要能面對(duì)新的城市、道路形態(tài)和天氣條件。

意義：把未標(biāo)注視頻變成幾何能力

為了更直觀看到這種泛化能力，Wayve 還展示了 LA-Pose 與 VGGT 在不同真實(shí)道路場(chǎng)景中的對(duì)比：雨天高速出口與環(huán)島、德國(guó)鄉(xiāng)村窄路。 LA-Pose 的價(jià)值在于，它把「未標(biāo)注視頻規(guī)模」轉(zhuǎn)化成了幾何視覺(jué)能力。車輛每天在真實(shí)世界中產(chǎn)生的視頻，本身就包含豐富的運(yùn)動(dòng)信息。只要模型能從中學(xué)到緊湊、可遷移的運(yùn)動(dòng)表示，再用少量標(biāo)注把這種表示落到真實(shí)尺度上，就有可能改變幾何感知系統(tǒng)的訓(xùn)練成本和擴(kuò)展路徑。

當(dāng)然，LA-Pose 還不是終點(diǎn)。Wayve 在博客中提到，模型目前在倒車運(yùn)動(dòng)上仍會(huì)出現(xiàn)退化，一個(gè)原因是倒車在后訓(xùn)練數(shù)據(jù)中相對(duì)少見(jiàn)。團(tuán)隊(duì)認(rèn)為，下一步需要繼續(xù)擴(kuò)大預(yù)訓(xùn)練和后訓(xùn)練數(shù)據(jù)，并把這種逆向動(dòng)力學(xué)預(yù)訓(xùn)練拓展到機(jī)器人采集視頻、手持視頻等更廣泛的動(dòng)態(tài)視覺(jué)場(chǎng)景。

但這篇工作的信號(hào)已經(jīng)很清楚：幾何視覺(jué)不一定只能從昂貴標(biāo)注開(kāi)始。運(yùn)動(dòng)本身就是監(jiān)督信號(hào)，而真實(shí)世界的視頻中到處都有運(yùn)動(dòng)。

結(jié)語(yǔ)：運(yùn)動(dòng)本身就是信號(hào)

如果 LA-Pose 的方向繼續(xù)成立，未來(lái)的自動(dòng)駕駛系統(tǒng)也許可以更少依賴為每個(gè)城市、每類場(chǎng)景重新構(gòu)建昂貴 3D 標(biāo)注集，而是從不斷增長(zhǎng)的真實(shí)駕駛視頻中學(xué)習(xí)更通用的幾何先驗(yàn)。

這也是「Latent Action Pretraining Meets Pose Estimation」這個(gè)題目的意義：潛在動(dòng)作不再只是世界模型或策略網(wǎng)絡(luò)里的動(dòng)作條件，它也可以成為連接視頻規(guī)模與 3D 幾何理解的一座橋。