李飛飛引爆的3D新技術(shù)，為什么這家深圳公司兩年前就“玩膩”了？

允中 發(fā)自 凹非寺
量子位 | 公眾號(hào) QbitAI

最近，AI教母李飛飛發(fā)帖宣布“可以在任意設(shè)備上流式傳輸超過1億個(gè)高斯?jié)姙R”。

瞬間引爆了技術(shù)圈對(duì)3DGS（3D Gaussian Splatting）的新一輪關(guān)注。

大家突然開始意識(shí)到，大規(guī)模3D高斯模型，開始可以在移動(dòng)端運(yùn)行了。

也正是因?yàn)檫@個(gè)，讓大家聯(lián)想到2005年，那一年MP4格式的出現(xiàn)，視頻第一次可以被輕松壓縮、分享和播放。

隨之而來的是，視頻從“專業(yè)內(nèi)容”變成“日常語言”，進(jìn)而催生了整個(gè)內(nèi)容生態(tài)的爆發(fā)。

這讓人不禁期待，是否3D內(nèi)容也即將迎來屬于它的“MP4時(shí)刻”

但實(shí)際上，在真正熟悉3D高斯?jié)姙R技術(shù)的圈子里，“大規(guī)模3D高斯模型在移動(dòng)端打開” 的技術(shù)早已不是什么新鮮事。

兩年前就有一家深圳創(chuàng)業(yè)公司，做出來并推出完整產(chǎn)品，甚至開源至GitHub。

但為什么，3DGS模型至今還未能像視頻一樣，成為內(nèi)容創(chuàng)作者的主要?jiǎng)?chuàng)作手段和介質(zhì)？

3D內(nèi)容的爆發(fā)，究竟還缺乏哪些“關(guān)鍵要素”？

這，才是今天3D內(nèi)容的“真問題”。

3DGS最難回答的問題，不是技術(shù)問題

其實(shí)3D世界的構(gòu)建，一直都存在兩條不同路徑：

• 一條是建模/AI生成，即創(chuàng)造不存在的世界，服務(wù)于游戲與創(chuàng)意表達(dá)；
• 另一條是現(xiàn)實(shí)捕捉（Reality Capture），即記錄真實(shí)世界，服務(wù)于空間記錄、測(cè)量與仿真。

前面提到的李飛飛的路徑更偏向于前者，結(jié)合自然語言模型和三維空間生成，是現(xiàn)在我們熟悉的AI生圖/AI生視頻的升維版本。

雖然也支持照片生模型，但效果對(duì)比專業(yè)的Reality Capture路徑，其生成的模型在精度/結(jié)構(gòu)和完整性上有較大差距，就不歸為一類而談了。

Reality Capture往往使用攝影重建或激光+視覺結(jié)合的方式，完整而真實(shí)地還原現(xiàn)實(shí)世界。

“大規(guī)模3DGS模型在移動(dòng)端渲染”的故事，兩年前就在現(xiàn)實(shí)捕捉這一路徑上發(fā)生過了。

其實(shí)第一個(gè)支持大規(guī)模3D高斯模型在多端（含移動(dòng)端）渲染的產(chǎn)品是——

其域創(chuàng)新XGRIDS的LCC（Lixel CyberColor），全球首個(gè)可商用的大場(chǎng)景3D高斯產(chǎn)品。

是的，他們?cè)?strong>2024年，就推出了這樣一套由SLAM空間掃描硬件和3D高斯生成軟件組成的現(xiàn)實(shí)捕捉方案。

這套方案，可以將真實(shí)世界還原成高精度的3D高斯?jié)姙R模型，并且可以在移動(dòng)端加載無限大的3D高斯模型，這是行業(yè)里第一次有人把這件事做成產(chǎn)品。

而在他們這條產(chǎn)品發(fā)布的視頻底下，當(dāng)時(shí)很多評(píng)論都在問：

“這個(gè)模型可以用來做什么”“除了好看能做什么”……

技術(shù)已經(jīng)不再是瓶頸，但用戶的困惑恰恰揭示了另一層阻力的存在。

所以真正的問題，從那時(shí)起就已經(jīng)發(fā)生了轉(zhuǎn)移：

不是能不能打開，而是能不能被真正使用。

三維模型不像視頻，無需任何解釋，我們就知道視頻可以帶來什么價(jià)值。

但在我們的交互介質(zhì)大多還是二維屏幕的現(xiàn)狀下，光是“打開”一個(gè)三維模型，似乎沒有比看一段視頻給用戶帶來的價(jià)值增量有顯著區(qū)別。

甚至?xí)泻芏嘤脩粼儐枴捌溆虬l(fā)表的‘模型漫游’是不是一段拍攝視頻”，甚至感嘆“可能還不如一段實(shí)拍的4K視頻清晰”。

如果只能“粗略地看”，3DGS只是一個(gè)看起來更牛的技術(shù)，但卻不直接解決用戶的痛點(diǎn)，很難真正改變用戶的交互方式。

無獨(dú)有偶，另一個(gè)做手機(jī)重建三維模型的產(chǎn)品Kiri engine的創(chuàng)始人Jack，也曾在一次線下分享中提到，3D技術(shù)的行業(yè)從業(yè)者最經(jīng)常被詢問的問題是——

用戶到底能用3D技術(shù)來干什么？

Jack的回答是：“我們一般只能是去描繪一些有關(guān)Vision Pro的未來愿景，或去幻想一下未來10年的工作發(fā)展。”

連行業(yè)內(nèi)部人士都只能用未來愿景來回答，這說明問題的根源并不在技術(shù)本身。

回答“3D高斯能用來做什么”，才是眼下最本質(zhì)的問題。

而要真正回答這個(gè)問題，就必須先面對(duì)3DGS技術(shù)本身尚未解決的幾道關(guān)卡。

過去幾年，雖然3DGS技術(shù)的發(fā)展速度其實(shí)非?？欤?/p>

從論文到開源，從PC到移動(dòng)端，從實(shí)驗(yàn)室到產(chǎn)品化，技術(shù)路徑已經(jīng)基本跑通。

但行業(yè)始終沒有爆發(fā)，原因也很現(xiàn)實(shí)：

• 太大，難以傳輸（動(dòng)輒幾十GB）
• 太重，難以加載（設(shè)備性能門檻極高）
• 太新，缺乏生態(tài)系統(tǒng)支持（與各類目標(biāo)場(chǎng)景的原有工具鏈之間幾乎不兼容）

從“能打開”，到“能應(yīng)用”的跨越

最近在社媒上出現(xiàn)的一些新探索，證明這些問題正在被解決：

有用戶前不久發(fā)布了他使用3D高斯技術(shù)復(fù)刻其所在城市的道路，并使用Vibe coding做了一個(gè)賽車游戲，而這一切僅花費(fèi)了2天時(shí)間

三維博主扎克力，用3D高斯復(fù)刻了整個(gè)云南國(guó)家級(jí)保護(hù)村落，并使用UE做成移動(dòng)端可玩的游戲體驗(yàn)。

以上這些是3DGS開始進(jìn)入個(gè)人創(chuàng)作工作流的信號(hào)，更大的變化發(fā)生在專業(yè)場(chǎng)景里。

大熱的美劇《Fire Country》（烈焰國(guó)度）的幕后，揭露了他們使用3D高斯?jié)姙R技術(shù)掃描了一條街道，并在攝影棚中使用3D高斯模型在屏幕上完成了虛擬拍攝，完成了本不可能進(jìn)行的“實(shí)景拍攝任務(wù)”

包括山東文旅在內(nèi)，他們也使用了3D高斯?jié)姙R技術(shù)完成了濟(jì)南著名景點(diǎn)趵突泉的數(shù)字孿生，讓游客未來可以線上“云游”趵突泉。

就在不久前的GTC（英偉達(dá)GPU技術(shù)大會(huì)）上，其域創(chuàng)新也發(fā)布了新動(dòng)作。

他們通過3D高斯?jié)姙R模型，成功為英偉達(dá)和迪士尼機(jī)器人完成了具身智能大腦的模擬仿真訓(xùn)練。

數(shù)字孿生企業(yè)圖撲，也放出了使用3D高斯?jié)姙R模型為底圖搭建的工廠數(shù)字孿生系統(tǒng)，過去這種底圖通常是建模師照著現(xiàn)場(chǎng)CAD圖紙和照片手工“搓出來”的。

這些零散但快速涌現(xiàn)的案例，其實(shí)指向了同一個(gè)變化方向——

3D高斯?jié)姙R，正在從“展示介質(zhì)”，變成“生產(chǎn)力工具”

這種轉(zhuǎn)變背后，是因?yàn)樾袠I(yè)開始意識(shí)到：比起“能在手機(jī)上跑”，更重要的是有一套能讓3D數(shù)據(jù)真正進(jìn)入工作流的基礎(chǔ)設(shè)施

在深挖這些硬核應(yīng)用背后的支撐技術(shù)時(shí)，我們發(fā)現(xiàn)了一個(gè)有趣的現(xiàn)象：

雖然場(chǎng)景各異，但它們?cè)诘讓蛹夹g(shù)選型上，不約而同地指向了其域創(chuàng)新的3D高斯方案

LCC做的，是3D世界的“MP4底層協(xié)議”

其域創(chuàng)新的創(chuàng)始人兼CEO趙開勇博士，是北京理工大學(xué)空天學(xué)院2001級(jí)飛行器設(shè)計(jì)與工程專業(yè)出身。

這個(gè)專業(yè)訓(xùn)練的，是在極端精度要求下對(duì)三維空間的測(cè)量、建模與系統(tǒng)集成——

某種程度上，他后來選擇做3D空間數(shù)據(jù)基礎(chǔ)設(shè)施這件事，并非偶然。

其域創(chuàng)新的LCC方案，以及最新升級(jí)的LCC2，本質(zhì)上就是建立了一整套圍繞3DGS的數(shù)據(jù)基礎(chǔ)設(shè)施

如果用一句話總結(jié)，它做了三件關(guān)鍵的事：

讓3D高斯變成“可流通的數(shù)據(jù)”

LCC從一開始，就是針對(duì)超大規(guī)模場(chǎng)景而設(shè)計(jì)。

1、LOD渲染

LCC支持城市級(jí)、園區(qū)級(jí)的3D高斯數(shù)據(jù)組織與流式LOD加載。這是讓3DGS可以在移動(dòng)端跑起來的根本，LCC2提升為雙軌LOD，讓移動(dòng)端可以秒級(jí)打開一個(gè)數(shù)億高斯點(diǎn)的數(shù)據(jù)

2、極致壓縮

新版本LCC2更是將模型數(shù)據(jù)壓縮做到了極致——

僅為傳統(tǒng)PLY格式的8%大小，這不僅提升了加載速度，對(duì)于使用者來說也大大節(jié)省流量、降低成本。

3、解耦編解碼格式

LCC2將解碼與存儲(chǔ)分離，獨(dú)立模塊管理，在不同的場(chǎng)景應(yīng)用中，可以接入最合適的編解碼格式，大大便于數(shù)據(jù)流通。

讓3D高斯變成“可用的工程資產(chǎn)”

在LCC解決方案中，其域提供的獨(dú)特優(yōu)勢(shì)是結(jié)合其空間掃描硬件的，提供結(jié)構(gòu)化數(shù)據(jù)的能力——

不僅有“看起來真實(shí)”的視覺信息，還有空間結(jié)構(gòu)、尺度、坐標(biāo)體系等工程屬性。

這件事的意義在于：3DGS從“視覺內(nèi)容”，變成了“可以進(jìn)入生產(chǎn)系統(tǒng)的數(shù)據(jù)”。

它可以被用于以下領(lǐng)域：

• 游戲與沉浸式交互
• 仿真與訓(xùn)練
• 數(shù)字孿生系統(tǒng)底圖
• 虛擬拍攝與實(shí)時(shí)渲染

而不是僅僅用于“被觀看”。

讓3D高斯進(jìn)入“應(yīng)用生態(tài)”

LCC不是孤立存在的格式，它從設(shè)計(jì)之初就考慮了與各類引擎、工具鏈的對(duì)接。

這也是LCC作為一個(gè)3DGS格式，可以開啟廣泛應(yīng)用的關(guān)鍵。

從發(fā)布至今，其域逐步為L(zhǎng)CC生態(tài)搭建了UE、Unity的plugin（接口），讓LCC數(shù)據(jù)可以無感進(jìn)入游戲/影視等行業(yè)的應(yīng)用工具鏈。

其域與英偉達(dá)Issac Sim的合作，也完整打通了機(jī)器人仿真訓(xùn)練的工作流，甚至是跟英偉達(dá)聯(lián)合的具身智能訓(xùn)練系統(tǒng)。

在其域目前公開展示的應(yīng)用生態(tài)中，全球幾乎所有3D高斯應(yīng)用生態(tài)的頭部企業(yè)都接入了LCC，成為其域生態(tài)的一部分。

LCC在做一件事：把3DGS嵌入已有生產(chǎn)體系，而不是成為一個(gè)孤島工具，3D高斯開始進(jìn)入真實(shí)工作流

“MP4時(shí)刻”，還差最后一步

李飛飛這次帶來的，是一個(gè)非常重要的信號(hào)：

3DGS在“生成與分發(fā)”層面的能力，正在快速逼近臨界點(diǎn)。

但歷史已經(jīng)證明——技術(shù)從“可行”走向“爆發(fā)”，中間一定還需要一個(gè)關(guān)鍵層：

標(biāo)準(zhǔn) + 工具鏈 + 應(yīng)用閉環(huán)。

視頻如此，3D也不會(huì)例外。

其域創(chuàng)新在過去兩年里押注的，正是這一層“看不見但決定一切”的基礎(chǔ)能力。

所以回到那句核心判斷：

不是讓3DGS能在移動(dòng)端打開，而是讓它真正可用。

當(dāng)3D內(nèi)容可以像視頻一樣被編輯、分發(fā)、嵌入工作流、參與生產(chǎn)時(shí)，那一刻，才是屬于3D世界真正的“MP4時(shí)刻”。

而現(xiàn)在，我們或許才剛剛走到它的前夜。