【CNMO科技消息】5月26日,小米汽車正式發布Xiaomi Auto World Model全新框架,為業界輔助駕駛世界模型提供了新的框架路徑,推動行業從“場景感知”向“認知推演、場景進化”的高階形態躍遷。
![]()
小米汽車
該框架是小米首次將三維重建與視頻生成深度耦合的一體化架構,以“重建錨定幾何、生成填補想象”的新范式,打破行業長期采用的重建與生成分離的技術路線。在 Waymo、nuScenes 等主流基準測試中全面取得 SOTA,并已在小米汽車合成數據、仿真測試、智能座艙三大核心場景完成業務落地。
![]()
CNMO科技注意到,該框架將重建模塊(WorldRec)與生成模塊(WorldGen)深度耦合。WorldRec通過稀疏三維錨點表征,高效構建精確的 3D 場景幾何;WorldGen則在重建約束下補全未觀測區域和未來幀,支持最長1分鐘的視頻生成。兩者互相增益,實現了高穩定性、高一致性、高真實性的協同效果。
在重建領域,WorldRec在公開的Waymo數據集上全面領先此前SOTA方法DGGT,PSNR達到28.48,超出約1個點;在nuScenes零樣本泛化測試中依然保持領先,對新場景適應能力強。在生成領域,WorldGen在H20 GPU上單視角生成速度達0.19秒/幀,三視角為0.46秒/幀,比同為自回歸方法的Epona(1.06秒/幀)快5.6倍。支持高達81幀連續生成(10Hz/30Hz,最長1分鐘),而大多數公開基線僅能生成8-16幀。在nuScenes數據集上,WorldGen取得FVD 64.97和FID 7.04的成績,FVD指標超越了所有對比的同類模型。
![]()
![]()
值得一提的是,Xiaomi Auto World Model已在小米汽車三大實際場景中落地:
合成數據生成:已交付超過10萬clips高質量合成數據,直接用于感知模型訓練,提升車輛在危險場景下的識別能力。
仿真測試:構建閉環仿真環境,優化測試效率,可在仿真中復現真實事故進行定向優化。
輔助駕駛學堂:利用世界模型動態生成第一人稱駕駛教學視頻,目前已上線小米全車型的輔助駕駛學堂 - 實景模擬場景。
特別聲明:以上內容(如有圖片或視頻亦包括在內)為自媒體平臺“網易號”用戶上傳并發布,本平臺僅提供信息存儲服務。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.