峰瑞資本李豐：對具身智能三大新熱點的思考

作為當下備受關注的賽道，熱潮之下的具身智能，正不斷涌現新概念和新現象。

4月23日，在由投中主辦的“第20屆中國投資年會·年度峰會”上，峰瑞資本創始合伙人李豐直言，生成高維數據、世界模型和物理模型，是當前的三個投資熱點新方向。

在他看來，這些新概念和新現象的出現，根源在于缺少數據，“具體來說，是人類從來沒有積累過大量包含這些物理量和物理世界交互規律的數據，我們從來沒有大規模產生過這類數據。”

市場對生成高維數據、世界模型和物理模型等方向的熱捧，本質上都是為了解決同一個問題——如何在沒有這類數據的情況下，依然能解決問題，完成想要實現的各類機器人操作任務。

以下為李豐現場演講實錄，由投中網整理：

首先恭喜投中20屆年會順利舉辦，也非常感謝投中的邀請。現在作為投資人其實也不太容易，因為市場上日新月異的概念太多，我們總得不停地更新知識、持續學習。今天我們有時間跟大家交流，分享的也只是我們自己的一些觀察和想法。因為最近又出現了非常多的新生事物和新概念，我從中挑了幾個，跟大家交流分享。

這是目前比較新的三件事，我從幾個角度給大家梳理一下。

第一，從去年年底開始，不管是美國還是中國，都出現了無本體機器人的數據，時髦的詞匯叫UMI（Universal Manipulation Interface）數據。UMI數據的生成，帶來的結果就是出現了一大堆新的機會，以及很多看似有前景的創業公司，這些公司會提供各種各樣的數據采集設備。比如說你最近看到的，有人在胸口掛個攝像頭，再加上或許有觸覺、或許沒有觸覺的設備——不管是遙操作、手上戴的機械手，還是直接用手完成各類動作，都屬于這類，也就是生成高維數據。

第二，現在更時髦的概念是世界模型。現在看幾乎所有的機器人公司，不管是初創企業，還是已經融了很多錢的公司，都會提到這個詞匯。我們簡單描述一下世界模型的狀況：它試圖通過引入新的三維數據——包含與物體接觸并改變其狀態的交互數據——來構建一個新的模型，看這個新模型能否更好地理解，人類到底是如何與物體進行交互，并且改變物體狀態的。這就是世界模型，目前國內外有非常多新興公司和知名企業都在涉足這個領域。國外的發展已經如火如荼，國內則算是剛剛起步，現在我們去看具身相關項目，基本上大家都會講世界模型的故事。

世界模型里還有一個稍微特別的小分支叫物理模型。它背后的基本邏輯是：既然機器人要與物理世界交互，不如從物理世界過往的經驗中借鑒。這些過往的經驗，就是行業里原來所說的仿真，或者叫物理仿真。雖然現在聽起來已經不那么時髦了，但沒關系。物理仿真本身，就是我們對現實世界中存在的物理現象，進行數學和物理層面的模擬、歸納與計算。今天這個小分支，就是把這些過往被稱為仿真（不管是CAE還是CAD）的能力，重新融入到模型當中。

原理其實很簡單，最終目的都是為了處理和理解人類如何與物理世界交互。這和今天大家講的大語言模型不一樣，大語言模型專注于處理數字信號相關的問題，不管是數字化的文本信息、數字化的像素，還是視頻信息；而現在要解決的問題是，桌上的杯子是什么情況、杯子倒了會怎么樣、怎么把杯子拿起來、怎么把杯子放到別的地方，這些都屬于世界模型要覆蓋的內容，包含世界模型里那個小小的分支。

我們梳理這些內容，是因為它們各自代表了不同的方向，我們也發現這樣的歸類很有意思。第一類沒什么爭議，生成高維數據主要是把新的數據采集方法和新的數據處理方法結合在了一起。

第二類世界模型，目前由原來偏計算機或者大模型、做computer vision（計算機視覺）的人在主導——不管是把計算機視覺用在人臉識別上，用在自動駕駛上，還是用在發展出大語言模型架構上。

第三類，物理模型這個小分支里出現了很多做數學和物理的人。可以說，投資領域的曙光，或者說早期投資的故事與泡沫，終于從計算機系挪出了一部分陽光，照到了數學、物理這些領域里。

這就是過去一個季度里，機器智能領域最重要、也最時髦的三件事。

為什么會出現這三件事？這背后是兩大挑戰。一是今天的語言模型，我們不從技術架構上討論，只說核心問題——語言模型對物理世界進行預測和生成數據的能力已經不夠用了。不夠用的一大表現就是，它無法預測物理世界中具體物品、具體對象的狀態的變化。

還有一個挑戰，就是單一模型的局限。就像大語言模型，如果最終要做成單一模型，既要能理解人類的意圖，又要能理解語義（也就是知道這個東西是什么），還要能預測和理解物理量的改變，比如把這個東西端起來、把水倒出來、把東西碰倒，還要判斷這個東西是重是輕、是什么材質，以及這種材質的摩擦力是高是低。如果一個模型能像這樣包攬所有事情，既能理解意圖、識別對象，還要預測這些物理量，以及動作發生后物理量的變化，那這個模型最終會比現在大得多、復雜得多。

因為這是一個非常高維的任務。原來的語言模型只需要處理數字化的信息和像素，而現在要預測這么多維度的內容，假如還想用單一模型來處理，以我們人類現有的想象力來看，這會是一個超級無敵大的模型。最后需要多少數據來訓練它，它會是多么復雜、多么耗費算力、多么耗費各類能源的事情，今天我們還不得而知，這是一個尚未有答案的問題。

另一個可能的答案是多模型融合，把各種各樣的物理量轉化為仿真相關的內容，讓它與某一個基座模型進行交互。需要某類知識時，就調用這部分相關的能力；需要某種物理量時，就調用對應的模型。如果是這樣，就會涉及到大量模型的交叉、調用與融合，而這些模型之間如何實現交叉、調用和融合，目前也沒有答案。

這就是在前面三件事的基礎上，已經出現的兩個挑戰（或者說一個核心挑戰），不管我們選擇哪一條發展路徑，都繞不開這個挑戰。

這個挑戰的來源其實也很明確，大家看到的這些現象、新創業公司和新范式方向，它們的根源都是一樣的——沒有數據。具體來說，是人類從來沒有積累過大量包含這些物理量和物理世界交互規律的數據，我們從來沒有大規模產生過這類數據。所以不管是前面提到的第一、二、三類創業方向，本質上都是為了解決同一個問題——如何在沒有這類數據的情況下，依然能解決問題，完成想要實現的各類機器人操作任務。

如果把具身智能的目標看成一個平面坐標系，就是三個不同的方向，我把它們稱之為三角約束：復雜性、成功率、泛化性。

具體來說，要么是要完成特別復雜的任務——這類任務對人類來說不一定復雜，但對機器人來說非常復雜，這里說的不是運動相關的任務，而是操作類任務，也就是和手相關的任務；要么是想辦法讓一個模型既能用在A類機器人、B類機器人、C類機器人上，還能適配不同的應用場景。還有一類需要很高的成功率，比如有些場景是和實驗相關的，有些是工業操作場景，再比如和剪頭發、按摩相關的服務于人的場景，顯然沒人希望按摩時被摁斷一根肋骨，也不希望剪頭發時被剪禿一塊，這就涉及到不同場景下的成功率問題。

我們梳理這些內容、畫出這個三角約束的原因，是因為現在大家看到的大部分demo（演示版本）都離實際應用有些差距。這些demo，都在努力證明，這個三角形的面積可以同時變大，可以向各個維度擴張——如果是空間坐標系，就是體積變大，在各個方向都實現擴張。

不幸的是，在我們目前能看到的有限范圍內，即使是demo層面，大部分項目也只是在平面坐標系的三角形里，努力把其中一個角或者一個半角稍微擴張一點。我們還沒有明確看到，有哪種方法能把這三個角同時向外拉很遠，從而讓三角形的面積大幅增大。這大概就是今天機器人操作領域的現狀。

快速總結一下剛才講的所有現象：在已經如火如荼的具身智能機器人創業方向上，有這樣三件新事，這是我們分享的第一部分。關于這三件新事的深入討論還不多，但相信很快，大家會開始討論我們剛才提到的兩個挑戰。今天我們講的這些新模型，未來到底會是什么樣子？是變成更大、更復雜甚至超乎我們目前想象的單一模型，還是會出現多個模型相互調用，但多模型如何融合，仍未可知？這就是挑戰所在。而這些挑戰出現的根源，就是今天沒有足夠的數據。我說的“沒有”，是指沒有解決這類問題所需要的、包含物理世界交互和物理量的相關數據。

此外，今天大家看到的幾乎所有demo，都在力圖證明自己能把這個三角形拉大，但大部分公司在demo層面（而非真正意義上的應用層面）能做到的，只是把其中一個角稍微拉一拉，或許再把另一個半角稍微拉一拉，大概現狀就是這樣。

講完了所有這些現象，投資最讓人頭疼的事情是，除了提出問題，還得努力尋找解決方案。我們目前沒有明確的解決方案，只有一些以史為鑒的參考案例。

這是歷史上出現過的同類現象，我們先以大家最熟悉的大語言模型為例，從2012年深度學習熱潮開始，算法的演進經歷了一系列迭代，雖然從卷積神經網絡(CNN)開始的這一串算法結構或算法邏輯的迭代，跟今天的大語言模型并不是在同一條路線上。

緊接著在2014年之后，出現了生成對抗網絡(GAN)技術。隨著技術范式進一步演進，后來才匯聚到了以Transformer為代表的大語言模型的算法邏輯，這就是算法的迭代過程。包括大模型在內的算法迭代從來不是線性的，不是大家按照順序一步一個臺階往上爬，而是爬了兩三步之后，換一個角度再爬兩三步，再換一個角度繼續爬。

我們再說說大語言模型的數據來源，今天我們能訓練出的基座模型，很大程度上依賴于近40年積累的互聯網文本數據。大家使用電腦大概有30年，使用手機大概有15年。在這40年里，我們使用這些智能設備的過程中，產生了超級龐大的文本公開數據庫，這些數據就是大語言模型得以訓練、并取得今天這樣成果的數據來源。

要補充的是，這只是訓練文本的部分。剛才我們提到，現在要訓練的具身模型，需要涵蓋更多維度——既有3D空間，又有具體物體，還包含物理量、交互方式，并希望它具備預測能力，這些事情已經遠遠超出了預測下一個“詞”的范疇，比單純的語言預測要復雜得多，更何況我們現在還沒有開始像攢互聯網文本數據那樣大規模積累相關的數據。

接下來，我們看自動駕駛是怎么發展來的。自動駕駛有點特別，今天大家在網上經常會看到爭論，不同公司爭論今天的自動駕駛到底要不要經過L3階段？是否可以不經過L3直接到L4？為什么會有這樣的爭論？包括特斯拉在內，今天大部分自動駕駛技術，目前都停留在L3到L4之間，暫時還沒有哪家公司能真正宣稱自己已經超越了L4——這里說的是開放路面，不是港口、礦區或者園區這類相對封閉的環境。

但自動駕駛的發展，也經歷了從以規則為主，到今天最時髦的端到端（和大語言模型的架構類似）的過程。另外還有一件比較特殊的事：自動駕駛的算法迭代也不是線性的，它也不是順著一條路一步一步走出來的，而是在幾個不同的方向上來回交叉推進的。

再說說自動駕駛的數據來源，這一點就更特別了。自動駕駛的數據居然主要靠它自己獲取。以特斯拉為例，在去年以前，絕大多數人買新能源車的時候，不管它是電架構的還是是混動的，大家買的是車本身。在去年或前年以前，大部分人買車還不是為了自動駕駛，而是為了省錢、好開好用、安靜、加速快。而大家買車的時候，湊巧這輛車上搭載了所有的傳感器，因為它是一款消費品。

打個比方大家就明白了，大家用智能手機和電腦，肯定不是為了讓市場上任何一家互聯網巨頭獲取自己的圖片、文本和語音數據。但因為智能手機和電腦是大家的消費品，湊巧搭載了后置高清攝像頭、麥克風陣列、GPS芯片，所以大家在使用這些設備的過程中，產生了無數的數據為互聯網巨頭所用，而這些數據，也成了今天各類模型需要的數據來源。

自動駕駛的特別之處就在于，它先把自己變成了一款受歡迎的消費品，大家愿意購買。大家買車的同時，也把車上搭載的所有傳感器買了回去，這些傳感器產生的數據，又能拿回來幫助自動駕駛技術進行大規模的迭代。正因為這個原因，大家會發現，誰擁有的數據越多，誰的自動駕駛技術可能進步得就越快一點。但這些數據不是它向大家購買的，而是它賣給大家一款大家需要的消費品，這款消費品上湊巧搭載了非常多的傳感器，這些傳感器就把駕駛數據、環境數據、車內駕駛習慣、路況狀況等，轉化成了自動駕駛模型訓練所需的數據。這在歷史上是很少見的，它是一個自己給自己積累數據的領域，不是因為它是自動駕駛技術，而是因為它首先是一輛車。在過去十年里，大家買車不是為了買自動駕駛功能，只是為了買一輛車，而傳感器是車上自帶的。

最后我們看AlphaFold（蛋白質結構預測）。它的三個模型版本，也經歷了不同的發展過程，當然現在它的算法結構，也和我們今天討論的這些大模型有相關性，或者說在某種意義上是端到端的。在發展初期，它需要借助大量已有的人類數據，或者說需要加入一些物理模型。什么是物理模型？就是我們所說的熱力學、動力學。所以在AlphaFold1和AlphaFold2階段，需要加入很多人類已經總結的先驗知識，也就是一些生物規律，以及與化學、物理相關的規律和算法。

AlphaFold的數據，起初在AlphaFold1階段比較少，因為它需要的是非常專業的數據，因為它要解決的是一個極其具體的問題：蛋白質序列最終會如何折疊，這條長鏈條穩定下來之后是什么樣子？

它的數據發展也經歷了這樣一個過程，一開始只有少量的蛋白質結構數據，這時候就需要加入較多的物理、數學模型和先驗知識；后來數據多了一點，物理、化學、數學模型和先驗知識就可以減少一點；數據再增多一些，這些模型和知識就再減少一點。當然，這其中還涉及很多與實驗相關的工作。

AlphaFold大概經歷了一條不同的發展路徑，它不是通過消費者積累數據，而是依靠極度專業的科研數據，但在其模型進化到今天的過程中，很長一段時間內，研究者都加入了人類的先驗知識、物理模型、數學模型等，來幫助它在發展過程中解決問題。之后，隨著新數據不斷積累，加上大量實驗的驗證和校正，才發展到了今天的AlphaFold3，今天它可能需要的物理與數學模型以及先驗知識，已經稍微少了一點。不過它湊巧是一個預測確定的單一維度課題的模型，主要目的就是解決蛋白質穩定下來之后如何折疊，它不需要像具身智能那樣解決那么多維度的問題，不需要解決狀態變化、對象變化、相互作用以及各種物理量等復雜問題。

剛上面講到的大語言模型、自動駕駛、AlphaFold，是我目前能想到的可以參考的三種事物的迭代過程。

大語言模型用了全人類積累近40年的數據，加上非線性的算法迭代，到今天才發展出能夠處理語言相關的邏輯。

自動駕駛從2015年投資最熱的時候開始，用了十年時間發展到今天的L3.5階段，當然期間也遇到了一些不同的挑戰。它的算法迭代也不是線性的，它的數據是靠自己獲取的，但原因不是它讓大家幫忙采集數據，只是通過賣給大家一輛車，車上湊巧搭載了這些傳感器，所以它自己為自己創造了數據。

AlphaFold解決的是蛋白質結構和折疊這個專業問題，它用了大量的專業數據，解決了一個單一維度的問題，同時算法也經歷了幾次不同的迭代，并且在中間很長一段時間里，借助了人類的先驗知識、物理模型、數學模型等，來幫助它解決發展過程中的問題。

這是三條不同的發展道路，大家可以根據自己的情況，各自選擇參考答案。

今天具身智能出現的這些挑戰，在十年以后，最終要么是以這三個案例中的某一個為藍本得到解決，要么是融合這三個案例各自的優勢，形成交叉性的解決方案。具體是哪一種，這是一個開放的問題，我們只能提出問題，無法給出確定的答案。以上內容，僅供大家參考或者思考。

非常感謝投中的邀請，謝謝大家。