VLA不夠了？觸覺(jué)，將改寫(xiě)具身智能新格局

機(jī)器之心發(fā)布

2026 年，「數(shù)據(jù)」正成為具身智能競(jìng)賽的新焦點(diǎn)，京東、百度等科技巨頭紛紛入局。然而，喧囂之中，一個(gè)根本問(wèn)題懸而未決：什么樣的數(shù)據(jù)，才是具身智能真正需要的？

近日，全球最大的工程與應(yīng)用科學(xué)專(zhuān)業(yè)組織 IEEE（電氣電子工程師學(xué)會(huì)）旗下的旗艦出版物 IEEE Spectrum，對(duì)機(jī)器人學(xué)家王煜進(jìn)行了一次深度專(zhuān)訪。

這位深耕機(jī)器人領(lǐng)域近 40 年的學(xué)者給出了自己的判斷：當(dāng)前主流的 VLA（視覺(jué) - 語(yǔ)言 - 動(dòng)作）架構(gòu)不足以支撐機(jī)器人真正走向落地，包含物理交互信息的數(shù)據(jù)，才是機(jī)器人理解現(xiàn)實(shí)世界、實(shí)現(xiàn)穩(wěn)定操作的關(guān)鍵所在。

• 訪談鏈接：https://spectrum.ieee.org/daimon-robotics-physical-ai
• 原文作者：Sujeet Dutta，Wiley 科學(xué)與工程部高級(jí)編輯

上世紀(jì)80年代，作為中國(guó)首批公派留學(xué)生，王煜進(jìn)入卡內(nèi)基梅隆大學(xué)機(jī)器人研究所，成為時(shí)任所長(zhǎng)的 Matt Mason 教授招收的第一位博士生，專(zhuān)攻機(jī)器人抓取力學(xué)與操作規(guī)劃——這正是當(dāng)下具身智能操作能力的學(xué)術(shù)源頭。他曾在多所院校任教，與李澤湘共同創(chuàng)辦香港科技大學(xué)機(jī)器人研究院，培養(yǎng)了大批活躍于今日產(chǎn)業(yè)一線的人才。

王煜被斯坦福大學(xué)評(píng)為全球前 2% 頂尖科學(xué)家，并作為 IEEE 機(jī)器人與自動(dòng)化協(xié)會(huì)管理委員會(huì)唯一代表中國(guó)機(jī)構(gòu)的學(xué)者，持續(xù)在國(guó)際具身智能領(lǐng)域傳遞中國(guó)聲音。

從液壓到電動(dòng)、從工業(yè)到生活場(chǎng)景，再到如今的人工智能時(shí)代，王煜經(jīng)歷了現(xiàn)代機(jī)器人學(xué)的每一次范式轉(zhuǎn)換。因此，他對(duì)當(dāng)下狂熱中的思考格外值得傾聽(tīng)。

在王煜看來(lái)，機(jī)器人下一個(gè)亟待解鎖的能力是「操作」（manipulation），且時(shí)機(jī)日臻成熟。

如今機(jī)器人能完成驚艷的 demo，卻仍難以在真實(shí)環(huán)境中自主感知、決策并穩(wěn)定執(zhí)行操作，根本原因在于對(duì)視覺(jué)的過(guò)度依賴(lài)—— 當(dāng)機(jī)器人嘗試拿起一只玻璃杯、采摘一顆草莓、插拔一根電線時(shí)，視覺(jué)只能告訴它「物體在哪兒」，卻無(wú)法告知它力度是否恰當(dāng)、角度是否到位、操作是否完成。

材質(zhì)、摩擦、接觸力、形變，這些決定操作成敗的物理反饋信息，恰恰是視覺(jué)的盲區(qū)，也是機(jī)器人操作中長(zhǎng)期缺失的一環(huán)。

王煜認(rèn)為，觸覺(jué)是打開(kāi)這扇大門(mén)的鑰匙。觸覺(jué)包含了接觸力、接觸狀態(tài)、形變、紋理與材質(zhì)等信息，能夠填補(bǔ)視覺(jué)的盲區(qū)與錯(cuò)覺(jué)，讓機(jī)器人從「識(shí)別物體」走向「理解物體、操控物體」。

基于這一判斷，他與團(tuán)隊(duì)提出了 VTLA（視覺(jué) - 觸覺(jué) - 語(yǔ)言 - 動(dòng)作）框架，在主流 VLA 架構(gòu)中引入觸覺(jué)，將其視作與視覺(jué)同等重要的感知模態(tài)。

王煜教授

這些主張并未停留在論文里。幾年前，王煜與博士后段江嘩共同創(chuàng)立「戴盟機(jī)器人」，將多年積累的觸覺(jué)感知研究推向工程化落地。這家公司過(guò)去以含觸覺(jué)感知的硬件研發(fā)為聞名，2026 年第一季度的營(yíng)收已超過(guò)去年全年。

上個(gè)月，戴盟正式發(fā)布含觸覺(jué)模態(tài)的物理世界具身數(shù)據(jù)集 Daimon Infinity，并開(kāi)源其中 10000 小時(shí)數(shù)據(jù)，正式入場(chǎng)眼下最熱的具身數(shù)據(jù)賽道。

一位以「操作」為研究命題的學(xué)者，為何在此刻選擇加入數(shù)據(jù)之爭(zhēng)？這背后的判斷，或許能讓我們窺見(jiàn)未來(lái)幾年的具身智能走向。

在這次專(zhuān)訪中，王煜系統(tǒng)闡釋了他對(duì)機(jī)器人操作、觸覺(jué)感知、具身數(shù)據(jù)與物理 AI 的思考：為什么 VLA 架構(gòu)會(huì)遭遇瓶頸？觸覺(jué)數(shù)據(jù)為何被長(zhǎng)期忽視，又為何不可或缺？所謂「物理智能」究竟意味著什么？作為一位見(jiàn)證了機(jī)器人學(xué)半個(gè)世紀(jì)發(fā)展的研究者，他如何看待人形機(jī)器人未來(lái)的可能性與邊界？

以下為 IEEE Spectrum 專(zhuān)訪王煜的譯文，出于篇幅考慮略有刪減：

提問(wèn)：今年 4 月，戴盟機(jī)器人聯(lián)合多家頭部學(xué)術(shù)機(jī)構(gòu)和企業(yè)，共同發(fā)布規(guī)模最大、最全面的具身操作數(shù)據(jù)集。為何選擇現(xiàn)在發(fā)布數(shù)據(jù)集，而不是繼續(xù)專(zhuān)注硬件開(kāi)發(fā)？

王煜：隨著具身智能的發(fā)展，越來(lái)越多人意識(shí)到數(shù)據(jù)的重要性：數(shù)據(jù)不足是目前具身智能發(fā)展的瓶頸，尤其是包含物理交互信息的數(shù)據(jù)，這將是提升機(jī)器人在現(xiàn)實(shí)世界操作能力的關(guān)鍵。

數(shù)據(jù)的質(zhì)量、可靠性和成本，已成為研發(fā)和商業(yè)落地需要重點(diǎn)關(guān)注的問(wèn)題。

這恰好也是戴盟擅長(zhǎng)的事。依托領(lǐng)先的視觸覺(jué)技術(shù)，我們能夠提供含多模態(tài)觸覺(jué)的高質(zhì)量數(shù)據(jù) ——不僅包含接觸力，還有接觸形變、接觸狀態(tài)、滑移摩擦、物體材質(zhì)與紋理等信息，完整還原物理交互的過(guò)程?；谶^(guò)往的技術(shù)積累，我們也研發(fā)了數(shù)據(jù)處理管線，將觸覺(jué)與視覺(jué)、動(dòng)作軌跡、語(yǔ)音文本等模態(tài)精準(zhǔn)融合，轉(zhuǎn)化為模型訓(xùn)練可用的數(shù)據(jù)。

面對(duì)行業(yè)的數(shù)據(jù)空缺，我想采集數(shù)據(jù)是我們戴盟能做好、也應(yīng)該做的事情。

今年 4 月，戴盟發(fā)布含觸覺(jué)全模態(tài)物理世界數(shù)據(jù)集 Daimon-Infinity

提問(wèn)：戴盟聲稱(chēng)數(shù)據(jù)集年底能達(dá)到超百萬(wàn)小時(shí)規(guī)模，你們是如何做到這一點(diǎn)的？

王煜：我們打造了全球最大規(guī)模的外發(fā)式具身數(shù)據(jù)采集網(wǎng)絡(luò)—— 依托于輕便化設(shè)備，數(shù)據(jù)采集不再局限于數(shù)采場(chǎng)，而是可以進(jìn)入各類(lèi)真實(shí)場(chǎng)景，不受空間限制，實(shí)現(xiàn)了低成本、跨場(chǎng)景、高度真實(shí)性的采集，從而具備了每年數(shù)百萬(wàn)小時(shí)數(shù)據(jù)的生產(chǎn)能力。

提問(wèn)：Daimon-Infinity 由多家機(jī)構(gòu)聯(lián)合發(fā)布，他們?nèi)绾螀⑴c其中？

王煜：此次數(shù)據(jù)集，我們聯(lián)合了全球數(shù)十家機(jī)構(gòu)合作共建，包括北京大學(xué)、清華大學(xué)、香港科技大學(xué)等中國(guó)高校，以及 DeepMind、美國(guó)西北大學(xué)、新加坡國(guó)立大學(xué)等全球頂尖研究團(tuán)隊(duì)，另外還有中國(guó)移動(dòng)、匯川技術(shù)、上聲電子等產(chǎn)業(yè)方。他們選擇與戴盟合作，是對(duì)我們將觸覺(jué)加入具身數(shù)據(jù)這一路線的認(rèn)可。

通過(guò)在科研、制造等實(shí)際場(chǎng)景下進(jìn)行采集，這些合作方幫助我們收集到了高度真實(shí)、以實(shí)際場(chǎng)景為驅(qū)動(dòng)的數(shù)據(jù)；反過(guò)來(lái)，他們將這些數(shù)據(jù)用于自己的模型訓(xùn)練。此外，我們開(kāi)源了 10000 小時(shí)數(shù)據(jù)，希望含觸覺(jué)的數(shù)據(jù)能推動(dòng)更多具身模型的進(jìn)化。

提問(wèn)：目前機(jī)器人領(lǐng)域的主流范式是 VLA 模型，但戴盟團(tuán)隊(duì)提出了 VTLA 框架。為什么加入了觸覺(jué)？

王煜：觸覺(jué)信息對(duì)于機(jī)器人的操作能力至關(guān)重要，它能提供與物體接觸時(shí)的物理反饋， 引導(dǎo)機(jī)器人手進(jìn)行可靠的操作。如果沒(méi)有觸覺(jué)，機(jī)器人可能無(wú)法在黑暗環(huán)境中判斷物體的位置，可能因無(wú)法感知滑移狀態(tài)而導(dǎo)致玻璃杯掉落，更有可能因?yàn)闊o(wú)法控制力度而導(dǎo)致操作任務(wù)失敗，甚至造成損害。

VLA 已經(jīng)不足以滿足機(jī)器人操作的需求，因此我們擴(kuò)展了框架，納入觸覺(jué)數(shù)據(jù)，創(chuàng)建了 VTLA。

重要的是，我們采用的視觸覺(jué)感知技術(shù)，與 VLA 所基于的視覺(jué)框架非常契合。它捕捉指尖表面的形變，將觸覺(jué)信息轉(zhuǎn)化為視覺(jué)圖像，并從中推斷出力和其他接觸狀態(tài) —— 而圖像數(shù)據(jù)天然適合集成到 VLA 中，這降低了框架擴(kuò)展的門(mén)檻。

搭載視觸覺(jué)傳感器的夾爪，通過(guò)精準(zhǔn)感知觸覺(jué)，賦能精細(xì)操作

提問(wèn)：您和團(tuán)隊(duì)開(kāi)發(fā)了世界上首個(gè)單色光視觸覺(jué)技術(shù)，為什么選擇了這條技術(shù)路線？

王煜：從開(kāi)始研究觸覺(jué)感知時(shí)，我們就明確了自身需求：我們想要的是能夠高度模擬人類(lèi)指尖皮膚觸覺(jué)的傳感器。

生理學(xué)研究已充分證實(shí)人類(lèi)指尖所具備的能力 —— 知道我們觸摸了什么、是什么材質(zhì)、力如何分布，以及當(dāng)大腦控制手時(shí)，它是否移動(dòng)到正確的位置。我們知道，在機(jī)器人手上復(fù)制這些能力將大有裨益。

在調(diào)研現(xiàn)有技術(shù)時(shí)，我們發(fā)現(xiàn)了多種類(lèi)型的觸覺(jué)感知技術(shù)，包括三色光視觸覺(jué)傳感及其他更簡(jiǎn)單的設(shè)計(jì)。我們將這些技術(shù)的優(yōu)勢(shì)整合到一個(gè)解決方案中，使其在保持良好性能的同時(shí)又不會(huì)過(guò)于復(fù)雜，并將成本、可靠性和靈敏度控制在令人滿意的范圍內(nèi)，最終研發(fā)了單色光視觸覺(jué)技術(shù)。隨著人們對(duì)觸覺(jué)認(rèn)知的日益加深，這些技術(shù)將攜手并進(jìn)。

全模態(tài)觸覺(jué)信息，包含力 / 力矩、形狀、材質(zhì)、接觸信息四大維度

提問(wèn)：你們的視觸覺(jué)傳感器正是基于這一技術(shù)，相比傳統(tǒng)觸覺(jué)傳感器有什么核心優(yōu)勢(shì)？

王煜：我們?cè)谌ツ晖瞥隽?strong>全球首個(gè)多維高分辨率高頻率視觸覺(jué)傳感器，在指尖大小的模塊上裝載了 11 萬(wàn)個(gè)感知單元，是業(yè)內(nèi)目前最高的密度。

另一個(gè)優(yōu)勢(shì)是頻率和帶寬，即我們檢測(cè)觸覺(jué)變化、傳輸并實(shí)時(shí)處理信號(hào)的速度。其他方面則主要與工程技術(shù)相關(guān)，如可靠性、漂移、硅膠表面耐用性及對(duì)電磁、光學(xué)及其他環(huán)境因素的抗干擾能力。

觸覺(jué)的重要性正被越來(lái)越多人意識(shí)到，我們的視觸覺(jué)傳感器也得到了更多人的使用，我相信這會(huì)讓整個(gè)行業(yè)都邁上一個(gè)新臺(tái)階。

我們的一位潛在客戶正在便利店中部署人形機(jī)器人，在密密麻麻的貨架上，機(jī)器人需要伸入非常狹小的空間才能取出物品 —— 人類(lèi)至少需要三根纖細(xì)的手指才能完成抓取任務(wù)。諸如此類(lèi)的場(chǎng)景，我們看到了對(duì)于觸覺(jué)的非常具體的需求。

戴盟視觸覺(jué)傳感器具有高感知單元密度

提問(wèn)：戴盟目前的商業(yè)模式和戰(zhàn)略重點(diǎn)是什么？數(shù)據(jù)集在其中是什么角色？

王煜：我們最初專(zhuān)注于制造高性能的觸覺(jué)感知設(shè)備，尤其是搭載于機(jī)器人手的傳感器。但隨著具身智能的發(fā)展，大家逐漸意識(shí)到，行業(yè)需要不僅僅是一個(gè)組件，而是整個(gè)技術(shù)鏈：設(shè)備、大規(guī)模高質(zhì)量的數(shù)據(jù)，以及最終能夠在實(shí)際應(yīng)用環(huán)境中構(gòu)建、訓(xùn)練和部署機(jī)器人模型的框架。

現(xiàn)在，我們將自己的商業(yè)戰(zhàn)略定位為「3D」：設(shè)備（Devices）、數(shù)據(jù)（Data）和部署（Deployment）。我們研發(fā)用于數(shù)據(jù)采集和構(gòu)建觸覺(jué)生態(tài)的設(shè)備，并通過(guò)在合作伙伴的應(yīng)用場(chǎng)景里部署，完成含觸覺(jué)數(shù)據(jù)的落地與閉環(huán)驗(yàn)證。在這個(gè)模式里，任何一環(huán)都不可或缺。

提問(wèn)：您之前提出了「具身技能」的概念，認(rèn)為這是人形機(jī)器人超越「僅擁有先進(jìn)人工智能大腦」的關(guān)鍵。您為什么會(huì)提出這一觀點(diǎn)？過(guò)去兩年行業(yè)快速發(fā)展，您對(duì)具身技能的定義是否有所改變？

王煜：機(jī)器人的發(fā)展一路走來(lái)，如今已到了電氣、電子和機(jī)電一體化硬件技術(shù)融合的階段，這是過(guò)去 20 年里取得的巨大進(jìn)步。由于硬件的快速發(fā)展，機(jī)器人現(xiàn)在完全是電動(dòng)的，不再需要液壓系統(tǒng)。現(xiàn)代電子技術(shù)提供了高帶寬和高扭矩，如果我們能將智能融入這些機(jī)械系統(tǒng)，就能創(chuàng)造出真正意義上的人形機(jī)器人 —— 能夠在非結(jié)構(gòu)化環(huán)境中運(yùn)行、決策并自主穩(wěn)定地執(zhí)行操作的機(jī)器人。

人工智能的出現(xiàn)恰逢其時(shí)，大量資源投入其中，特別是大語(yǔ)言模型。它們?nèi)缃癖煌茝V到世界模型中，賦能物理智能（physical AI）—— 我們希望這些能力最終能在現(xiàn)實(shí)世界中落地。如今研究重點(diǎn)更加明確，例如在家庭環(huán)境中，人們更傾向于使用人形機(jī)器人。這是一個(gè)令人興奮的領(lǐng)域，如果我們最終能夠制造出安全、可靠且經(jīng)濟(jì)高效的機(jī)器人，它將為社會(huì)帶來(lái)巨大的益處。

搭載了戴盟觸覺(jué)感知技術(shù)的機(jī)器人在工廠線上部署

提問(wèn)：機(jī)器人如今能進(jìn)行令人印象深刻的 demo，但距離真正進(jìn)入實(shí)際應(yīng)用仍存在差距。什么因素可能觸發(fā)實(shí)際部署？哪些場(chǎng)景最有可能率先實(shí)現(xiàn)大規(guī)模部署？

王煜：我認(rèn)為通用機(jī)器人的大規(guī)模部署之路仍然漫長(zhǎng)，但我們已經(jīng)看到特定領(lǐng)域的可行性。

這與自動(dòng)駕駛汽車(chē)非常相似，無(wú)人駕駛出租車(chē)尚未全面部署，但移動(dòng)機(jī)器人在酒店業(yè)已經(jīng)得到廣泛應(yīng)用。在中國(guó)，幾乎所有大型酒店都配備了送餐機(jī)器人 —— 沒(méi)有機(jī)械臂，只是一臺(tái)從酒店大堂取外賣(mài)的小型機(jī)器人。外賣(mài)員只需放置食物并選擇房間號(hào)，機(jī)器人便會(huì)自行導(dǎo)航、自行使用電梯，最終將食物送達(dá)客房。

酒店及餐廳的機(jī)器人，為其他場(chǎng)景的應(yīng)用提供了范本，例如夜間藥店和便利店。我預(yù)計(jì)在短期內(nèi)，這些場(chǎng)所將全面部署人形機(jī)器人，并在之后擴(kuò)展到其他領(lǐng)域。我們可以期待，在未來(lái)，包括人形機(jī)器人在內(nèi)的自主機(jī)器人將逐步滲透到特定行業(yè)，為行業(yè)創(chuàng)造價(jià)值。

我們的愿景始終是讓機(jī)器人實(shí)現(xiàn)強(qiáng)大的操控能力，并發(fā)展成為人類(lèi)可靠的合作伙伴。未來(lái)，機(jī)器人或許會(huì)無(wú)縫融入我們的日常生活，真正造福并服務(wù)于人類(lèi)。