港大團(tuán)隊(duì)開源FASTER，讓VLA模型真正實(shí)現(xiàn)「即刻響應(yīng)」

本文的第一作者為香港大學(xué)博士生陸宇翔，團(tuán)隊(duì)包括香港大學(xué)博士后劉哲、香港大學(xué)博士生范嫻喆、楊振亞、侯京華、李俊奕、丁凱欣，通訊作者為香港大學(xué)助理教授趙恒爽。

具身智能正以前所未有的速度發(fā)展，VLA 模型展現(xiàn)出越來越強(qiáng)的動(dòng)作和泛化能力。然而，當(dāng)我們真正把 VLA 模型部署到物理世界時(shí)，一個(gè)核心挑戰(zhàn)浮出水面：實(shí)時(shí)性。

想象一下讓機(jī)器人打乒乓球：球高速飛來時(shí)，哪怕只有 100 毫秒的延遲，也可能意味著錯(cuò)過最佳擊球時(shí)機(jī)。對(duì)于真實(shí)世界中的機(jī)器人來說，動(dòng)作不僅要「做得準(zhǔn)」，還必須「反應(yīng)得快」。

現(xiàn)有實(shí)時(shí) VLA 方法大多關(guān)注如何讓動(dòng)作更連續(xù)、更平滑。但這些方法往往忽略了動(dòng)態(tài)環(huán)境中更關(guān)鍵的一點(diǎn)：機(jī)器人到底能多快根據(jù)新變化做出反應(yīng)？

來自香港大學(xué)和大曉機(jī)器人的研究團(tuán)隊(duì)提出了FASTERFastActionSampling for ImmediaTEReaction），首次系統(tǒng)性地重新審視了動(dòng)作分塊策略中的反應(yīng)延遲問題，并提出了一種面向流匹配 VLA 模型的快速動(dòng)作采樣方法。通過將即時(shí)動(dòng)作的采樣過程壓縮至單步完成，顯著降低了機(jī)器人開始行動(dòng)所需的時(shí)間。

FASTER 是一個(gè)即插即用方案：無需修改模型架構(gòu)，也無需額外訓(xùn)練成本。目前代碼已開源，歡迎學(xué)術(shù)界和工業(yè)界試用，共同推動(dòng)具身智能在真實(shí)場景的落地。

• 論文鏈接：https://arxiv.org/abs/2603.19199
• 項(xiàng)目主頁：https://innovator-zero.github.io/FASTER/
• 開源代碼：https://github.com/innovator-zero/FASTER

VLA 模型是如何運(yùn)行的？

目前主流的 VLA 模型，例如 π0.5、X-VLA 等，采用的是動(dòng)作分塊（Action Chunking）策略。模型不是每次只預(yù)測下一個(gè)動(dòng)作，而是一次性預(yù)測未來幾十步的連續(xù)動(dòng)作。這樣做的好處是，機(jī)器人可以獲得更長時(shí)間范圍內(nèi)的動(dòng)作計(jì)劃，執(zhí)行起來也更加平滑。

但 VLA 面對(duì)著一個(gè)現(xiàn)實(shí)問題：模型推理速度往往跟不上機(jī)器人控制頻率。

在真實(shí)機(jī)器人系統(tǒng)中，控制器通常以固定頻率運(yùn)行，例如 30Hz，也就是每 33.3 毫秒執(zhí)行一次控制指令。但 VLA 的推理基本無法在一個(gè)控制周期內(nèi)完成，即使用 RTX 4090、5090 這類高端 GPU，生成一個(gè)動(dòng)作塊也可能需要遠(yuǎn)超一個(gè)控制周期的時(shí)間。

因此，機(jī)器人端側(cè)通常會(huì)采用兩類推理管線：同步推理異步推理

• 同步推理：機(jī)器人執(zhí)行完當(dāng)前動(dòng)作塊后，會(huì)停下來等待模型生成下一段動(dòng)作。這樣做可以避免觀測狀態(tài)和執(zhí)行狀態(tài)之間出現(xiàn)偏差，即感知-執(zhí)行差異。但問題也很明顯：機(jī)器人會(huì)頻繁停頓，動(dòng)作不連貫，任務(wù)表現(xiàn)也會(huì)受到影響。
• 異步推理：機(jī)器人會(huì)提前開始下一段動(dòng)作的推理。模型在生成新動(dòng)作的同時(shí)，機(jī)器人繼續(xù)執(zhí)行當(dāng)前還沒有執(zhí)行完的動(dòng)作。這樣可以消除動(dòng)作塊之間的停頓，讓機(jī)器人運(yùn)動(dòng)更加絲滑。為進(jìn)一步緩解感知-執(zhí)行差異，RTC、VLASH 等方法會(huì)將重疊時(shí)間內(nèi)已經(jīng)規(guī)劃好的動(dòng)作作為先驗(yàn)輸入給 VLA，使模型能夠生成符合當(dāng)前運(yùn)動(dòng)慣性的后續(xù)動(dòng)作。

Rethinking：什么才是真正的「反應(yīng)能力」？

異步推理解決了動(dòng)作卡頓的問題，但它真的提升了 VLA 的反應(yīng)能力嗎？

本文的一個(gè)關(guān)鍵洞見是：反應(yīng)時(shí)間并不是一個(gè)簡單等于模型推理延遲的常數(shù)，而應(yīng)該被建模為一個(gè)隨機(jī)變量。

這是因?yàn)檎鎸?shí)世界中的外部事件是隨機(jī)發(fā)生的。

如果事件恰好發(fā)生在模型開始推理之前，那么機(jī)器人可以在本輪推理完成后盡快響應(yīng)，反應(yīng)最快。但如果事件剛好發(fā)生在模型開始推理之后，那么這次推理已經(jīng)「錯(cuò)過」了這個(gè)新事件，只能等到下一輪推理完成后才能響應(yīng)。

論文進(jìn)一步分析指出，從期望反應(yīng)時(shí)間來看，普通異步推理相比同步推理的收益其實(shí)相當(dāng)有限：僅僅縮短了 0.5 倍的推理延遲。也就是說，如果推理延遲不變，單純改成異步并不能從根本上解決問題。

這就引出了本文提出的一個(gè)新指標(biāo)：TTFA（Time to First Action）

在動(dòng)作分塊策略中，機(jī)器人并不需要等待整個(gè)動(dòng)作塊都生成完才能開始動(dòng)。真正決定機(jī)器人能否快速響應(yīng)的，是第一個(gè)動(dòng)作什么時(shí)候能夠生成出來。

這和 LLM 中的 TTFT（Time to First Token）很類似，用戶感受到的響應(yīng)速度很大程度上取決于第一個(gè) token 出現(xiàn)得有多快。

因此，F(xiàn)ASTER 認(rèn)為：要提升 VLA 的真實(shí)反應(yīng)能力，不能只做異步推理，還必須同時(shí)壓縮 TTFA，并提高推理-執(zhí)行閉環(huán)的頻率。

VLA 的瓶頸在哪里？

當(dāng)前許多 VLA 都采用基于流匹配（Flow Matching）或 Diffusion 的動(dòng)作專家來生成動(dòng)作。

這類模型通常采用恒定時(shí)間步調(diào)度，動(dòng)作塊中的每一個(gè)動(dòng)作，無論是馬上要執(zhí)行的第一個(gè)動(dòng)作，還是幾十步之后才會(huì)執(zhí)行的遠(yuǎn)期動(dòng)作，都會(huì)使用相同數(shù)量的采樣步。

如果模型默認(rèn)使用 10 步采樣，那么它必須完成全部 10 步采樣之后，才能輸出第一個(gè)動(dòng)作。這就形成了一個(gè)明顯的反應(yīng)瓶頸：機(jī)器人明明只需要第一個(gè)動(dòng)作就可以開始動(dòng)，卻必須等待整個(gè)動(dòng)作塊完成全部采樣。

于是，一個(gè)很自然的問題出現(xiàn)了：為什么近期動(dòng)作和遠(yuǎn)期動(dòng)作需要同等程度的「精雕細(xì)琢」？

FASTER 對(duì)動(dòng)作采樣過程進(jìn)行了實(shí)驗(yàn)分析，并發(fā)現(xiàn)動(dòng)作塊內(nèi)部存在明顯的非均勻性。具體來說，論文使用了平直度（Straightness）指標(biāo)來衡量流匹配采樣路徑的彎曲程度。路徑越接近直線，說明這個(gè)動(dòng)作越容易通過少量采樣步準(zhǔn)確生成。

實(shí)驗(yàn)結(jié)果顯示：

• 早期動(dòng)作的采樣路徑更接近直線插值；
• 早期動(dòng)作的中間估計(jì)結(jié)果與最終輸出之間的偏差更小；
• 早期動(dòng)作的生成復(fù)雜度明顯低于遠(yuǎn)期動(dòng)作。

這也符合物理世界中的直覺：基于當(dāng)前狀態(tài)，下一瞬間該怎么動(dòng)通常約束更強(qiáng)、變化更小；而越遠(yuǎn)期的動(dòng)作受到更多未來不確定性的影響，自然更難預(yù)測。

既然近期動(dòng)作更容易預(yù)測，而又直接決定機(jī)器人的反應(yīng)速度，那么為什么不讓模型優(yōu)先生成這些動(dòng)作？

核心創(chuàng)新：Horizon-Aware Schedule

為了解決上述問題，F(xiàn)ASTER 提出了Horizon-Aware Schedule（HAS），思想是解耦動(dòng)作塊中不同時(shí)間位置動(dòng)作的采樣進(jìn)度。HAS 會(huì)為動(dòng)作塊中的每一個(gè)動(dòng)作分配一個(gè)不同的完成時(shí)刻（hit time）。

近期動(dòng)作使用較少的采樣步數(shù)，優(yōu)先生成；遠(yuǎn)期動(dòng)作仍然保留較完整的采樣過程，保持動(dòng)作軌跡質(zhì)量。

這樣，模型不再需要等到整個(gè)動(dòng)作塊全部采樣完成后才輸出動(dòng)作，而是可以先把最關(guān)鍵的即時(shí)動(dòng)作生成出來，讓機(jī)器人盡快開始響應(yīng)。

混合調(diào)度策略：讓預(yù)訓(xùn)練模型平滑適應(yīng) HAS

直接用 HAS 去微調(diào)一個(gè)預(yù)訓(xùn)練 VLA 模型，可能會(huì)帶來兩個(gè)問題。

第一個(gè)問題是，現(xiàn)有預(yù)訓(xùn)練模型通常是在恒定時(shí)間步調(diào)度下訓(xùn)練出來的。如果微調(diào)時(shí)突然切換成動(dòng)態(tài)變化的 HAS，會(huì)額外拉大預(yù)訓(xùn)練和微調(diào)之間的差距。

第二個(gè)問題是，在訓(xùn)練中隨機(jī)采樣時(shí)間步時(shí)，對(duì)于近期動(dòng)作來說，在 HAS 下它們對(duì)應(yīng)的局部時(shí)間步有較大概率變成 0，使得這些動(dòng)作幾乎總是直接使用真實(shí)動(dòng)作作為輸入，模型反而學(xué)不到如何自己生成這些動(dòng)作。

為了解決這兩個(gè)問題，F(xiàn)ASTER 提出了一種混合調(diào)度策略（Mixed Scheduling Strategy）。

具體做法是：給定一個(gè)混合概率 p，每個(gè)訓(xùn)練樣本都有 p 的概率使用 HAS，同時(shí)也有 1-p 的概率保留原來的恒定時(shí)間步調(diào)度。模型在微調(diào)時(shí)既能學(xué)習(xí)新的 HAS 時(shí)間步參數(shù)化方式，也不會(huì)完全丟掉預(yù)訓(xùn)練階段熟悉的固定時(shí)間步設(shè)置。

最重要的是，這個(gè)過程不需要修改模型結(jié)構(gòu)，也不會(huì)引入額外訓(xùn)練成本，可以直接整合進(jìn)現(xiàn)有 VLA 的微調(diào)流程。

流式推理接口：生成一個(gè)，執(zhí)行一個(gè)

有了 HAS 之后，動(dòng)作可以被漸進(jìn)式生成。FASTER 因此進(jìn)一步設(shè)計(jì)了一個(gè)流式客戶端-服務(wù)器接口（Streaming Client-Server Interface）。

在模型端，一旦某個(gè)動(dòng)作完成采樣，就會(huì)立即發(fā)送給機(jī)器人控制器，模型則繼續(xù)采樣和完善后續(xù)動(dòng)作。

機(jī)器人客戶端則會(huì)持續(xù)監(jiān)聽來自模型的新動(dòng)作，并將接收到的動(dòng)作加入緩沖區(qū)，機(jī)器人可以一邊執(zhí)行已經(jīng)收到的動(dòng)作，一邊等待后續(xù)動(dòng)作到來。

此外，F(xiàn)ASTER 還引入了早停機(jī)制。當(dāng)執(zhí)行范圍內(nèi)需要的動(dòng)作都已完成采樣時(shí)，模型可以提前終止剩余采樣步驟，直接進(jìn)入下一輪推理準(zhǔn)備。這等價(jià)于縮短了一次推理-執(zhí)行周期，從而進(jìn)一步提高閉環(huán)響應(yīng)頻率。

因此，F(xiàn)ASTER 不只是降低了第一個(gè)動(dòng)作的生成延遲，也提高了整個(gè)系統(tǒng)的更新頻率。

實(shí)驗(yàn)結(jié)果：更低 TTFA，更快反應(yīng)

FASTER 在兩種 GPU 平臺(tái)上進(jìn)行了真實(shí)測速實(shí)驗(yàn)，分別是高性能的 RTX 4090 和消費(fèi)級(jí)的 RTX 4060。

結(jié)果顯示，F(xiàn)ASTER 可以顯著降低 TTFA 和期望反應(yīng)時(shí)間。尤其是在 RTX 4060 上，X-VLA 的 TTFA 從 399.5 ms 降低到 129.2 ms，達(dá)到 3 倍以上加速；期望反應(yīng)時(shí)間也從 599.5 ms 降低到 229.2 ms，提升約 2.6 倍。對(duì)于 π0.5，F(xiàn)ASTER 同樣帶來了穩(wěn)定提升。

由于真實(shí)環(huán)境中的外部事件是隨機(jī)發(fā)生的，論文進(jìn)一步統(tǒng)計(jì)了不同方法在隨機(jī)事件下誰更可能反應(yīng)更快。

結(jié)果表明，F(xiàn)ASTER 相比同步推理有超過 80% 的概率反應(yīng)更快；相比普通異步推理也具有明顯優(yōu)勢。尤其是在 X-VLA 上，F(xiàn)ASTER 達(dá)到了 100% 的優(yōu)勢概率。這意味著 FASTER 的反應(yīng)時(shí)間上界甚至低于基線方法的下界，形成了嚴(yán)格的性能支配。

VLA 打乒乓球：反應(yīng)速度決定能不能接到球

在乒乓球任務(wù)中，機(jī)器人需要根據(jù)高速飛來的乒乓球及時(shí)調(diào)整球拍姿態(tài)，并在合適的位置和角度完成擊球。這不僅要求動(dòng)作準(zhǔn)確，也對(duì)反應(yīng)速度提出了極高要求。

實(shí)驗(yàn)結(jié)果顯示：

• 同步推理方法由于反應(yīng)太慢，幾乎無法接到球。
• 普通異步方法雖然動(dòng)作更連續(xù)，但反應(yīng)速度仍然不足，導(dǎo)致回球角度不佳或擊球無力。
• 使用 FASTER 后，機(jī)器人能夠更早開始調(diào)整球拍姿態(tài)，在接觸球的一瞬間保持更合理、更有力的擊球角度，因此最終得分顯著領(lǐng)先。

這個(gè)結(jié)果很好地說明了一個(gè)事實(shí)：在動(dòng)態(tài)交互任務(wù)中，動(dòng)作質(zhì)量不僅取決于預(yù)測是否準(zhǔn)確，還取決于這個(gè)動(dòng)作是否來得及執(zhí)行。

日常操作任務(wù)：更快，也更穩(wěn)定

除了高動(dòng)態(tài)任務(wù)，本文也在抓放飲料和疊毛巾等日常操作任務(wù)中進(jìn)行了測試。

在這些任務(wù)中，反應(yīng)速度并不像乒乓球那樣關(guān)鍵，但實(shí)時(shí)交互仍然會(huì)影響任務(wù)完成效率和動(dòng)作穩(wěn)定性。

FASTER 在這些任務(wù)中也能實(shí)現(xiàn)更快、更穩(wěn)定的運(yùn)動(dòng)表現(xiàn)。相比同步推理，它減少了動(dòng)作塊之間的停頓；相比普通異步推理，它進(jìn)一步提升了閉環(huán)更新頻率，使機(jī)器人能夠更及時(shí)地根據(jù)當(dāng)前狀態(tài)調(diào)整動(dòng)作。

仿真評(píng)測：加速不以犧牲質(zhì)量為代價(jià)

為了驗(yàn)證 HAS 是否會(huì)影響動(dòng)作預(yù)測質(zhì)量，本文還在 LIBERO 和 CALVIN 兩個(gè)常用仿真基準(zhǔn)上進(jìn)行了測試。

需要注意的是，仿真基準(zhǔn)本身通常不會(huì)直接受到推理延遲的影響，因此這些實(shí)驗(yàn)主要用于評(píng)估：FASTER 在加速采樣后，是否仍然能保持原模型的任務(wù)性能。

結(jié)果顯示，F(xiàn)ASTER 基本保持了與原始模型相當(dāng)?shù)男阅埽瑑H在個(gè)別任務(wù)上出現(xiàn)輕微下降。這說明 HAS 雖然對(duì)近期動(dòng)作采用了更激進(jìn)的采樣策略，但整體上仍能維持較高的動(dòng)作生成質(zhì)量。

總結(jié)

當(dāng)前具身智能研究大多關(guān)注如何讓機(jī)器人在更復(fù)雜的任務(wù)中「做得更好」，F(xiàn)ASTER 則提出了一個(gè)同樣重要但被低估的問題：在物理世界中部署 VLA 模型時(shí)，「多快能開始動(dòng)」與「動(dòng)作做得多準(zhǔn)」同樣關(guān)鍵。

傳統(tǒng)評(píng)價(jià)往往更關(guān)注動(dòng)作預(yù)測精度或任務(wù)成功率，但在動(dòng)態(tài)交互場景中，反應(yīng)速度本身就可能決定動(dòng)作是否還有意義。對(duì)于乒乓球、動(dòng)態(tài)抓取等任務(wù)來說，一個(gè)再準(zhǔn)確的動(dòng)作，如果來得太晚，也就失去了價(jià)值。

FASTER 通過 Horizon-Aware Schedule 將即時(shí)動(dòng)作的采樣壓縮到單步完成，并結(jié)合流式推理接口和早停機(jī)制，同時(shí)降低 TTFA、提高推理-執(zhí)行閉環(huán)頻率。在真機(jī)實(shí)驗(yàn)中，顯著提升了 VLA 的反應(yīng)能力，尤其是在消費(fèi)級(jí) GPU 上展現(xiàn)出很強(qiáng)的實(shí)際部署價(jià)值。

總體來看，F(xiàn)ASTER 為實(shí)時(shí) VLA 和通用具身智能的落地提供了一條簡單、有效且可擴(kuò)展的路徑：不是讓整個(gè)動(dòng)作塊都更快生成，而是讓機(jī)器人最需要的第一個(gè)動(dòng)作先到。