神經(jīng)計算機橫空出世：AI不再調(diào)用軟件，而是直接長成一臺計算機

過去幾十年里，人類使用計算機的方式始終沒有發(fā)生根本變化：我們編寫程序，機器按照指令執(zhí)行。

但隨著大模型的發(fā)展，這種關(guān)系正在悄然改變，人類開始不再描述“如何做”，而是直接表達(dá)“想做什么”，而系統(tǒng)則負(fù)責(zé)推理并完成整個過程。在這一背景下，師從被譽為“現(xiàn)代人工智能之父”“LSTM 之父”的于爾根·施米德胡伯，來自 Meta 與 KAUST（阿卜杜拉國王科技大學(xué)）的諸葛鳴晨與田淵棟等合作者，提出了一種名為“神經(jīng)計算機”的新設(shè)想：讓神經(jīng)網(wǎng)絡(luò)直接學(xué)習(xí)如何使用計算機本身，而不是依賴已有的軟件接口、工具鏈或程序結(jié)構(gòu)。換句話說，這種路徑并不是讓AI更好地使用現(xiàn)有軟件，而是嘗試讓“軟件本身”逐漸進入模型內(nèi)部。

論文公開后，他們很快發(fā)現(xiàn)，這個看似抽象的設(shè)想引發(fā)了出乎意料的關(guān)注：在 X 上獲得了超過近九百條轉(zhuǎn)發(fā)和超過一百多萬瀏覽量。

對諸葛鳴晨來說，這不僅是一次傳播上的反饋，也讓他更加確信，這種方向確實擊中了當(dāng)前 AI 發(fā)展的某個關(guān)鍵問題。

采訪中他講述了這篇論文的緣起。他剛來到 KAUST 時，跟自己的導(dǎo)師于爾根·施米德胡伯說，自己來這兒是因為兩個人是他的偶像，一個是 David Ha，另一個就是導(dǎo)師本人。這兩人有一個共同特點，擁有推廣全新研究范式的能力。比如他們在 2018 年合作的世界模型，是關(guān)于施米德胡伯教授在 1990 年的《Make the World Differentiable》里的用遞歸神經(jīng)網(wǎng)絡(luò)實現(xiàn)世界模型的工程實現(xiàn)。

除了為人熟知的 LSTM 等 AI 時代的巨作，施米德胡伯提出的在 2003 年提出的戈德爾機器，推動了遞歸自我進化這個方向。從 2024 年末開始，諸葛鳴晨多次與導(dǎo)師于爾根·施米德胡伯討論“神經(jīng)計算機”的設(shè)想。他們反復(fù)討論的一個問題是：AI 究竟只是更高效地使用計算機，還是會成為一種新的計算機形態(tài)？

逐漸地，一個更激進的判斷開始成形，這可能是 AI 邁向下一階段的重要方向。

與當(dāng)前常見的“AI 代理”不同，這種系統(tǒng)并不依賴預(yù)先定義好的接口或工具調(diào)用。它直接從屏幕像素和用戶操作中學(xué)習(xí)整個計算機的運行方式，而不是通過預(yù)定義接口去調(diào)用已有軟件功能。

換句話說，它不是在“調(diào)用軟件”，而是在“直接生成一整臺計算機的運行過程”。也就是說，原本分散在操作系統(tǒng)、軟件和工具鏈中的功能，正在被壓縮進同一個學(xué)習(xí)系統(tǒng)之中。

傳統(tǒng)的計算機有明確的分工，處理器負(fù)責(zé)計算，內(nèi)存負(fù)責(zé)存儲，操作系統(tǒng)負(fù)責(zé)調(diào)度，你按下一個鍵，它執(zhí)行一段寫好的程序。神經(jīng)計算機則無需依靠任何人寫的代碼，只需通過觀看大量的屏幕錄像和操作記錄來學(xué)習(xí)。

為了實現(xiàn)原型，研究團隊一共探索了 6 種完全不一樣的數(shù)據(jù)收集方式，收集了超過 80 萬條命令行操作片段，總時長大約 1,100 小時，還收集了大約 1,500 小時的圖形桌面操作記錄。他們采用約 25 萬個 H100 GPU hours 訓(xùn)練了 8 個截然不同模型，這些模型看多了之后，自己學(xué)會了終端里的文本應(yīng)該是什么樣子的，光標(biāo)應(yīng)該怎么移動，窗口應(yīng)該怎么彈出。它沒有學(xué)過一行操作系統(tǒng)的代碼，卻能通過觀察屏幕像素的變化來掌握系統(tǒng)行為。這也意味著，它不是在執(zhí)行明確規(guī)則，而是在大量非結(jié)構(gòu)化的觀察中歸納出“計算機如何運作”。換句話說，它不是在運行程序，而是在學(xué)會成為一臺計算機。

命令行（CLI）模型的學(xué)習(xí)過程是這樣的，一開始它生成的終端畫面完全不可讀，文字亂成一團。訓(xùn)練了 2.5 萬步之后，它開始能夠?qū)懗鰜砬逦淖址伾透袷揭捕紝Φ蒙稀Ｔ酵髮W(xué)，它生成的內(nèi)容和真實操作的差距就越小。研究人員使用了一個名為 Tesseract 的文字識別工具來評估模型的生成質(zhì)量，發(fā)現(xiàn)字符準(zhǔn)確率從最初幾乎不可讀（約 3%），提升到超過一半內(nèi)容可以被正確識別（54%）。

這意味著，模型已經(jīng)能夠生成一個在外觀和結(jié)構(gòu)上都接近真實的終端界面。不過當(dāng)涉及到算術(shù)運算時，模型就會露怯。問它 28 減 23 等于多少，它經(jīng)常給出錯誤答案。但是，如果在指令中把答案也告訴它，它就能準(zhǔn)確地把那個數(shù)字顯示在屏幕上。這說明目前的神經(jīng)計算機更像一個模仿者，它能夠?qū)W會“計算機看起來是如何工作的”，卻還沒有真正掌握“計算本身”。

換句話說，它擅長復(fù)現(xiàn)結(jié)果的表現(xiàn)形式，但還不具備生成結(jié)果的內(nèi)在能力。這種能力上的不均衡，也體現(xiàn)了當(dāng)前這類系統(tǒng)的一個典型特征：它可以在某些模式明確的任務(wù)上表現(xiàn)出色，卻在看似簡單的問題上出現(xiàn)明顯失誤。

（來源： https://arxiv.org/pdf/2604.06425v1）

圖形桌面模型（GUI）面對的是短時控制的挑戰(zhàn)，它需要理解鼠標(biāo)移動、點擊、拖拽這些動作和屏幕變化之間的關(guān)系。研究人員嘗試了四種模型（擁有不同的動作注入方式）來輸入這些操作信息。

最簡單的方式是把操作信息疊加在輸入畫面上，稍復(fù)雜的方式是在模型內(nèi)部的注意力機制里單獨加一個處理操作的模塊。結(jié)果發(fā)現(xiàn)，讓操作信息在模型內(nèi)部更深的地方參與計算，模型學(xué)到的控制效果更好。為了實現(xiàn)更加精確的光標(biāo)控制，研究人員還給模型加了一個額外的監(jiān)督信號，單獨告訴它光標(biāo)應(yīng)該在什么位置。加上這個信號之后，光標(biāo)位置的準(zhǔn)確率從不到 14% 飆升到了 98.7%。

然而一旦涉及多步驟的任務(wù)，比如連續(xù)處理多個文件，模型還是容易出現(xiàn)狀態(tài)漂移，做著做著就和真實屏幕對不上了。這也說明模型在短時控制上已經(jīng)取得進展，但在長時狀態(tài)保持和連續(xù)推理上仍然存在明顯挑戰(zhàn)。

（來源：https://arxiv.org/pdf/2604.06425v1）

據(jù)了解，研究人員把此次神經(jīng)計算機看做一種全新的機器形態(tài)。他們設(shè)想的更遠(yuǎn)目標(biāo)，是一種“完全神經(jīng)計算機”：不僅能夠模仿屏幕，還可以穩(wěn)定執(zhí)行任務(wù)、持續(xù)學(xué)習(xí)，并讓能力在系統(tǒng)內(nèi)部長期保留和復(fù)用。

（來源：https://arxiv.org/pdf/2604.06425v1）

諸葛鳴晨告訴 DeepTech：“如果沒有這份工作，我給自己博士生涯的打分大概是 70 到 80 分，但有了這份工作之后，我覺得自己完全滿足了，打出了 95 到 98 分的高分。因為這份工作補上了我職業(yè)生涯中非常重要的一塊，我一直想成為某種新范式的提出者，而不是僅僅引出某個新話題。”

從更長遠(yuǎn)的角度看，這項工作的意義不在于它今天能做到什么，而在于它提出了一種新的可能性：如果計算機本身可以被學(xué)習(xí)，而不是被設(shè)計，那么“軟件”這一概念本身也可能發(fā)生變化，甚至不再以我們熟悉的形式存在。

對諸葛鳴晨來說，這項工作不僅是一篇論文，更像是他一直想完成的一件事，提出一種新的研究范式，而不是只是在已有問題上不斷推進。

未來的系統(tǒng)，很可能不再由固定程序構(gòu)成，而是在每一次任務(wù)中動態(tài)生成執(zhí)行過程。人類不再需要操作軟件，也不再需要描述步驟，而是直接給出目標(biāo)，由系統(tǒng)在內(nèi)部完成推理、生成路徑并執(zhí)行。

一旦這種模式成立，計算機將不再只是執(zhí)行指令的工具，而是一種能夠自行運行、持續(xù)完成任務(wù)的機器形態(tài)。到那時，被改變的將不只是使用方式，而是“計算機”這個詞本身的含義。

參考資料：
相關(guān)論文https://arxiv.org/pdf/2604.06425v1

排版：胡莉花

注：封面/首圖由 AI 輔助生成