教授直言：AI突破關鍵非Transformer架構

只要一提到大模型，很多人張口閉口就是Transformer架構有多么顛覆。似乎掌握了架構設計，就拿到了通往通用人工智能的門票。

普林斯頓大學助理教授莊劉（Zhuang Liu）在最近的一次交流中，直接打破了這種固有認知。

作為在深度學習架構領域的頂尖學者，他明確指出，在實際應用中，有很多因素遠比單純的架構選擇重要得多。

現(xiàn)在學術界在AI架構研究上到底處于什么狀態(tài)？在落地應用時，決定AI表現(xiàn)的究竟是什么？

相比于前幾年各種新架構層出不窮，現(xiàn)在的學術界在底層架構研究上，變得沒有那么活躍了。

莊劉教授坦誠地點出了痛點：學術界現(xiàn)在根本負擔不起足夠大的計算規(guī)模，來在有說服力的體量上去驗證這些架構創(chuàng)新的效果。

理想情況下，如果有了新的架構點子，應該在最前沿的規(guī)模上進行驗證。不一定是萬億美元級別，但至少也得在70億、或者300億參數(shù)這樣的龐大規(guī)模上跑出效果。

因為工業(yè)界需要看到這個規(guī)模的收益才會信服。

目前，反而是那些擁有開放權重模型的科技公司，比如Kimi、DeepSeek等，還在不斷地擺弄和優(yōu)化架構。他們有大量的計算資源去測試如何修改殘差連接，以及如何連接不同的網(wǎng)絡層。

受限于算力資源，學術界在超大規(guī)模底層架構的探索上面臨困難。但這并不意味著探索停止，莊劉教授表示，他自己還是會在大學現(xiàn)有的資源下試著研究，借助云代碼工具親手寫代碼進行驗證。

那么，所謂的“顛覆性架構”真的不可替代嗎？莊劉團隊在2021年做了一項名為“面向20年代的卷積網(wǎng)絡”的研究。

當時，Transformer剛進入計算機視覺領域，性能極其亮眼，整個視覺圈子都在從傳統(tǒng)的卷積網(wǎng)絡往視覺Transformer遷移。

他們想搞清楚：這種性能差距，究竟是因為自注意力機制的內(nèi)在優(yōu)勢，還是因為其他細小的設計細節(jié)？

研究得出的答案是后者。他們通過系統(tǒng)性地控制設計組件，將卷積網(wǎng)絡進行了現(xiàn)代化改造，比如調整激活函數(shù)的使用、減少歸一化層。

結果發(fā)現(xiàn)，改造后的卷積網(wǎng)絡在各種任務上，都能跟當時極強的視覺Transformer打平。

根本沒有任何一個單一的改動能瞬間拉升性能，真正起作用的是把所有的小細節(jié)組合在一起。這些小細節(jié)的組合，比看起來像是網(wǎng)絡核心組件的改變要重要得多。

只要輸入輸出接口保持不變，不管選哪種架構，只要用上殘差連接、自注意力等合理機制，在合適位置放對激活函數(shù)和前饋層，最終都會非常接近性能與效率的最高前沿。在過去很多年里，除了成熟架構，并沒有什么真正被廣泛采用的根本性創(chuàng)新。

既然架構選擇不是唯一的決定性因素，在實際應用中，什么才是最核心的命門？

莊劉教授給出了肯定的答案：用什么數(shù)據(jù)來訓練模型，比架構的選擇重要得多。

一旦用更多的計算、更多樣化的大規(guī)?；ヂ?lián)網(wǎng)數(shù)據(jù)去訓練，同樣的模型就會涌現(xiàn)出極具競爭力的性能。深度學習最大的啟示是：你想讓模型在哪方面做得好，就必須針對那方面去訓練。

為了讓模型什么都會，普遍的假設是模型需要在訓練時見過所有的東西。但計算資源和模型容量是有限的，模型學到的不同能力之間會相互競爭。

如何平衡不同數(shù)據(jù)領域是關鍵。莊劉教授提到，不能讓“怎么理發(fā)”的話題跟“怎么編程”擁有同樣多的數(shù)據(jù)，因為編程顯然更重要。需要把關心的所有領域大致劃分出來，在訓練集里讓它們保持恰當?shù)呐浔取?/p>

如果你希望模型在面向用戶時對各種任務都有不錯的能力，那么在訓練集里擁有足夠的數(shù)據(jù)就是最合理的解法。

現(xiàn)在的模型能力很強，但人類有超強的記憶力，模型卻比不上。在職業(yè)和個人生涯里，有太多東西我們希望模型能記住，比如互動歷史、偏好等，這樣就不必反復去講。

如何不讓模型遺忘，這是持續(xù)學習需要解決的問題。如果能成功解決記憶問題，會比搭建協(xié)作式智能體更有價值。之所以需要大量智能體分開做不同任務，就是因為一個智能體記不住所有事情。

除了記憶，對于不同類型的工作，模型的需求也不同。對于數(shù)字工作、白領工作，很多事在數(shù)字空間里完成，可能只需要一個能讀懂電腦屏幕的模型，不需要世界模型。

但對于體力勞動，比如建筑、開車、理發(fā)、醫(yī)療手術等物理活動，工作中的反饋非常精細，這確實需要視覺世界模型。超過半數(shù)的工作想真正做好的話，都需要視覺世界模型。

綜上所述，當前的AI領域，學術界受限于算力規(guī)模，在超大架構研究上面臨門檻。而研究也表明，細致的組件優(yōu)化往往能達到與核心架構改變相似的效果。

在實際落地應用中，優(yōu)質、海量且配比合理的數(shù)據(jù)，是決定模型能力的關鍵。未來，誰能突破模型長久記憶與持續(xù)學習的瓶頸，誰能構建出適應物理世界的視覺世界模型，誰就能讓AI產(chǎn)生真正的質變。

對于AI總是記不住你的指令和偏好這件事，你在日常使用中有沒有遇到過類似的煩惱？歡迎在評論區(qū)留下你的看法！