馬斯克親自點贊，Kimi動了十一年沒人敢碰的東西

科技博主Avi Chawla在X上發(fā)了一條長帖，詳細拆解了月之暗面Kimi團隊剛剛發(fā)布的一篇技術(shù)報告。

帖子發(fā)出后不久，馬斯克本人在下面回復(fù)了一句：“月之暗面做出了令人印象深刻的結(jié)果”（Impressive work from Kimi.）

馬斯克在AI領(lǐng)域的表態(tài)向來以挑剔著稱，沒少罵過Anthropic和OpenAI，甚至曾直言說Anthropic的圖標像是某種人體器官。

他自己的xAI最近還在經(jīng)歷大規(guī)模重組，多位華人聯(lián)合創(chuàng)始人離職，Grok的表現(xiàn)也不盡如人意。

可就在這個節(jié)骨眼上，他主動對一家中國AI公司的技術(shù)論文表示認可，多少有些出人意料。

說回被馬斯克點贊的這個東西，其實是有點抽象的，因為它壓根不是一個模型。

Kimi團隊提出了一種新的方式，試圖替換掉Transformer架構(gòu)里一個自2015年以來就幾乎沒人動過的基礎(chǔ)組件。

這是一篇純粹的架構(gòu)層面的技術(shù)論文。

雖然說這篇論文的影響，未必會被普通用戶感知到，可實際上，它觸碰的是整個深度學(xué)習(xí)的基石。

01

月之暗面到底改了什么

要理解這篇論文在做什么，得先搞清楚一個背景。現(xiàn)代大語言模型，無論是GPT、Claude，還是國內(nèi)的豆包、DeepSeek，哪怕是Kimi自己的K2.5，其底層架構(gòu)都是Transformer。

Transformer之所以能訓(xùn)練到幾十層甚至上百層而不崩潰，都是因為一個叫“殘差連接（Residual Connection）”的機制在起作用。

殘差連接的原理其實很簡單。

每一層網(wǎng)絡(luò)在做完自己的計算之后，把自己的輸出和輸入加在一起，然后傳到下一層去再做計算。這樣做的好處是，梯度在反向傳播時可以沿著一條“高速公路”直達底層，不會因為層數(shù)太深而消失。

這個設(shè)計來自何愷明在2015年參與的ResNet論文，后來被Transformer原封不動地繼承了下來。

但這時候就有一個不大不小的問題，這種“加法”是完全平等的。

第一層的輸出和第四十層的輸出，在最終的隱藏狀態(tài)里享有同等的權(quán)重，都是1。沒有任何機制去判斷哪一層的信息更重要、哪一層的貢獻可以被忽略。隨著層數(shù)增加，隱藏狀態(tài)的數(shù)值會線性增長，早期層的信息逐漸被稀釋，后面的層想要產(chǎn)生影響就必須輸出更大的數(shù)值，這反過來又加劇了不穩(wěn)定性。

就像咱們所有人拉個微信群，一起討論晚上吃什么，每個人的發(fā)言權(quán)重完全一樣，不管誰說的有道理誰在瞎扯，最后群主只能把所有消息從頭到尾讀一遍，這就導(dǎo)致他越往后翻越記不住前面說了啥。

這個現(xiàn)象在學(xué)術(shù)上被稱為“PreNorm稀釋”。

Kimi團隊注意到，這個問題和早年RNN面臨的困境有一種結(jié)構(gòu)上的對稱性。

RNN是在時間維度上做固定權(quán)重的累加，每個時間步的信息被等權(quán)地壓縮進同一個隱藏狀態(tài)，導(dǎo)致長距離依賴難以捕捉。后來Transformer用注意力機制替代了RNN的這種線性累加，讓模型可以根據(jù)內(nèi)容動態(tài)地決定該關(guān)注序列中的哪些位置，這才有了后來的一切。

兩者的區(qū)別在于，RNN就像上課，老師講到哪你就聽到哪，只能從頭聽到尾，沒記住的要么看筆記，要么再次從頭來。Transformer則是錄播網(wǎng)課，可以隨時翻回去看之前最重要的部分。

但在深度維度上，同樣的問題一直存在，卻沒有人用同樣的思路去解決。每一層的輸出仍然是被等權(quán)相加的，模型沒有能力根據(jù)當(dāng)前輸入去選擇性地從某些層提取信息、忽略另一些層。

Kimi團隊表示，標準殘差連接本質(zhì)上是“深度維度上的線性注意力”，他們要做的，是把它升級為“深度維度上的softmax注意力”。

于是他們提出了一個“理想版”的方案，叫做全注意力殘差（Full Attention Residuals）。

具體做法是給每一層賦予一個可學(xué)習(xí)的查詢向量，這個向量會對之前所有層的輸出做一次注意力計算，產(chǎn)生一組歸一化的權(quán)重。

然后當(dāng)前層的輸入不再是之前所有層輸出的簡單求和，而是按照這組權(quán)重的加權(quán)組合。權(quán)重是輸入相關(guān)的，也就是說，不同的token在經(jīng)過同一層時，可能會從不同的歷史層中提取不同的信息。

那我們還是用前面微信群的例子。現(xiàn)在群主不用從頭到尾翻聊天記錄了，有個助手幫他標出“這幾條最值得看”，不同的話題還會標出不同的重點消息。

理想豐滿現(xiàn)實骨感，全注意力殘差這個方案其實“不靠譜”。

大規(guī)模訓(xùn)練時，模型通常會使用流水線并行和激活重計算來節(jié)省顯存，這意味著之前層的輸出不會被保留在內(nèi)存里。

如果要做全注意力，就需要把所有層的輸出都存下來并在流水線的不同階段之間傳遞，內(nèi)存和通信開銷都會變得不可接受。

為了解決這個問題，Kimi團隊又提出了塊注意力殘差（Block Attention Residuals）。

思路是把所有層分成若干個塊，每個塊內(nèi)部仍然使用傳統(tǒng)的殘差連接做求和，但塊與塊之間使用注意力機制來做選擇性聚合。這樣需要存儲和傳輸?shù)牟辉偈敲恳粚拥妮敵觯敲總€塊的匯總表示，內(nèi)存占用從 O(Ld）降到了 O(Nd)，其中 N 是塊的數(shù)量，通常只有8個左右。

這就相當(dāng)于是把剛才那個微信群分成了八個小組，每組先內(nèi)部討論出一個結(jié)論，群主只需要看八條小組總結(jié)就行。

在此基礎(chǔ)上，他們還做了一系列工程優(yōu)化。

比如跨階段緩存消除了流水線并行中的冗余傳輸，兩階段推理策略通過在線softmax把跨塊注意力的計算分攤到各個塊的處理過程中。最終的結(jié)果是，注意力殘差作為標準殘差連接的替代品，訓(xùn)練時的額外開銷很小，推理時的延遲增加不到2%。

Kimi團隊又做了兩個實驗。

一是scaling law實驗，驗證這個改進在不同模型規(guī)模下是否一致有效。結(jié)果顯示，注意力在所有計算預(yù)算下都優(yōu)于基線，其效果相當(dāng)于用1.25倍的計算量訓(xùn)練出的基線模型。

二是Kimi拿自己的大模型上做了實戰(zhàn)驗證。模型參數(shù)量為480億，用超過一萬億個詞的數(shù)據(jù)做了完整的預(yù)訓(xùn)練。然后在科學(xué)問答、數(shù)學(xué)推理、代碼生成、綜合知識等一系列主流測試中，加了塊注意力殘差的版本全面超過了沒加的版本。

從訓(xùn)練動態(tài)的分析來看，塊注意力殘差確實緩解了PreNorm稀釋問題。各層輸出的幅度不再隨深度線性增長，而是保持在一個相對穩(wěn)定的范圍內(nèi)；梯度的分布也更加均勻，也不再會出現(xiàn)淺層梯度過大、深層梯度過小的失衡現(xiàn)象。

除此以外，論文中還做了一個統(tǒng)一的結(jié)構(gòu)化矩陣分析，證明了標準殘差連接和之前的各種變體（比如 Highway Networks、DeepNet 的 scaled residuals 等）本質(zhì)上都是深度維度上的線性注意力的特例。

簡單來說就是，自2015年ResNet以來，在殘差連接這個板塊，沒有任何實質(zhì)性的變化。而Kimi的這篇論文，是第一個既有理論依據(jù)，又能大規(guī)模實際部署且低成本的方案。

馬斯克也正是因為這個結(jié)論，才親自下場點贊Kimi。

02

融資、爭議和馬斯克的那個贊

月之暗面正處在一個微妙的時間節(jié)點上，那就是上市。

2025年12月底，月之暗面完成了5億美元的C輪融資。投后估值43億美元。兩個月后，月之暗面完成超7億美元的C+輪融資，由阿里、騰訊、五源資本等老股東聯(lián)合領(lǐng)投，投后估值突破100億美元。

到了3月中，月之暗面最新投前估值已上升至180億美元，新一輪10億美元融資正在推進中，3個月內(nèi)估值實現(xiàn)超4倍增長。

實際上月之暗面最近的收入增長得很快，Kimi K2.5模型發(fā)布不到一個月，累計收入就超過了2025年全年總收入。

根據(jù)全球支付平臺Stripe的數(shù)據(jù)，Kimi個人訂閱用戶的支付訂單數(shù)在1月環(huán)比增長了 8280%，2月又環(huán)比增長了123.8%，已經(jīng)進入Stripe全球榜單前十。

但融資順利并不意味著沒有爭議。

就在幾天前，OpenClaw創(chuàng)始人彼得·斯坦伯格公開對月之暗面的Kimi Claw產(chǎn)品提出了質(zhì)疑。事

情的起因是，月之暗面此前推出了OpenClaw的云端一鍵部署服務(wù)Kimi Claw，它的邏輯有悖于OpenClaw的設(shè)計理念。

有用戶在X上詢問這個產(chǎn)品是否值得嘗試并 @了斯坦伯格，斯坦伯格的回應(yīng)很直接：他們有沒有把安全文檔作為必讀項展示給用戶？

斯坦伯格的核心關(guān)切在于，OpenClaw的邏輯是“本地優(yōu)先”。agent運行在用戶自己的設(shè)備上，但可能因為過高的本地權(quán)限，引發(fā)了安全風(fēng)險，因此工信部也建議“優(yōu)先考慮在容器或虛擬機中隔離運行，形成獨立的權(quán)限區(qū)域。”

但KimiClaw的做法正是如此，它把OpenClaw搬到了云端的虛擬機。在安全和隱私層面，這兩種模式的風(fēng)險等級完全不同。

對于正在高速融資的月之暗面來說，來自O(shè)penClaw創(chuàng)始人的公開批評，多少會在海外技術(shù)社區(qū)中制造一些負面情緒。

然后馬斯克的那條回復(fù)出現(xiàn)了。

雖然這兩件事是風(fēng)馬牛不相及的，但在輿論場上，它們會不可避免地被放在一起解讀。

一邊是OpenClaw創(chuàng)始人對月之暗面產(chǎn)品的安全質(zhì)疑，另一邊是馬斯克對月之暗面研究論文的公開認可。

對于正在進行新一輪融資的月之暗面來說，后者的時機幾乎不能更好。在資本市場的敘事邏輯里，這種來自頂級人物的認可，往往比任何分析報告都更有說服力。

當(dāng)然了，不應(yīng)該過度去解讀馬斯克的一條推文。他在X上的互動頻率極高，對各種技術(shù)話題都會隨手點評，一句“impressive”并不意味著他會投資月之暗面或者在xAI中采用月之暗面的方法。

但不管怎么說，馬斯克那條回復(fù)發(fā)出去之后，很多原本不關(guān)注架構(gòu)研究的人，也開始去翻這篇論文了。一個十一年沒人碰過的組件被重新打開，接下來會發(fā)生什么，誰也不知道。