將 600 億參數(shù)大模型裝進(jìn)手機(jī)的瓶頸，終于被中國 AI 公司突破了

一個 8B 參數(shù)的大模型，通常需要約 16GB 顯存。參數(shù)越多，越吃顯存，這就是為什么，內(nèi)存價格一天比一天高。

現(xiàn)在，有一種方法，可以省下 6 倍顯存，卻幾乎不損耗模型性能。

過去兩年，圍繞這個看似極端的思路，一條全球性的技術(shù)競賽正在成型。而就在這條賽道上，一個完全基于國產(chǎn)算力的方案，剛剛給出了自己的第一個回答。

模型被壓到了不到 3B，同時，能力卻可以保留 97%，甚至更進(jìn)一步，如果結(jié)合 MoE 架構(gòu)，未來可以直接在一部 8GB 內(nèi)存的手機(jī)，運(yùn)行 600 億參數(shù)的大模型。

聽上去匪夷所思，怎么做到的？

三個值，能跑大模型嗎

傳統(tǒng)大模型用非常精確的數(shù)字存儲，意味著每個權(quán)重可以取幾萬種不同的數(shù)值，精度很高，但也很占內(nèi)存。三值量化是一個極端的反向操作：直接把可選的數(shù)值從幾萬種砍到三種。技術(shù)上，這被稱為 1.58-bit，因為編碼三個值恰好需要約 1.58 個二進(jìn)制位。

這個壓縮有多極端？打個比方：如果傳統(tǒng)大模型的權(quán)重是一幅全彩照片，三值量化就是把它壓成只有黑、白、灰三色的極簡圖形。

直覺上你會覺得這必然損失慘重。但過去兩年的研究反復(fù)證明，模型權(quán)重里存在大量冗余信息。三個值，如果分配得當(dāng)，足以承載絕大部分的模型能力。

這不是一個新概念。2024 年，微軟研究院發(fā)布了 BitNet b1.58，第一次系統(tǒng)論證了三值大模型可以逼近全精度模型的性能。微軟隨后在去年進(jìn)一步發(fā)布了 BitNet b1.58 2B4T，一個 20 億參數(shù)、4 萬億 token 訓(xùn)練的開源三值模型。上個月，美國公司 PrismML 發(fā)布了 Ternary Bonsai 系列，宣稱是首批商業(yè)可用的 1.58-bit 模型。

上：Llama FP16架構(gòu)，下：微軟研究院開發(fā)的BitNet架構(gòu)

學(xué)術(shù)界也同樣在跟進(jìn)：Tequila 提出了解決三值量化中「死權(quán)重陷阱」的新方法，TernaryLM 探索了從零開始的原生三值訓(xùn)練。

一條全球賽道正在成型。但有一個關(guān)鍵問題始終沒有被回答：

三值大模型訓(xùn)練，能在國產(chǎn)算力上跑通嗎？

昇騰上的第一次

這一次，在華為鯤鵬昇騰開發(fā)者大會（KADC 2026）上，面壁智能給出了答案。

BitCPM-CANN 是面壁智能聯(lián)合清華大學(xué)、OpenBMB 開源社區(qū)發(fā)布的三值大模型系列。它的意義不僅在于「又發(fā)了一個三值模型」。在全球賽道上，BitCPM-CANN 做到了三個此前沒有人做到的事情。

第一次，在華為昇騰上端到端完成三值大模型訓(xùn)練。此前所有公開的三值模型訓(xùn)練都在 NVIDIA GPU 上完成。國產(chǎn)芯片陣營第一次擁有了自己的三值訓(xùn)練能力。第一次，一次性把規(guī)模推到 8B。此前昇騰上的低比特訓(xùn)練停留在較小規(guī)模的驗證階段。BitCPM-CANN 直接發(fā)布了 0.5B、1B、3B、8B 四個檔位，覆蓋從手機(jī)到 PC 的完整端側(cè)場景。第一次，實(shí)現(xiàn)了與全精度模型的完整對照評測。11 項任務(wù)、四大類評測（常識、閱讀理解、學(xué)科知識、數(shù)學(xué)推理），1B 到 8B 檔位的能力保留率在 95.7%到 97.2%之間。

97.2%的能力保留率意味著什么？在 ARC、CMMLU、GSM8K 等主流評測中，BitCPM-CANN 三值模型與同尺寸 MiniCPM4 全精度模型的差距，已經(jīng)小于許多全精度模型之間的差距。其中，3B 檔位的保留率最高，達(dá)到 97.2%。

而且，這不只是論文里的數(shù)字，是能真正可以「拿來就用」的成果。BitCPM-CANN 的全部尺寸版本已經(jīng)開源，0.5B 到 8B 四個檔位都可以直接下載復(fù)現(xiàn)。

對于熟悉面壁智能 MiniCPM 系列的開發(fā)者來說，BitCPM-CANN 就是 MiniCPM 家族的三值版本，還是一套生態(tài)。在同一個 GitHub 社區(qū)，家族前輩積累了 3 萬顆星、Hugging Face 總下載量超 3000 萬的「家產(chǎn)」，現(xiàn)在生長出來了新的方向。

6 倍顯存，從服務(wù)器到手機(jī)都「吃到紅利」

相比 BF16 全精度模型，BitCPM-CANN 節(jié)省約 6 倍顯存，這個數(shù)字開發(fā)者最能直接感知：一個 8B 參數(shù)的全精度模型需要約 16GB 顯存，BitCPM-CANN 三值版本不到 3GB，可以流暢運(yùn)行在一部手機(jī)上，配合 MoE 與激活范圍約束，60B 規(guī)模的模型有望裝入終端設(shè)備。

硬件端也已經(jīng)準(zhǔn)備好了。高通最新的旗艦芯片 8850 和 8397 支持 2-bit 原生推理，BitCPM-CANN 提供的恰好是可以直接喂進(jìn)去的低比特權(quán)重。

芯片廠商等供給，模型廠商等芯片，現(xiàn)在兩邊同時到位了，怎么不是一種「雙向奔赴」。

手機(jī)廠商對端側(cè)大模型的投入一直在加速。上周 Google I/O 上，Gemini Intelligence 全面接管 Android 設(shè)備，從手機(jī)到手表到車機(jī)；蘋果也將在 6 月 WWDC 上展示下一代 Apple Intelligence 的重大升級。

兩大手機(jī)操作系統(tǒng)同時發(fā)力，共同指向一個現(xiàn)實(shí)：手機(jī)端側(cè)要跑越來越強(qiáng)的 AI，內(nèi)存就是最硬的瓶頸。誰能用更少的內(nèi)存跑更強(qiáng)的模型，誰就掌握了下一輪競爭的主動權(quán)。

實(shí)際上，如果結(jié)合整個 AI 產(chǎn)業(yè)正在經(jīng)歷的陣痛，價值又會更上一層樓：4 月時，高盛把全年 DRAM 價格漲幅預(yù)期上調(diào)到 280%，美銀預(yù)估全球 HBM 市場將達(dá)到 546 億美元。

AI 基礎(chǔ)設(shè)施最緊缺的資源就是內(nèi)存，6 倍顯存紅利意味著不增加物理內(nèi)存，就能把模型能力提升數(shù)倍。在內(nèi)存持續(xù)漲價的情況下，這不是優(yōu)化，是剛需。

三值量化不是「用精度換內(nèi)存」的妥協(xié)。當(dāng) 97%的能力被保留下來時，說明傳統(tǒng) 16 位模型里大量的精度可能是冗余的。三個值，足以承載一個大模型的絕大部分知識。低比特不再是工程上的節(jié)省手段，而是一種新的權(quán)重知識承載方式。

為什么是面壁智能，為什么是現(xiàn)在

當(dāng) AI 從云端走向終端，端側(cè)模型正在成為個人智能設(shè)備的核心能力。手機(jī)、電腦、車機(jī)，每一個貼近用戶的終端都在等一個足夠小、足夠強(qiáng)、足夠省內(nèi)存的模型。這條賽道的勝負(fù)手，不會是那些只會把模型做大的團(tuán)隊，而是能把模型做小、做輕、做到真正能跑起來的玩家。

為什么是面壁智能，能在端側(cè)大模型這條路上，一直走在前沿？這個問題的答案不在 BitCPM-CANN 本身，而在這家公司過去幾年，一直在做的一件看起來有些「不合群」的事。

面壁智能從成立之初就押注效率，在國內(nèi)大多數(shù)團(tuán)隊追逐更大模型的時候，他們花了大量時間做底層訓(xùn)練框架 BM-Train，解決「怎么用更少的資源，訓(xùn)出足夠好的模型」，這套基礎(chǔ)設(shè)施積累是后來一切的起點(diǎn)。

在 1.58-bit 方向上，面壁智能的判斷早于行業(yè)共識。許多數(shù)團(tuán)隊還在猶豫極低比特是否可行時，面壁智能就選定了這條路線，先在 GPU 上跑通了完整的訓(xùn)練流程和方法論，再整體遷移到昇騰平臺上。可以說，BitCPM-CANN 不是把一個模型移植到了國產(chǎn)芯片上，而是把一整套經(jīng)過驗證的訓(xùn)練方法、效率路線和工程體系，搬進(jìn)了國產(chǎn)算力的底座。

在模型層面，面壁智能的端側(cè)模型 MiniCPM 系列在 GitHub 上積累了超過 3 萬顆星，Hugging Face 開源總下載量超過 3000 萬，是端側(cè)大模型領(lǐng)域最受歡迎的中國開源模型家族。

BitCPM-CANN 正是 MiniCPM 家族向三值量化的延伸，遠(yuǎn)不止一個展示性的「PPT 模型」，是一個真正可復(fù)用的工程地基。它背后的訓(xùn)練鏈路已經(jīng)被沉淀為昇騰低比特訓(xùn)練的基礎(chǔ)設(shè)施，后續(xù)所有想在昇騰上做低比特訓(xùn)練的團(tuán)隊，都可以在同一套底座上起步。

值得一提的是，BitCPM-CANN 還在華為昇騰上完成了端到端的三值訓(xùn)練，訓(xùn)練效率達(dá)到常規(guī)基線的 95%。這證明了這套方法論不依賴特定硬件平臺，國產(chǎn)算力同樣可以跑通。

不是等硬件變得足夠強(qiáng)大來適應(yīng)模型，要讓模型變得足夠聰明來適應(yīng)硬件。

從訓(xùn)練端的華為昇騰，到推理端的終端芯片，再到開源的模型和訓(xùn)練腳本，這是一條完整的國產(chǎn)閉環(huán)，框架國產(chǎn)，芯片國產(chǎn)，模型國產(chǎn)，方法論自主。面壁智能的下一步已經(jīng)明確：進(jìn)一步提升模型的能力保留率，用 MoE 架構(gòu)擴(kuò)展更大規(guī)模模型的容量，把 6 倍顯存紅利完整釋放到部署中。更長遠(yuǎn)的目標(biāo)，是覆蓋從預(yù)訓(xùn)練到對齊的全流程低比特化。

從底層訓(xùn)練框架 BM-Train，到端側(cè)模型家族 MiniCPM，再到 BitCPM-CANN，面壁智能用幾年時間搭建了一套完整的端側(cè)大模型技術(shù)體系。在全球賽道上，面對微軟、PrismML，面壁智能展現(xiàn)出了獨(dú)特的不同優(yōu)勢之處在于：從框架、方法論、模型到芯片適配，構(gòu)建了一條完整的端側(cè)技術(shù)路線。

當(dāng) AI 競爭從「誰的模型更大」轉(zhuǎn)向「誰能讓智能真正跑在每一臺設(shè)備上」時，掌握端側(cè)技術(shù)話語權(quán)的人，才站在了最有利的位置。