從哲學(xué)概念到科技概念，再到經(jīng)濟(jì)概念，Token的前世今生

導(dǎo)語：當(dāng)主流模型皆以Token計費、企業(yè)設(shè)立專門Token預(yù)算、政府政策文件也寫入“詞元交易”時，Token正成為無需爭論的新經(jīng)濟(jì)單位。

王劍/作者 礪石商業(yè)評論/出品

2026年3月，發(fā)生了兩件看似不相關(guān)的事。

英偉達(dá)CEO黃仁勛在GTC大會上預(yù)測，公司到2027年的營收將至少達(dá)到1萬億美元。

演講中，他還順手將數(shù)據(jù)中心重新定義，介紹“那是生產(chǎn)AI智能Token的工廠”。

而同一個月，中國國家數(shù)據(jù)局局長劉烈宏在中國發(fā)展高層論壇上發(fā)言時說，“Token不僅是智能時代的價值錨點，更是連接技術(shù)供給與商業(yè)需求的結(jié)算單位”。

并且，他代表官方給“Token”定下了中文譯名：“詞元”。

一位是全球最大芯片公司的掌舵人，一位是中國數(shù)據(jù)領(lǐng)域的最高主管官員，卻用幾乎一致的口吻，將Token描述為了一個經(jīng)濟(jì)單位。

那么，如今火爆全球，甚至有可能成為新時代的貨幣的Token，究竟是什么？

1

什么是Token？

1906年，美國哲學(xué)家Charles Sanders Peirce（查爾斯·桑德斯·皮爾士）正在琢磨一個看似簡單的問題：一頁書上印了20個“the”，這到底算是一個詞，還是20個不同的詞？

這并非是皮爾士心血來潮，故意在咬文嚼字。

作為哲學(xué)家，他認(rèn)為那個作為抽象概念的“the”，其實代表了一種普遍的規(guī)則或形式。

對此，他稱其為“類型”（Type）；而書中每一個具體可見的“the”，則是這個類型的一次具體呈現(xiàn)，可以叫做“實例”（Token）。

也就是說，20個“the”是同一個“類型”的20個不同“實例”。

他就此指出：“類型（Type）本身并不存在，但它卻決定了哪些具體的東西能夠存在。”

這個看似玄奧的觀念在哲學(xué)圈流傳了很久，但當(dāng)時沒人想到，它未來會和計算機產(chǎn)生什么關(guān)聯(lián)。

直到1936年，哈佛大學(xué)的語言學(xué)家喬治·齊普夫在研究詞頻時，再次對Token進(jìn)行了數(shù)學(xué)上的解釋。

彼時，齊普夫在對各種語言中詞頻的統(tǒng)計時，發(fā)現(xiàn)了一個有趣的現(xiàn)象：一個詞的排位和它詞頻的乘積，幾乎是一個常數(shù)。舉個例子，在漢語中，“的”是最常用的字，排第一，它的字頻大約是6%。

這時，排名（1）乘以字頻（6%）約等于6%。

接下來，排第二的字是“是”，它的字頻約3%，2乘以3%也約等于6%；然后是排第三的字“一”，字頻約2%，3乘以2%同樣約等于6%。

可以看到，這里的排序和字頻的乘積近似為一個常數(shù)。

因此，排第一的“的”的字頻大約是排第二的“是”的兩倍，更是排第三的“一”的三倍。

這種“頻率與排名成反比”的規(guī)律，后來被命名為“齊普夫定律（Zipf's law）”。

誰也沒想到，這個看似枯燥的數(shù)學(xué)理論，會在三十年后，成為計算機語言處理的一項重要理論基礎(chǔ)。

時間來到1960年代，“Token”的概念終于在計算機世界得到了應(yīng)用。

比如，當(dāng)程序員寫下int x = 5;這樣的代碼時，早期的計算機會像一個認(rèn)真的“語法拆解員”，從頭到尾把這串字符逐個拆開理解。

在此過程中，計算機先認(rèn)出“int”是一個表示整數(shù)類型的關(guān)鍵詞，接著把“x”標(biāo)記為一個變量名稱，之后看到“=”是賦值符號，最后的“5”則被識別為一個具體的數(shù)字值。

而每一個這樣被識別出來、并貼上明確含義標(biāo)簽的獨立單元，就是一個Token。

如此一來，Token終于完成了從人文概念到機器語言的轉(zhuǎn)身，成為了計算機“讀懂”指令和信息的基本單位。

從默默支撐數(shù)字世界的語法基石，到后來被賦予全新的價值與共識，Token的含義仍在不斷延伸。

2017年，隨著區(qū)塊鏈與ICO熱潮的興起，冷門的Token也因披上了“數(shù)字代幣”的華麗外衣，被世人逐漸熟知。

盡管那輪熱潮逐漸冷卻，許多項目悄然退場，但Token這個概念卻穩(wěn)穩(wěn)地留了下來。

它不再只是一個技術(shù)名詞，而是帶著“可流通的數(shù)字權(quán)益憑證”這層新身份再次被人提及。

可以說，無論身處什么樣的背景，Token的核心始終是：把復(fù)雜事物標(biāo)準(zhǔn)化，變成系統(tǒng)可識別、可處理、可流轉(zhuǎn)的最小單元。

也正是這個貫穿始終的基因，才使得在大規(guī)模語言模型崛起的今天，Token成為了人機交互中最基礎(chǔ)、也是最重要的“語言單元”。

那么，當(dāng)AI面對人類語言時，又是如何運用這把“尺子”來學(xué)會“理解”與“思考”的呢？

2

AI學(xué)會思考的底層邏輯

我們首先要厘清，AI理解人類的指令，并非只是我們想象中的“閱讀”或“推理”，而是一次精準(zhǔn)的“外科手術(shù)”——“切割”。

這意味著，你輸入的任何一句話，AI都會做一次精密的“拆解手術(shù)”。

在指令發(fā)出后，所有文字都會被切割成一系列Token碎片，隨即轉(zhuǎn)化為計算機數(shù)據(jù)。

換句話說，AI模型所有的“思考”與“推理”，其實都是在這些數(shù)字的復(fù)雜運算中完成，再“翻譯”成人們能讀懂的語言。

這聽起來簡單，實際操作卻異常復(fù)雜。

比如，最常見的就是AI的歧義困境。

舉個例子，“羽毛球拍賣了多少錢”這句話，AI模型想理解的話，究竟是該在“羽毛球拍”后斷開，還是在“拍賣”后斷開？

前者是體育用品詢價，后者卻變成賽事競拍，語義天差地別，AI僅憑字符根本無法判斷。

所以，指令該“切什么、怎么切”，就成為AI最底層的核心問題。

更麻煩的是，如果某個詞從未在訓(xùn)練數(shù)據(jù)中出現(xiàn)，模型便無法識別，只能標(biāo)記為“未知”跳過，意味著系統(tǒng)出現(xiàn)了一個BUG（漏洞）。

因此，如何讓AI模型既能處理歧義，又能“認(rèn)出”從未見過的字詞組合，成為困擾計算機語言處理領(lǐng)域多年的難題。

而這個難題被克服，則來自一篇被遺忘多年的技術(shù)論文。

1994年，美國程序員Philip Gage（菲利普·蓋奇）在一本C語言技術(shù)雜志上發(fā)表文章，介紹了一種名為BPE（字節(jié)對編碼）的壓縮算法。

蓋奇的思路很簡單，即通過反復(fù)掃描文本，把最常相鄰出現(xiàn)的兩個字符（如"th"）焊成新符號，一輪輪迭代壓縮。

經(jīng)過反復(fù)迭代后，常用詞組會越壓越小，解壓端只需保存這張“打包對照表”即可，讓整個程序的體積變得極小。

然而，因其壓縮效率并不突出，業(yè)內(nèi)并沒人關(guān)心幾KB內(nèi)存的變化，因此這個算法在當(dāng)時并未引起太大關(guān)注。

這篇論文很快被人遺忘，這一忘就是22年。

直到2016年，愛丁堡大學(xué)的研究員里Rico Sennrich（科·森里希）在研究機器翻譯的分詞難題時，偶然檢索出了這篇舊文。

他敏銳地意識到，BPE這種基于頻率的合并策略，恰好是分詞的絕佳方案：無需預(yù)先定義詞典，完全讓數(shù)據(jù)自己“說話”，高頻組合就像滾雪球一樣，逐漸凝結(jié)成Token。

如此一來，即使面對“未見過”的生僻詞，計算機語言也能將其拆解為更細(xì)致的字節(jié)，從而徹底規(guī)避了“未知”困境。

2019年，OpenAI在發(fā)布GPT-2時，也是借用了這個概念。

研發(fā)團(tuán)隊將分詞起點直接設(shè)定在“字節(jié)”——計算機存儲的最小單元，從底層統(tǒng)一了所有語言的表示方式，從而使模型理論上能夠處理任何語言文字。

一篇塵封二十余年的短文，就此成為驅(qū)動萬億級AI產(chǎn)業(yè)的底層邏輯之一。

這個結(jié)果，恐怕連蓋奇本人也未曾料到。

然而，當(dāng)這種“處理一切文字”的能力與效率至上的算法結(jié)合時，一種全新的“算法霸權(quán)”悄然出現(xiàn)。

3

算法與編碼霸權(quán)

如今AI所用的這套分詞方法，表面上看很“公平”：哪種語言用得多，處理起來就更高效、更完整；用得少的語言，就會被切得比較零碎，處理起來也更“費勁”。

可這種效率至上的“公平”，卻悄悄地把全世界的語言分成了兩種待遇：有的語言是“快速通道”，有的卻像走在碎石路上。

簡單來說，由于BPE算法的核心邏輯是“頻率優(yōu)先”，哪種語言最常見，那么相關(guān)詞匯就會被更高效地合并為Token。

而英語作為互聯(lián)網(wǎng)的絕對主流，自然是最優(yōu)先的表述語言，其他語言則只能依據(jù)其“數(shù)字能見度”依次排序。

因此，AI模型中實際上形成了一套隱性的“語言稅”體系：表達(dá)相同的意思，英文最省Token、成本最低；中文通常需要1.5~2倍；而像祖魯語、藏語等資源較少的語言，開銷可達(dá)英文的5~10倍。

這意味著，在按Token計費的規(guī)則下，使用英文與AI對話不僅更快，同等預(yù)算下能調(diào)用的算力也遠(yuǎn)多于其他語言。

這也不是什么新鮮事，信息時代一直如此。

從莫爾斯電碼到鍵盤設(shè)計，幾乎每一次信息技術(shù)的底層變革，都會默認(rèn)為英文鋪平道路，而讓其他語言的使用者不得不付出額外的“轉(zhuǎn)碼”代價。

因此，Token的效率差距，只是這條歷史規(guī)律在AI時代的重演罷了。

值得警惕的是，這種“起跑線”上的不公一旦寫進(jìn)AI的初始詞表，就幾乎無法再進(jìn)行修正。

因為，分詞規(guī)則是AI模型認(rèn)知世界的地基，大樓蓋得越高，地基就無法更換。

可喜的是，隨著中國在大模型領(lǐng)域快速進(jìn)步，即便是英文語料主導(dǎo)的模型，也開始顯著優(yōu)化對中文的處理效率。

這一點，在OpenAI的模型迭代中體現(xiàn)得非常明顯。

比如同一句中文，在GPT-3中需要38個Token，到GPT-4降為26個，而GPT-5僅需15個。

說明通過幾代GPT的演進(jìn)，處理同一中文內(nèi)容所需的Token數(shù)量下降超過60%，中文的識別效率顯著提升。

而通義千問、DeepSeek等國產(chǎn)大模型，更是從設(shè)計之初就將中文的高頻詞組、成語等作為原生Token納入詞表，從而在相同模型規(guī)模下，實現(xiàn)了對中文更高效、更“母語”級的處理。

換句話說，在AI時代，誰掌握了“語義切分權(quán)”，即定義語言基本單元的權(quán)力，誰就在很大程度上掌握了該語言在數(shù)字世界的表達(dá)效率與成本優(yōu)勢。

而這種定義Token的權(quán)力，實質(zhì)上已構(gòu)成一種數(shù)字時代的“基礎(chǔ)鑄幣權(quán)”。

其戰(zhàn)略意義，甚至不亞于掌握芯片的設(shè)計與制造。

這種效率上的差距看似是道坎，實際上更像一張門票：只要你有足夠的算力和數(shù)據(jù)，完全可以不走別人的老路，自己打下最結(jié)實的地基。

而要把這種“定義語言基本單元”的優(yōu)勢，真正變成產(chǎn)業(yè)上的話語權(quán)，還需要一整套從能源、芯片到算力的硬支撐。

這條路上，中國恰好都站在了起跑線前。

4

中國鑄造Token硬通貨

如果要為中國在全球Token經(jīng)濟(jì)中的位置畫一條鏈路，起點是能源，終點則是全球AI服務(wù)市場。

不妨想象個畫面：西北戈壁的風(fēng)機將風(fēng)能轉(zhuǎn)為電力，電流又沿特高壓線路匯入數(shù)據(jù)中心；GPU再把電能轉(zhuǎn)化為算力，源源不斷生產(chǎn)出Token。

而這些數(shù)字單元最終通過海底光纜，流向全球各地，再換回以美元計價的API調(diào)用收入。

事實上，中國在這條鏈條上的體量，早已大到可以獨立成勢。

公開數(shù)據(jù)顯示，截至2026年3月，我國日均Token調(diào)用量已達(dá)140萬億，兩年間增長超千倍。

同期全球監(jiān)測更顯示，中國大模型每周調(diào)用量已連續(xù)數(shù)周超越美國，領(lǐng)先幅度超過兩倍，穩(wěn)居全球首位。

那么，中國的Token經(jīng)濟(jì)為何這么強？

這要從成本說起，但最關(guān)鍵的變量是電價。

在貴州、云南等水電豐富的地區(qū)，以及甘肅、新疆等風(fēng)光資源充沛的省份，工業(yè)用電價格長期處于低位。專門供給算力中心的綠色電力，部分地方甚至低至每度電0.15元。

反觀歐美大部分地區(qū)，工業(yè)電價普遍是中國的數(shù)倍甚至更高。

舉個例子，生成100萬個Token大約需消耗15到20度電。如果按中國西北的低價綠電計算，成本僅數(shù)元人民幣；而同樣的計算任務(wù)，在國際市場上對應(yīng)的電價則通常在60到200美元之間。

這樣一比，中國憑借在能源與算力成本上的優(yōu)勢，構(gòu)筑了一條從“電”到“Token”的成本護(hù)城河。

更關(guān)鍵的是，中國將大量難以被完全消納的綠色電力，與持續(xù)爆發(fā)的算力需求精準(zhǔn)對接，形成了獨特的產(chǎn)業(yè)閉環(huán)。

2025年，中國全年發(fā)電量突破10萬億度，占全球總量近三分之一。

其中，風(fēng)電、光伏等新能源曾因儲能不足、外送受限而產(chǎn)生明顯的“棄風(fēng)棄光”現(xiàn)象。

而數(shù)據(jù)中心作為可調(diào)節(jié)的負(fù)荷大戶，可以在風(fēng)光發(fā)電高峰時段提升運行負(fù)荷，高效消納這些原本被浪費的綠色電力。

這樣一來，不僅降低了用能成本，也提升了能源利用效率，構(gòu)成了其他國家難以復(fù)制的系統(tǒng)性優(yōu)勢。

近年來推行的“東數(shù)西算”工程，更是將這一邏輯提升至國家戰(zhàn)略層面，引導(dǎo)數(shù)據(jù)中心向貴州、內(nèi)蒙古、寧夏等可再生能源富集地區(qū)布局。

這相當(dāng)于將算力中心直接接入“綠電插座”，將過去可能被棄用的風(fēng)電、光伏電力，高效轉(zhuǎn)化為可用的AI計算力，持續(xù)產(chǎn)出Token。

因此，這場AI競賽看似是算法與模型的比拼，實則是能源轉(zhuǎn)型與數(shù)字基建深度融合的全新答卷。

而中國，恰好在這條賽道上占據(jù)了交匯點。

與此同時，隨著AI從技術(shù)探索走向產(chǎn)業(yè)深處，傳統(tǒng)制造業(yè)的質(zhì)檢排產(chǎn)、金融業(yè)務(wù)的風(fēng)控合規(guī)、政務(wù)系統(tǒng)的文書處理等場景，正快速成長為Token消耗的新主力。

這類需求體量龐大、持續(xù)穩(wěn)定且對價格高度敏感，恰恰又與中國Token產(chǎn)業(yè)的低成本結(jié)構(gòu)高度適配，讓中國在全球Token競爭中，始終占據(jù)著難以復(fù)制的供給優(yōu)勢。

正是因為有了從能源、算力到實際應(yīng)用的完整支撐，Token也逐漸從純粹的技術(shù)單元，演變?yōu)榭稍跀?shù)字世界中承載和交換價值的通用載體。

這就意味著，Token完全有可能在未來成為數(shù)字經(jīng)濟(jì)的“基礎(chǔ)貨幣”。

5

當(dāng)Token成為不可替換的結(jié)算單位

回望歷史不難發(fā)現(xiàn)，任何一種新計量單位最終占據(jù)主導(dǎo)，靠的都不是完美，而是越用越離不開，到最后切換成本高到?jīng)]人愿意換。

而Token恰恰具備這種“一旦用上就難以離開”的特性。

首先，是其精準(zhǔn)的可度量性。

Token天生就是AI服務(wù)的計費單元，每一次調(diào)用都有清晰的消耗記錄，比電價更易核算，也比流量更直接對應(yīng)價值產(chǎn)出，而這一屬性從誕生之初便已根植其中。

其次，是要有可交換性。

而就在近期，國家數(shù)據(jù)局在征求意見稿中已首次提出“詞元交易”，探索構(gòu)建以詞元為核心的可量化、可定價數(shù)據(jù)價值體系。

這意味著，Token在國內(nèi)終于有了一個“價值標(biāo)準(zhǔn)”，不再只是技術(shù)文檔里的計量單位。

與此同時，一個看似矛盾的趨勢正在發(fā)生：用戶端感受到的AI服務(wù)價格不斷下降，但上游的算力成本卻持續(xù)上漲。

比如，2025年10月至2026年3月，H100芯片年租價上漲近40%，且一卡難求；國內(nèi)外主要云廠商也在2026年初集體提價。

這背后，正是AI從“對話”轉(zhuǎn)向“自主執(zhí)行”這一結(jié)構(gòu)性轉(zhuǎn)變，推動了算力需求的重構(gòu)，也使得Token作為核心價值載體的地位愈發(fā)凸顯。

關(guān)鍵是，AI的使用方式已經(jīng)變了。

過去與AI助手聊天，一問一答，消耗的資源很少；但現(xiàn)在，企業(yè)讓AI去自動完成寫報告、做分析這些任務(wù)，消耗的資源一次可能就是聊天的幾百倍。

當(dāng)原來按使用次數(shù)收費的方式，已經(jīng)覆蓋不了飛速增長的計算成本時，漲價就成了必然，相當(dāng)于市場在給AI“越來越能自動干活”這個能力，重新標(biāo)價。

Token如今的處境，其實與當(dāng)年的美元有幾分相似。

1971年美元脫離金本位之后，本質(zhì)上靠的已是“共同相信它有價值”。

它能沿用至今，根本原因在于替換它的協(xié)調(diào)成本高到難以承受——全球的貿(mào)易、金融、儲備體系都已圍繞它建立。

今天，同樣的邏輯又在Token身上重演。

當(dāng)主流模型皆以Token計費、企業(yè)設(shè)立專門Token預(yù)算、政策文件也納入“詞元交易”時，Token也如傳統(tǒng)貨幣那樣，因嵌入過深而難以被取代。

所以，Token是否將成為新的經(jīng)濟(jì)單位，已無需爭論。

真正的問題是：誰來定義Token經(jīng)濟(jì)的規(guī)則？誰又在全球算力網(wǎng)絡(luò)中掌握定價的主動權(quán)？

答案，或許正隨著每一個被生成、被交易、被消耗的Token，寫進(jìn)奔涌的數(shù)據(jù)洪流之中。

參考文獻(xiàn)：

1.Peirce，C. S. (1906). Prolegomena to an Apology for Pragmaticism.The Monist，16(4)，492–546.

2.Zipf，G. K. (1935).The Psycho-Biology ofLanguage：An Introduction to Dynamic Philology. Houghton Mifflin.

3.Zipf，G. K. (1949).Human Behavior and the Principle of Least Effort. Addison-Wesley.

4.Gage，P. (1994). A New Algorithm for Data Compression.The C Users Journal，12(2)，23–38.

5.Sennrich，R.，Haddow，B.，&Birch，A. (2016). Neural Machine Translation of Rare Words with Subword Units.Proceedings of the 54th Annual Meeting of the Association for Computational Linguistics (ACL 2016)，1715–1725.https：//aclanthology.org/P16-1162

6.Radford，A.，Wu，J.，Child，R.，Luan，D.，Amodei，D.，&Sutskever，I. (2019).Language Models are Unsupervised Multitask Learners[GPT-2 Technical Report]. OpenAI.https：//cdn.openai.com/better-language-models/language_models_are_unsupervised_multitask_learners.pdf

7.Brown，T.，et al. (2020). Language Models are Few-Shot Learners.Advances in Neural Information Processing Systems (NeurIPS 2020)，33，1877–1901.https：//arxiv.org/abs/2005.14165

8.NVIDIA.(2026，March).NVIDIA GTC 2026Keynote：Jensen Huang. NVIDIA Corporation.https：//www.nvidia.com/gtc/

9.劉烈宏.(2026年3月).在中國發(fā)展高層論壇2026年年會上的發(fā)言.國家數(shù)據(jù)局.

10.國家數(shù)據(jù)局.(2026年4月16日).關(guān)于推進(jìn)行業(yè)高質(zhì)量數(shù)據(jù)集建設(shè)行動的實施方案（征求意見稿）.

11.國家發(fā)展和改革委員會.(2022年2月).關(guān)于印發(fā)“東數(shù)西算”工程實施方案的通知.國家發(fā)展改革委.https：//www.ndrc.gov.cn

12.中國電力企業(yè)聯(lián)合會.(2026年).2025年全國電力工業(yè)統(tǒng)計快報.中電聯(lián).https：//www.cec.org.cn

13.J.P. Morgan. (2025).AI & BigData：Token Demand Outlook 2025–2030. J.P. Morgan Research.

14.IDC. (2025).China AI Agents and Autonomous TaskForecast，2026–2031. International Data Corporation.

15.Hoffmann，J.，et al. (2022). Training Compute-Optimal Large Language Models.arXiv preprintarXiv：2203.15556.https：//arxiv.org/abs/2203.15556

16.Touvron，H.，et al. (2023).LLaMA：Open and Efficient Foundation Language Models.arXiv preprintarXiv：2302.13971.https：//arxiv.org/abs/2302.13971