最近,AI研究員Aran Komatsuzaki發(fā)了一條推特:The non-English tax is real.
![]()
然后附上了一張圖。
他做了什么測(cè)試?
把Sutton的《Bitter Lesson》這篇文章,翻譯成多種語(yǔ)言,統(tǒng)計(jì)各大模型處理不同語(yǔ)言時(shí),token消耗量相對(duì)英文的倍數(shù)。
英文基準(zhǔn)是1.0x,數(shù)字越高,同樣內(nèi)容花的錢越多。
![]()
現(xiàn)在最火的Anthropic(也就是Claude):中文1.65x,日文1.94x,韓文2.59x,阿拉伯文2.74x,印地語(yǔ)3.11x。
也就是說(shuō):一個(gè)印度用戶用Claude處理同等信息量,花的錢是美國(guó)用戶的三倍多。
OpenAI(ChatGPT)相對(duì)克制:中文1.15x,韓文1.40x,印地語(yǔ)1.37x。
貴,但沒貴到離譜。
國(guó)內(nèi)模型呢?Qwen 0.85x,DeepSeek V4 0.87x,Kimi 0.81x——全部小于1,處理中文比處理英文還省。
![]()
同一套內(nèi)容,美國(guó)模型和中國(guó)模型的計(jì)費(fèi)結(jié)果,可以差出一倍。
為什么會(huì)有這個(gè)差距?
現(xiàn)在表面上,各家模型的定價(jià)是完全一樣的——每百萬(wàn)token多少錢,全球統(tǒng)一,沒有任何顯性價(jià)格歧視,無(wú)論你在北京買和在紐約買token,單價(jià)都是相同的。
差距藏在分詞邏輯里。
大模型處理文本,靠的是tokenizer把文字切成碎片。
英文和這些模型的詞表高度匹配,一個(gè)詞往往就是一個(gè)token。
中文、阿拉伯文、hindi得切更多碎片才能表達(dá)同樣的意思。
價(jià)格沒變,但你買到的有效內(nèi)容量,天然少一截。這不是bug,是tokenizer設(shè)計(jì)本身的結(jié)構(gòu)性結(jié)果——誰(shuí)訓(xùn)練的模型,詞表就向誰(shuí)的語(yǔ)言傾斜。
這筆錢,現(xiàn)在還不起眼。
現(xiàn)在大多數(shù)人把AI當(dāng)搜索引擎用,偶爾問(wèn)幾個(gè)問(wèn)題,多花幾個(gè)token無(wú)所謂。
但再往后走——AI全面嵌入現(xiàn)有工作流程,token消耗會(huì)變成企業(yè)的常規(guī)運(yùn)營(yíng)成本,就像電費(fèi)、水費(fèi)、燃?xì)赓M(fèi),每個(gè)月都要付的那種。
到那時(shí),哪個(gè)國(guó)家的企業(yè)能用更低的token成本跑AI,哪個(gè)國(guó)家就在這場(chǎng)產(chǎn)業(yè)浪潮里拿到了系統(tǒng)性的成本優(yōu)勢(shì)。
這不是一筆小錢,是整個(gè)產(chǎn)業(yè)層面的競(jìng)爭(zhēng)力差距。
說(shuō)到這里,不得不和懂王的關(guān)稅比一下。
關(guān)稅是明牌博弈:每加一輪,全球媒體炸鍋,受影響品類全部曝光,各國(guó)政府表態(tài),企業(yè)有反制,WTO有框架,至少大家都知道發(fā)生了什么,還能上桌談。
token稅完全不同。沒有公告,沒有談判,用戶只看到賬單上的token單價(jià),壓根不知道自己消耗的token數(shù)量從一開始就比別人多。
鵝不叫,毛照拔。
掌握大模型的國(guó)家,等于掌握了一種新型征稅權(quán)——征的不是貨物,是算力使用權(quán),而且沒有國(guó)界,只要你用這個(gè)模型,稅就一直在收。
這比懂王的關(guān)稅,不知道高明到哪里去了。
所以LLM的卡位,不只是面子問(wèn)題。
當(dāng)token消費(fèi)變成水電一樣的基礎(chǔ)設(shè)施賬單,這個(gè)流量怎么計(jì)算,由誰(shuí)制定規(guī)則,就直接決定了非英語(yǔ)國(guó)家企業(yè)的AI成本底線。
DeepSeek V4把中文token消耗壓到0.87x,Qwen壓到0.85x,是在這套定價(jià)結(jié)構(gòu)里,給中文用戶留出來(lái)的成本空間。
今天寒武紀(jì)和芯原雙雙20cm漲停,表面是AI芯片國(guó)產(chǎn)化的邏輯。
![]()
但底下那層更具體:算力、模型、分詞,三件事缺一件,隱形稅就斷不了根。
關(guān)稅戰(zhàn)打的是貨物流動(dòng)。token戰(zhàn)打的是信息流動(dòng)的定價(jià)權(quán)。
后者更深,更久,也更難察覺。
特別聲明:以上內(nèi)容(如有圖片或視頻亦包括在內(nèi))為自媒體平臺(tái)“網(wǎng)易號(hào)”用戶上傳并發(fā)布,本平臺(tái)僅提供信息存儲(chǔ)服務(wù)。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.