芯片巨頭聯(lián)手，投了一家初創(chuàng)公司

公眾號(hào)記得加星標(biāo)??，第一時(shí)間看推送不會(huì)錯(cuò)過。

一些公司正試圖通過制造更高效的硬件來解決計(jì)算資源短缺問題。而一家名為RadixArk的初創(chuàng)公司則試圖通過開發(fā)更高效的軟件來解決這個(gè)問題——而且它的方法已經(jīng)獲得了科技行業(yè)一些巨頭的支持。

這家初創(chuàng)公司開發(fā)了一款軟件工具，據(jù)稱該工具能夠讓人工智能模型更高效、更經(jīng)濟(jì)地處理查詢，部分原因在于它能更好地利用短期記憶，從而減少計(jì)算所需的總算力。其開源軟件引擎 SGLang 充當(dāng)模型和硬件之間的中間層。

SGLang 最初隸屬于大型模型系統(tǒng)組織（LMSYS Org），這是一個(gè)非營利組織，也孵化了 Chatbot Arena，最終分拆為 RadixArk。RadixArk 的首席執(zhí)行官 Ying Sheng 此前曾在 xAI 工作，之后離開該公司聯(lián)合創(chuàng)立了這家初創(chuàng)公司。

這家公司雄心勃勃地計(jì)劃將業(yè)務(wù)從推理擴(kuò)展到模型訓(xùn)練領(lǐng)域。該公司宣布已完成種子輪融資，從NVentures、 NVIDIA、 AMD、 Intel、 Broadcom和 MediaTek，以及Salience Capital、A&E Investments、HOF Capital、Walden Catalyst Ventures 和 LDV Partners。等投資方籌集了1億美元，公司估值達(dá)到4億美元。TechCrunch此前曾報(bào)道過RadixArk此次融資的部分細(xì)節(jié)。

“目前唯一能做的就是提高芯片的效率，” Accel合伙人Ivan Zhou說道，他主導(dǎo)了這家風(fēng)險(xiǎn)投資公司對(duì)RadixArk的投資。“如果你只能生產(chǎn)10個(gè)芯片，而市場需求量是100個(gè)，你唯一能做的就是讓每個(gè)芯片都像能處理10個(gè)需求那樣運(yùn)行，而這正是RadixArk所做的。”

人工智能模型使用一種名為鍵值緩存（KV緩存）的技術(shù)來記憶某些信息，這樣每次運(yùn)行查詢時(shí)就不必從頭開始重新計(jì)算所有內(nèi)容。然而，鍵值緩存的問題在于它會(huì)增加內(nèi)存使用量。

RadixArk 的推理引擎通過將對(duì)話片段組織成一個(gè)名為 Radix 樹的文件系統(tǒng)來重用 KV 緩存。該引擎會(huì)掃描新的查詢，查看提示的開頭是否與它已經(jīng)處理過的內(nèi)容匹配。如果匹配，它會(huì)跳過查詢的這部分，因?yàn)樗呀?jīng)理解了這些內(nèi)容，從而更快地找到答案，顯著降低運(yùn)行 AI 模型的成本。

RadixArk聯(lián)合創(chuàng)始人兼首席技術(shù)官朱邦華（Banghua Zhu）表示：“很多推理都與你如何管理這些KV緩存項(xiàng)有關(guān)。如果你只是保存它們，那么下次生成下一個(gè)token時(shí)，就可以直接重復(fù)使用它們。”

聯(lián)合創(chuàng)始人將其比作餐廳廚房批量準(zhǔn)備食材的方式——切好的蔬菜、醬汁——這些食材可以用于烹飪多種類型的菜肴。

該公司于 11 月發(fā)布了名為 Miles 的強(qiáng)化學(xué)習(xí)框架，并表示未來計(jì)劃在模型訓(xùn)練層投入更多精力。

“我們希望成為能夠生產(chǎn)最佳模型并托管最佳模型的工廠，”RadixArk 的 CEO Sheng 說。“所以推理就像一扇窗戶，而窗戶后面則是所有正在發(fā)生的事情，包括訓(xùn)練部分。”

RadixArk完成1億美元種子輪融資，估值達(dá)4億美元

專注于讓前沿人工智能系統(tǒng)更廣泛普及的人工智能基礎(chǔ)設(shè)施公司RadixArk宣布完成 1 億美元種子輪融資，投后估值達(dá) 4 億美元。本輪融資由 Accel領(lǐng)投， Spark Capital 聯(lián)合領(lǐng)投 ，眾多戰(zhàn)略投資者參與其中，包括芯片制造商、風(fēng)險(xiǎn)投資公司和人工智能行業(yè)高管。

投資財(cái)團(tuán)成員包括 NVentures、 NVIDIA、 AMD、 Intel、 Broadcom和 MediaTek，以及Salience Capital、A&E Investments、HOF Capital、Walden Catalyst Ventures 和 LDV Partners。

本輪融資的一大亮點(diǎn)是眾多人工智能和技術(shù)領(lǐng)域的資深領(lǐng)軍人物參與，包括 xAI 的 Igor Babuschkin、 Lip-Bu Tan、 Hock Tan、 OpenAI 的 John Schulman和 Soumith Chintala。此外，Datadog 聯(lián)合創(chuàng)始人 Olivier Pomel、Hugging Face 聯(lián)合創(chuàng)始人 Thomas Wolf、Anyscale 聯(lián)合創(chuàng)始人 Robert Nishihara和 Gemini 產(chǎn)品負(fù)責(zé)人 Logan Kilpatrick等業(yè)內(nèi)人士也提供了支持。

RadixArk由人工智能基礎(chǔ)設(shè)施領(lǐng)域的資深人士盛穎 和 朱邦華創(chuàng)立 ，他們此前都曾在xAI和NVIDIA從事人工智能系統(tǒng)開發(fā)工作。該公司的起源與SGLang密切相關(guān)，SGLang是由盛穎及其合作者于2023年創(chuàng)建的開源推理引擎，旨在提高大規(guī)模模型服務(wù)的效率。

SGLang 現(xiàn)已發(fā)展成為廣泛采用的模型推理開放標(biāo)準(zhǔn)，并擁有一個(gè)涵蓋學(xué)術(shù)機(jī)構(gòu)、研究實(shí)驗(yàn)室和科技公司的全球貢獻(xiàn)者社區(qū)的支持。據(jù)該公司稱，該框架目前已部署在全球數(shù)十萬個(gè) GPU 上，每天處理數(shù)萬億個(gè)令牌，用戶包括 Google、Microsoft、NVIDIA、Oracle、AMD、Nebius、LinkedIn、xAI 等眾多機(jī)構(gòu)。

RadixArk 在發(fā)布之初便將自身定位為一個(gè)基礎(chǔ)設(shè)施層，旨在解決其所描述的當(dāng)前 AI 技術(shù)棧中存在的碎片化和重復(fù)問題。該公司認(rèn)為，盡管對(duì)大規(guī)模 AI 系統(tǒng)的需求不斷增長，但大部分底層基礎(chǔ)設(shè)施仍然集中在少數(shù)幾家機(jī)構(gòu)手中，迫使新進(jìn)入者獨(dú)立重建核心訓(xùn)練和推理能力。

RadixArk 的平臺(tái)基于 SGLang 進(jìn)行推理，并采用開源強(qiáng)化學(xué)習(xí)和訓(xùn)練框架“Miles”。這些系統(tǒng)共同構(gòu)成了一個(gè)端到端的基礎(chǔ)設(shè)施，涵蓋模型訓(xùn)練、微調(diào)、強(qiáng)化學(xué)習(xí)和大規(guī)模推理部署。

該公司的策略不僅限于提供計(jì)算資源，而是將自身定位為構(gòu)建和運(yùn)行人工智能模型的全棧系統(tǒng)。這包括支持專有模型訓(xùn)練、開放模型定制和生產(chǎn)級(jí)部署，所有這些都集成在一個(gè)統(tǒng)一的基礎(chǔ)架構(gòu)環(huán)境中，旨在降低工程團(tuán)隊(duì)的運(yùn)維成本。

Accel 合伙人 Ivan Zhou 將該公司描述為一種更廣泛的轉(zhuǎn)變的一部分，這種轉(zhuǎn)變將人工智能基礎(chǔ)設(shè)施視為基礎(chǔ)產(chǎn)品類別，而非內(nèi)部工程職能。Spark Capital 普通合伙人 Arpan Shah 也同樣強(qiáng)調(diào)了開放系統(tǒng)對(duì)于在人工智能能力擴(kuò)展過程中維持更廣泛的生態(tài)系統(tǒng)訪問權(quán)限的重要性。

RadixArk 的技術(shù)棧旨在支持多種型號(hào)系列和硬件環(huán)境，包括 Llama、Qwen、DeepSeek、Mistral、Gemma 等，并可在 NVIDIA GPU、AMD 加速器、Intel CPU 和 Google TPU 上運(yùn)行。該公司表示，這種跨平臺(tái)兼容性旨在減少廠商鎖定，并支持異構(gòu)基礎(chǔ)設(shè)施部署。

更廣泛的論述反映了人工智能行業(yè)日益激烈的爭論，即前沿模型開發(fā)究竟會(huì)繼續(xù)集中在少數(shù)資金雄厚的機(jī)構(gòu)手中，還是會(huì)通過更開放的基礎(chǔ)設(shè)施層進(jìn)行擴(kuò)展。RadixArk 的定位與后一種觀點(diǎn)相符，強(qiáng)調(diào)共享系統(tǒng)，使不同規(guī)模的機(jī)構(gòu)都能構(gòu)建和部署高級(jí)模型，而無需從頭開始重建核心基礎(chǔ)設(shè)施。

該公司計(jì)劃利用這筆新資金擴(kuò)大 SGLang 的開發(fā)，加速對(duì)新興模型架構(gòu)和硬件平臺(tái)的支持，并構(gòu)建其用于大規(guī)模訓(xùn)練和推理的托管基礎(chǔ)設(shè)施產(chǎn)品。

RadixArk 進(jìn)入市場之際，正值人工智能基礎(chǔ)設(shè)施需求持續(xù)飆升之時(shí)，這主要得益于生成式人工智能應(yīng)用的快速普及以及訓(xùn)練和部署大型模型所需的計(jì)算能力不斷增長。其支持者認(rèn)為，人工智能發(fā)展的下一階段不僅取決于模型本身的創(chuàng)新，也同樣取決于基礎(chǔ)設(shè)施的標(biāo)準(zhǔn)化。

由SGLang 項(xiàng)目分拆的 RadixArk

人工智能基礎(chǔ)設(shè)施領(lǐng)域正在出現(xiàn)一種趨勢：流行的開源工具正在轉(zhuǎn)型為價(jià)值數(shù)億美元的風(fēng)險(xiǎn)投資支持的初創(chuàng)公司。最新的例子是RadixArk，這家商業(yè)公司開發(fā)了SGLang，這是一款日益流行的工具，可以幫助人工智能模型運(yùn)行得更快、更經(jīng)濟(jì)。

據(jù)techcruch在今年一月引述兩位知情人士透露，RadixArk 最近在由 Accel 領(lǐng)投的一輪融資中估值約為 4 億美元，對(duì)于一家去年 8 月才宣布成立的初創(chuàng)公司來說，這筆金額相當(dāng)可觀。TechCrunch 尚未能證實(shí)此次融資的具體數(shù)額。

此前有消息稱，負(fù)責(zé)維護(hù) SGLang 的部分團(tuán)隊(duì)成員已加入最近成立的商業(yè)初創(chuàng)公司 RadixArk。SGLang 被 xAI 和 Cursor 等公司用于加速 AI 模型訓(xùn)練。RadixArk 的前身是 SGLang，于 2023 年在 Databricks 聯(lián)合創(chuàng)始人 Ion Stoica 的加州大學(xué)伯克利分校實(shí)驗(yàn)室中開發(fā)。

據(jù)知情人士透露，這家初創(chuàng)公司此前曾從包括英特爾首席執(zhí)行官陳立兵在內(nèi)的投資者那里籌集過天使投資。

據(jù)她上個(gè)月在領(lǐng)英上發(fā)布的消息，SGLang 的重要貢獻(xiàn)者、前 xAI 工程師 Ying Sheng 已離開埃隆·馬斯克的這家人工智能初創(chuàng)公司，成為 RadixArk 的聯(lián)合創(chuàng)始人兼首席執(zhí)行官。Sheng Sheng 此前曾在 Databricks 擔(dān)任研究科學(xué)家。

RadixArk 的 Ying Sheng、Accel 和 Lip-Bu Tan 沒有回應(yīng)置評(píng)請(qǐng)求。

SGLang 和 RadixArk 都專注于優(yōu)化推理處理——本質(zhì)上是讓模型在相同的硬件上運(yùn)行得更快、更高效。推理與模型訓(xùn)練一起，占據(jù)了人工智能服務(wù)服務(wù)器成本的很大一部分。因此，能夠優(yōu)化推理過程的工具幾乎可以立即帶來巨大的成本節(jié)約。

RadixArk并非唯一一個(gè)從開源項(xiàng)目轉(zhuǎn)型為資金雄厚的初創(chuàng)公司的項(xiàng)目。vLLM，一個(gè)用于優(yōu)化推理的更成熟的項(xiàng)目，也完成了這一轉(zhuǎn)變。據(jù)《福布斯》上月報(bào)道，這家新成立的公司正在洽談融資，目標(biāo)是籌集超過1.6億美元的資金，估值約為10億美元。

三位知情人士向TechCrunch透露，Andreessen Horowitz領(lǐng)投了vLLM的這輪融資，但最終投資金額尚待公布。Andreessen Horowitz拒絕置評(píng)。vLLM聯(lián)合創(chuàng)始人Simon Mo在給TechCrunch的一份聲明中稱，有關(guān)此輪融資的信息“與事實(shí)不符”，但他拒絕具體說明哪些細(xì)節(jié)有誤。

與 SGLang 一樣，vLLM 也是在加州大學(xué)伯克利分校 Ion Stoica 的實(shí)驗(yàn)室孵化的。Stoica 是加州大學(xué)伯克利分校的教授，也是 Databricks 以及其他多家初創(chuàng)公司的聯(lián)合創(chuàng)始人。

CRV 的普通合伙人 Brittany Walker 告訴 TechCrunch，多家大型科技公司已經(jīng)在使用 vLLM 運(yùn)行其推理工作負(fù)載，而 SGLang 在過去六個(gè)月中也獲得了顯著的普及。她的公司并未投資這兩家公司。

RadixArk 正在持續(xù)開發(fā) SGLang，將其打造為一款開源的 AI 模型引擎。這家初創(chuàng)公司還在構(gòu)建 Miles，這是一個(gè)專為強(qiáng)化學(xué)習(xí)而設(shè)計(jì)的框架，它能夠幫助企業(yè)訓(xùn)練 AI 模型，使其隨著時(shí)間的推移變得更加智能。

一位熟悉該公司的人士告訴 TechCrunch，雖然 RadixArk 的大部分工具仍然免費(fèi)，但它已經(jīng)開始對(duì)托管服務(wù)收取費(fèi)用。

近幾個(gè)月來，為開發(fā)者提供推理基礎(chǔ)設(shè)施的初創(chuàng)公司融資激增，凸顯了推理層對(duì)人工智能的持續(xù)重要性。《華爾街日?qǐng)?bào)》周二報(bào)道，Baseten 近期以50 億美元的估值融資 3 億美元。此前，其競爭對(duì)手 Fireworks AI 也于去年 10 月進(jìn)行了類似融資，以 40 億美元的估值融資2.5 億美元。

（來源：編譯自WSJ ）

*免責(zé)聲明：本文由作者原創(chuàng)。文章內(nèi)容系作者個(gè)人觀點(diǎn)，半導(dǎo)體行業(yè)觀察轉(zhuǎn)載僅為了傳達(dá)一種不同的觀點(diǎn)，不代表半導(dǎo)體行業(yè)觀察對(duì)該觀點(diǎn)贊同或支持，如果有任何異議，歡迎聯(lián)系半導(dǎo)體行業(yè)觀察。

今天是《半導(dǎo)體行業(yè)觀察》為您分享的第4398內(nèi)容，歡迎關(guān)注。

加星標(biāo)??第一時(shí)間看推送

求推薦