Astera Labs推出大規(guī)模AI互聯(lián)交換機(jī)，劍指NVSwitch替代方案

Astera Labs于本周二發(fā)布了一款可替代英偉達(dá)NVSwitch的產(chǎn)品，用于構(gòu)建機(jī)架級(jí)AI系統(tǒng)，并聲稱該產(chǎn)品幾乎兼容所有類型的加速器。

這款A(yù)I互聯(lián)交換機(jī)代號(hào)為Scorpio X，將320條PCIe 6.0通道集成于單顆ASIC芯片中，雙向帶寬高達(dá)5.12 TB/s。

PCIe交換機(jī)的擴(kuò)展應(yīng)用

長(zhǎng)期以來，PCIe交換機(jī)被廣泛應(yīng)用于各類場(chǎng)景，包括橫向擴(kuò)展計(jì)算互聯(lián)。僅靠CPU提供的通道數(shù)量和速度往往不足以滿足GPU、網(wǎng)卡及存儲(chǔ)設(shè)備的需求。因此，PCIe交換機(jī)（通常集成于網(wǎng)卡中）被用來將所有組件連接在一起，而非直接掛載于CPU之下。

Astera認(rèn)為，只要交換機(jī)規(guī)模足夠大，PCIe便可成為NVLink等縱向擴(kuò)展互聯(lián)技術(shù)的可行替代方案。這類縱向擴(kuò)展互聯(lián)用于將數(shù)十塊甚至更多GPU整合為一個(gè)大型虛擬計(jì)算單元，且無需對(duì)加速器本身進(jìn)行重新設(shè)計(jì)。

不過，Astera并不只是造了一款更大的PCIe交換機(jī)。Scorpio還搭載了許多與英偉達(dá)NVSwitch相似的網(wǎng)內(nèi)計(jì)算能力，可加速集合通信操作。

對(duì)MoE推理的優(yōu)化

這些通信能力對(duì)生成式AI推理尤為重要。隨著混合專家（MoE）架構(gòu)的普及，大語言模型對(duì)網(wǎng)絡(luò)帶寬的需求日益顯著。

MoE模型由多個(gè)稱為"專家"的子模型組成。每生成一個(gè)Token，系統(tǒng)可能調(diào)用運(yùn)行在不同GPU上的不同專家組合。將集合通信卸載至交換機(jī)處理后，GPU等待網(wǎng)絡(luò)的時(shí)間減少，可將更多算力用于Token生成。

Astera為此專門開發(fā)了一種針對(duì)MoE推理優(yōu)化的多播操作，命名為Hypercast。

Astera產(chǎn)品管理副總裁Ahmad Danesh表示："標(biāo)準(zhǔn)多播的局限之一在于實(shí)際可支持的組數(shù)，以及在MoE模型推理過程中動(dòng)態(tài)切換組的需求。"

Scorpio在縱向擴(kuò)展生態(tài)中的定位

盡管PCIe作為芯片間互聯(lián)具有明顯優(yōu)勢(shì)，但Scorpio并非NVSwitch的直接替代品。今年1月CES上發(fā)布的NVSwitch 6帶寬高達(dá)14.4 TB/s，約為Scorpio X的三倍。

然而，Astera并不需要與NVSwitch正面競(jìng)爭(zhēng)。事實(shí)上，Astera去年春天已宣布計(jì)劃擴(kuò)展對(duì)NVLink Fusion的支持——這是英偉達(dá)向更廣泛生態(tài)開放其高速互聯(lián)技術(shù)的舉措。

Scorpio的定位更多是一種廠商無關(guān)的通用替代方案。NVLink Fusion或新興的UALink協(xié)議雖在逐步普及，但芯片需圍繞這些協(xié)議專門設(shè)計(jì)。而PCIe幾乎適用于所有加速器，因?yàn)閿?shù)據(jù)的輸入輸出本就依賴PCIe。例如，若要將32塊或更多英偉達(dá)RTX Pro 6000 Server顯卡互聯(lián)，就需要一款PCIe交換機(jī)，因?yàn)檫@些GPU并不支持NVLink。

PCIe還使混合搭配芯片的分離式推理架構(gòu)更易實(shí)現(xiàn)，類似英偉達(dá)與Groq、AWS與Cerebras、英特爾與SambaNova已有的探索。這類架構(gòu)中，一種加速器負(fù)責(zé)計(jì)算密集型的預(yù)填充操作，另一種負(fù)責(zé)帶寬密集型的解碼操作，兩者之間需要直接互聯(lián)。許多AI芯片廠商選擇以太網(wǎng)實(shí)現(xiàn)這一連接，而PCIe路徑則更為直接。

產(chǎn)品路線圖

除Scorpio X系列芯片外，Astera還擴(kuò)充了Scorpio P系列交換機(jī)產(chǎn)品線，提供從32到320條PCIe通道的多種規(guī)格。

所有交換機(jī)均與COSMOS管理套件兼容——這是一套硬件監(jiān)控平臺(tái)，旨在幫助用戶追蹤并解決網(wǎng)絡(luò)互聯(lián)中的各類問題。

Astera全新Scorpio系列交換機(jī)目前已進(jìn)入送樣階段，量產(chǎn)預(yù)計(jì)將于2026年下半年啟動(dòng)。

Q&A

Q1：Scorpio X交換機(jī)的帶寬是多少？和NVSwitch比怎么樣？

A：Scorpio X將320條PCIe 6.0通道集成于單顆ASIC中，雙向帶寬為5.12 TB/s。相比之下，英偉達(dá)NVSwitch 6的帶寬高達(dá)14.4 TB/s，約為Scorpio X的三倍。因此Scorpio X并非NVSwitch的直接性能替代品，而是定位為廠商無關(guān)的通用互聯(lián)方案，適用于不支持NVLink的加速器場(chǎng)景。

Q2：Hypercast是什么？它解決了什么問題？

A：Hypercast是Astera專為MoE推理優(yōu)化開發(fā)的多播操作技術(shù)。標(biāo)準(zhǔn)多播在支持的組數(shù)量以及動(dòng)態(tài)切換組方面存在局限，而MoE模型推理時(shí)每生成一個(gè)Token都可能需要調(diào)用不同GPU上的不同專家組合。Hypercast通過優(yōu)化這一多播機(jī)制，減少GPU等待網(wǎng)絡(luò)的時(shí)間，從而提升Token生成效率。

Q3：Scorpio交換機(jī)什么時(shí)候可以量產(chǎn)？

A：Astera的Scorpio系列交換機(jī)目前已進(jìn)入送樣階段，正式量產(chǎn)預(yù)計(jì)將于2026年下半年啟動(dòng)。產(chǎn)品線涵蓋Scorpio X系列芯片及Scorpio P系列交換機(jī)，后者提供從32到320條PCIe通道的多種規(guī)格選擇。