NVSwitch替代者，重磅發(fā)布

公眾號記得加星標??，第一時間看推送不會錯過。

周二，Astera Labs 推出了一款可替代英偉達 NVSwitch 的產品，用于構建機架級 AI 系統(tǒng)，并聲稱該產品幾乎可以與任何加速器配合使用。

這款代號為 Scorpio X 的 AI 架構交換機，將 320 條 PCIe 6.0 連接通道集成到單個 ASIC 中，雙向帶寬為 5.12 TB/s。

從歷史上看，PCIe交換機已被用于各種應用，包括橫向擴展計算架構。單靠CPU提供的通道數量不足或速度不夠快，無法滿足所有GPU、網卡和存儲設備的需求。因此，與其將所有設備都連接到CPU上，不如使用PCIe交換機（通常集成在網卡中）將所有設備連接起來。

Astera 認為，對于足夠大的交換機，PCIe 可以作為 NVLink 等互連技術的可行替代方案，用于擴展架構，使數十個或更多 GPU 的行為更像一個大型 GPU，而無需重新設計其加速器。

然而，Astera 并非僅僅打造了一款更大的 PCIe 交換機。Scorpio 還配備了與 Nvidia 的 NVSwitch 相同的許多網絡內計算功能，這有助于加速集體通信。

這些通信對于生成式人工智能推理尤為重要。隨著專家混合（MoE）架構的普及，大型語言模型從網絡角度來看變得相當活躍。

MoE模型由多個稱為專家的子模型組成。對于生成的每個標記，可以使用不同的專家模型組合，這些模型可能運行在不同的GPU上。

通過將集體通信轉移到交換機，GPU 可以減少等待網絡響應的時間，從而有更多時間生產代幣。

Astera 甚至開發(fā)了一種針對 MoE 推理優(yōu)化的多播操作，并將其稱為 Hypercast。

Astera 產品管理副總裁 Ahmad Danesh 告訴 El Reg：“標準組播的局限性之一是實際可支持的組的數量，以及混合專家模型需要動態(tài)地隨時更改這些組的特性。 ”

雖然使用 PCIe 作為芯片間互連具有明顯的優(yōu)勢，但 Scorpio 并不能完全取代英偉達的 NVSwitch 芯片。NVSwitch 6 于今年 1 月的 CES 展會上發(fā)布，其帶寬高達 14.4 TB/s，幾乎是 Scorpio 的三倍。

然而，Astera 并不需要與 NVSwitch 直接競爭。事實上，Astera 早在去年春天就宣布了擴展對 NVLink Fusion 支持的計劃，NVLink Fusion 是英偉達旨在將其高速互連技術開放給更廣泛生態(tài)系統(tǒng)的嘗試。

相反，Scorpio 的定位更像是與廠商無關的替代方案。像 NVLink Fusion 或新興的 UALink 協(xié)議這樣的技術正在獲得越來越多的關注，但芯片的設計需要圍繞這些技術展開。

PCIe幾乎可以兼容所有設備，因為它本身就用于加速器的數據傳輸。例如，如果您想將32張或更多Nvidia RTX Pro 6000 Server顯卡連接起來，則需要一個PCIe交換機，因為這些GPU根本不支持NVLink。

PCIe 還使得混合搭配芯片以構建解耦推理架構變得更加容易，就像我們看到的 Nvidia 和 Groq、AWS 和 Cerebras，或者 Intel 和 SambaNova 一樣。

這些架構采用一種加速器進行計算密集型的預填充操作，另一種加速器進行帶寬密集型的解碼操作。為了實現這一點，芯片之間必須相互連接。許多人工智能芯片制造商目前使用以太網進行連接，但 PCIe 連接會更加直接。

除了 Scorpio X 系列芯片外，Astera 還推出了 Scorpio P 系列交換機，其型號的 PCIe 連接通道數從 32 條到 320 條不等。

所有這些交換機都與 COSMOS 管理套件配合使用，這是一個硬件監(jiān)控平臺，旨在幫助追蹤和解決整個網絡結構中的問題。

Astera全新升級的Scorpio交換機目前正在進行樣品測試，預計將于2026年下半年開始量產。

Astera Labs Scorpio 320通道PCIe交換機更新

Astera Labs即將推出Scorpio的最新更新，但我們應該關注的并非又一次AI架構的品牌宣傳。關鍵在于320條PCIe通道。在如今的PCIe交換機市場，這已經算是相當大了，更多的通道意味著系統(tǒng)設計人員可以用更少的交換芯片和更少的跳數連接更多的設備。

之所以要提及較早的 Scorpio 架構，是因為 PCIe 交換是服務器設計中非常實用的一部分。CPU 平臺擁有的 PCIe 通道數量有限。GPU、網卡、NVMe SSD、DPU 和其他加速器都需要連接。更大的交換機為設計人員提供了更多連接這些設備的選擇，可以將系統(tǒng)劃分為不同的拓撲結構，并避免小型交換機級聯(lián)帶來的不便。

對于目前的市場而言，320通道的交換機算是相當大的。也很容易理解為什么Astera能以這個數量領先。每個PCIe設備16條通道，20個設備正好是320條通道。

Astera 的幻燈片顯示，Scorpio X 系列 320 通道 AI 交換矩陣交換機現已開始向領先的超大規(guī)模數據中心發(fā)貨。幻燈片還指出，更廣泛的 Scorpio P 系列交換機通道數范圍已擴展至 320 通道。這一范圍至關重要，因為并非所有設計都需要最大容量的產品。有些系統(tǒng)只需較小的 PCIe 交換機即可實現網卡擴展或 SSD 擴展。而另一些系統(tǒng)則需要容量更大的交換機，才能將多個加速器集成到單個機箱或交換矩陣域中。

Astera 發(fā)給我們的演示文稿中最有用的幻燈片是 144 通道和 320 通道的對比。除了帶寬更大之外，更大的交換機意味著實現大型拓撲結構所需的交換機總數更少。這就像我們在網絡交換機中討論的基數一樣。

Astera展示了一些案例，說明了新型交換機在不同拓撲結構中的應用價值。通常情況下，如果你在Astera Labs的幻燈片上看到這類交換機，就意味著某個超大規(guī)模數據中心、人工智能芯片/系統(tǒng)設計公司或類似類型的客戶正在尋求部署此類系統(tǒng)。

Hypercast 是 Astera 的數據復制引擎，用于執(zhí)行諸如全集、全分散和全連接等操作；而網絡內計算則針對諸如全縮減和縮減分散等操作。大型 GPU 系統(tǒng)不僅需要進行計算，還需要花費大量時間在數據傳輸上。如果交換機能夠減少重復流量或輔助執(zhí)行集體操作，那么該網絡架構就能提高每瓦令牌數。NVIDIA 和 Broadcom 就是在網絡領域踐行這一理念的典型例子。

服務器的 PCIe/CXL 連接芯片構成了一個完整的芯片領域，而且這個領域正在快速增長。博通多年來一直主導著這個領域，但 Astera Labs 憑借 PCIe 重定時器芯片站穩(wěn)了腳跟，并已開始向其他設備領域拓展。十年前，320 通道交換機或許還只是個新鮮事物，而不是人們認為的明確需求。

（來源： 編譯自theregister）

*免責聲明：本文由作者原創(chuàng)。文章內容系作者個人觀點，半導體行業(yè)觀察轉載僅為了傳達一種不同的觀點，不代表半導體行業(yè)觀察對該觀點贊同或支持，如果有任何異議，歡迎聯(lián)系半導體行業(yè)觀察。

今天是《半導體行業(yè)觀察》為您分享的第4398內容，歡迎關注。

加星標??第一時間看推送

求推薦