NoC，日益嚴峻

公眾號記得加星標??，第一時間看推送不會錯過。

隨著需要處理、存儲和訪問的數(shù)據(jù)量不斷增長，數(shù)據(jù)的移動、管理和跟蹤正變得越來越具有挑戰(zhàn)性。

復(fù)雜的片上系統(tǒng) (SoC) 和multi-die實現(xiàn)方案，尤其是涉及人工智能的方案，可能包含大量的片上網(wǎng)絡(luò) (NoC) 來管理和優(yōu)先處理數(shù)據(jù)傳輸。這些片上網(wǎng)絡(luò)可以包含一致性或非一致性緩存和 I/O，也可以只處理系統(tǒng)的單個物理部分。但所有這些都需要在設(shè)計流程的早期階段進行規(guī)劃，并且需要在系統(tǒng)的整個生命周期內(nèi)進行監(jiān)控。

Arteris公司產(chǎn)品管理和市場營銷副總裁Andy Nightingale表示：“我們從人工智能SoC團隊了解到，訓(xùn)練和推理不僅增加了數(shù)據(jù)量，還暴露出數(shù)據(jù)傳輸本身已成為系統(tǒng)的主要瓶頸。計算能力的增長速度遠超摩爾定律，但數(shù)據(jù)傳輸、擁塞和能源效率越來越?jīng)Q定著這些計算能力是否能夠真正發(fā)揮作用。”

數(shù)據(jù)流量和一致性是確定特定應(yīng)用場景下最佳片上網(wǎng)絡(luò) (NoC) 的良好切入點。“[芯片架構(gòu)師應(yīng)該]思考誰需要一致性以及原因，哪些代理會生成突發(fā)數(shù)據(jù)還是穩(wěn)定數(shù)據(jù)流，延遲限制在哪些情況下至關(guān)重要，以及預(yù)期在衍生產(chǎn)品或chiplet之間實現(xiàn)多少復(fù)用或擴展，”Nightingale 表示。“CPU 集群通常需要一致性 NoC，因為它們的編程模型依賴于此。NPU 通常不需要一致性 NoC，因為顯式數(shù)據(jù)移動和本地內(nèi)存可以提供更高的功耗和吞吐量?！?/p>

圖 1：片上 CPU 與 NPU 網(wǎng)絡(luò)

其他人也認同一致性是一個很好的起點?！皩τ诠蚕韮?nèi)存 CPU 集群，如果一致性很重要，就選擇一致性 NoC；而對于 NPU 和加速器，如果吞吐量比嚴格的一致性更重要，就選擇非一致性 NoC?！?ChipAgents首席執(zhí)行官 William Wang 表示。

片上網(wǎng)絡(luò)有多種類型。它們可以是完全緩存一致性的、末級緩存一致性的、I/O 一致性的（也稱為單向一致性的）或非一致性的。

圖 2：相干片上網(wǎng)絡(luò)部署示例

與非相干網(wǎng)絡(luò)相比，相干網(wǎng)絡(luò)通常成本更高、功耗更大?！耙环N非常常見的做法是，使用擁有緩存的大型高性能CPU，并將它們連接到相干網(wǎng)絡(luò)中，同時盡可能縮小相干網(wǎng)絡(luò)的規(guī)模，” Baya Systems首席解決方案架構(gòu)師Kent Orthner表示?！澳阏嬲Ｍ氖?，相干網(wǎng)絡(luò)僅限于內(nèi)存和CPU之間，或許還可以包括AI加速器。系統(tǒng)的其余部分通常會使用更簡單的協(xié)議，只進行讀寫操作。這種簡單的協(xié)議不會考慮誰最后訪問了數(shù)據(jù)，也不會考慮誰負責(zé)數(shù)據(jù)。它們只是訪問諸如內(nèi)存或PCIe控制器之類的端點，并測試所需的數(shù)據(jù)。人們在討論SoC上的多個片上網(wǎng)絡(luò)（NoC）時，一個常見的區(qū)分點就是相干網(wǎng)絡(luò)與非相干網(wǎng)絡(luò)。”

過去，大型芯片制造商通常會開發(fā)自己相對簡單的片上網(wǎng)絡(luò)（NoC）。但隨著數(shù)據(jù)傳輸復(fù)雜性的增加，業(yè)界已轉(zhuǎn)向使用商用NoC IP?！八麄兏髯远加凶约航鉀Q‘如何根據(jù)輸入需求提供可配置模塊’這個問題的方法，” Synopsys戰(zhàn)略項目和系統(tǒng)解決方案執(zhí)行總監(jiān)Frank Schirrmeister表示， “他們會說，‘這是我所有的數(shù)據(jù)源。我有30個數(shù)據(jù)源。有些是相干的，有些是非相干的，有些是緩存相干的，還有一些是僅I/O相干的?！比缓?，你進入配置片上網(wǎng)絡(luò)（NoC）的環(huán)境，按下一個按鈕，他們就提供了構(gòu)建模塊，可以實例化這些緩存、TLB（轉(zhuǎn)換后備緩沖區(qū)）等等，從而構(gòu)建NoC。對于非一致性位，重點在于確保它們能夠被實現(xiàn)。觀察布局，時序如何？這些組件在哪里？在那些復(fù)雜的數(shù)十億門芯片上，確定組件的位置以及如何來回傳輸數(shù)據(jù)是非常棘手的，挑戰(zhàn)也巨大。

圖 3：非相干片上網(wǎng)絡(luò)部署示例

緩存一致性比 I/O 一致性更具挑戰(zhàn)性?！癐/O 核心一致性需要考慮的空間要大得多，”Schirrmeister 說?！巴ǔＧ闆r下，你會讀取外圍設(shè)備（例如 GPU 或網(wǎng)絡(luò)接口）的 CPU 緩存數(shù)據(jù)，但反過來則不然。但在緩存一致性中，多個 CPU 核心需要看到一致的內(nèi)存視圖，這要復(fù)雜得多，因為需要考慮的因素更多?！?/p>

緩存用于臨時存儲靠近處理器的數(shù)據(jù)。“處理器會說，‘我需要這個，我需要那個，我還需要這個，’”O(jiān)rthner 說。 “它不必非得訪問外部存儲器，那樣可能需要 100 納秒的時間。它可以非常迅速地獲取數(shù)據(jù)。但我們通常關(guān)注的大型系統(tǒng)中，可能有很多不同的處理器。由于它們共享內(nèi)存，如果一個處理器說‘我需要這部分信息’，而它不知道另一個處理器已經(jīng)在本地緩存中保存了該信息的副本，那么它最終可能會得到錯誤的值。因此，緩存一致性就是確保每個處理器對信息的訪問都來自同一個緩存?！?/p>

事實上，每種類型的計算處理器都有自己的私有數(shù)據(jù)緩存?！八鼈儽仨毟櫿l擁有哪部分數(shù)據(jù)，并高效地共享這些數(shù)據(jù)，這就是緩存一致性協(xié)議的意義所在，”O(jiān)rthner 說?！叭绻阌幸粋€包含 500 個處理器的 SoC，它知道這 500 個處理器是什么，以及如何與它們通信，因為所有這些都在制造之前就已經(jīng)確定好了?！?/p>

chiplet、multi-die和 3D

多chiplet件需要對相干和非相干片上網(wǎng)絡(luò) (NoC) 進行額外的管理。

“我們的物理 AI chiplet平臺通常至少包含三個chiplet，”Cadence chiplet和 IP 解決方案高級產(chǎn)品營銷總監(jiān) Mick Posner 表示。 “中心是系統(tǒng)芯片。一側(cè)是CPU芯片。另一側(cè)是AI加速器。這三個芯片構(gòu)成了任何物理AI芯片平臺的基礎(chǔ)。中心的系統(tǒng)芯片必須同時具備一致性接口和非一致性接口，因為它需要與CPU通信。因此，系統(tǒng)芯片和CPU之間必須保持一致性，因為它負責(zé)管理內(nèi)存。它還需要一個與CPU一致的接口。但是，與AI加速器的連接只需要I/O一致性。它不需要緩存一致性，因為加速器就像一個擴展。你只是向它發(fā)送數(shù)據(jù)。它通?？梢該碛凶约旱膬?nèi)存，也可能與其他芯片共享內(nèi)存，但它不需要緩存一致性?！?/p>

要實現(xiàn)這一點，需要多個片上網(wǎng)絡(luò)（NoC）?！皩橐恢滦栽O(shè)計的NoC通常比非一致性NoC開銷更大，”Posner說道。 “它們之間可能存在某種聯(lián)系，但這種聯(lián)系本質(zhì)上是不連貫的，因為一方本身就缺乏連貫性。”

圖 4：SoC 可以包含非相干和相干 NoC 的混合

平衡一致性、可編程性和集成性

在multi-die組件中協(xié)調(diào)數(shù)據(jù)傳輸對可編程性和系統(tǒng)發(fā)現(xiàn)能力提出了更高的要求。

片上網(wǎng)絡(luò) (NoC) 可以幫助chiplet在封裝內(nèi)相互發(fā)現(xiàn)?！霸赾hiplet架構(gòu)中，所有芯片可能都相同，位于同一芯片上，也就是同一塊硅片上，但它可能單獨封裝在一個封裝中，”Baya 公司的 Orthner 說道。“它可能與四個其他chiplet組成陣列封裝在一個封裝中。它也可能垂直堆疊在另一個封裝中。因此，現(xiàn)在就出現(xiàn)了一個有趣的問題：當(dāng)系統(tǒng)首次啟動時，chiplet如何相互發(fā)現(xiàn)？它們?nèi)绾卧诜庋b內(nèi)相互識別？以及它們各自的位置？最終，你需要更高程度的可編程性。”

啟動時，系統(tǒng)需要一個管理代理。 Orthner 表示：“它會進來告訴用戶，‘如果你要查找這部分進程，就必須將流量發(fā)送到芯片的北側(cè)，因為它們就在那里——除非你就是位于北側(cè)的chiplet，那樣的話你就必須將流量發(fā)送到南側(cè)?！罱K，你需要喚醒系統(tǒng)，進行通信，發(fā)現(xiàn)并重新配置網(wǎng)絡(luò)中的路由，以便不同的chiplet能夠識別相同的目的地，但通過不同的路徑。”

堆疊芯片配置帶來了更多網(wǎng)絡(luò)挑戰(zhàn)?！靶酒邪煌?yīng)商的產(chǎn)品，你該如何管理不同類型的部件，并確定它們與系統(tǒng)的集成程度？” Keysight EDA 高速數(shù)字設(shè)計部門負責(zé)人 Hee Soo Lee 說道。 “這些挑戰(zhàn)使得網(wǎng)絡(luò)和I/O變得復(fù)雜。采用堆疊式芯片配置后，散熱和機械問題的管理將比電氣問題更為重要。所有這些系統(tǒng)都受到市場驅(qū)動，尤其是數(shù)據(jù)中心人工智能工作負載對數(shù)據(jù)日益增長的需求?！?/p>

優(yōu)化功耗、性能和面積 (PPA)

無論相干網(wǎng)絡(luò)還是非相干網(wǎng)絡(luò)，芯片設(shè)計都可以采用自頂向下的方法考慮多個片上網(wǎng)絡(luò) (NoC)。

“假設(shè)主層有兩個片上網(wǎng)絡(luò)，頂層網(wǎng)絡(luò)連接所有子系統(tǒng)，”Cadence 公司的 Posner 說道?！霸谶@些網(wǎng)絡(luò)之下，通常還有芯片上的局部網(wǎng)絡(luò)。甚至可能有多個網(wǎng)絡(luò)——一個用于低帶寬、低性能的 I/O 外設(shè)，另一個用于高帶寬外設(shè)。你需要根據(jù)所連接的網(wǎng)絡(luò)定制你的片上網(wǎng)絡(luò)，并根據(jù)其連接的網(wǎng)絡(luò)配置功耗、性能和面積 (PPA)。你需要了解這種層級結(jié)構(gòu)，因為所有這些都需要進行控制。”

人工智能驅(qū)動的 EDA 技術(shù)正在幫助解決 PPA 方面的權(quán)衡問題。 ChipAgents 的 Wang 指出：“工具正朝著完全自主的多代理工作流操作系統(tǒng)發(fā)展，該系統(tǒng)能夠從規(guī)范到芯片進行推理，并提供實時設(shè)計質(zhì)量反饋、PPA 優(yōu)化和跨領(lǐng)域協(xié)同設(shè)計。”

在大型高性能 SoC 中，設(shè)計人員通常會創(chuàng)建多個配置。Baya 的 Orthner 表示：“通常，他們希望配置網(wǎng)絡(luò)與相干數(shù)據(jù)路徑和主非相干數(shù)據(jù)路徑分離，而且配置的吞吐量相當(dāng)?shù)汀Ｋ强刂破矫妗Ｋ枰x取寄存器、檢查系統(tǒng)性能，可能還需要管理一些電源控制操作，例如關(guān)閉設(shè)備的部分功能然后再重新開啟。這通常也通過一個獨立的網(wǎng)絡(luò)來實現(xiàn)。它使用的協(xié)議與數(shù)據(jù)流網(wǎng)絡(luò)中的協(xié)議相同，但規(guī)模要小得多。你希望能夠在不影響主數(shù)據(jù)流量（例如，占用部分網(wǎng)絡(luò)帶寬）的情況下訪問它?！?/p>

地理位置或拓撲結(jié)構(gòu)的差異也促使人們需要獨立的片上網(wǎng)絡(luò) (NoC)。 “芯片的西側(cè)可能有一組計算核心，”O(jiān)rthner說道，“芯片的東側(cè)可能有另一組計算核心，而對于主要數(shù)據(jù)路徑來說，它們之間不需要通信，因此你可以將它們分別實現(xiàn)為一個西側(cè)網(wǎng)絡(luò)、一個東側(cè)網(wǎng)絡(luò)，以及一個將它們?nèi)窟B接起來的第三個網(wǎng)絡(luò)。”

內(nèi)存需求迫使人們做出新的網(wǎng)絡(luò)設(shè)計決策，以實現(xiàn)高性能系統(tǒng)。“即使它們在地理位置上相同，人們也會將一半的內(nèi)存空間稱為‘偶數(shù)’網(wǎng)絡(luò)，另一半稱為‘奇數(shù)’網(wǎng)絡(luò)，這樣就可以在不影響系統(tǒng)性能的情況下，讓兩倍的數(shù)據(jù)在系統(tǒng)中流動，”O(jiān)rthner解釋道。 “構(gòu)建不同邏輯網(wǎng)絡(luò)的方法有很多種。設(shè)計芯片時，你會想到‘這是片上網(wǎng)絡(luò)（NoC），這是它所代表的區(qū)域’。然后，物理設(shè)計工程師需要將所有組件放置在這個矩形區(qū)域內(nèi)，并確保時序符合要求。如果你使用不同的工具，或者用同一個工具在不同的項目中構(gòu)建不同的NoC，最終會得到大量邏輯，這些邏輯在層級結(jié)構(gòu)中的位置各不相同，并且彼此重疊，這給物理設(shè)計人員帶來了很大的困難?！?/p>

這些不同的網(wǎng)絡(luò)構(gòu)建方法凸顯了現(xiàn)代芯片設(shè)計的復(fù)雜性，尤其是在物理和邏輯需求日益分化的情況下。為了應(yīng)對這些挑戰(zhàn)并保持效率，設(shè)計人員越來越傾向于尋找能夠?qū)⒍鄠€NoC無縫集成到單個項目中的統(tǒng)一解決方案。

統(tǒng)一NoC軟件指的是一種管理多個NoC的整體項目的方法，而不是將所有數(shù)據(jù)合并到一個NoC中。 “當(dāng)我們談到統(tǒng)一網(wǎng)絡(luò)時，我們指的是你可以用一個設(shè)計、一個頂層項目、一個理念來涵蓋路由器、邏輯電路、各種走線、定位以及其他所有方面，”O(jiān)rthner解釋道。“在這個整體網(wǎng)絡(luò)設(shè)計中，我們保持所有小型網(wǎng)絡(luò)的獨立性。例如，如果你比較相干網(wǎng)絡(luò)和非相干網(wǎng)絡(luò)，你可以說：‘我對我的流量足夠了解，所以我希望我的非相干流量和相干流量在邏輯上是分離的，但仍然使用細線。’這在如今需要優(yōu)化面積、成本和其他因素時，是一項非常強大的功能。你可以運行一個工具，該工具可以涵蓋所有并行運行的不同網(wǎng)絡(luò)，并允許它們在系統(tǒng)設(shè)計者的控制下共享資源。”

隨著芯片復(fù)雜性的不斷增加，如何將這些統(tǒng)一片上網(wǎng)絡(luò)（NoC）策略應(yīng)用于更大的系統(tǒng)架構(gòu)變得越來越重要。為了彌合片上網(wǎng)絡(luò)與更廣泛的基礎(chǔ)設(shè)施之間的差距，設(shè)計人員還必須考慮如何將這些概念擴展到數(shù)據(jù)中心級別。

數(shù)據(jù)中心層級結(jié)構(gòu)

從數(shù)據(jù)中心的角度來看待片上網(wǎng)絡(luò) (NoC)，會引出幾個基本問題。機架之間如何通信？機架內(nèi)的卡之間如何通信？卡上的芯片之間如何交互？最后，chiplet之間如何通信？

回答這些問題可以構(gòu)建數(shù)據(jù)中心的自頂向下視圖，從而有助于建立眾多 NoC 之間的層級結(jié)構(gòu)?！绊攲訉嶋H上是數(shù)據(jù)中心層，但要從數(shù)據(jù)開始，因為此時整個數(shù)據(jù)中心就相當(dāng)于一臺計算機，”Baya Systems 的首席解決方案架構(gòu)師 Saurabh Gayen 表示。“你需要確保了解機架的組織方式，數(shù)據(jù)如何在橫向擴展域中流動，然后進入縱向擴展域，再向下層級地向下，經(jīng)過特定的封裝層級，進入chiplet層級等等。你必須創(chuàng)建這種自頂向下的視圖，因為它定義了層級設(shè)計以及如何對組件進行分組?！?/p>

雖然構(gòu)建許多松散連接的小型組件更容易，但這并非最佳方案?！澳阈枰芗?、更緊湊、層級更小、結(jié)構(gòu)更扁平、性能更高的組件，這些組件緊密耦合，并以層級結(jié)構(gòu)組織在一起，”Gayen說道。“你不能靠大量的網(wǎng)絡(luò)來作弊。過去的數(shù)據(jù)中心或許可以做到這一點。我們會看到更多的標量設(shè)計，而人工智能模型的發(fā)展也因此停滯不前?，F(xiàn)在，作為一個行業(yè)，我們下定決心，‘是的，我們要全力以赴，讓我們的層級結(jié)構(gòu)更扁平、性能更高、密度更大?！?/p>

這些層級概念同樣適用于設(shè)計人員深入到封裝和芯片層面。“你需要采用自上而下的視角，”Gayen說道。 “我們不想采用自下而上的思路，比如‘這里有一個片上網(wǎng)絡(luò)（NoC），這里有一個片上網(wǎng)絡(luò)（NoC），這里有一個片上網(wǎng)絡(luò)（NoC），我們該如何將它們組合起來？’最好的方法是自上而下地審視整個系統(tǒng)，以及如何將其分解成更小的單元。此外，特定芯片上的NoC之間以及它們之間（芯片間）的通信方式也存在差異。性能優(yōu)化是自上而下的，但工程實踐卻是自下而上的，因此必須在層級上平衡這兩者?！?/p>

正確的數(shù)據(jù)管理取決于子NoC的層級結(jié)構(gòu)?！熬托酒O(shè)計中的層級結(jié)構(gòu)而言，如何構(gòu)建子NoC，NoC之間如何通信，以及它們的邊界是什么？”O(jiān)rthner說道。 “從物理設(shè)計到將晶體管放置在硅片上，每一個環(huán)節(jié)都必須做到精準無誤，并充分利用預(yù)先構(gòu)思的層級結(jié)構(gòu)，以最大限度地減少后續(xù)工作量。在設(shè)計片上網(wǎng)絡(luò)（NoC）框架時，我們始終將層級結(jié)構(gòu)視為首要考慮因素?！?/p>

對于性能分析而言，關(guān)注頂層尤為重要?！芭c其僅僅考慮內(nèi)存接口的速度，不如從全局數(shù)據(jù)流的角度來思考?！監(jiān)rthner說道，“誰需要與誰通信？為什么？數(shù)據(jù)將流向何處？幾乎總是會有多個數(shù)據(jù)源同時運行，那么它們之間會如何相互影響？”

結(jié)論

過去，NoC在芯片設(shè)計中往往被視為事后考慮，直到物理布局接近完成才進行處理。而如今，設(shè)計人員必須在開發(fā)的早期階段就將NoC集成到芯片設(shè)計中，確保通信基礎(chǔ)設(shè)施與處理單元同步優(yōu)化。這種方法能夠提升性能、能效和可擴展性，使復(fù)雜系統(tǒng)獲得更佳的整體效果。

“實踐中正在發(fā)生的變化是優(yōu)先級的重新調(diào)整，”Arteris 公司的 Nightingale 表示?！皵?shù)據(jù)傳輸如今已成為與計算和內(nèi)存同等重要的設(shè)計要素，尤其是在系統(tǒng)從單芯片擴展到chiplet和分布式架構(gòu)的過程中。領(lǐng)先的團隊正在更早地投資于能夠提供可見性、服務(wù)質(zhì)量保證和長期可擴展性的架構(gòu)，而不是將互連視為后期優(yōu)化。”

為了跟上不斷發(fā)展的系統(tǒng)架構(gòu)，業(yè)界必須優(yōu)先開發(fā)穩(wěn)健、標準化的安全協(xié)議，并在設(shè)計初期就投資于可擴展的互連解決方案。供應(yīng)鏈各環(huán)節(jié)的協(xié)作對于確保信任、互操作性和抵御新興威脅的能力至關(guān)重要，尤其是在chiplet和multi-die集成日益普及的情況下。展望未來，持續(xù)的研究、跨廠商的合作以及自適應(yīng)網(wǎng)絡(luò)拓撲的采用對于滿足下一代系統(tǒng)對安全、高性能數(shù)據(jù)傳輸?shù)男枨笾陵P(guān)重要。

（來源：編譯自semienginerring）

*免責(zé)聲明：本文由作者原創(chuàng)。文章內(nèi)容系作者個人觀點，半導(dǎo)體行業(yè)觀察轉(zhuǎn)載僅為了傳達一種不同的觀點，不代表半導(dǎo)體行業(yè)觀察對該觀點贊同或支持，如果有任何異議，歡迎聯(lián)系半導(dǎo)體行業(yè)觀察。

今天是《半導(dǎo)體行業(yè)觀察》為您分享的第4393內(nèi)容，歡迎關(guān)注。

加星標??第一時間看推送

求推薦