AI芯片設計，越來越難

公眾號記得加星標??，第一時間看推送不會錯過。

在設計用于實現高速、高效性能的AI處理器時，芯片架構師必須應對多種因素，其中最重要的挑戰之一是快速演進的AI模型。

《Semiconductor Engineering》邀請了多位業內專家參與討論，包括：來自Arm的邊緣AI產品管理總監Ronan Naughton；來自Cadence的Tensilica DSP產品管理集團總監Amol Borkar與AI IP產品營銷總監Jason Lawley；來自Expedera的首席科學家兼聯合創始人Sharad Chole；來自Mixel的市場總監Justin Endo；來自Quadric的首席營銷官Steve Roddy；來自Rambus的院士兼杰出發明家Dr. Steven Woo；來自Siemens EDA的IC驗證與EDA AI產品負責人Sathishkumar Balasubramanian；以及來自Synopsys的首席產品經理Gordon Cooper。以下為討論摘錄。

Q1：目前在邊緣端使用的 Agent（智能體）有哪些不同類型？

Woo： 如今大多數邊緣智能體可以歸類為感知、推理，以及在機器人案例中的規劃與行動。這些任務通常在同一設備上共同運行，關鍵不僅在于推理，還在于系統觀察、決策和響應的速度。這迫使設計者重新思考內存層級、互連和安全邊界。智能體實際上是整個系統的協同工作，而不僅僅是框圖上的一個神經網絡。

Chole： 讓我們定義一下為什么 Agentic AI（智能體 AI）與生成式 AI 不同。首先也是最重要的，是自主權的概念。生成式 AI 是由提示詞觸發，然后生成響應。Agentic AI 在高級任務中具有更多的自主權。你給它們高級任務，它們負責編排、規劃并想出如何執行。其次，它們可以訪問某種形式的內存。并非所有智能體都有內存訪問權，但通常可以訪問提供用戶指令的內存——或者類似于 CLAUDE.md 文件，它們擁有工具調用權限。所以它們不是被動的。這不像給你一個提示詞，然后你只能做這么多。它們是主動的。這意味著它們可以查詢系統中的當前日期、天氣，以及你最近是否點擊了某張照片。它們可以訪問你為其啟用的 API 調用或工具調用。我并不是說它們有權訪問你的根文件系統，但它們確實可以訪問很多我們作為人類在筆記本電腦或自己系統上會做的事情。這對于任何與編碼相關的實踐都非常有用，因為它們可以編譯、運行測試等等。這一切都源于工具調用。之后，它們是思考機器，而不只是生成某些東西。它們在端到端地規劃、思考和運行，或者在進行迭代。當工具調用發生時，它們會獲得反饋，并根據反饋再次思考需要執行的計劃。這使智能體區別于生成式 AI，你可以將其視為一種多輪交互，但這些輪次是通過工具實現的，而不是通過人工干預。基本上，由于這個原因，整體處理會變得復雜。它不再局限于“嘿，我給你這張圖片，你需要據此生成一張不同的圖片”。如果我這樣限定問題，我的輸入和輸出 Token（標記）是受限的。但智能體的情況并非總是如此，它們不一定是受限的。雖然會有最大 Token 限制，但不一定總是固定為某個常數。這帶來了一些挑戰，尤其是你能給它什么任務？你可以將元素更改為更小的尺寸，可以限制任務或工具使用者的復雜性。但即便如此，任務的復雜性仍將決定完成任務所需的處理量。

Naughton：關于私有智能體，我們看到的情況是，我個人托管的 LLM（大語言模型）可以訪問我的私有媒體，還有我的日歷。因此，例如，我可以讓我的私有 LLM 運行計劃內或自動化的任務，本質上作為我的行政助理并為我完成一些工作。但我們也看到邊緣設備上編碼智能體的興起，我可以向邊緣編碼智能體并行部署多個任務，它可以自主工作并在隨后向我反饋結果。這是兩種常見的個人邊緣側智能體用例。在移動端，我們也看到新工具出現，可以進行快速的應用導航。我可能給它一個指令，它可能會打開兩三個應用來完成該指令。

Q2：當模型變化不可避免時，架構師如何開始項目并做出決策？

Woo：性能和功耗效率日益受到存儲系統設計和數據移動的支配。架構師需要了解目標用例，并對占用硅片面積的功能進行嚴格篩選，因為每個額外的功能都會消耗 PPA（性能、功耗、面積）并增加復雜性，你最終都要為此付出代價。芯片設計者需要優先考慮數據移動進行設計，因為這是決定性能和功耗效率勝負的關鍵。額外的復雜性還來自于整合正確的 RAS（可靠性、可用性、可服務性）解決方案，以實現高可靠性和可用性，確保操作可預測且值得信賴。

Roddy：鑒于不知道未來的嵌入式智能體會采取什么形式，以及它在計算或通信方面可能需要什么樣的馬力，這要求架構師在系統中投入盡可能多的通用性和靈活性。以你下一輛車可能配備的功能為例，比如嵌入式車輛健康智能體。我什么時候該去保養車？現在，你通過人類的觀察來判斷，思考你的駕駛習慣。如果你和配偶或孩子共用一輛車，誰在什么時候、什么地方開車？如果智能體足夠聰明，知道誰開得最多呢？它執行所有的預測性維護，監控所有系統，了解時令，了解天氣，了解即將到來的周末。Stephen 和他的家人喜歡每個周末去滑雪。輪胎磨禿了，雪天路況會很差，也許我們該去換新輪胎。智能體可以了解各種上下文信息。同樣的一輛車，如果停在車庫里，老奶奶只在周日開車去教堂，由于駕駛方式不同，其需求也會大不相同。這種東西未來會出現嗎？它會適應周圍的情況，并與車主或駕駛員溝通，從駕駛員的交互中學習嗎？它開始監控不同的事物，或推薦不同的事物，測試未來可能發生的不同情況。處理這類事情需要在計算架構中具備什么樣的通用性？

Lawley：對我來說，這些智能體回歸到了多模態 AI。正如 Steve 所說，你的車里有智能體在做這些事，但你的智能體真的能拿起電話打給某人（人類參與其中）并與之交談嗎？所以現在它正在使用音頻技術進行噪聲抑制，正在進行語言識別，正在使用語言模型為你預約。然后它回來告訴你：“嘿，你的車已經約好了。”我預見到智能體的整個世界將從根本上改變我們與計算交互的方式，尤其是邊緣計算。

Roddy：接著你的話，你因為參加活動從灣區開車到了南加州，現在車出了問題。現在它必須在當地找一個服務部門。它能查出你因為買了延長保修期而擁有服務合同嗎？你的經銷商在哪？或者，根據你喜歡用 Yelp 且偏好五星級評價的習慣，它會推薦哪些獨立維修店？它將足夠聰明，弄清楚如何指引你并節省這類事情的時間。這是目前的車輛做不到的。目前的車輛只會在儀表盤上亮起一個燈，顯示油壓低。僅此而已，它不會為你解決那個狀況。

Lawley：從架構師的角度來看，我們知道的一點是，模型的靈活性非常重要。未來會有不同的浮點表示。這些智能體可能需要依賴許多不同的模型，因此讓你的計算能力和構建的系統具有足夠的靈活性來處理各種不同的模型類型，對架構師來說至關重要。

Cooper：我同意。你提到了多模態的需求。對于我們這些定義下一代 NPU 的人來說，我們正在加速那些你與系統中的主機處理器相結合的東西。從 NPU 的角度來看，這里存在系統級的問題。問題在于你能多靈活地處理這些不斷涌現的多模態模型——無論是 VLA（視覺-語言-行動）、VLM（視覺-語言模型），還是其他模型。對于我們這些制造 NPU 的人來說，這是邊緣端的挑戰。

Chole：我想從部署的角度來回答這個問題。當我們運行智能體工作負載時，它們是長期運行的，這就要求它們需要在后臺運行。這成為了優先級。它們必須在后臺運行。當事物在后臺運行時，我們要確保它盡可能優化。因此，對 MoE（混合專家模型）的支持變得非常重要，因為我們沒有批處理（batching）。MoE 模型變得至關重要。這些不一定是大型模型。即使對于小型模型，MoE 也很關鍵，因為邊緣端沒有批處理。對 KV（鍵值）緩存量化技術（如 turbo content）的支持也變得必不可少，因為我們不想一直浪費帶寬去加載巨大的 KV 緩存，即便使用稀疏注意機制，這些智能體最終也會產生巨大的 KV 緩存。這也會很有趣，是一種節省 2 到 3 倍帶寬的方法。此外，運行時部署需要支持像前綴緩存（prefix caching）這樣的內存技術。你還需要能夠進行工具調用。所以我們基本上是將服務器級的技術——即當前數據中心推理提供商所支持的功能——引入邊緣，并試圖讓智能體在最小的占用空間下發揮最強大的功能。這是我從部署角度的看法。如果你問我模型將如何演進——我希望是零演進。如果你問我在邊緣運行的智能體在任何意義上是否比在數據中心運行更好，我仍然不完全清楚。遺憾的是，如果你擁有聯網設備，除了隱私原因外，我仍然不推薦在邊緣運行。

Q3：你目前在邊緣 AI 或智能體邊緣 AI 領域看到的最有趣的驅動應用是什么？

Woo：一些最引人注目的應用存在于有時間限制的系統中，如工業自動化、機器人和汽車感測。這些系統使用智能體行為實時適應不斷變化的輸入，而不不僅僅是分類它們所看到的東西。從硬件角度看，挑戰在于處理持續數據流的同時保持低延遲。這種結合正迫使存儲帶寬、功耗效率和系統級集成進行創新。

Lawley：它無處不在。每個人都在把模型用于天底下的任何事情，所以很難指明某一個特定的東西。它是你在邊緣能想到的一切，而且人們可能會在那些我們從未想過的領域提出新點子。

Roddy：我們看到很多制造商和系統公司在思考 LLM（尤其是 SLM，小語言模型）如何改變人機界面，無論是你與汽車的交互方式，還是技術人員與工廠設備的交互方式，或者是你與廚房微波爐的交互方式。如果微波爐沒有按鈕，你只需對著它說話，這能降低成本嗎？因為你不需要觸摸面板，不需要那些會損壞的東西，所以它能降低微波爐的成本嗎？工廠設備上的麥克風、揚聲器和顯示面板是否意味著你不再需要塞在大型設備側板里的 600 頁手冊了。想想節省的手冊打印成本，或者手冊丟失的問題。現在你買車時，不再會得到一本寫滿所有錯誤代碼的 600 頁的書。現在不需要了。你只需和車輛交談，它就會告訴你發生了什么。因此，物理構建方式的變化可以降低成本并提高用戶滿意度，而這很大程度上是因為你可以在邊緣放置一個 300 億參數的模型。它不一定非要是智能體，但它確實是一種截然不同的交互方式。

Balasubramanian：在智能體端，我看到不少個人健康助手出現，它們會采取行動，而不僅僅是感測。隨著我們的談話，還有更多應用正在構建中。西門子所做的一件事是與 Meta 在 Ray-Ban 上合作，我們正在為工廠車間配備 Ray-Ban Meta 眼鏡。這是人類配合邊緣 AI 處理的完美案例。你基本上讓人們在工廠車間走動，隨著你走到某個特定區域，眼鏡中會出現一個儀表盤，顯示每臺機器的狀態：一切正常、出錯了，或者需要維護。對于這個案例，我不清楚處理發生的具體細節。它仍然連接到中央樞紐嗎？極有可能是這樣，或者也可能在邊緣。這些是我們看到的工業案例，你在其中推理、感測并獲取信息。當你問“我該如何行動？”時，那將是下一個大趨勢。這是一個有趣的時代，有很多有趣的應用正在發生。我體驗過很多筆記記錄器，其挑戰在于電源供應。隨著你做得更多，功耗效率變得更加重要。

Cooper：我們擁有這種感知 AI，人們現在真正開始意識到，“噢，我有一個真實的用例，”或者，“我有一個例子，我可以把生成式 AI 加入其中。”在汽車領域，它可能在座艙內，理論上你能夠指著窗外問：“那是哪棟建筑？”通過多模態，它可以回答：“我看到你指的地方了，我能看到外面，我知道我的地理位置，我理解你的提示詞。”所有這些多模態能力都在向前推進。還有關于具身 AI（Physical AI）和機器人的整套構想——汽車、無人機和人形機器人。英偉達對此非常看好。我不認為每個人都接受家里有一個人形機器人幫我們疊衣服，但他們非常有信心。看到機器人技術將走向何方，這確實是一個有趣的應用。

Q4：我們以前見過像現在 AI 這樣的變化速度嗎？

Balasubramanian：不，在我的經驗中沒見過。我有 25 年以上的經驗，但在過去的 20 年里，我從未見過如此巨大的變化。每周都有新客戶冒出來，新的設計項目針對新應用啟動，我們正在努力跟上他們的步伐。

Lawley：如果你看歷史，英特爾帶著 x86 上線，還有與仙童（Fairchild）的競賽。那是一個非常有創造力的時代。但這比半導體競賽要廣泛得多。每個人都知道它。我的孩子知道，我的妻子知道，我的父母也知道。

Chole：機器人技術和自主性將極大地推高邊界。我們將看到 PetaOPS（每秒千萬億次運算）引擎。我們以世界模型（world models）開始了這段對話。這非常有趣，因為這些模型必須在這些自主平臺上運行，而且它們在視覺和 Token 方面都有巨大的處理需求。所以，這也許就是一年后我們將討論的話題。

Woo：AI 的變化速度與我們在現代半導體設計中看到的任何情況都不同。AI 正在壓縮整個技術棧的時間表，硬件立即感受到了這種壓力。隨著新功能的上市，需求不斷被改寫，模型演進如此之快，以至于僅僅一年前的假設可能已不再成立。這正迫使系統設計采用整體方法，從一開始就將計算、存儲、安全和 I/O 與軟件需求統籌規劃。這是我們思考未來芯片構建方式的根本性轉變。

Naughton：這是呈指數級的。現在的不同之處在于，這不再僅僅是炒作。我們看到了顯著的生產力提升工具、個人生活方式提升工具，以及 AI 領域的創新和發現。也許這有點偏離了邊緣 AI 的范疇，但當然，我首先提到的那些確實在改善人們的生活。但隨之而來的是風險，我們都必須意識到這些風險，并采取慎重的步驟，以確保我們實現的這些生產力增強和生活方式擴展是與相關潛在風險相權衡的。

https://semiengineering.com/designing-chips-in-the-context-of-rapidly-evolving-ai/

（來源：semiengineering ）

*免責聲明：本文由作者原創。文章內容系作者個人觀點，半導體行業觀察轉載僅為了傳達一種不同的觀點，不代表半導體行業觀察對該觀點贊同或支持，如果有任何異議，歡迎聯系半導體行業觀察。

今天是《半導體行業觀察》為您分享的第4397內容，歡迎關注。

加星標??第一時間看推送

求推薦