內(nèi)存不夠，AI就得“從頭算”！美光高管：我們跟不上內(nèi)存需求了，全球建廠5座還不夠

對(duì)于市場(chǎng)的擔(dān)憂，Werner有不同看法。

他認(rèn)為，市場(chǎng)目前看到云服務(wù)商（CSP）資本開支大幅增加，就開始擔(dān)心這是否可持續(xù)。但他的判斷是：“這些企業(yè)正在經(jīng)歷一場(chǎng)巨大的革命，其潛力仍然超出大多數(shù)人的想象。”

Werner還指出，AI的應(yīng)用場(chǎng)景遠(yuǎn)未飽和。訓(xùn)練時(shí)代已經(jīng)過去，推理時(shí)代剛剛開始，而Agentic AI（智能體AI）和物理AI（Physical AI）甚至還沒有真正大規(guī)模落地?！拔艺娴南嘈?，我們只是剛剛觸及AI將要帶來的變革的表面?！?/p>

他也承認(rèn)，硅谷內(nèi)外對(duì)AI的認(rèn)知存在巨大落差：

在硅谷，大家都非常興奮，很容易陷入自己的信息繭房。但當(dāng)我和不在這個(gè)行業(yè)的朋友聊天，他們很多人還沒有意識(shí)到未來20年將會(huì)發(fā)生什么。

訪談全文如下：

突破“內(nèi)存墻”：美光科技的AI時(shí)代戰(zhàn)略
節(jié)目：The Circuit 嘉賓：Jeremy Werner，美光科技核心數(shù)據(jù)中心業(yè)務(wù)部門高級(jí)副總裁兼總經(jīng)理 主持人：Ben Beharin、Jay Goldberg
第一章：開場(chǎng)介紹
Ben： 大家好，歡迎收聽新一期《The Circuit》。我是Ben Beharin。
Jay： 大家好，我是Jay Goldberg。
Ben： 今天我們有一位非常出色的嘉賓——來自美光科技的Jeremy Werner。大家一直希望節(jié)目里有更多聊存儲(chǔ)器的嘉賓，今天這個(gè)愿望實(shí)現(xiàn)了。Jeremy，感謝你的到來。請(qǐng)先簡(jiǎn)單介紹一下自己，然后我們就直接進(jìn)入討論。
Jeremy： 這可是不小的壓力，大家期望值這么高。我是Jeremy Werner，負(fù)責(zé)美光科技核心數(shù)據(jù)中心業(yè)務(wù)部門，我們向全球數(shù)據(jù)中心提供SSD和DRAM產(chǎn)品。
第二章：這一輪周期與以往的不同之處
Jay： 我聽說存儲(chǔ)器市場(chǎng)最近表現(xiàn)不錯(cuò)？
Jeremy： 還可以，當(dāng)然永遠(yuǎn)可以更好。
Jay： 這正是我想問的。存儲(chǔ)器行業(yè)歷來以周期性強(qiáng)著稱，而你們現(xiàn)在的處境感覺像是每天早上起來都要捏一下自己——這是真的嗎？你在存儲(chǔ)器行業(yè)深耕多年，能不能幫我們對(duì)比一下這一輪周期和以往有何不同？
Jeremy：確實(shí)有很多有趣的事情正在發(fā)生。說實(shí)話，在聽了你們?cè)u(píng)論臺(tái)積電財(cái)報(bào)電話會(huì)議的方式之后，我對(duì)給出答案還真有點(diǎn)擔(dān)心。不過，這一輪確實(shí)不一樣——AI正在從根本上改變存儲(chǔ)器為數(shù)據(jù)中心創(chuàng)造價(jià)值的方式。存儲(chǔ)器已經(jīng)成為破解推理瓶頸、支撐數(shù)據(jù)中心推理能力的核心戰(zhàn)略資產(chǎn)，同時(shí)也是訓(xùn)練全球最先進(jìn)模型的關(guān)鍵所在。這對(duì)存儲(chǔ)器行業(yè)而言是一個(gè)無比精彩的時(shí)代，而且我不認(rèn)為這個(gè)趨勢(shì)會(huì)放緩。
Ben： 我很好奇，你們對(duì)這一切是早有預(yù)判，還是像其他人一樣被打了個(gè)措手不及？存儲(chǔ)器在AI這波浪潮中的角色，你們是提前看到了，還是算是趕上了？
Jeremy： 我覺得，當(dāng)LLM模型發(fā)展到足夠強(qiáng)大、真正發(fā)布出來，讓大家意識(shí)到它的能力邊界之后，全世界都有點(diǎn)驚訝。隨著算力和訓(xùn)練能力突破臨界點(diǎn)，技術(shù)實(shí)現(xiàn)了跨越式的飛躍，這一點(diǎn)確實(shí)超出了所有人的預(yù)期。ChatGPT的發(fā)布讓全球都意識(shí)到了正在發(fā)生的事情。當(dāng)然，說我們完全預(yù)見到了需求增長(zhǎng)的爆發(fā)速度，那并不準(zhǔn)確——我們清楚地知道存儲(chǔ)器和存儲(chǔ)在技術(shù)上有多重要，但我們沒料到增長(zhǎng)會(huì)這么快。
第三章：預(yù)判AI的爆炸式增長(zhǎng)
Ben： Jensen曾公開表示，你們的CEO是AI的早期倡導(dǎo)者。所以你們應(yīng)該是比較早就看到了吧？
Jeremy： 是的，我們很早就開始布局，持續(xù)開發(fā)支持AI的各類技術(shù)——從靠近GPU的HBM、LPDDR5、SOCAM，到高性能SSD和大容量SSD。這些產(chǎn)品從研發(fā)到量產(chǎn)需要三到五年甚至更長(zhǎng)時(shí)間，絕不是某天突然決定拼湊起來的。Sanjay長(zhǎng)期以來構(gòu)建了一套出色的基礎(chǔ)設(shè)施體系，讓我們能夠制定長(zhǎng)遠(yuǎn)愿景、規(guī)劃未來、探索技術(shù)、建立大規(guī)模運(yùn)營(yíng)體系、推進(jìn)路線圖并與客戶深度合作。所有這些要素聚合在一起，才使美光在這個(gè)精彩時(shí)代取得了今天的成績(jī)。
Jay： 我覺得有一點(diǎn)很關(guān)鍵——你們和臺(tái)積電、以及存儲(chǔ)器領(lǐng)域的其他玩家都在投入擴(kuò)產(chǎn)，這種投資力度是建立在一個(gè)共同判斷之上的：這不會(huì)再回到深度周期性波動(dòng)。從數(shù)字上看，如果半導(dǎo)體行業(yè)今年或明年突破萬億美元規(guī)模，之后快速邁向兩萬億，它不會(huì)再跌回7000億的水平。市場(chǎng)的底部抬高了，行業(yè)格局變了，總可尋址市場(chǎng)的體量變大了。大家都在按這個(gè)邏輯規(guī)劃擴(kuò)張，因?yàn)锳I是貫穿整個(gè)行業(yè)的可持續(xù)性創(chuàng)新。
Jeremy： 是的，這是可持續(xù)的創(chuàng)新，而且我真心相信，我們現(xiàn)在不過是剛剛觸及AI發(fā)展的表面。過去幾年，訓(xùn)練更復(fù)雜的模型是數(shù)據(jù)中心基礎(chǔ)設(shè)施建設(shè)的最大驅(qū)動(dòng)力。當(dāng)然，也有很多人在用AI，比如用它來更快地回答問題、編輯文檔。但僅僅在過去六個(gè)月里，AI能做的事情和發(fā)展的速度已經(jīng)讓我不得不完全刷新認(rèn)知。
Jay，我聽了你的播客，你說你一般同時(shí)跑二十個(gè)云端AI Agent。
Jay： 哈哈，對(duì)，但錄節(jié)目的時(shí)候只跑五個(gè)。
Jeremy： 現(xiàn)在Agentic AI已經(jīng)出現(xiàn)，個(gè)人和企業(yè)都剛開始摸索它的可能性；而Physical AI（物理AI）實(shí)際上還沒有真正大規(guī)模展開——這是一條未來多年持續(xù)擴(kuò)張與變革的路線圖。未來十年、二十年，世界的面貌會(huì)截然不同。如果你想看清未來，不妨回頭看看阿西莫夫的作品。我不是說我們真的會(huì)在月球中央建一個(gè)機(jī)器人城市，但他對(duì)自動(dòng)駕駛汽車、飛行自動(dòng)駕駛交通工具、無所不能的機(jī)器人、高度自動(dòng)化的生產(chǎn)與制造等方面的預(yù)言，在今天看來頗具前瞻性。我們現(xiàn)在正處于這場(chǎng)變革的起點(diǎn)。
第四章：AI市場(chǎng)的長(zhǎng)期可持續(xù)性
Jay： 毫無疑問，所有這些發(fā)展都將帶來海量的存儲(chǔ)器需求，同時(shí)也會(huì)產(chǎn)生需要快速訪問的大量數(shù)據(jù)，這對(duì)我們的SSD產(chǎn)品線同樣是利好。
Ben： 好，那我們來深入聊聊你提到的推理這個(gè)話題。我認(rèn)為這是理解當(dāng)下正在發(fā)生什么的最佳切入點(diǎn)——我們正在從訓(xùn)練時(shí)代走向推理時(shí)代。圍繞ASICs和GPU的基礎(chǔ)設(shè)施與芯片架構(gòu)，在很大程度上是為訓(xùn)練而設(shè)計(jì)的。而現(xiàn)在，我們看到這個(gè)格局正在向推理時(shí)代演進(jìn)。比如英偉達(dá)開始推出專門針對(duì)推理的產(chǎn)品，谷歌也推出了專用于推理的TPU——這些都是我們預(yù)料中會(huì)發(fā)生的事。訓(xùn)練架構(gòu)和推理架構(gòu)會(huì)走向分化，而推理架構(gòu)面臨著截然不同的存儲(chǔ)挑戰(zhàn)——谷歌稱之為"內(nèi)存墻"。你能詳細(xì)講講推理的工作負(fù)載，以及為什么推理加速器對(duì)存儲(chǔ)器的需求如此不同，這將對(duì)存儲(chǔ)器行業(yè)產(chǎn)生怎樣的影響？
第五章：AI推理中的"內(nèi)存墻"
Jeremy： 當(dāng)然。訓(xùn)練用存儲(chǔ)器來學(xué)習(xí)，學(xué)完之后釋放掉，最終輸出一個(gè)模型。但推理用存儲(chǔ)器來記憶。推理可以粗略地分為兩個(gè)關(guān)鍵階段：第一個(gè)是預(yù)填充階段（prefill），所有的提示詞token在這里被處理；第二個(gè)是解碼階段（decode），每個(gè)token在這里被反復(fù)迭代以得到更好的答案——實(shí)際上會(huì)有多個(gè)解碼階段。
在解碼階段，過去所有的上下文信息都應(yīng)該被喂給模型，以便獲得最準(zhǔn)確的答案——這是模型智能的主要來源。而這正是推理的"內(nèi)存墻"所在之處。
第六章：KV緩存與上下文窗口詳解
解決這個(gè)問題有兩種思路。在傳統(tǒng)架構(gòu)中，有一種叫做KV緩存的機(jī)制：在解碼過程中，計(jì)算完token之后，將KV緩存保存在內(nèi)存里，再把它讀回來，繼續(xù)計(jì)算下一個(gè)token，如此反復(fù)迭代。
上下文窗口越長(zhǎng)——對(duì)于不熟悉這個(gè)概念的朋友，可以把它理解為你輸入到問題里的信息量，比如你和AI對(duì)話的歷史長(zhǎng)度——所需的迭代次數(shù)就越多。如果你沒有足夠的內(nèi)存來存儲(chǔ)歷史上下文，就必須從頭開始重新計(jì)算所有內(nèi)容。這意味著計(jì)算量會(huì)呈指數(shù)級(jí)增長(zhǎng)——每一輪的計(jì)算量，幾乎等于此前所有輪次的計(jì)算量之和。相反，如果能保存上一輪的狀態(tài)，每一輪只需增加線性的計(jì)算量。所以，一旦內(nèi)存不足以存儲(chǔ)足夠的上下文，計(jì)算量就會(huì)以平方級(jí)別膨脹。
此外，不只是上下文本身——模型規(guī)模（即參數(shù)量）也在持續(xù)增長(zhǎng)，這對(duì)模型智能至關(guān)重要；每次迭代的token數(shù)量在增長(zhǎng)；同時(shí)，每塊GPU上并發(fā)運(yùn)行的Agentic AI用戶數(shù)量也在增長(zhǎng)。所有這些因素疊加，使得每塊GPU所需的KV緩存量急劇攀升。如果能成功提供足夠的內(nèi)存和存儲(chǔ)，理論上可以從GPU中榨取出遠(yuǎn)超傳統(tǒng)模式——即平方級(jí)別——的計(jì)算效能。
第七章：內(nèi)存層次結(jié)構(gòu)——從HBM到SSD
Jay： 我們節(jié)目有不少非存儲(chǔ)器、非技術(shù)背景的聽眾，能不能退一步，帶大家梳理一下整個(gè)存儲(chǔ)器層次結(jié)構(gòu)？存儲(chǔ)器的種類很多、縮寫也很多，整體比較復(fù)雜。
Jeremy： 當(dāng)然。負(fù)責(zé)AI計(jì)算的GPU、TPU或其他加速器，離它最近的是目前受到最多關(guān)注的一類存儲(chǔ)器，即HBM——高帶寬內(nèi)存。它既用于訓(xùn)練，也用于推理?xiàng)Ｖ械膖oken生成。通常情況下，緊貼GPU存儲(chǔ)的KV緩存大約在10到100GB之間。
如果HBM容量不夠用，KV緩存就往外移一層，進(jìn)入主存（main memory）。主存通常掛載在CPU上——比如在H100系統(tǒng)中，往往連接的是英特爾或AMD的x86 CPU；在英偉達(dá)最新的Blackwell系統(tǒng)中，主存則掛載在Grace CPU上。這部分內(nèi)存的容量通常是GPU上HBM的4到20倍——容量更大，但速度更慢、距離更遠(yuǎn)。
到目前為止，KV緩存基本上就止步于主存這一層。一旦超出，就只能重新計(jì)算。但隨著推理越來越復(fù)雜，上下文窗口不斷擴(kuò)大，大家開始探索進(jìn)一步擴(kuò)展內(nèi)存容量的方案。
往下一層，有一個(gè)叫做擴(kuò)展內(nèi)存（expansion memory）的概念，目前還沒有在生產(chǎn)中得到實(shí)質(zhì)性部署。思路是將大量高容量DIMM模塊通過光學(xué)連接，放在獨(dú)立的擴(kuò)展盒中，與所有GPU相連——當(dāng)主存不夠用時(shí)，可以從這里獲取高速存儲(chǔ)。
再往下，就是Jensen今年重點(diǎn)提及的"上下文存儲(chǔ)"（context memory storage）——用SSD來存儲(chǔ)更多的上下文。這個(gè)層級(jí)的延遲更高、帶寬更低，但容量可以達(dá)到HBM的一千倍。
最底層是數(shù)據(jù)中心里由海量SSD構(gòu)成的EB（艾字節(jié)）級(jí)網(wǎng)絡(luò)數(shù)據(jù)湖。這就是整個(gè)層次結(jié)構(gòu)的全貌。
Ben： 那么在今天，瓶頸最集中在哪里？無論是技術(shù)層面還是產(chǎn)能層面，痛點(diǎn)最突出的是什么？
Jeremy：DRAM和SSD，整個(gè)棧從上到下都有需求。我們一旦推出新產(chǎn)品，立刻就會(huì)被消化吸收；容量和性能一旦提升，客戶馬上就能找到部署方式?？梢哉f，全線都是瓶頸。
第八章：規(guī)?；?wù)數(shù)十億并發(fā)用戶
Ben： 從訓(xùn)練過渡到推理，讓我最為震撼的一點(diǎn)是：在訓(xùn)練場(chǎng)景中，只是少數(shù)人把訓(xùn)練任務(wù)扔給一堆計(jì)算節(jié)點(diǎn)，目標(biāo)就是跑完訓(xùn)練、輸出模型；而推理面臨的挑戰(zhàn)完全不同。我們即將邁入這樣一個(gè)階段——數(shù)千萬、數(shù)億乃至數(shù)十億用戶，將同時(shí)使用巨大的上下文窗口處理各自的任務(wù)。無數(shù)用戶在同一時(shí)刻，都需要海量?jī)?nèi)存來支撐他們的工作。我理解像TPU這樣的AI推理架構(gòu)是為此而生的，但就算有滿架的芯片，再加上你們提到的內(nèi)存擴(kuò)展設(shè)備，面對(duì)這種級(jí)別的并發(fā)，感覺問題還是極難解決。整個(gè)存儲(chǔ)器層次結(jié)構(gòu)中，什么能幫助解決這個(gè)問題？同時(shí)高并發(fā)命中所有這些用戶的工作負(fù)載，對(duì)存儲(chǔ)器的需求究竟是什么？
Jeremy：關(guān)鍵在于速度。如果瓶頸不在算力，而在內(nèi)存帶寬，那我們就必須提升帶寬，讓所有歷史上下文都能快速到達(dá)GPU。很大程度上，這取決于速度——這也是我們?cè)贖BM產(chǎn)品上持續(xù)高速創(chuàng)新的原因。我們剛剛發(fā)布了HBM4產(chǎn)品，其帶寬是上一代HBM3E的兩倍以上，而HBM3E在一年前還是行業(yè)前沿。
第九章：破解功耗與效率瓶頸
當(dāng)然，當(dāng)你持續(xù)提升性能時(shí)，就會(huì)遭遇其他瓶頸——尤其是在數(shù)據(jù)中心層面，而這也是長(zhǎng)期以來大多數(shù)人在AI部署上最關(guān)注的問題：功耗。
能否獲得足夠的電力來驅(qū)動(dòng)所有這些算力？能否充分發(fā)揮算力的效用？能否讓電力物盡其用？如果性能翻倍的同時(shí)功耗也翻倍，而電力總量固定，那實(shí)際上能提供給用戶的并沒有增加。所以，關(guān)鍵在于：如果電力供應(yīng)是增長(zhǎng)的瓶頸，我們就必須在固定功耗預(yù)算內(nèi)，大幅提升性能效率——這正是我們大量創(chuàng)新工作的核心所在。目標(biāo)是在不等比增加功耗的前提下，持續(xù)提升性能。
大家在存儲(chǔ)器領(lǐng)域經(jīng)常談帶寬——數(shù)據(jù)以什么速率傳輸。但現(xiàn)實(shí)遠(yuǎn)比這復(fù)雜。隨著整個(gè)棧中一些深層次的動(dòng)態(tài)變化正在發(fā)生，美光在這方面有一些很有意思的探索。要真正實(shí)現(xiàn)功耗效率的提升，必須深入了解推理的處理方式與細(xì)節(jié)，這反過來驅(qū)動(dòng)了大量的協(xié)同代碼設(shè)計(jì)需求——比如在GPU和存儲(chǔ)器之間，哪些計(jì)算該在哪個(gè)層級(jí)完成。這是當(dāng)下存儲(chǔ)器行業(yè)另一個(gè)深層次變革要素。
第十章：AI為何正在引發(fā)存儲(chǔ)短缺
Jay： 我想接著問一個(gè)讓我很感興趣的問題?？拷麲PU的存儲(chǔ)器、盡可能大的帶寬，這部分需求我很好理解。但聽起來存儲(chǔ)方面也面臨大面積短缺，不只是在計(jì)算側(cè)或GPU托盤上，而是覆蓋整個(gè)數(shù)據(jù)中心生態(tài)系統(tǒng)。這是為什么？
Jeremy： AI對(duì)存儲(chǔ)的需求來自幾個(gè)方面。首先，AI本身會(huì)生成大量數(shù)據(jù)。用過Grok或者刷過X（推特）的人都知道，AI圖像生成的速度之快，遠(yuǎn)超任何一個(gè)最熟練的表情包制作者，而所有這些內(nèi)容都會(huì)被存下來。我常說，大多數(shù)人都是數(shù)字囤積狂——我們不太舍得刪數(shù)據(jù)。
不僅如此，AI模型正在讓我們每個(gè)人——包括那些以前缺乏技術(shù)能力來實(shí)現(xiàn)創(chuàng)意的人——都能把想法變?yōu)楝F(xiàn)實(shí)，至少是數(shù)字現(xiàn)實(shí)。這是一場(chǎng)面向所有人的創(chuàng)意革命，我們都在創(chuàng)造更多數(shù)據(jù)。企業(yè)也同樣如此，AI讓他們能夠更好地創(chuàng)建和利用自己的數(shù)據(jù)。而要真正發(fā)揮AI的價(jià)值，最關(guān)鍵的是把所有數(shù)據(jù)都存放在可以被快速訪問的地方。
AI不只是創(chuàng)造數(shù)據(jù)，它還要訪問數(shù)據(jù)來提供洞察、解決問題、給出更好的答案。這就帶出了存儲(chǔ)領(lǐng)域的一個(gè)概念——"數(shù)據(jù)預(yù)熱"（warming）。我們通常把數(shù)據(jù)分為"熱數(shù)據(jù)"和"冷數(shù)據(jù)"。熱數(shù)據(jù)是指近期很可能被訪問的數(shù)據(jù)；冷數(shù)據(jù)則是那些基本上沒人會(huì)查的東西，比如十年前的稅單。但有了AI，你一提問，它就要翻遍所有數(shù)據(jù)來找答案——那些曾經(jīng)的冷數(shù)據(jù)，正在變暖。一切都在升溫。數(shù)據(jù)越熱，就需要越快的存儲(chǔ)，因?yàn)樵L問頻率大幅增加。
此外，還有另一個(gè)令人興奮的未來增長(zhǎng)點(diǎn)：由于沒有足夠的內(nèi)存來存儲(chǔ)所有KV緩存，數(shù)據(jù)中心SSD將迎來巨大的增量需求，用于存儲(chǔ)查詢調(diào)度和多輪對(duì)話工作流——如果用現(xiàn)有架構(gòu)來處理，就不得不反復(fù)經(jīng)歷我前面說的那種重新計(jì)算的循環(huán)。
第十一章：個(gè)人AI Agent與持久化內(nèi)存需求
Jay： 這正是我在使用AI過程中花了大量時(shí)間研究各種"框架"的原因——Open Claw、Hermes，各種新工具層出不窮。其中一個(gè)很重要的功能是跨模型的負(fù)載均衡，但還有一個(gè)更重要的部分是為AI創(chuàng)建持久化記憶。現(xiàn)在一個(gè)大問題是：你用AI Agent做了一件事，下次打開它什么都不記得了。
Jeremy： 這不會(huì)讓你抓狂嗎？就好像教一班學(xué)生，每天都要從教材第一頁重新開始。
Jay： 對(duì)，太形象了?，F(xiàn)在很多工具都聲稱"你得用這個(gè)、你得用那個(gè)"，本質(zhì)上都是在為AI Agent創(chuàng)建一個(gè)文件結(jié)構(gòu)來模擬記憶——這些都是變通方案。它背后的邏輯是：如果你給AI提供記憶，它的歷史就會(huì)存在內(nèi)存里。如果你離開一段時(shí)間，內(nèi)存要么繼續(xù)占著，要么需要卸載到SSD，等你回來時(shí)再讀回來。
Ben： 是的。我現(xiàn)在在Claude里管理著好幾個(gè)任務(wù)和項(xiàng)目，得很刻意地切換到對(duì)應(yīng)的項(xiàng)目或上下文窗口，不然會(huì)混在一起。而且我一直擔(dān)心每個(gè)項(xiàng)目最終都會(huì)把上下文窗口撐爆。這周跟很多人聊，大家都在推薦各種工具和"超級(jí)插件"——我覺得最終一定會(huì)有人做出一個(gè)更通用的框架，自動(dòng)幫你管理這一切。大家都會(huì)喜歡它，因?yàn)橛闷饋砗?jiǎn)單多了，但代價(jià)是消耗更多內(nèi)存。現(xiàn)在我手動(dòng)管理，確實(shí)比較高效，但我很愿意犧牲這種精細(xì)化控制，換來更流暢的體驗(yàn)——哪怕那意味著需要更多內(nèi)存，效率更低。
Jeremy：這正是我們觀察到的現(xiàn)象——上下文長(zhǎng)度，也就是你說的這個(gè)，目前正以每年30倍的速度增長(zhǎng)。
Ben（Jay）： 天哪。
Ben： 還有一件事讓我覺得難以置信：我現(xiàn)在和AI的交互——比如用ChatGPT或Claude——是一種碎片化的記憶配上碎片化的存儲(chǔ)。它只能看到一個(gè)"文件夾"，只有當(dāng)前上下文范圍內(nèi)的內(nèi)容是熱數(shù)據(jù)，我所有的數(shù)據(jù)并不全部可用。我最近才意識(shí)到，我電腦上的文件加起來有好幾個(gè)TB，絕大部分在AI的語境里都是冷數(shù)據(jù)。我非常想對(duì)AI說："喂，幫我找一下這個(gè)東西，"但它就是做不到。所以你說的那種場(chǎng)景——企業(yè)把全量數(shù)據(jù)上線，同時(shí)開放邊緣訪問——在我看來是AI價(jià)值的又一次階躍。當(dāng)你真正擁有所有數(shù)據(jù)的訪問權(quán)時(shí)，那將是質(zhì)變。但這同時(shí)也是一個(gè)需要我們解決大量難題的存儲(chǔ)與內(nèi)存問題。
第十二章：超大容量SSD的創(chuàng)新
Jeremy：正是如此。沿著這個(gè)方向，針對(duì)企業(yè)級(jí)大規(guī)模數(shù)據(jù)——加上我們剛才討論的功耗問題——我們最近發(fā)布了一款245TB的SSD，體積只比一副撲克牌稍大一點(diǎn)點(diǎn)。
引入這樣的產(chǎn)品，我們能夠大幅降低數(shù)據(jù)中心和企業(yè)在存儲(chǔ)上的功耗，同時(shí)將存儲(chǔ)的物理占地面積壓縮超過80%。功耗是一大瓶頸，數(shù)據(jù)中心的物理空間也是一大瓶頸，而讓存儲(chǔ)更靠近GPU也是未來的重要趨勢(shì)。所以，在更低的功耗占用下，釋放數(shù)據(jù)中心的潛力，提供更高的性能和更大的存儲(chǔ)容量，并且盡量靠近GPU——這是我在文件與對(duì)象存儲(chǔ)領(lǐng)域最為期待的事情之一。
Ben： 這種功耗的優(yōu)化是存儲(chǔ)技術(shù)本身的進(jìn)步，還是因?yàn)樵趩我惑w積中集成了更大的容量，減少了分散部署的開銷？能不能稍微展開講講功耗方面的機(jī)制？我認(rèn)為這一點(diǎn)非常關(guān)鍵——大家都認(rèn)同Jensen的基本邏輯：在固定的功耗預(yù)算內(nèi)，實(shí)現(xiàn)最大化的算力，這包括我們討論的所有基礎(chǔ)設(shè)施。所以，任何能降低功耗成本的創(chuàng)新都至關(guān)重要。
Jeremy： 當(dāng)然。首先，SSD相比機(jī)械硬盤，在提供性能方面本身就具有天然的功耗優(yōu)勢(shì)——從讀取角度看，根據(jù)工作負(fù)載不同，SSD的讀取性能可以達(dá)到機(jī)械硬盤的一千倍，而且沒有活動(dòng)部件，這從一開始就帶來了顯著的功耗節(jié)省。
但更大的收益來自大容量帶來的系統(tǒng)級(jí)整合效應(yīng)。245TB裝進(jìn)一個(gè)大約四分之一機(jī)械硬盤大小的空間里，而目前部署的機(jī)械硬盤容量大概在30TB出頭。這意味著你需要的網(wǎng)絡(luò)連接、線纜、機(jī)箱、電源模塊、散熱風(fēng)扇——所有圍繞著部署多出10倍設(shè)備而產(chǎn)生的附加成本——全都大幅減少。這些"附加"的東西都有實(shí)實(shí)在在的成本和功耗。把這些冗余全部消除掉，做到高度整合，最終你只需要為你真正需要的性能付費(fèi)，而這些性能是以更高效的每瓦特GB來交付的。
Ben： "每瓦特GB"這個(gè)指標(biāo)，我覺得是個(gè)很好的分析框架。
第十三章：加速工程創(chuàng)新的節(jié)奏
Ben： 聊聊你們?cè)谡麄€(gè)棧上正在推進(jìn)的創(chuàng)新工作。我想從兩個(gè)角度來看這件事。從歷史角度說，你有沒有感受到存儲(chǔ)器領(lǐng)域創(chuàng)新節(jié)奏加快的壓力？我一直以為——你可以糾正我——?dú)v史上存儲(chǔ)器，乃至存儲(chǔ)行業(yè)在某種程度上，在挑戰(zhàn)極限方面會(huì)相對(duì)保守，因?yàn)楹芏嗍虑楸仨氉鰧?duì)，良率不能出問題。這一點(diǎn)當(dāng)然沒有變——我不是說存儲(chǔ)器突然可以像邏輯芯片一樣接受50%的良率了，不可能。但我感覺現(xiàn)在是那種要踩下油門的時(shí)刻。你們是怎么看待這個(gè)問題的？又在哪些方向上著力解決？對(duì)于那些在存儲(chǔ)器與存儲(chǔ)領(lǐng)域?qū)Ｗ⒐?jiān)的工程師來說，這也是一段很特殊的時(shí)期。
Jeremy： 是的，一切都在加速：我們的時(shí)間線在加速，創(chuàng)新速度在加速，產(chǎn)品需要內(nèi)嵌的智能程度在加速，復(fù)雜度在加速，超級(jí)工廠（mega fab）的建設(shè)速度在加速。這是真實(shí)的挑戰(zhàn)，但也令人振奮。誰不希望每天來上班，到了晚上回頭一看才意識(shí)到自己幾乎沒有喘息過？我們以驚人的速度奔跑，這在美光是一種令人充滿活力的感受。
我們?cè)谧龅氖虑橹唬菗肀I技術(shù)本身。如何跑得更快？這個(gè)時(shí)代給了我們一個(gè)絕妙的工具——我不想說是"從天而降"，因?yàn)槲覀冏约阂矃⑴c了它的構(gòu)建——我們正在用它來加速自身的能力，提升良率更快，設(shè)計(jì)和研發(fā)更快，發(fā)現(xiàn)問題更快。所有那些傳統(tǒng)上存在的挑戰(zhàn)依然存在，但現(xiàn)在我們要更快、更好、更高效地完成所有事情：更快地流片，更快地迭代制程技術(shù)，在全球各地的工廠更快地完成設(shè)備安裝和產(chǎn)能爬坡——更快，更快，更快。一周只有七天，到了某個(gè)點(diǎn)你就必須尋找創(chuàng)新的方法。我們一直做到了，而現(xiàn)在AI是一個(gè)了不起的工具，正在幫助我們邁向下一個(gè)層級(jí)。
Ben： 在這一點(diǎn)上，我能想象客戶會(huì)直接來找你們說："我們需要你們實(shí)現(xiàn)這個(gè)，能做到嗎？"然后你們?nèi)ν度?，協(xié)助解決他們兩三年后將面臨的問題。這種在存儲(chǔ)器與存儲(chǔ)方面深度聯(lián)合優(yōu)化的合作模式，在美光與合作伙伴之間，一直是這樣嗎？
Jeremy： 我們一直保持著扎實(shí)、深入的技術(shù)合作。我們有趣的地方在于，需要與整個(gè)鏈條上的所有人協(xié)同——軟件提供商、CPU和GPU硬件設(shè)計(jì)商、制造工藝、系統(tǒng)集成商、數(shù)據(jù)中心建設(shè)方。我們可以和產(chǎn)業(yè)鏈上下游的每一個(gè)玩家攜手合作。但現(xiàn)在的合作深度，是前所未有的。這種深度聯(lián)合設(shè)計(jì)，正是回到我們一開始說的，這一次對(duì)存儲(chǔ)器行業(yè)而言真正不同的地方。
第十四章：市場(chǎng)的誤解與AI的未來潛力
Jay： 很有價(jià)值的分享。那么，你覺得市場(chǎng)上大家普遍還沒有意識(shí)到的是什么？有哪些誤解？
Jeremy： 我覺得人們看到大型云服務(wù)提供商和數(shù)據(jù)中心企業(yè)資本支出不斷攀升，會(huì)擔(dān)心這是否可持續(xù)。但我認(rèn)為，這些企業(yè)正在經(jīng)歷一場(chǎng)深刻的變革——就像我前面提到的，它將從根本上改變?nèi)祟惿鐣?huì)，解決無數(shù)難題：沒有醫(yī)療資源的人將能獲得診斷和外科建議；我們將以更快的速度實(shí)現(xiàn)創(chuàng)新；生產(chǎn)與制造將走向高度自動(dòng)化，提升全球數(shù)十億人的生活質(zhì)量。
當(dāng)然，并非所有事情在任何時(shí)刻都是清晰可見的——這些模型的商業(yè)變現(xiàn)何時(shí)轉(zhuǎn)化為實(shí)際營(yíng)收？他們的投入是否超過了當(dāng)下的能力？我的答案是：沒有。我認(rèn)為AI的潛力仍然超出大多數(shù)人的想象。
有趣的是，在硅谷，大家對(duì)AI的熱情高漲，很容易陷入自己的信息圈，因?yàn)橹車娜硕忌羁汤斫膺@項(xiàng)技術(shù)的深度，也知道各種令人興奮的進(jìn)展。但當(dāng)我和不在這個(gè)行業(yè)的朋友聊，情況就不一樣了。有的朋友確實(shí)說："這東西讓我能在自己的行業(yè)做出難以置信的事情"，他們真的在創(chuàng)新。但也有更多的朋友，他們看到的是LLM在ChatGPT上的表現(xiàn)和股市的波動(dòng)，卻并沒有真正看清楚未來二十年將會(huì)發(fā)生什么。而我完全相信那一切都會(huì)發(fā)生。
第十五章：全球超級(jí)工廠建設(shè)競(jìng)賽
Jay： 讓我問一個(gè)反面的問題。我們大概都同意，AI是真實(shí)的，只是大多數(shù)人還沒意識(shí)到它的潛力。這意味著隨著時(shí)間推移，人們會(huì)逐漸追上來——他們會(huì)意識(shí)到ChatGPT不只是用來生成搞笑表情包的，可以真正做嚴(yán)肅的工作。需求還在持續(xù)加速——但近期內(nèi)，存儲(chǔ)器行業(yè)能跟得上嗎？有沒有可能到了某個(gè)時(shí)間點(diǎn)，我們只能告訴用戶："不好意思，我們已經(jīng)盡力了，新工廠還沒投產(chǎn)，先等半年吧。"
Jeremy：坦率地說，從產(chǎn)能角度來看，那個(gè)時(shí)刻已經(jīng)到了。我們已經(jīng)跟不上需求了。
全球的工廠建設(shè)確實(shí)不夠用，而建一座工廠絕非易事。給你一些參考：我們目前在全球同時(shí)建設(shè)五座工廠。我們已宣布在愛達(dá)荷州博伊西建設(shè)一座60萬平方英尺的潔凈室；在紐約州北部啟動(dòng)了新工廠建設(shè)——這些項(xiàng)目正在把存儲(chǔ)器生產(chǎn)帶回美國(guó)本土，同時(shí)擴(kuò)充我們?cè)诟ゼ醽喼莸拇鎯?chǔ)器工廠，使美國(guó)成為存儲(chǔ)器的重要生產(chǎn)國(guó)。僅博伊西和紐約的工廠，每一座的車間面積就相當(dāng)于十個(gè)標(biāo)準(zhǔn)足球場(chǎng)大小。此外，我們宣布在新加坡的Nan Fab破土動(dòng)工以擴(kuò)大產(chǎn)能，擴(kuò)建日本的DRAM生產(chǎn)設(shè)施，并從臺(tái)灣PSMC收購了一座工廠。我們正在大力推進(jìn)建設(shè)以快速上線產(chǎn)能。
目前，整個(gè)行業(yè)受限于建筑施工和潔凈室空間，這種狀況短期內(nèi)不會(huì)改變。如何滿足需求，是我們面臨的最大挑戰(zhàn)。我們也在通過提升工藝技術(shù)來提高每平方英尺的芯片產(chǎn)出，從而在不擴(kuò)大面積的情況下多生產(chǎn)一些。但歸根結(jié)底，我們已經(jīng)沒能跟上需求，其他人也一樣——英特爾、英偉達(dá)、臺(tái)積電都在財(cái)報(bào)電話會(huì)上說：產(chǎn)能已經(jīng)滿了，工廠不是說長(zhǎng)就能長(zhǎng)出來的。
Ben： 而且回頭看整個(gè)對(duì)話，讓我感慨的是變化之快——就連一年前，我們都沒有聊過這些話題。很可能一年后，這里的一切又會(huì)大不一樣。但不管形勢(shì)怎么變，對(duì)算力的需求不會(huì)變；而我們正在解決的這些問題，會(huì)隨著更多算力、更多存儲(chǔ)器、更多存儲(chǔ)的到位，讓AI變得更有能力。我忘了是誰說的了，但有一句話我特別喜歡："你今天用的AI，是AI有史以來最蠢的。"然而感覺已經(jīng)相當(dāng)聰明了。你們正在解決的這些問題，正是讓AI更有用、更有價(jià)值的關(guān)鍵——而隨著AI越來越好，超大規(guī)模云廠商的變現(xiàn)能力也會(huì)提升，吸引更多用戶，創(chuàng)造更多價(jià)值。存儲(chǔ)器和存儲(chǔ)，是這一切的核心組成部分。
Jeremy： 說得好。
第十六章：結(jié)語
Ben： Jeremy，非常感謝你今天來到《The Circuit》，也感謝你的時(shí)間。歡迎隨時(shí)回來聊存儲(chǔ)器。感謝大家的收聽，希望這期節(jié)目對(duì)你們有所啟發(fā)，我們下周再見。
Jeremy： 謝謝大家，別忘了告訴你的朋友——還有你的AI Agent。