![]()
作者 | Dwarkesh Patel 翻譯 | 蘇宓
出品 | CSDN(ID:CSDNnews)
2023 年 6 月,英偉達(dá)市值剛剛站上 1 萬億美元;到了 2025 年 7 月,它成為全球首家市值突破 4 萬億美元的科技公司。再往后不到一年的時(shí)間,如今其已經(jīng)逼近 5 萬億美元關(guān)口。
一家起家于顯卡的公司,為什么能在 AI 時(shí)代一路“加速”,甚至改寫全球市值的天花板?答案顯然不只在 GPU 本身。
在最近一場長達(dá) 103 分鐘的深度對話中,英偉達(dá) CEO 黃仁勛接受知名主持人 Dwarkesh Patel 專訪,集中回應(yīng)了外界最關(guān)注的一系列問題:當(dāng)軟件被 AI 快速“商品化”,英偉達(dá)會(huì)不會(huì)也走向同樣的命運(yùn)?面對 Google TPU 的持續(xù)逼近,它的優(yōu)勢還能維持多久?在全球先進(jìn)制程產(chǎn)能高度緊張的背景下,英偉達(dá)如何真正“鎖住”供應(yīng)鏈?以及一個(gè)更具爭議的問題——如何看待芯片出口管制?
這些問題背后,指向的是同一個(gè)核心:英偉達(dá)的護(hù)城河,到底只是技術(shù)領(lǐng)先,還是一整套難以復(fù)制的產(chǎn)業(yè)能力。
在這場對話中,黃仁勛給出了非常直接的判斷以及一些獨(dú)特鮮明的看法,其表示:
輸入是電子,輸出是 token,中間就是英偉達(dá)。
如果未來幾年市場規(guī)模達(dá)到萬億美元級別,英偉達(dá)是有供應(yīng)鏈能力去承接的。
水管工和電工會(huì)成為 AI 行業(yè)“稀缺人才”。
曾經(jīng)我并沒有真正意識(shí)到,打造像 OpenAI、Anthropic 這樣的頂級 AI 實(shí)驗(yàn)室有多困難,也沒有意識(shí)到,這些實(shí)驗(yàn)室需要來自供應(yīng)商的巨額投資。這是我的失誤。
英偉達(dá)只做必要之事,盡可能少做額外之事。
如果世界分裂為兩大生態(tài):開源生態(tài)僅運(yùn)行于外國技術(shù)棧,封閉生態(tài)依附于美國技術(shù)棧,這對美國而言將是極度愚蠢的結(jié)果。
認(rèn)為中國無法獲得 AI 芯片的說法,完全是無稽之談。
![]()
原文采訪地址:https://www.dwarkesh.com/p/jensen-huang
![]()
英偉達(dá)最大的護(hù)城河,是它對稀缺供應(yīng)鏈的掌控嗎?
Dwarkesh Patel:我們已經(jīng)看到,一批軟件公司的估值出現(xiàn)下跌,因?yàn)榇蠹翌A(yù)期 AI 會(huì)讓軟件變成“同質(zhì)化商品”。有一種可能比較直觀、但也有點(diǎn)天真的理解方式是這樣的:你看,英偉達(dá)把一個(gè) GDS2 文件(集成電路或 IC 布局圖稿電子設(shè)計(jì)自動(dòng)化 (EDA) 數(shù)據(jù)交換的事實(shí)行業(yè)標(biāo)準(zhǔn))交給臺(tái)積電,由臺(tái)積電來制造邏輯芯片和交換機(jī),再和 SK 海力士、美光、三星生產(chǎn)的 HBM 一起封裝。之后,這些組件被送到臺(tái)灣的 ODM 廠商那里組裝成整機(jī)機(jī)架。
從這個(gè)角度看,英偉達(dá)本質(zhì)上是在做軟件,而制造是由別人完成的。如果軟件最終被“商品化”了,那英偉達(dá)會(huì)不會(huì)也被商品化?
黃仁勛:歸根結(jié)底,總得有東西把“電子”層面的計(jì)算轉(zhuǎn)化為“token”。而這個(gè)從電子到 token 的轉(zhuǎn)化過程,以及讓這些 token 隨時(shí)間變得更有價(jià)值,本質(zhì)上是很難被完全商品化的。
從電子到 token 的轉(zhuǎn)化,是一段非常不可思議的旅程。創(chuàng)造一個(gè) token,就像是讓一個(gè)分子比另一個(gè)分子更有價(jià)值,讓一個(gè) token 比另一個(gè)更有價(jià)值。為了讓這個(gè) token 具備價(jià)值,整個(gè)行業(yè)在其背后投入了大量的藝術(shù)、工程、科學(xué)和發(fā)明。我們現(xiàn)在正實(shí)時(shí)見證這一切的發(fā)生。這個(gè)轉(zhuǎn)化過程、制造過程,以及其中涉及的所有科學(xué)原理,都遠(yuǎn)沒有被完全理解,這條路也遠(yuǎn)遠(yuǎn)沒有走完。所以我不認(rèn)為它會(huì)變成一種簡單的商品。
當(dāng)然,我們會(huì)不斷提升效率。你剛才描述問題的方式,其實(shí)和我看待我們公司的方式是一樣的:輸入是電子,輸出是 token,中間就是英偉達(dá)。
我們的工作,是在這個(gè)轉(zhuǎn)化過程中“做盡可能多必要的事,同時(shí)盡可能少地做不必要的事”。所謂“盡可能少”,就是凡是不需要我們親自做的部分,我們就和合作伙伴一起完成,把它納入我們的生態(tài)體系。
如果你看今天的英偉達(dá),我們可能擁有最大的合作伙伴生態(tài)之一——無論是上游供應(yīng)鏈,還是下游的整機(jī)廠商、應(yīng)用開發(fā)者、模型開發(fā)者。
如果把 AI 比作一個(gè)“”,我們在這五層里都有完整的生態(tài)布局。我們盡量少做,但那些必須由我們來做的部分,恰恰是極其困難的。我不認(rèn)為這些核心能力會(huì)被商品化。
事實(shí)上,我也不認(rèn)同“企業(yè)軟件會(huì)被邊緣化”的看法。現(xiàn)在的大多數(shù)軟件公司,本質(zhì)上都是“工具制造商”。當(dāng)然,也有一些不是,比如工作流編排系統(tǒng)。但大量公司本質(zhì)上是在做工具。舉個(gè)例子,Excel 是工具,PowerPoint 是工具,Cadence 做的是工具,Synopsys 也是做工具。
而我看到的趨勢,恰恰和很多人相反。我認(rèn)為,Agent 的數(shù)量會(huì)指數(shù)級增長,而使用這些工具的“用戶”數(shù)量也會(huì)指數(shù)級增長。換句話說,這些工具的使用實(shí)例數(shù)量,很可能會(huì)暴漲。比如,Synopsys Design Compiler 的使用實(shí)例很可能會(huì)大幅增加,同時(shí)使用 floor planner(布局規(guī)劃工具)、版圖工具、設(shè)計(jì)規(guī)則檢查工具的 Agent 數(shù)量也會(huì)激增。
今天我們的瓶頸在于工程師數(shù)量,而未來,這些工程師會(huì)被大量 Agent 輔助。我們將以前所未有的方式探索設(shè)計(jì)空間,而所使用的,依然是今天這些工具。
我認(rèn)為,正是“工具使用”的爆發(fā),會(huì)推動(dòng)軟件公司的增長。之所以現(xiàn)在還沒有發(fā)生,是因?yàn)?Agent 還不夠擅長使用這些工具。接下來,要么這些公司自己去做 Agent,要么 Agent 本身變得足夠強(qiáng)大,能夠熟練使用這些工具。我覺得最終會(huì)是兩者的結(jié)合。
Dwarkesh Patel:我記得在你們最近的財(cái)報(bào)中提到,英偉達(dá)在晶圓廠、內(nèi)存和封裝方面的采購承諾接近 1000 億美元。SemiAnalysis 的報(bào)道甚至說,這類采購承諾可能會(huì)達(dá)到 2500 億美元。
有一種解讀是,英偉達(dá)真正的護(hù)城河,其實(shí)是你們鎖定了未來幾年大量稀缺的關(guān)鍵組件。也就是說,別人或許也能設(shè)計(jì)出加速器,但他們真的能拿到足夠的內(nèi)存來生產(chǎn)嗎?能拿到足夠的邏輯芯片嗎?這是不是英偉達(dá)未來幾年的核心優(yōu)勢所在?
黃仁勛:這確實(shí)是我們能做到、而別人很難做到的事情之一。我們在上游做了非常巨大的投入和承諾。一部分是公開的,也就是你剛才提到的那些采購承諾;另一部分是隱性的。比如說,上游供應(yīng)鏈中有大量投資,其實(shí)是我們的合作伙伴自己做出的。原因在于,我會(huì)和這些公司的 CEO 交流:“讓我告訴你這個(gè)行業(yè)未來會(huì)有多大,我來解釋為什么會(huì)這樣,我們一起推演這個(gè)邏輯,我也會(huì)把我看到的趨勢講給你聽。”
在這個(gè)“傳遞信息、激發(fā)信心、對齊認(rèn)知”的過程中,上游各個(gè)行業(yè)的 CEO 會(huì)愿意投入資金。那為什么他們愿意為我投資,而不是為別人?因?yàn)樗麄冎溃矣心芰Π阉麄兊漠a(chǎn)能消化掉,并通過下游市場把產(chǎn)品賣出去。事實(shí)上,英偉達(dá)的下游需求規(guī)模非常大,我們的出貨能力也很強(qiáng),因此他們愿意在上游進(jìn)行投入。
如果你看 ,很多人都會(huì)驚嘆它的規(guī)模和參會(huì)者陣容。那其實(shí)是一個(gè) 360 度的全景——整個(gè) AI 生態(tài)幾乎都匯聚在一個(gè)地方,可謂包羅萬象。之所以大家都會(huì)來,是因?yàn)樗麄冃枰舜私涣鳌?/p>
我把這些人聚在一起,讓下游能看到上游,上游也能看到下游,同時(shí)讓所有人都能看到 AI 的最新進(jìn)展。更重要的是,他們還能接觸到那些“原生 AI 公司”、各種 AI 初創(chuàng)企業(yè),以及正在發(fā)生的各種創(chuàng)新,從而親眼驗(yàn)證我平時(shí)告訴他們的那些判斷。我花了大量時(shí)間,以直接或間接的方式,讓我們的供應(yīng)鏈、合作伙伴以及整個(gè)生態(tài)系統(tǒng)理解眼前的機(jī)會(huì)。
有些人會(huì)說:“Jensen,你的主題演講總是一項(xiàng)接一項(xiàng)發(fā)布新東西。”但實(shí)際上,我們的 Keynote 有一部分聽起來甚至有點(diǎn)“像在上課”,甚至有點(diǎn)“折磨人”。但這正是我有意為之。
我需要確保整個(gè)供應(yīng)鏈,無論是上游還是下游以及整個(gè)生態(tài),都能理解接下來會(huì)發(fā)生什么、為什么會(huì)發(fā)生、什么時(shí)候發(fā)生、規(guī)模有多大,并且能像我一樣,用系統(tǒng)性的方式去推演這些事情。
至于你說的“護(hù)城河”,我們確實(shí)具備為未來構(gòu)建能力的條件。如果未來幾年市場規(guī)模達(dá)到萬億美元級別,我們是有供應(yīng)鏈能力去承接的。
如果沒有我們現(xiàn)在這樣的覆蓋范圍和業(yè)務(wù)運(yùn)轉(zhuǎn)速度——不僅僅是現(xiàn)金流,還有供應(yīng)鏈的流動(dòng)速度、庫存周轉(zhuǎn)——是做不到這一點(diǎn)的。沒有人會(huì)為一種架構(gòu)去建立完整供應(yīng)鏈,除非這個(gè)業(yè)務(wù)本身的周轉(zhuǎn)足夠快、規(guī)模足夠大。
我們之所以能夠維持這樣的規(guī)模,本質(zhì)上是因?yàn)橄掠涡枨髽O其強(qiáng)勁。而這些需求,上游也看得到、聽得到,他們知道這一切正在發(fā)生。正是這一點(diǎn),讓我們能夠以現(xiàn)在這樣的規(guī)模,去做我們正在做的事情。
Dwarkesh Patel:我想更具體地理解一下,上游供應(yīng)鏈?zhǔn)欠裾娴哪芨稀_^去很多年里,你們的營收幾乎每年都在翻倍增長,同時(shí)每年向世界提供的算力(FLOPS)也在三倍以上增長。
黃仁勛:在現(xiàn)在這個(gè)規(guī)模下還能做到翻倍增長,其實(shí)已經(jīng)非常驚人了。
Dwarkesh Patel:確實(shí)。但如果看邏輯層面,你們是臺(tái)積電 N3 制程最大的客戶之一,在 N2 上也是最大客戶之一。而根據(jù) SemiAnalysis 的數(shù)據(jù),今年整個(gè) AI 已經(jīng)占到 N3 產(chǎn)能的 60%,明年可能會(huì)達(dá)到 86%。
如果你已經(jīng)是市場里的主導(dǎo)者,要怎么實(shí)現(xiàn)“翻倍增長”?而且還是一年接一年地持續(xù)翻倍?我們現(xiàn)在是不是已經(jīng)進(jìn)入這樣一種階段:因?yàn)樯嫌喂┙o的限制,AI 算力的增長速度不得不放緩?你有沒有看到繞開這種瓶頸的可能性?從根本上來說,我們要怎么做到每年把晶圓廠規(guī)模再擴(kuò)大一倍?
黃仁勛:在某種層面上,全球在某一時(shí)刻的瞬時(shí)需求,確實(shí)已經(jīng)超過了上下游的總供給。甚至在任何一個(gè)瞬間,我們都可能被“水管工”數(shù)量限制住,這種情況確實(shí)發(fā)生過。
不過,這其實(shí)也是一種理想狀態(tài)。你會(huì)希望處在這樣一個(gè)行業(yè)里:瞬時(shí)需求大于整個(gè)行業(yè)的總供給。反過來的情況顯然就沒那么好了。如果供需差距拉得太大,或者某個(gè)關(guān)鍵環(huán)節(jié)嚴(yán)重短缺,那么整個(gè)行業(yè)就會(huì)“蜂擁而上”去解決它。比如你可以注意到,現(xiàn)在大家已經(jīng)不太怎么討論 CoWoS 了。
原因就是過去兩年,我們對這個(gè)環(huán)節(jié)進(jìn)行了大規(guī)模的“圍攻式擴(kuò)張”:翻倍、再翻倍、連續(xù)幾輪翻倍。現(xiàn)在情況已經(jīng)改善很多。臺(tái)積電現(xiàn)在非常清楚,CoWoS 的供給必須跟上邏輯芯片和內(nèi)存的需求。他們正在以和邏輯制程相同的節(jié)奏擴(kuò)展 CoWoS 以及未來的封裝技術(shù)。
這其實(shí)是件好事。因?yàn)樵诤荛L一段時(shí)間里,CoWoS 和 HBM 內(nèi)存都屬于“特殊工藝”,但現(xiàn)在它們已經(jīng)不再是小眾技術(shù),而是主流計(jì)算基礎(chǔ)設(shè)施的一部分。
當(dāng)然,我們現(xiàn)在也更有能力去影響更大范圍的供應(yīng)鏈了。在 AI 革命剛開始的時(shí)候,我現(xiàn)在說的這些判斷,其實(shí)五年前就已經(jīng)在講了。有些人相信并提前投入了,比如 Sanjay 和美光(Micron)團(tuán)隊(duì)。我還清楚記得當(dāng)時(shí)那次會(huì)議,我非常明確地講了這個(gè)行業(yè)會(huì)發(fā)生什么、為什么會(huì)發(fā)生,以及今天這些結(jié)果是怎么一步步走來的。他們選擇了加大投入。我們在 LPDDR 和 HBM 內(nèi)存上深度合作,他們也做了大規(guī)模投資,這對公司來說顯然是非常成功的。有些人來得晚一點(diǎn),但現(xiàn)在大家都已經(jīng)進(jìn)入這個(gè)體系了。
這些瓶頸問題都受到了高度關(guān)注。現(xiàn)在,我們正在提前數(shù)年預(yù)先解決這些瓶頸問題。比如過去幾年,我們和 Lumentum、Coherent 以及整個(gè)硅光子生態(tài)系統(tǒng)的合作,已經(jīng)在重塑供應(yīng)鏈結(jié)構(gòu)。我們圍繞臺(tái)積電構(gòu)建了一整套供應(yīng)體系,并與他們在 COUPE 等技術(shù)上合作,發(fā)明了很多新技術(shù),還把相關(guān)專利授權(quán)給供應(yīng)鏈,以保持整個(gè)生態(tài)的開放性。
我們通過發(fā)明新技術(shù)、新工作流、新測試設(shè)備(比如雙面探測),以及對企業(yè)進(jìn)行投資,幫助它們擴(kuò)產(chǎn),來提前準(zhǔn)備供應(yīng)鏈。你可以看到,我們其實(shí)是在主動(dòng)塑造整個(gè)生態(tài)系統(tǒng),讓供應(yīng)鏈能夠承載未來的規(guī)模。
Dwarkesh Patel:看起來有些瓶頸比其他瓶頸更容易解決。
黃仁勛:其實(shí)我剛才已經(jīng)說到最難的那個(gè)瓶頸了。
Dwarkesh Patel:哪個(gè)?
黃仁勛:水管工和電工。這其實(shí)也引出了我對“工作消失論”的擔(dān)憂。有些人認(rèn)為 AI 會(huì)終結(jié)工作、消滅就業(yè)。但如果我們讓年輕人不再愿意當(dāng)軟件工程師,那未來反而會(huì)出現(xiàn)軟件工程師短缺。
十年前也發(fā)生過類似的預(yù)測。當(dāng)時(shí)一些“末日論者”說:“千萬別去做放射科醫(yī)生,這個(gè)職業(yè)很快會(huì)被 AI 取代。”你現(xiàn)在還能在網(wǎng)上看到這些視頻。但現(xiàn)實(shí)是,我們現(xiàn)在反而缺放射科醫(yī)生。
Dwarkesh Patel:如果從制造角度看,要每年把邏輯芯片產(chǎn)能翻倍,但最終無論是內(nèi)存還是邏輯,都被光刻(EUV)設(shè)備限制。那你們怎么做到每年 EUV 數(shù)量翻倍?
黃仁勛:這些東西其實(shí)都不是“無法擴(kuò)展”的。只要有需求信號(hào),在兩三年時(shí)間內(nèi),它們都是可以擴(kuò)展的。一旦你能造一臺(tái),就能造十臺(tái);一旦能造十臺(tái),就能造一百萬臺(tái)。這些都不是本質(zhì)上難以復(fù)制的東西。
Dwarkesh Patel:那你們會(huì)往供應(yīng)鏈下游推進(jìn)到什么程度?你會(huì)直接去找 ASML 說:“如果三年后英偉達(dá)做到 2 萬億美元規(guī)模,我們需要更多 EUV 光刻機(jī)”嗎?
黃仁勛:有些事情我會(huì)直接去溝通,有些是間接影響。如果我能說服臺(tái)積電,ASML 自然也會(huì)被說服。關(guān)鍵在于識(shí)別供應(yīng)鏈中的“卡點(diǎn)”。只要臺(tái)積電被說服,EUV 的供給在幾年后自然會(huì)跟上。
我的核心觀點(diǎn)是:沒有哪個(gè)瓶頸會(huì)持續(xù)超過兩三年,所有瓶頸最終都會(huì)被解決。與此同時(shí),我們還在不斷提升計(jì)算效率——10 倍、20 倍,在 Hopper 到 Blackwell 之間甚至是 30 到 50 倍的提升。
我們還在通過 CUDA 的靈活性不斷發(fā)明新算法、新技術(shù),進(jìn)一步提升效率。所以這些都不會(huì)讓我擔(dān)心。
真正讓我更在意的是下游問題,比如能源政策。如果能源受限,就無法建立新的工業(yè)體系。你不可能在沒有能源的情況下建立一個(gè)制造業(yè)帝國。
我們希望推動(dòng)美國再工業(yè)化:把芯片制造、計(jì)算機(jī)制造、封裝產(chǎn)業(yè)帶回來,同時(shí)發(fā)展電動(dòng)車、機(jī)器人,以及 AI 工廠。但這一切都離不開能源,而且能源基礎(chǔ)設(shè)施的建設(shè)是非常長期的。
芯片產(chǎn)能擴(kuò)張是兩三年的問題,CoWoS 擴(kuò)產(chǎn)也是兩三年的問題。
![]()
TPU 會(huì)動(dòng)搖英偉達(dá)在 AI 算力上的統(tǒng)治嗎?
Dwarkesh Patel:我想聊聊你的競爭對手。如果看 TPU,你會(huì)發(fā)現(xiàn)世界上最頂尖的三個(gè)模型里,有兩個(gè)——Claude 和 Gemini——都是在 TPU 上訓(xùn)練的。這對英偉達(dá)未來意味著什么?
黃仁勛:我們做的是完全不同的東西。英偉達(dá)構(gòu)建的是“加速計(jì)算”,而不是某種單一的張量處理單元。加速計(jì)算可以用于非常多領(lǐng)域:分子動(dòng)力學(xué)、量子色動(dòng)力學(xué)、數(shù)據(jù)處理、結(jié)構(gòu)化與非結(jié)構(gòu)化數(shù)據(jù)分析,也可以用于流體力學(xué)和粒子物理。當(dāng)然,也包括 AI。
加速計(jì)算的應(yīng)用范圍要廣得多。雖然今天大家討論的焦點(diǎn)是 AI,而且它確實(shí)非常重要,但計(jì)算本身的范圍遠(yuǎn)不止于此。
英偉達(dá)所做的,其實(shí)是重新定義了計(jì)算方式——從通用計(jì)算轉(zhuǎn)向加速計(jì)算。我們的市場覆蓋面,遠(yuǎn)遠(yuǎn)大于任何 TPU 或 ASIC 能觸及的范圍。
如果看我們的定位,我們是唯一一家可以加速各種不同應(yīng)用的公司。我們擁有一個(gè)極其龐大的生態(tài)系統(tǒng),各種框架和算法都可以運(yùn)行在英偉達(dá)平臺(tái)上。
因?yàn)槲覀兊挠?jì)算機(jī)是設(shè)計(jì)給“別人來使用”的,所以任何運(yùn)營者都可以購買并使用我們的系統(tǒng)。而很多自研系統(tǒng)并沒有這種靈活性,它們往往只能自己用,因?yàn)闆]有為外部用戶設(shè)計(jì)。
正因?yàn)槿魏稳硕寄苁褂梦覀兊南到y(tǒng),我們才得以進(jìn)入所有云平臺(tái),包括 Google、Amazon、Azure 和 OCI。
如果你要把系統(tǒng)作為服務(wù)出租,那你必須擁有足夠大的客戶生態(tài)作為“下游承接”。如果是自用型部署,我們也可以幫客戶自己運(yùn)營,比如我們?yōu)轳R斯克和 xAI 做的那樣。
無論是在企業(yè)內(nèi)部、還是跨行業(yè)使用,我們都能支持運(yùn)營,比如 Lilly 這樣的公司,可以用我們的系統(tǒng)構(gòu)建用于科學(xué)研究和藥物發(fā)現(xiàn)的超級計(jì)算機(jī),我們也能幫助他們運(yùn)行這些系統(tǒng),并支持整個(gè)藥物研發(fā)和生物科學(xué)的計(jì)算流程。
我們能覆蓋的應(yīng)用場景非常多,這是 TPU 做不到的。英偉達(dá)的 CUDA 不僅可以當(dāng)作優(yōu)秀的張量處理工具,它還能覆蓋數(shù)據(jù)處理、計(jì)算、AI 等整個(gè)生命周期。因此我們的市場機(jī)會(huì)更大,覆蓋范圍也更廣。
現(xiàn)在,因?yàn)槲覀冎С秩蛩袘?yīng)用,你可以在任何地方構(gòu)建英偉達(dá)系統(tǒng),并且知道一定會(huì)有客戶使用它。這是完全不同的一件事。
Dwarkesh Patel:你們的營收非常驚人,但并不是靠量子計(jì)算賺到每季度 600 億美元的,而是因?yàn)?AI 這一前所未有的技術(shù)正在以極快速度增長。所以問題是:對 AI 本身來說,什么架構(gòu)更優(yōu)?
我和一些 AI 研究人員聊過,他們說:“TPU 是一個(gè)巨大的脈動(dòng)陣列,非常適合做矩陣乘法;而 GPU 更靈活,適合有分支結(jié)構(gòu)或不規(guī)則內(nèi)存訪問的情況。”
但 AI 本身不就是大量重復(fù)的矩陣乘法嗎?如果是這樣,你其實(shí)不需要為線程調(diào)度器、warp scheduler 或不同內(nèi)存銀行之間的切換浪費(fèi)芯片面積。
TPU 看起來就是為當(dāng)前 AI 計(jì)算爆發(fā)式增長的核心需求量身定制的。我想知道你怎么回應(yīng)這種說法。
黃仁勛:矩陣乘法確實(shí)是 AI 的重要組成部分,但它不是全部。
如果你想設(shè)計(jì)一種新的注意力機(jī)制,用不同方式拆分計(jì)算,或者發(fā)明一種全新的架構(gòu)——比如混合 SSM 模型——你需要的是一個(gè)“通用可編程”的架構(gòu)。
如果你想把擴(kuò)散模型和自回歸模型融合在一起,你同樣需要可編程的系統(tǒng)。我們可以運(yùn)行你能想到的任何模型,這正是優(yōu)勢所在。
這種通用性讓新算法的發(fā)明變得更容易,而 AI 的進(jìn)步,本質(zhì)上正是由算法創(chuàng)新驅(qū)動(dòng)的。
TPU 和其他芯片一樣,都受制于摩爾定律,大概每年提升 25%。但如果你想實(shí)現(xiàn) 10 倍甚至 100 倍的躍遷,就必須改變算法本身以及計(jì)算方式。
這正是英偉達(dá)的核心優(yōu)勢。Blackwell 到 Hopper 能做到 50 倍提升,這不是靠摩爾定律實(shí)現(xiàn)的。當(dāng)我第一次說 Blackwell 會(huì)比 Hopper 節(jié)能 35 倍時(shí),沒人相信。后來有人甚至寫文章說我“保守了”,其實(shí)是 50 倍。
這種提升不可能僅靠硬件工藝實(shí)現(xiàn)。
我們是通過新模型來做到的,比如 MoE(專家混合模型),把計(jì)算并行化、解耦并分布到整個(gè)系統(tǒng)中。
如果沒有 CUDA 這種能力去深入開發(fā)新的 kernel,要做到這一點(diǎn)幾乎是不可能的。
真正關(guān)鍵的是:我們架構(gòu)的可編程性,以及英偉達(dá)作為一個(gè)“極致協(xié)同設(shè)計(jì)公司”的能力。
我們甚至可以把計(jì)算下放到不同層級,比如 NVLink 互連層,或者 Spectrum-X 網(wǎng)絡(luò)層,在處理器、系統(tǒng)、互聯(lián)結(jié)構(gòu)、庫函數(shù)和算法多個(gè)層面同時(shí)優(yōu)化。
如果沒有 CUDA,我甚至不知道從哪里開始做這些事情。
Dwarkesh Patel:這引出了一個(gè)關(guān)于英偉達(dá)客戶群體的有趣問題。你們 60% 的收入都來自這五大超大規(guī)模云服務(wù)商。在客戶群體不同的另一個(gè)時(shí)代——比如做實(shí)驗(yàn)的教授們——他們離不開 CUDA,沒法使用其他加速芯片,只需要搭載 CUDA 運(yùn)行 PyTorch,讓所有程序?qū)崿F(xiàn)最優(yōu)適配即可。
但這些超算服務(wù)商有足夠的資源自行編寫內(nèi)核。事實(shí)上,為了在自身特定架構(gòu)上榨取最后 5% 的性能,他們也必須這么做。Anthropic 和谷歌主要使用自研加速芯片,或是 TPU、Trainium 芯片。就連采用 GPU 的 OpenAI,也自研了 Triton,因?yàn)樗麄冃枰獙賰?nèi)核。他們摒棄了 cuBLAS 和 NCCL 庫,轉(zhuǎn)而使用 CUDA C++ 底層開發(fā),搭建了一套可兼容其他加速芯片的自有技術(shù)棧。如果你的大部分客戶都有能力、也確實(shí)在替代 CUDA,那么 CUDA 究竟在多大程度上,才是推動(dòng)前沿 AI 依托英偉達(dá)平臺(tái)發(fā)展的核心關(guān)鍵?
黃仁勛:CUDA 是一個(gè)龐大完善的生態(tài)系統(tǒng)。想要在任何計(jì)算機(jī)平臺(tái)上開發(fā)產(chǎn)品,優(yōu)先基于 CUDA 搭建都是極為明智的選擇。因?yàn)檫@個(gè)生態(tài)足夠豐富,我們支持所有主流框架。即便你想開發(fā)定制內(nèi)核也沒問題——比如我們就為 Triton 投入了大量技術(shù)支持,Triton 的后端集成了大量英偉達(dá)的核心技術(shù)。
我們樂于助力每一個(gè)框架發(fā)揮最大價(jià)值。市面上的框架數(shù)不勝數(shù),除了 Triton,還有 vLLM、SGLang 等。如今還涌現(xiàn)出一批全新的強(qiáng)化學(xué)習(xí)框架,比如 Verl 和 NeMo RL。隨著模型后訓(xùn)練與強(qiáng)化學(xué)習(xí)技術(shù)的發(fā)展,整個(gè)領(lǐng)域都在飛速擴(kuò)張。因此,選擇基于 CUDA 搭建技術(shù)架構(gòu)是最合理的,你能享受到成熟完善的生態(tài)支持。
你會(huì)清楚,一旦程序出現(xiàn)問題,大概率是自身代碼的漏洞,而非底層龐大代碼庫的故障。別忘了搭建這類系統(tǒng)時(shí),你要處理的代碼量極其龐大。當(dāng)程序運(yùn)行異常時(shí),你總希望問題出在自己身上,同時(shí)能完全信任底層硬件。誠然,我們的系統(tǒng)也存在不少漏洞,但經(jīng)過反復(fù)打磨優(yōu)化,至少能為開發(fā)者提供穩(wěn)固的開發(fā)基礎(chǔ)。這是第一點(diǎn):CUDA 生態(tài)的豐富性、可編程性與功能性。
第二點(diǎn),對于任何開發(fā)者而言,最重要的莫過于龐大的裝機(jī)量。你希望自己編寫的軟件能在海量設(shè)備上運(yùn)行,而非僅服務(wù)于自身。作為框架開發(fā)者,你的產(chǎn)品是為自家服務(wù)器集群,乃至所有廠商的服務(wù)器集群服務(wù)的。英偉達(dá)的 CUDA 生態(tài),正是我們最核心的財(cái)富。
目前我們的 GPU 裝機(jī)量已達(dá)數(shù)億臺(tái),各大云服務(wù)商均有部署,產(chǎn)品線覆蓋 A10、A100、H100、H200,以及 L 系列、P 系列等多個(gè)型號(hào),規(guī)格形態(tài)十分豐富。如果是機(jī)器人企業(yè),還能讓 CUDA 技術(shù)棧直接運(yùn)行在機(jī)器人本體上。我們的產(chǎn)品幾乎無處不在。龐大的裝機(jī)量意味著,你開發(fā)的軟件或模型,能在所有場景中發(fā)揮作用,這一價(jià)值無可估量。
最后一點(diǎn),我們的產(chǎn)品覆蓋所有云平臺(tái),這是獨(dú)一無二的優(yōu)勢。對于 AI 企業(yè)或開發(fā)者來說,往往無法確定最終合作的云服務(wù)商,也不確定部署場景。而我們的技術(shù)能適配所有平臺(tái),也支持本地部署。正是生態(tài)的豐富性、裝機(jī)量的廣泛性,以及部署場景的靈活性,讓 CUDA 具備了不可替代的價(jià)值。
Dwarkesh Patel:這很有道理。我真正好奇的是,這些優(yōu)勢對你的核心客戶而言究竟有多重要。這類優(yōu)勢對很多人或許意義重大,但貢獻(xiàn)你大部分收入的,恰恰是那些有能力自建軟件棧的客戶。尤其在未來,AI 在具備嚴(yán)密驗(yàn)證閉環(huán)、可進(jìn)行強(qiáng)化學(xué)習(xí)的任務(wù)上會(huì)表現(xiàn)得愈發(fā)出色……如何寫出能在大規(guī)模場景下最高效實(shí)現(xiàn)注意力機(jī)制或多層感知機(jī)計(jì)算的內(nèi)核,這本身就是一個(gè)驗(yàn)證性極強(qiáng)的反饋閉環(huán)。
所有超大規(guī)模云服務(wù)商都能為自己編寫這類定制內(nèi)核嗎?英偉達(dá)依然擁有出色的性價(jià)比,所以他們或許仍會(huì)選擇英偉達(dá)。但問題在于,這會(huì)不會(huì)最終變成單純比拼誰能在同等成本下提供更好的參數(shù)、更高的算力與內(nèi)存帶寬。而過去,英偉達(dá)憑借 CUDA 的護(hù)城河,在整個(gè) AI 軟硬件領(lǐng)域一直保持著業(yè)內(nèi)最高的利潤率,超過 70%。關(guān)鍵問題是,如果你的大部分客戶都有能力自建技術(shù)棧,不再依賴 CUDA 護(hù)城河,你還能維持這樣的利潤率嗎?
黃仁勛:我們派駐到這些 AI 實(shí)驗(yàn)室的工程師數(shù)量極其龐大,全程與他們協(xié)作,優(yōu)化其技術(shù)棧。原因很簡單,沒有人比我們更了解自己的架構(gòu)。這類架構(gòu)并不像 CPU 那樣通用。CPU 就像一輛凱迪拉克,行駛平穩(wěn)舒適,速度不會(huì)太快,誰都能輕松駕駛,配有定速巡航,一切都很簡單。
但在很多層面上,英偉達(dá)的 GPU、加速芯片就像 F1 賽車。我想每個(gè)人都能把它開到一百英里每小時(shí),但要將其性能壓榨到極限,則需要極高的專業(yè)能力。我們運(yùn)用大量 AI 技術(shù)來開發(fā)現(xiàn)有的內(nèi)核。
我很確定,在未來相當(dāng)長一段時(shí)間里,我們依然不可或缺。我們的專業(yè)技術(shù)常常能輕松幫助 AI 實(shí)驗(yàn)室合作伙伴將其技術(shù)棧性能再提升一倍。經(jīng)過我們對其技術(shù)棧或特定內(nèi)核的優(yōu)化,模型速度提升 2 倍、3 倍甚至 50% 的情況屢見不鮮。
這是極為可觀的提升,尤其考慮到他們所擁有的服務(wù)器集群規(guī)模,以及大量 Hopper 和 Blackwell 架構(gòu)芯片。性能提升一倍,就意味著收入直接翻倍,這會(huì)直接轉(zhuǎn)化為營收。
英偉達(dá)的計(jì)算棧擁有全球無可匹敵的最優(yōu)總擁有成本性價(jià)比。沒有任何一家廠商能向我證明,當(dāng)下全球有任何一個(gè)平臺(tái)的性能總擁有成本比我們更出色。一家都沒有。事實(shí)上,現(xiàn)有基準(zhǔn)測試已經(jīng)說明了一切。Dylan 的 InferenceMAX 基準(zhǔn)測試工具對所有人開放,卻沒有一家競品參與……谷歌 TPU 參與,亞馬遜 Trainium 也不參與。
我很歡迎他們使用 InferenceMAX,展示其所謂驚人的推理成本優(yōu)勢,但這實(shí)在太難了,沒人愿意現(xiàn)身。還有 MLPerf 基準(zhǔn)測試。我很期待 Trainium 能展示它們一直宣稱的 40% 性能優(yōu)勢,也很想聽聽谷歌展示 TPU 的成本優(yōu)勢。在我看來這完全站不住腳,根本毫無道理。從基本原理上就說不通。
所以我認(rèn)為我們?nèi)绱顺晒Φ脑蚝芎唵危褪俏覀兊目倱碛谐杀緲O具優(yōu)勢。其次,你提到我們 60% 的收入來自前五家云廠商,但其中大部分業(yè)務(wù)都是面向外部客戶的。比如 AWS 上的英偉達(dá)產(chǎn)品,絕大多數(shù)都服務(wù)于外部客戶,而非內(nèi)部使用。Azure 的客戶顯然也全部是外部客戶,OCI 同樣如此。他們青睞我們的原因,是我們的覆蓋范圍足夠廣,能為他們帶來全球所有優(yōu)質(zhì)客戶,而這些客戶都基于英偉達(dá)平臺(tái)構(gòu)建。所有這些公司選擇英偉達(dá),正是因?yàn)槲覀兊母采w范圍與通用性無人能及。
因此我認(rèn)為,這一良性循環(huán)的核心在于龐大的裝機(jī)量、架構(gòu)的可編程性、豐富的生態(tài)系統(tǒng),以及全球數(shù)量眾多的 AI 公司——如今已有數(shù)萬家。如果你是一家 AI 初創(chuàng)企業(yè),你會(huì)選擇怎樣的架構(gòu)?你一定會(huì)選擇存量最充足的架構(gòu),而我們在全球的存量最大;你會(huì)選擇裝機(jī)量最廣的架構(gòu),而我們的裝機(jī)量遙遙領(lǐng)先;你也會(huì)選擇生態(tài)最豐富的架構(gòu)。
這就是飛輪效應(yīng)。原因在于幾點(diǎn)結(jié)合:第一,我們的單位成本算力極強(qiáng),能實(shí)現(xiàn)最低的 token 成本;第二,我們的單位功耗算力全球領(lǐng)先。如果我們的合作伙伴搭建一座 1 吉瓦的數(shù)據(jù)中心,這座數(shù)據(jù)中心必須實(shí)現(xiàn)最大的營收與 token 產(chǎn)出,而 token 直接對應(yīng)營收。企業(yè)都希望盡可能多地產(chǎn)出 token,最大化數(shù)據(jù)中心的營收。我們的架構(gòu)是全球單位功耗產(chǎn)出 token 最多的。最后,如果你的目標(biāo)是出租算力基礎(chǔ)設(shè)施,我們擁有全球最多的客戶。這就是這一循環(huán)能夠成立的原因。
Dwarkesh Patel:如果性價(jià)比、性能、單位功耗性能等優(yōu)勢都如你所說屬實(shí),那為什么像 Anthropic 這樣的公司,幾天前剛宣布與博通、谷歌達(dá)成數(shù)吉瓦規(guī)模的合作,采用 TPU,且其大部分算力都依賴這些方案?
顯然谷歌自身的算力也以 TPU 為主。所以我觀察到,這些大型 AI 公司的算力布局,曾經(jīng)一度完全依賴英偉達(dá),如今卻不再如此。我很好奇,如果紙面數(shù)據(jù)都站在英偉達(dá)這邊,他們?yōu)楹芜€要選擇其他加速芯片?
黃仁勛:Anthropic 只是個(gè)例,并非行業(yè)趨勢。如果沒有 Anthropic,谷歌 TPU 根本不會(huì)有任何增長,其增長完全 100% 依靠 Anthropic。
如果沒有 Anthropic,亞馬遜 Trainium 也不會(huì)有任何增長,同樣 100% 依靠Anthropic。
我想這一點(diǎn)已是業(yè)內(nèi)公認(rèn)的事實(shí)。專用定制芯片的市場機(jī)會(huì)并不多,只有 Anthropic 這一家客戶。
Dwarkesh Patel:但 OpenAI 與 AMD 達(dá)成了合作……他們還在自研 Titan 加速芯片。
黃仁勛:沒錯(cuò),但我們都清楚,他們使用的算力絕大部分依然來自英偉達(dá)。我們今后仍會(huì)展開大量合作。我并不介意其他廠商嘗試使用別的產(chǎn)品。如果他們不去試試其他方案,又怎么能知道我們的產(chǎn)品有多出色?有時(shí)候,對比反而能讓人更清醒。我們也必須不斷證明自己,才能守住現(xiàn)在的位置。
行業(yè)里從不缺少夸大其詞的宣傳。你看看有多少專用 ASIC 芯片項(xiàng)目最終被取消了。就算下定決心要做一款 ASIC……也必須做出比英偉達(dá)更優(yōu)秀的產(chǎn)品才行。想要超越英偉達(dá),并沒有那么容易,實(shí)際上也并不劃算。
說真的,英偉達(dá)一定是在某些方面無可替代。憑借我們的規(guī)模和迭代速度,我們是全球唯一一家每年都能推出新一代產(chǎn)品的公司,而且每一代都實(shí)現(xiàn)巨大飛躍。
Dwarkesh Patel:我想他們的邏輯是:“我們不需要做得比你更好,只要性能差距不超過 70% 就行”,畢竟他們要為你 70% 的利潤率買單。
黃仁勛:不對,別忘了,就算是 ASIC 芯片,利潤率也相當(dāng)高。就算英偉達(dá)的利潤率是 70%,ASIC 的利潤率也能達(dá)到 65%。你到底能省下多少錢?
Dwarkesh Patel:你是說博通這類廠商的利潤率?
黃仁勛:沒錯(cuò)。你總要向供應(yīng)商付費(fèi)。在我看來,ASIC 的利潤率高得驚人。他們自己也很清楚這一點(diǎn),甚至還對如此可觀的 ASIC 利潤率引以為傲。
回到你剛才的問題,原因其實(shí)很簡單。在很早之前,我們并沒有能力做到這一點(diǎn)。那時(shí)候,我并沒有真正意識(shí)到,打造像 OpenAI、Anthropic 這樣的頂級 AI 實(shí)驗(yàn)室有多困難,也沒有意識(shí)到,這些實(shí)驗(yàn)室需要來自供應(yīng)商的巨額投資。我們當(dāng)時(shí)沒有能力向 Anthropic 投入數(shù)十億美元,以換取他們使用我們的算力。但谷歌和 AWS 做到了,他們在初期投入巨額資金,作為交換,Anthropic 使用了他們的算力。我們在當(dāng)時(shí)確實(shí)不具備這樣的條件。
我認(rèn)為這是我的失誤,我沒有深刻認(rèn)識(shí)到他們當(dāng)時(shí)別無選擇——風(fēng)投機(jī)構(gòu)絕不會(huì)為一家 AI 實(shí)驗(yàn)室投入 50 到 100 億美元,賭它能成長為今天的 Anthropic。這是我的疏忽。但即便我當(dāng)時(shí)意識(shí)到了,以我們那時(shí)的體量,恐怕也無力做到。不過我不會(huì)再犯同樣的錯(cuò)誤。
我很樂意投資 OpenAI,幫助他們擴(kuò)大規(guī)模,我也認(rèn)為這至關(guān)重要。后來當(dāng) Anthropic 找到我們時(shí),我也很高興能成為投資方,助力他們發(fā)展。我們只是在最初階段無能為力。如果一切可以重來,如果當(dāng)時(shí)的英偉達(dá)就擁有如今的規(guī)模,我一定會(huì)非常樂意參與投資。
![]()
英偉達(dá)為何不自己做超大規(guī)模云服務(wù)商?
Dwarkesh Patel:多年來,英偉達(dá)一直是 AI 領(lǐng)域賺錢、賺大錢的一方。現(xiàn)在你也在進(jìn)行投資。據(jù)報(bào)道,你向 OpenAI 投資了高達(dá) 300 億美元,向 Anthropic 投資了 100 億美元。而如今這些公司的估值已經(jīng)大幅上漲,而且我相信還會(huì)繼續(xù)走高。
這么多年來,你們一直為它們提供算力,也看清了行業(yè)的發(fā)展方向。幾年前,甚至在某些情況下一年前,這些公司的估值還只有現(xiàn)在的十分之一左右,而你們當(dāng)時(shí)手握大量現(xiàn)金。其實(shí)完全存在另一種可能:要么英偉達(dá)自己成立一家大模型實(shí)驗(yàn)室,投入巨資把這件事做成;要么更早地以當(dāng)時(shí)的估值達(dá)成現(xiàn)在這樣的投資交易,而且你們完全有資金這么做。所以我其實(shí)很好奇,為什么沒有更早行動(dòng)?
黃仁勛:我們是在有能力行動(dòng)的第一時(shí)間就做了。只要條件允許,我們早就動(dòng)手了,如果可以的話,我還想更早。當(dāng)年 Anthropic 需要我們出手投資的時(shí)候,我們當(dāng)時(shí)根本不具備那樣的條件,那樣做也不符合我們當(dāng)時(shí)的經(jīng)營邏輯。
Dwarkesh Patel:具體是為什么?是現(xiàn)金流方面的問題嗎?
黃仁勛:是的,是投資規(guī)模的問題。我們當(dāng)時(shí)從未對外進(jìn)行過如此大規(guī)模的投資,也沒有意識(shí)到有這個(gè)必要。我當(dāng)時(shí)一直覺得,它們完全可以像其他所有公司一樣,去找風(fēng)投融資,這不是理所當(dāng)然的嗎?但后來才發(fā)現(xiàn),它們想做的事情,靠風(fēng)投根本做不成。OpenAI 想做的事,也不是風(fēng)投能支撐起來的。這些我現(xiàn)在都明白了,但當(dāng)時(shí)并沒有意識(shí)到。
不過這也正是它們的過人之處,這就是為什么它們足夠聰明。它們在當(dāng)時(shí)就意識(shí)到必須走這樣的路。我也很高興它們這么做了。即便因?yàn)槲覀儺?dāng)時(shí)沒能出手,導(dǎo)致 Anthropic 不得不轉(zhuǎn)向其他投資方,我依然為這件事的發(fā)生感到高興。Anthropic 的存在對整個(gè)世界都是好事,我由衷為此開心。
Dwarkesh Patel:我想你們現(xiàn)在依然賺得盆滿缽滿,而且每個(gè)季度的利潤都在大幅增長。
黃仁勛:即便如此,心里有遺憾也很正常。
Dwarkesh Patel:既然走到今天這一步,你們又持續(xù)獲得巨額現(xiàn)金流,英偉達(dá)應(yīng)該拿這些錢做什么?有一種思路是,現(xiàn)在已經(jīng)出現(xiàn)了一整套中間生態(tài),幫助這些 AI 實(shí)驗(yàn)室把資本支出轉(zhuǎn)化為運(yùn)營支出,讓它們可以租用算力。因?yàn)樾酒旧矸浅0嘿F,而隨著 AI 模型不斷優(yōu)化,芯片在整個(gè)生命周期里能創(chuàng)造極高的價(jià)值。它們生成的 token 價(jià)值在不斷提升,但前期搭建成本極高。英偉達(dá)完全有資金承擔(dān)這類資本支出。事實(shí)上,有報(bào)道稱,你們?yōu)?CoreWeave 提供了最高 63 億美元的資金支持,并直接投資了 20 億美元。
那英偉達(dá)為什么不自己做云服務(wù)商?為什么不親自成為超大規(guī)模云廠商,直接對外出租算力?你們完全有足夠的現(xiàn)金去做這件事。
黃仁勛:這是公司的經(jīng)營理念,我認(rèn)為這一理念是明智的:只做必要之事,盡可能少做額外之事。對于構(gòu)建我們的計(jì)算平臺(tái)這件事,如果我們不去做,我確信就不會(huì)有人做成。如果我們沒有承擔(dān)那些風(fēng)險(xiǎn)——沒有按現(xiàn)在的方式打造 NVLink,沒有搭建完整的技術(shù)棧,沒有構(gòu)建如今這樣的生態(tài),沒有在長達(dá) 20 年里持續(xù)投入 CUDA、即便大部分時(shí)間都在虧損——如果我們沒做這些,就不會(huì)有其他人來做。
如果我們沒有開發(fā)出所有 CUDA-X 庫,沒有讓它們覆蓋各個(gè)專業(yè)領(lǐng)域……十五年前,我們就開始推進(jìn)領(lǐng)域?qū)S脦欤驗(yàn)槲覀円庾R(shí)到,如果我們不開發(fā)這些庫,無論是光線追蹤、圖像生成,還是早期的 AI 模型、數(shù)據(jù)處理、結(jié)構(gòu)化數(shù)據(jù)處理、向量數(shù)據(jù)處理,都不會(huì)有人去做。對此我十分確定。我們還開發(fā)了一個(gè)用于計(jì)算光刻的庫 cuLitho,如果我們不做,也不會(huì)有其他人做。所以說,如果沒有我們的努力,加速計(jì)算就不會(huì)取得今天這樣的進(jìn)展。
這些事我們必須做。我們應(yīng)該傾盡全力、全身心投入去做這些事。但另一方面,做云服務(wù)的廠商已經(jīng)有很多了,就算我們不做,也會(huì)有別人來做。因此,秉持“只做必要之事,盡可能少做”的理念,至今仍是公司的核心準(zhǔn)則。我做任何決策,都會(huì)遵循這一原則。
說到云服務(wù),如果我們沒有扶持 CoreWeave 這類新興 AI 云廠商,它們根本不會(huì)存在。如果沒有我們的支持,CoreWeave 不會(huì)走到今天;Nscale、Nebius 也一樣。而現(xiàn)在它們都發(fā)展得非常出色。
這算是一種商業(yè)模式嗎?我們的原則依然是只做必要之事,盡可能少做。我們投資生態(tài),是希望生態(tài)能夠繁榮發(fā)展,希望我們的架構(gòu)、AI 技術(shù)能夠觸達(dá)更多行業(yè)、更多國家,讓整個(gè)世界都能建立在 AI 和美國技術(shù)棧之上。這正是我們追求的愿景。
你剛才提到的一點(diǎn)是,現(xiàn)在有很多優(yōu)秀的大模型公司,我們會(huì)盡量投資所有這些公司。這也是我們的做法之一:我們不押注某一家贏家,而是支持所有人。這既是我們樂于做的事,也對我們的業(yè)務(wù)至關(guān)重要。我們刻意避免偏袒任何一方,投資其中一家,就會(huì)投資所有同類公司。
Dwarkesh Patel:你為什么刻意不押注贏家?
黃仁勛:首先,這不是我們該做的事。其次,英偉達(dá)剛成立時(shí),市場上有 60 家 3D 圖形公司,最后只有我們活了下來。如果當(dāng)時(shí)讓你從這 60 家里挑誰能成功,英偉達(dá)大概率會(huì)是最不被看好的那一個(gè)。
那是很早以前的事了,當(dāng)時(shí)英偉達(dá)的圖形架構(gòu)可以說是完全走錯(cuò)了方向,不是小問題,而是根本性錯(cuò)誤,開發(fā)者根本不可能支持這樣的架構(gòu),基本沒有成功的可能。我們當(dāng)時(shí)基于合理的底層邏輯做了推導(dǎo),最終卻得出了錯(cuò)誤的方案。所有人都不看好我們,但我們還是走到了今天。
所以我足夠謙遜,也清楚這一點(diǎn):不要去挑選贏家,要么讓它們各自發(fā)展,要么就全部支持。
Dwarkesh Patel:有一點(diǎn)我不太理解:你說“我們扶持這些新興云廠商,不只是因?yàn)樗鼈兪切峦婕揖涂桃夥鲋病保阌至信e了好幾家,說沒有英偉達(dá)它們就不會(huì)存在。這兩種說法怎么能自洽?
黃仁勛:首先,它們自己要有生存下去的意愿,主動(dòng)來找我們尋求幫助。它們要有商業(yè)計(jì)劃、專業(yè)能力和創(chuàng)業(yè)熱情,自身顯然也要具備一定實(shí)力。但如果最終它們需要一些投資才能起步,我們就會(huì)伸出援手。當(dāng)然,我們也希望它們能盡快跑通自己的商業(yè)飛輪。
你的問題其實(shí)是“我們想做金融投資生意嗎?”答案是否定的。市場上有專門做金融投資的機(jī)構(gòu),我們更愿意和這些機(jī)構(gòu)合作,而不是自己變成投資方。我們的目標(biāo)是專注于自身業(yè)務(wù),保持商業(yè)模式盡可能簡潔,同時(shí)扶持好整個(gè)生態(tài)。
像 OpenAI 這樣的公司,在 IPO 之前需要 300 億美元規(guī)模的投資,而我們深度信任它們,我堅(jiān)信它們會(huì)成為……它們現(xiàn)在已經(jīng)是一家非凡的公司,未來更會(huì)成就卓越。世界需要它們存在,也希望它們存在,我個(gè)人也希望它們發(fā)展壯大。它們正處于上升期,我們理應(yīng)支持它們擴(kuò)大規(guī)模。這類投資我們會(huì)做,因?yàn)樗鼈兇_實(shí)需要我們的幫助。但我們不會(huì)追求盡可能多的投資,而是盡可能少做。
Dwarkesh Patel:這個(gè)問題可能很直白,但這么多年來 GPU 一直處于短缺狀態(tài),而且隨著模型效果越來越好,短缺情況還在加劇。
黃仁勛:我們的 GPU 確實(shí)供不應(yīng)求。
Dwarkesh Patel:沒錯(cuò)。英偉達(dá)在分配稀缺產(chǎn)能時(shí),并不是只看誰出價(jià)更高,還會(huì)考慮“我們要讓這些新興云廠商活下來,分給 CoreWeave 一些,分給 Crusoe 一些,分給 Lambda 一些”。這么做對英偉達(dá)有什么好處?首先,你認(rèn)同這種“拆分市場、多方分配”的說法嗎?
黃仁勛:不認(rèn)同。你的前提本身就是錯(cuò)的。我們在這些事情上考慮得非常周全,也十分謹(jǐn)慎。首先,如果你不下采購訂單,說再多都沒用。沒有采購訂單,我們什么都做不了。所以第一步,我們會(huì)和所有客戶全力溝通,做好需求預(yù)測,因?yàn)樾酒a(chǎn)周期很長,數(shù)據(jù)中心建設(shè)也需要很久。我們通過預(yù)測來平衡供需,這是首要工作。
其次,我們會(huì)盡可能和更多客戶做預(yù)測。如果你的數(shù)據(jù)中心還沒建好,或是某些配件沒到位,無法立刻啟用算力,我們可能會(huì)先把產(chǎn)能分配給其他已經(jīng)就緒的客戶。這只是為了最大化工廠的出貨效率,會(huì)做一些調(diào)整。
除此之外,優(yōu)先級基本就是先到先得。你必須下采購訂單,不下單就沒用。當(dāng)然外界有很多傳言,比如有文章說拉里·埃里森(Oracle 董事長)和埃隆·馬斯克跟我一起吃飯,求我給 GPU。這事根本沒發(fā)生。我們確實(shí)一起吃了飯,氣氛也很好,但他們從來沒有求過 GPU,只需要正常下單就行。一旦下單,我們會(huì)盡力為他們協(xié)調(diào)產(chǎn)能。我們的規(guī)則并不復(fù)雜。
Dwarkesh Patel:明白了。聽上去是有排隊(duì)順序,根據(jù)數(shù)據(jù)中心是否就緒、下單時(shí)間來分配,而不是價(jià)高者得。這么做是有什么特別原因嗎?
黃仁勛:我們從來不會(huì)價(jià)高者得。絕對不會(huì)。
Dwarkesh Patel:為什么不直接價(jià)高者得?
黃仁勛:因?yàn)檫@是很差的商業(yè)做法。我們定好價(jià)格,客戶自主選擇買或不買。我知道芯片行業(yè)有些公司會(huì)在需求高漲時(shí)漲價(jià),但我們不會(huì),這從來不是我們的行事方式。大家可以信賴我們。我更愿意做一個(gè)可靠的伙伴,做整個(gè)行業(yè)的基石。你不需要去猜測揣摩,我給你報(bào)了價(jià),就是這個(gè)價(jià)。就算需求暴漲,也不會(huì)變。
Dwarkesh Patel:從另一方面說,這也是你們和臺(tái)積電合作順暢的原因,對吧?
黃仁勛:是的。英偉達(dá)和臺(tái)積電合作就要滿 30 年了。我們之間甚至沒有正式法律合同,更多是一種默契與公道。有時(shí)候我占優(yōu),有時(shí)候他們占優(yōu);有時(shí)候我們拿到更好的條件,有時(shí)候則一般。但整體來看,這段合作關(guān)系無與倫比,我完全可以信任他們、依靠他們。
大家可以放心的一點(diǎn)是,今年我們會(huì)推出非常強(qiáng)大的 Vera Rubin,明年會(huì)有 Vera Rubin Ultra,后年是 Feynman,再之后的產(chǎn)品名稱我還沒公布。每一年,你都可以信賴我們會(huì)有新一代產(chǎn)品問世。你去找世界上任何一家做專用芯片的團(tuán)隊(duì)試試看,有沒有哪家能讓你放心押上全部身家、相信他們每年都能如期交付,相信 token 成本每年都會(huì)大幅下降,像鐘表一樣穩(wěn)定可靠。
我剛才說到臺(tái)積電,歷史上也沒有其他代工廠能做到這一點(diǎn)。但今天的英偉達(dá)可以。你每年都可以信賴我們。你想采購十億美元的 AI 算力,沒問題;一億美元,沒問題;一千萬美元,甚至只是一個(gè)機(jī)柜,都沒問題;就算只買一張顯卡,也沒問題。就算你想下單一千億美元的 AI 算力工廠,我們也接得住。目前全球只有我們一家公司能做到這一點(diǎn)。
臺(tái)積電也是如此。買一顆芯片,還是十億顆,都沒問題,我們只需要走規(guī)劃流程,用成熟的方式推進(jìn)合作。英偉達(dá)能成為全球 AI 產(chǎn)業(yè)的基石,這個(gè)地位是我們花了幾十年時(shí)間、付出巨大投入與專注才換來的。公司的穩(wěn)定、行事的一貫性,至關(guān)重要。
![]()
如何看待中國芯片技術(shù)?
Dwarkesh Patel:就在幾天前,Anthropic 發(fā)布了 Mythos Preview。這款 Mythos 模型甚至沒有公開發(fā)布,因?yàn)槠渚邆錁O強(qiáng)的網(wǎng)絡(luò)攻擊能力,他們認(rèn)為在修復(fù)所有零日漏洞之前,世界還未做好接納它的準(zhǔn)備。該模型在各大主流操作系統(tǒng)、主流瀏覽器中發(fā)現(xiàn)了數(shù)千個(gè)高危漏洞,甚至在專為防范零日漏洞設(shè)計(jì)的 OpenBSD 系統(tǒng)中,找到了一個(gè)已存在 27 年的漏洞。
那么,如果中國企業(yè)、中國實(shí)驗(yàn)室能夠獲得 AI 芯片,訓(xùn)練出具備此類網(wǎng)絡(luò)攻擊能力的 Claude Mythos 級模型,并憑借更充足的算力運(yùn)行數(shù)百萬個(gè)實(shí)例,這是否會(huì)對美國企業(yè)構(gòu)成威脅?
黃仁勛:首先,Mythos 的訓(xùn)練所使用的算力規(guī)模相當(dāng)普通,只是研發(fā)團(tuán)隊(duì)極為出色。其訓(xùn)練所需的算力類型與總量,在中國完全可以輕松獲得。你必須先認(rèn)清一個(gè)事實(shí):中國本身就擁有大量芯片。
他們生產(chǎn)了全球 60% 以上的主流芯片,這是一個(gè)規(guī)模龐大的產(chǎn)業(yè)。他們擁有全球頂尖的計(jì)算機(jī)科學(xué)家,你也清楚,全球各大 AI 實(shí)驗(yàn)室中,半數(shù)研究人員都來自中國,中國占據(jù)了全球 AI 研究者的半壁江山。
所以問題在于,考慮到他們已掌握的各類資源——充沛的能源、充足的芯片、絕大多數(shù) AI 研究者——如果你真的對此感到擔(dān)憂,怎樣做才能構(gòu)建一個(gè)安全的世界?
打壓他們、將其塑造成敵人,顯然不是最優(yōu)解。他們確實(shí)是競爭對手,我們也希望美國能夠勝出。但我認(rèn)為,開展對話與學(xué)術(shù)交流,或許才是最安全的方式。而由于當(dāng)前我們將中國視為對手的態(tài)度,這一關(guān)鍵領(lǐng)域的交流嚴(yán)重缺失。美國的 AI 研究者與中國的 AI 研究者必須保持溝通,雙方必須就 AI 的禁用場景達(dá)成共識(shí),這一點(diǎn)至關(guān)重要。
至于利用 AI 查找軟件漏洞,這本就是 AI 的應(yīng)有功能。它必然會(huì)發(fā)現(xiàn)大量軟件漏洞,畢竟軟件中本就存在無數(shù)漏洞,AI 系統(tǒng)自身也不例外。我很高興 AI 已經(jīng)發(fā)展到能大幅提升我們工作效率的水平。
有一點(diǎn)常常被忽視:圍繞網(wǎng)絡(luò)安全、AI 安全、隱私保護(hù)與 AI 倫理的生態(tài)體系極為豐富。大量 AI 初創(chuàng)企業(yè)正在構(gòu)建未來安全格局——一個(gè)超強(qiáng) AI 主體,由數(shù)千個(gè) AI 智能體守護(hù)其安全,這一未來必然會(huì)實(shí)現(xiàn)。
放任一個(gè)無人監(jiān)管的 AI 智能體肆意運(yùn)行,這種想法本身就很荒謬。我們深知,這一生態(tài)需要蓬勃發(fā)展,而它離不開開源技術(shù)、開源模型與開源技術(shù)棧,只有這樣,全球優(yōu)秀的 AI 研究者與計(jì)算機(jī)科學(xué)家才能構(gòu)建出強(qiáng)大且安全的 AI 系統(tǒng)。因此,我們必須確保開源生態(tài)充滿活力,這一點(diǎn)不容忽略。而大量開源成果正來自中國,我們不應(yīng)扼殺這一生態(tài)。
針對中國問題,我們當(dāng)然希望美國擁有盡可能充足的算力。目前我們受限于能源供應(yīng),但已有大量團(tuán)隊(duì)著手解決,絕不能讓能源成為國家發(fā)展的瓶頸。同時(shí),我們更要確保全球 AI 開發(fā)者都基于美國技術(shù)棧開展研發(fā),讓 AI 領(lǐng)域的進(jìn)步——尤其是開源成果——反哺美國生態(tài)。如果世界分裂為兩大生態(tài):開源生態(tài)僅運(yùn)行于外國技術(shù)棧,封閉生態(tài)依附于美國技術(shù)棧,這對美國而言將是極度愚蠢的結(jié)果。
Dwarkesh Patel:沒錯(cuò),中國擁有算力,但有估算顯示,由于芯片制造出口管制,他們無法獲得 EUV 光刻機(jī),只能生產(chǎn) 7nm 工藝芯片,實(shí)際可用算力僅為美國的十分之一。
那么,他們最終能否訓(xùn)練出 Mythos 級別的模型?答案是肯定的。但關(guān)鍵在于,美國憑借更充足的算力,實(shí)驗(yàn)室能率先突破這類技術(shù)。就像 Anthropic 率先研發(fā)出 Mythos,他們選擇先保密一個(gè)月,向美國企業(yè)開放權(quán)限,協(xié)助修復(fù)所有漏洞后再公開發(fā)布。
此外,即便他們訓(xùn)練出同類模型,規(guī)模化部署能力也至關(guān)重要。對于網(wǎng)絡(luò)攻擊而言,擁有一千個(gè)實(shí)例與一百萬個(gè)實(shí)例,危險(xiǎn)程度天差地別,推理算力的作用極為關(guān)鍵。事實(shí)上,中國擁有大量頂尖 AI 研究者,這一點(diǎn)反而更令人擔(dān)憂——決定這些研發(fā)人員效率的核心,正是算力。
你去詢問美國任何一家 AI 實(shí)驗(yàn)室,他們都會(huì)說算力是最大瓶頸。深度求索(DeepSeek)創(chuàng)始人、通義千問團(tuán)隊(duì)負(fù)責(zé)人等都曾表示,算力制約了他們的發(fā)展。那么問題來了:讓擁有更多算力的美國企業(yè)率先突破 Mythos 級技術(shù),為社會(huì)做好防御準(zhǔn)備,再等到算力較弱的中國追趕上來,這樣難道不是更安全嗎?
黃仁勛:我們理應(yīng)始終保持領(lǐng)先,擁有更多算力。但你描述的理想場景,需要將對方的算力壓制到零才能實(shí)現(xiàn)。只要他們擁有一定規(guī)模的算力,核心問題就變成:究竟需要多少算力才能達(dá)成目標(biāo)?
中國的算力規(guī)模極為龐大,是全球第二大計(jì)算市場。如果他們整合現(xiàn)有算力,完全能夠匯聚出驚人的總量。
Dwarkesh Patel:事實(shí)真的如此嗎?
黃仁勛:我來說明真相。中國的能源儲(chǔ)備極為充足,不是嗎?AI 本身是并行計(jì)算問題,既然能源成本低廉,他們?yōu)槭裁床荒苡盟谋丁⑹稊?shù)量的芯片堆疊算力?只要愿意,即便只是 7nm 芯片,他們也能通過大規(guī)模集群實(shí)現(xiàn)算力突破。
他們的芯片制造能力位居全球前列,半導(dǎo)體行業(yè)都清楚,他們壟斷了主流芯片市場,產(chǎn)能甚至出現(xiàn)過剩。認(rèn)為中國無法獲得 AI 芯片的說法,完全是無稽之談。
當(dāng)然,如果你問我,若全球其他國家完全沒有算力,美國是否會(huì)更具優(yōu)勢?答案是肯定的,但這根本不現(xiàn)實(shí)。中國早已擁有充足算力,遠(yuǎn)超你所擔(dān)憂的風(fēng)險(xiǎn)閾值。
我認(rèn)為你誤解了 AI 的五層架構(gòu),最底層便是能源。能源充足可以彌補(bǔ)芯片性能短板,芯片充足也能抵消能源限制。比如美國能源供應(yīng)緊張,這也是英偉達(dá)持續(xù)迭代架構(gòu)、推進(jìn)極致協(xié)同設(shè)計(jì)的原因——在能源有限、芯片出貨量受限的情況下,實(shí)現(xiàn)極致的每瓦算力。
但如果能源近乎無限、成本低廉,每瓦性能便不再重要。即便使用老舊芯片也足夠應(yīng)對,7nm 芯片的性能基本等同于 Hopper 架構(gòu)。要知道,當(dāng)前主流模型大多基于 Hopper 架構(gòu)訓(xùn)練,7nm 芯片完全夠用。充沛的能源,正是他們的核心優(yōu)勢。
Dwarkesh Patel:但問題在于,他們能否制造出足夠數(shù)量的芯片。
黃仁勛:他們完全可以。證據(jù)就在眼前:華為剛剛創(chuàng)下公司史上最佳年度業(yè)績。
Dwarkesh Patel:但這無法改變一個(gè)事實(shí):最先進(jìn)的 HBM 芯片必須依賴 EUV 光刻機(jī)制造。
黃仁勛:這一說法完全錯(cuò)誤。他們可以像我們通過 NVL72 技術(shù)互聯(lián)芯片一樣,將大量芯片集群聯(lián)動(dòng),而且他們已經(jīng)展示了硅光互聯(lián)技術(shù),能夠?qū)⑺兴懔φ蠟橐慌_(tái)巨型超級計(jì)算機(jī)。
事實(shí)是,中國的 AI 研發(fā)進(jìn)展十分順利。全球最頂尖的 AI 研究者,在算力受限的情況下,反而研發(fā)出了極為精妙的算法。我之前提到過,摩爾定律每年推進(jìn)約 25%,而優(yōu)秀的計(jì)算機(jī)科學(xué)能讓算法性能提升 10 倍。也就是說,頂尖的算法研發(fā)才是核心驅(qū)動(dòng)力。
混合專家模型(MoE)無疑是偉大發(fā)明,各類注意力機(jī)制也有效降低了算力消耗。我們必須承認(rèn),AI 領(lǐng)域的大部分進(jìn)步源于算法突破,而非單純的硬件升級。如果大部分進(jìn)展來自算法、計(jì)算機(jī)科學(xué)與編程實(shí)現(xiàn),那么中國龐大的 AI 研究者隊(duì)伍,就是他們的核心優(yōu)勢。DeepSeek 的突破絕非小事。
Dwarkesh Patel:為什么這么說?目前像 DeepSeek 這樣的開源模型,可以在任何加速芯片上運(yùn)行,未來為何會(huì)改變這一現(xiàn)狀?
黃仁勛:假設(shè)未來不再兼容,假設(shè)模型專為中國架構(gòu)優(yōu)化,我們的技術(shù)棧就會(huì)陷入劣勢。你剛才描述的場景,在我看來本是好消息:一家企業(yè)研發(fā)的 AI 模型,最優(yōu)運(yùn)行于美國技術(shù)棧。但你卻將其預(yù)設(shè)為壞消息。而我要告訴你真正的壞消息:如果全球 AI 模型都最優(yōu)適配非美國硬件,對我們而言將是巨大危機(jī)。
Dwarkesh Patel:我沒有看到任何證據(jù)表明,芯片之間的遷移存在巨大壁壘。美國實(shí)驗(yàn)室的模型本就可以在各大云平臺(tái)、各類加速芯片上運(yùn)行——
黃仁勛:我就是最好的證據(jù)。你把專為英偉達(dá)優(yōu)化的模型放到其他芯片上運(yùn)行試試。
Dwarkesh Patel:但美國實(shí)驗(yàn)室確實(shí)在這么做。
黃仁勛:但性能絕不會(huì)更優(yōu)。英偉達(dá)的成功就是最有力的證明:AI 模型基于我們的技術(shù)棧研發(fā),也在我們的平臺(tái)上表現(xiàn)最佳,這一邏輯難道難以理解嗎?
Dwarkesh Patel:Anthropic 的模型既能在 GPU 上運(yùn)行,也能適配 Trainium 與 TPU。
黃仁勛:這需要投入大量工程資源進(jìn)行適配。但放眼全球南方國家、中東地區(qū),如果開箱即用的 AI 模型都最優(yōu)運(yùn)行于他國技術(shù)棧,你還要堅(jiān)稱這對美國有利,那未免太過荒謬。
Dwarkesh Patel:我還是無法理解你的邏輯。假設(shè)中國企業(yè)率先研發(fā)出下一代 Mythos 模型,率先發(fā)現(xiàn)美國軟件的安全漏洞,即便他們使用英偉達(dá)硬件開展研究,并將模型推向全球市場,這對我們有什么好處?
黃仁勛:沒有任何好處。
Dwarkesh Patel:沒錯(cuò)。
黃仁勛:這絕不是好事,我們必須避免這種情況發(fā)生。
Dwarkesh Patel:你為何認(rèn)為芯片完全可替代?如果我們不向其出售算力,他們就只能使用自己的芯片。
黃仁勛:這一觀點(diǎn)完全站不住腳,現(xiàn)實(shí)證據(jù)就擺在眼前:中國的芯片產(chǎn)業(yè)規(guī)模極為龐大。
Dwarkesh Patel:你的核心論點(diǎn)是,他們擁有充足的待利用能源,需要用芯片填滿這些算力基礎(chǔ)設(shè)施。
黃仁勛:而且他們擅長制造芯片。
Dwarkesh Patel:我相信他們最終有望實(shí)現(xiàn)產(chǎn)能超越,但關(guān)鍵就在未來這幾年。
黃仁勛:你所說的關(guān)鍵年份,具體是指什么?
Dwarkesh Patel:未來幾年。即將出現(xiàn)能夠?qū)嵤┐笠?guī)模網(wǎng)絡(luò)攻擊的 AI 模型。
黃仁勛:如果未來幾年至關(guān)重要,我們就更要確保,在這一關(guān)鍵時(shí)期,全球所有 AI 模型都基于美國技術(shù)棧研發(fā)。
Dwarkesh Patel:即便基于美國技術(shù)棧研發(fā),又如何阻止他們憑借更先進(jìn)的技術(shù),發(fā)起等同于 Mythos 的網(wǎng)絡(luò)攻擊?
黃仁勛:這一點(diǎn)沒有絕對的保障。
Dwarkesh Patel:但我們率先掌握技術(shù),就能提前做好防御。
黃仁勛:你想想,為什么要犧牲 AI 產(chǎn)業(yè)的一個(gè)環(huán)節(jié),去成全另一個(gè)環(huán)節(jié)?AI 產(chǎn)業(yè)有五大層級,每一層都必須成功,其中最關(guān)鍵的其實(shí)是 AI 應(yīng)用層。你為何要執(zhí)著于單一模型、單一公司?這毫無意義。
Dwarkesh Patel:因?yàn)檎沁@些模型催生出了極強(qiáng)的攻擊性能力,而運(yùn)行它們需要算力支撐。
黃仁勛:真正起作用的是能源、芯片,以及龐大的 AI 研究者生態(tài)。
Dwarkesh Patel:但 AI 既能用于正面用途,也能帶來危害。但如果這份算力能跑起一個(gè)可以對全美軟件發(fā)起零日漏洞攻擊的模型,這怎么不算一種武器?
黃仁勛:首先,解決這個(gè)問題的方式,是和研究者對話、和中國對話、和所有國家對話,確保人們不會(huì)以這種方式濫用技術(shù)。這種對話必須發(fā)生,明白嗎?這是第一點(diǎn)。
第二,我們也要確保美國保持領(lǐng)先,確保 Vera Rubin、Blackwell 這些架構(gòu)在美國海量部署、充足供應(yīng)。顯然我們的成果已經(jīng)說明了這一點(diǎn),供應(yīng)極其充裕。我們擁有強(qiáng)大的算力、頂尖的 AI 研究者,我們理應(yīng)保持領(lǐng)先。
但同時(shí)我們也必須認(rèn)識(shí)到,AI 不只是模型。AI 是一個(gè)五層架構(gòu),每一層都至關(guān)重要,我們希望美國在每一層都贏,包括芯片層。長期來看,放棄整個(gè)市場,不可能讓美國在芯片層、在計(jì)算技術(shù)棧上贏得科技競賽。這是不爭的事實(shí)。
Dwarkesh Patel:那核心問題就變成:現(xiàn)在向他們出售芯片,如何幫助我們長期取勝?特斯拉長期向中國出售非常優(yōu)秀的電動(dòng)車,iPhone 也在中國熱銷,產(chǎn)品都很出色,但并沒有形成鎖定。中國依然造出了自己的電動(dòng)車,而且占據(jù)主導(dǎo),智能手機(jī)也是一樣。
黃仁勛:我們今天對話一開始,你就承認(rèn)英偉達(dá)的地位截然不同,你還用了“護(hù)城河”這個(gè)詞。對我們公司而言,最重要的就是以開發(fā)者為核心的繁榮生態(tài),而全球 50% 的 AI 開發(fā)者都在中國。美國不應(yīng)該放棄這部分資源。
Dwarkesh Patel:但美國也有大量英偉達(dá)開發(fā)者,這并不妨礙美國實(shí)驗(yàn)室未來使用其他加速芯片。事實(shí)上,他們現(xiàn)在就在混用其他芯片,這本身沒問題。我不明白為什么在中國就不一樣——就算你賣給他們英偉達(dá)芯片,他們照樣可以像谷歌用 TPU 一樣,同時(shí)用自己的芯片。
黃仁勛:我們必須持續(xù)創(chuàng)新,而且你可能也知道,我們的市場份額一直在增長,而非萎縮。那種“就算我們在中國參與競爭,最終也會(huì)丟掉市場”的前提……你不是在跟一個(gè)天生的失敗者說話。這種失敗者心態(tài)、失敗者邏輯,我無法認(rèn)同。
我們不是汽車。今天買這個(gè)品牌、明天換那個(gè)品牌,很容易。計(jì)算產(chǎn)業(yè)不是這樣的。x86 能形成壟斷、ARM 擁有極強(qiáng)黏性,都是有原因的。這類生態(tài)很難被替代,替換需要耗費(fèi)巨大的時(shí)間和精力,大多數(shù)人根本不愿意這么做。所以我們的職責(zé)是持續(xù)培育生態(tài)、不斷推進(jìn)技術(shù),從而在市場中具備競爭力。
基于你描述的前提就放棄一個(gè)市場,我完全無法接受,這毫無道理。因?yàn)槲也徽J(rèn)為美國是失敗者,我們的行業(yè)也不是。這種認(rèn)輸?shù)恼撜{(diào)、失敗主義的心態(tài),我無法理解。
Dwarkesh Patel:我想核心分歧已經(jīng)慢慢清晰了,謝謝你陪我把這些繞來繞去的問題聊透。
黃仁勛:核心問題在于你走向了極端。你的論證從極端假設(shè)出發(fā):只要在這個(gè)狹窄窗口期給他們一丁點(diǎn)兒算力,我們就會(huì)滿盤皆輸。這種極端化的說法很幼稚。
Dwarkesh Patel:讓我把我的觀點(diǎn)說清楚。關(guān)鍵并不在于存在某個(gè)關(guān)鍵算力閾值,而是任何增量算力都是有幫助的。算力越多,就能訓(xùn)練出更好的模型。
黃仁勛:那我也希望你承認(rèn),對美國科技行業(yè)而言,任何增量銷售都是有利的。
Dwarkesh Patel:我其實(shí)并不認(rèn)同……如果跑在這些芯片上的 AI 模型具備網(wǎng)絡(luò)攻擊能力,或是芯片被用來訓(xùn)練攻擊性模型并大規(guī)模部署,它雖然不是核武器,但確實(shí)在支撐某種武器化能力。
黃仁勛:按你的邏輯,你大可以把這套說法套在微處理器、DRAM,甚至電本身身上。
Dwarkesh Patel:但事實(shí)上,我們確實(shí)對制造最先進(jìn) DRAM 相關(guān)的技術(shù)實(shí)施出口管制,對中國各類芯片制造設(shè)備都有各式各樣的管制。
黃仁勛:我們依然向中國出售大量 DRAM 和 CPU,而且我認(rèn)為這是正確的。
你能否認(rèn)我們曾經(jīng)在該市場擁有巨大份額,如今卻已不再占據(jù)優(yōu)勢嗎?你也要承認(rèn),中國市場約占全球科技產(chǎn)業(yè)的 40%。對美國科技行業(yè)而言,放棄這個(gè)市場,是對國家的損害,是對國家安全的損害,是對美國技術(shù)領(lǐng)導(dǎo)力的損害,僅僅為了某一家公司的利益,這完全說不通。
Dwarkesh Patel:我有點(diǎn)困惑。你好像在同時(shí)表達(dá)兩種觀點(diǎn):一是只要允許我們參與競爭,我們就能憑借更優(yōu)秀的芯片在與中國競爭中取勝;二是就算沒有我們,他們照樣會(huì)做一模一樣的事情。這兩件事怎么可能同時(shí)成立?
黃仁勛:顯然可以同時(shí)成立。沒有更好選擇時(shí),人就會(huì)退而求其次。這有什么不符合邏輯的?再合理不過了。
Dwarkesh Patel:他們想要英偉達(dá)芯片,就是因?yàn)樾阅芨谩?/p>
黃仁勛:沒錯(cuò)。
Dwarkesh Patel:更好就意味著更強(qiáng)算力,更強(qiáng)算力就能訓(xùn)練出更好的模型。
黃仁勛:不,不只是算力更強(qiáng)。更好是因?yàn)楦菀拙幊蹋覀儞碛懈晟频纳鷳B(tài)。但無論優(yōu)勢體現(xiàn)在哪方面……我們當(dāng)然會(huì)向他們提供算力,那又如何?事實(shí)是,美國會(huì)從中受益。別忘了,我們鞏固了美國的技術(shù)領(lǐng)導(dǎo)力,讓更多開發(fā)者基于美國技術(shù)棧開發(fā)。當(dāng) AI 模型向全球擴(kuò)散時(shí),美國技術(shù)棧會(huì)成為最優(yōu)選擇,我們可以持續(xù)推進(jìn)并輸出美國技術(shù)。我相信這是正面價(jià)值,也是美國技術(shù)領(lǐng)導(dǎo)力至關(guān)重要的一部分。
而你所主張的政策,已經(jīng)導(dǎo)致美國電信行業(yè)在全球范圍內(nèi)被政策排擠,最終甚至失去了對自身電信產(chǎn)業(yè)的掌控。我不認(rèn)為這是明智之舉。這種思路有些狹隘,并且會(huì)帶來我剛才所說的一系列意外后果,而你似乎很難理解這一點(diǎn)。
Dwarkesh Patel:好,我們再退一步。核心矛盾顯然在于潛在收益與潛在風(fēng)險(xiǎn)的權(quán)衡,我們要判斷收益是否值得風(fēng)險(xiǎn)。我希望你能承認(rèn)潛在風(fēng)險(xiǎn):算力是訓(xùn)練強(qiáng)大模型的投入,而強(qiáng)模型確實(shí)具備網(wǎng)絡(luò)攻擊這類強(qiáng)攻擊性能力。美國公司率先達(dá)到 Mythos 這種級別是件好事,他們選擇暫時(shí)不公開這類能力,讓美國企業(yè)和政府先加固軟件安全,再對外披露。
如果中國擁有更多算力,或是更充足的集群算力,更早造出 Mythos 級模型并大規(guī)模部署,后果將非常嚴(yán)重。這件事至今沒有發(fā)生,原因之一就是美國有英偉達(dá)這樣的企業(yè),提供了更充足的算力。這就是向中國出售芯片的風(fēng)險(xiǎn)。我們先不談收益,你是否承認(rèn)這是一種潛在代價(jià)?
黃仁勛:我同樣可以告訴你另一個(gè)潛在代價(jià):我們放任 AI 技術(shù)棧中最重要的一層——芯片層——放棄全球第二大市場,讓他們有機(jī)會(huì)建立規(guī)模、培育自有生態(tài),讓未來的 AI 模型朝著與美國技術(shù)棧完全不同的方向優(yōu)化。當(dāng) AI 向全球擴(kuò)散時(shí),他們的標(biāo)準(zhǔn)、他們的技術(shù)棧會(huì)因?yàn)槟P烷_源而變得比我們更具優(yōu)勢。
Dwarkesh Patel:我只是足夠相信英偉達(dá)的內(nèi)核工程師和 CUDA 團(tuán)隊(duì),認(rèn)為他們完全可以做優(yōu)化——
黃仁勛:你也清楚,AI 不只是內(nèi)核優(yōu)化那么簡單。
Dwarkesh Patel:當(dāng)然,但能做的事情還有很多,比如把模型蒸餾優(yōu)化到更適配你們芯片的形態(tài)。
黃仁勛:我們會(huì)盡最大努力。
Dwarkesh Patel:你們掌握著全套軟件。很難想象中國生態(tài)能形成長期鎖定,哪怕他們的開源模型在一段時(shí)間內(nèi)略占優(yōu)勢。
黃仁勛:中國是全球開源軟件最大貢獻(xiàn)者,這是事實(shí)。中國是全球開源模型最大貢獻(xiàn)者,這也是事實(shí)。而目前這些成果都構(gòu)建在美國技術(shù)棧、英偉達(dá)技術(shù)棧之上,這同樣是事實(shí)。
AI 技術(shù)棧的五個(gè)層級都至關(guān)重要,美國理應(yīng)在全部五個(gè)層級取得勝利,它們?nèi)币徊豢伞F渲凶钪匾模瑹o疑是 AI 應(yīng)用層。真正滲透進(jìn)社會(huì)、被廣泛使用的那一層,將從這場產(chǎn)業(yè)革命中獲益最多。但我的核心觀點(diǎn)是,每一層都必須成功。
如果我們把整個(gè)國家嚇得以為 AI 就是某種核彈,讓所有人厭惡 AI、恐懼 AI,我不知道這對美國有什么幫助,反而是在傷害它。如果我們把所有人都嚇離軟件工程崗位,宣稱 AI 會(huì)消滅所有相關(guān)工作,最終導(dǎo)致美國沒有軟件工程師,那同樣是在損害國家利益。
如果我們把所有人都嚇出放射科,讓沒人愿意成為放射科醫(yī)生,理由是計(jì)算機(jī)視覺完全免費(fèi)、AI 不會(huì)比醫(yī)生做得更差,那我們就徹底誤解了職業(yè)與任務(wù)的區(qū)別。放射科醫(yī)生的工作是患者照護(hù),讀片只是其中一項(xiàng)任務(wù)。如果我們對此產(chǎn)生如此深刻的誤解,把所有人都嚇出醫(yī)學(xué)院,我們就會(huì)面臨放射科醫(yī)生短缺、醫(yī)療質(zhì)量下降的局面。
所以我想表達(dá)的是,當(dāng)你把前提推向極端,非黑即白、非零即無窮,最終只會(huì)以不實(shí)的方式制造恐慌。現(xiàn)實(shí)并非如此。我們希望美國領(lǐng)先嗎?當(dāng)然希望。我們需要在技術(shù)棧的每一層都保持領(lǐng)先嗎?當(dāng)然需要,毫無疑問。今天你在討論 Mythos,因?yàn)樗苤匾@很好。
但我可以預(yù)測,幾年之后,當(dāng)我們希望美國技術(shù)棧、美國科技向全球輸出——進(jìn)入印度、中東、非洲、東南亞——當(dāng)國家希望出口技術(shù)、輸出標(biāo)準(zhǔn)時(shí),我希望到那天我們能再進(jìn)行一次同樣的對話。我會(huì)清清楚楚地告訴你今天的討論,告訴你你所主張的政策與想象,是如何讓美國毫無必要地放棄了全球第二大市場。
我們不該主動(dòng)放棄。就算最終輸?shù)簦且彩歉偁幗Y(jié)果,但為什么要拱手相讓?現(xiàn)在沒有人主張非此即彼。我們理應(yīng)在本土保有最先進(jìn)、最充足的技術(shù),并且率先應(yīng)用。但我們同時(shí)也應(yīng)該在全球范圍內(nèi)競爭并取勝。這兩件事完全可以并行,它需要分寸、需要成熟理性,而不是極端絕對化。世界本就不是非黑即白的。
Dwarkesh Patel:爭論的關(guān)鍵就在這里。幾年后,他們會(huì)打造出適配自家最優(yōu)芯片的模型,這些芯片會(huì)出口到世界各地,進(jìn)而確立標(biāo)準(zhǔn)。但正如我們所說,由于 EUV 出口管制,你們會(huì)一路推進(jìn)到 1.6nm 工藝,而他們幾年后依然會(huì)停留在 7nm。
在他們國內(nèi)或許說得通:“我們能源充足,可以大規(guī)模制造,繼續(xù)用 7nm 就行。”但說到出口,他們的 7nm 芯片必須和你們的 1.6nm 芯片競爭。他們的模型必須深度優(yōu)化到 7nm 平臺(tái),以至于在 7nm 上跑比在你們 1.6nm 上效果更好才行。
黃仁勛:那我們不妨看看事實(shí)。Blackwell 的光刻工藝比 Hopper 先進(jìn) 50 倍嗎?有 50 倍嗎?差得遠(yuǎn)呢。我一再強(qiáng)調(diào),摩爾定律已經(jīng)失效。從 Hopper 到 Blackwell,單看晶體管本身提升大約 75%,前后相隔三年,也就 75%。但 Blackwell 的整體能力是 Hopper 的 50 倍。
我想說的是,架構(gòu)至關(guān)重要,計(jì)算機(jī)科學(xué)至關(guān)重要。半導(dǎo)體物理固然重要,但計(jì)算機(jī)科學(xué)更加關(guān)鍵。AI 的進(jìn)步很大程度來自計(jì)算棧,這也是 CUDA 如此高效、如此受青睞的原因。它是一套生態(tài)、一種計(jì)算架構(gòu),擁有極高的靈活性。哪怕你想徹底重構(gòu)架構(gòu)——做出混合專家模型、擴(kuò)散模型,或是去中心化的新結(jié)構(gòu)——都可以輕松實(shí)現(xiàn)。
事實(shí)是,AI 既依賴底層架構(gòu),也同樣依賴上層技術(shù)棧。我們擁有為自身生態(tài)優(yōu)化的架構(gòu)與軟件棧,這顯然是巨大優(yōu)勢,就像我們今天開場時(shí)談到的,英偉達(dá)的生態(tài)無比豐富。為什么開發(fā)者總是優(yōu)先選擇 CUDA 編程?他們確實(shí)如此,中國的研究者也一樣。
但如果我們被迫退出中國市場,這首先就是一項(xiàng)政策失誤,顯然會(huì)產(chǎn)生反噬,對美國造成不利后果。這反而扶持、加速了他們的芯片產(chǎn)業(yè),迫使他們的整個(gè) AI 生態(tài)轉(zhuǎn)向自研架構(gòu)。現(xiàn)在回頭還不算晚,但影響已經(jīng)發(fā)生。
未來你會(huì)看到,他們顯然不會(huì)一直卡在 7nm。他們擅長制造,會(huì)從 7nm 繼續(xù)向前迭代。5nm 和 7nm 之間有 10 倍差距嗎?答案是否定的。架構(gòu)重要,網(wǎng)絡(luò)互聯(lián)重要——這也是英偉達(dá)收購 Mellanox 的原因。能源同樣重要。所有這些因素都在起作用,并非你試圖簡化的那樣簡單。
![]()
英偉達(dá)為何不打造多種不同的芯片架構(gòu)?
Dwarkesh Patel:現(xiàn)在你已經(jīng)占據(jù)了 3nm 工藝的大部分產(chǎn)能,未來還會(huì)主導(dǎo) 2nm 工藝,那么你有沒有可能回過頭利用 7nm 這類成熟工藝的閑置產(chǎn)能,說一句:“AI 需求實(shí)在太旺盛,先進(jìn)制程擴(kuò)產(chǎn)跟不上,我們干脆用今天掌握的數(shù)值計(jì)算技術(shù)和你剛才提到的各類改進(jìn),重新打造一版 Hopper 或者 Ampere 架構(gòu)?”你覺得 2030 年之前會(huì)出現(xiàn)這種情況嗎?
黃仁勛:沒有這個(gè)必要。原因在于,每一代產(chǎn)品的架構(gòu)提升遠(yuǎn)不止晶體管尺寸這么簡單,它還涉及到工程設(shè)計(jì)、封裝堆疊、數(shù)值計(jì)算和系統(tǒng)架構(gòu)。
產(chǎn)能不足就輕易退回到舊工藝,這種研發(fā)成本是沒人承受得起的。我們有能力向前迭代,但沒有余力回頭重做。當(dāng)然我們可以做個(gè)思想實(shí)驗(yàn):如果有一天,我們徹底沒有辦法再擴(kuò)大先進(jìn)制程產(chǎn)能,我會(huì)不會(huì)回頭用 7nm?那肯定會(huì),毫不猶豫。
Dwarkesh Patel:有個(gè)朋友問過我一個(gè)問題:英偉達(dá)為什么不同時(shí)推進(jìn)多個(gè)完全不同架構(gòu)的芯片項(xiàng)目?比如做 Cerebras 那樣的晶圓級芯片,做 Dojo 那種超大規(guī)模封裝,甚至做一套不依賴 CUDA 的架構(gòu)。你們有資金也有人才,完全可以并行推進(jìn)。既然 AI 和架構(gòu)的未來走向充滿未知,為什么要把所有雞蛋放在一個(gè)籃子里?
黃仁勛:我們當(dāng)然可以這么做,只是我們沒有找到更優(yōu)的方案。這些方向我們?nèi)荚谀M器里驗(yàn)證過,結(jié)果證明更差,所以我們不會(huì)付諸實(shí)踐。我們只聚焦在真正有價(jià)值的項(xiàng)目上。除非未來負(fù)載形態(tài)發(fā)生根本性變化——我指的不是算法,而是市場需求驅(qū)動(dòng)的實(shí)際負(fù)載模式——我們才會(huì)考慮增加其他類型的加速芯片。
舉個(gè)例子,我們最近收購了 Groq,并會(huì)把它整合進(jìn) CUDA 生態(tài)。之所以這么做,是因?yàn)?token 的價(jià)值已經(jīng)大幅提升,可以出現(xiàn)不同定價(jià)的 token 服務(wù)。就在幾年前,token 還幾乎是免費(fèi)的,或者價(jià)格極低。但現(xiàn)在客戶群體出現(xiàn)分層,不同客戶需要不同的響應(yīng)效果。比如我們的軟件工程師這類用戶,如果能提供響應(yīng)更迅捷的 token,大幅提升他們的工作效率,他們愿意為此付費(fèi)。
這個(gè)市場直到最近才真正成型。所以我們現(xiàn)在可以針對響應(yīng)速度,對同一模型做市場細(xì)分。這也是我們拓展性能邊界、推出一類低吞吐量但高響應(yīng)速度推理芯片的原因。在此之前,行業(yè)一直認(rèn)為吞吐量越高越好。但我們認(rèn)為,未來會(huì)出現(xiàn)高單價(jià) token 的市場,即便算力工廠吞吐量更低,單價(jià)也足以彌補(bǔ)差距。
這是我們拓展架構(gòu)的唯一原因。除此之外,從架構(gòu)本身來看,如果我有更多資金,只會(huì)進(jìn)一步加碼英偉達(dá)現(xiàn)有架構(gòu)。
Dwarkesh Patel:最后一個(gè)問題。假如深度學(xué)習(xí)革命從未發(fā)生,英偉達(dá)現(xiàn)在會(huì)在做什么?
黃仁勛:做加速計(jì)算,和我們一直以來做的事情一樣。公司成立的初衷就是,摩爾定律逐漸走到盡頭,通用計(jì)算雖然用途廣泛,但在很多計(jì)算場景下效率并不理想。
于是我們把 GPU、CUDA 與 CPU 結(jié)合,讓 CPU 的工作負(fù)載可以被加速。把不同的代碼內(nèi)核或算法卸載到 GPU 上運(yùn)行,應(yīng)用性能就能提升 100 倍、200 倍。
這些能力能用在哪里?
顯然,它適用于工程、科研、物理模擬、數(shù)據(jù)處理、計(jì)算機(jī)圖形、圖像生成等方方面面。就算今天 AI 不存在,英偉達(dá)依然會(huì)是一家規(guī)模極大的公司。
背后的原因非常簡單:通用計(jì)算的持續(xù)擴(kuò)展能力基本已經(jīng)見頂,而實(shí)現(xiàn)突破的重要路徑就是領(lǐng)域?qū)S眉铀佟?/strong>我們最早從計(jì)算機(jī)圖形起步,但可覆蓋的領(lǐng)域還有很多,比如粒子物理、流體模擬、結(jié)構(gòu)化數(shù)據(jù)處理,各類算法都能從 CUDA 中受益。
我們的使命,一直是把加速計(jì)算帶向全世界,拓展通用計(jì)算無法勝任的應(yīng)用類型,把性能擴(kuò)展到能助力科學(xué)突破的級別。早期應(yīng)用就包括分子動(dòng)力學(xué)、能源勘探的地震處理、圖像處理等,這些領(lǐng)域用通用計(jì)算實(shí)在太過低效。
如果沒有 AI,我會(huì)很遺憾。但正是我們在計(jì)算領(lǐng)域的突破,才讓深度學(xué)習(xí)得以普及,讓全球任何一位研究者、科學(xué)家、學(xué)生,都能通過 PC 或者 GeForce 顯卡做出了不起的科研成果。這個(gè)核心使命從未改變,分毫未變。
如果你看過 GTC 大會(huì),開場很長一段內(nèi)容都和 AI 無關(guān)。計(jì)算光刻、量子化學(xué)研究、數(shù)據(jù)處理相關(guān)成果,全都和 AI 沒有關(guān)系,但它們依然至關(guān)重要。我知道 AI 備受關(guān)注、令人興奮,但還有很多人在做非 AI 領(lǐng)域的重要工作,張量計(jì)算也并非唯一的計(jì)算方式。我們希望幫助每一個(gè)人。
特別聲明:以上內(nèi)容(如有圖片或視頻亦包括在內(nèi))為自媒體平臺(tái)“網(wǎng)易號(hào)”用戶上傳并發(fā)布,本平臺(tái)僅提供信息存儲(chǔ)服務(wù)。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.