北京
傳統(tǒng)數(shù)據(jù)中心過去主要用于數(shù)據(jù)的存儲、檢索與處理。但在生成式 AI 與代理式 AI 時代，這些設施已演變?yōu)?AI Token 工廠。隨著 AI 推理成為其核心工作負載，它們的主要產(chǎn)出已轉(zhuǎn)變?yōu)橐?Token 形式制造的智能。
這一轉(zhuǎn)變也需要對包括總體擁有成本（TCO）在內(nèi)的 AI 基礎設施的經(jīng)濟效益評估方式相應地進行調(diào)整。然而，在評估 AI 基礎設施時，企業(yè)仍過于關注芯片峰值規(guī)格、計算成本，或每美元所能獲得的浮點運算性能，即每美元 FLOPS。
關鍵區(qū)別在于：
- 算力成本是企業(yè)為 AI 基礎設施所支付的費用，無論是從云服務提供商租用，還是在本地自建部署。
- 每美元 FLOPS 衡量的是企業(yè)每投入一美元所獲得的原始算力，但原始算力并不等同于現(xiàn)實世界中的 Token 產(chǎn)出。
- 每 Token 成本指的是企業(yè)生成并交付每一個 Token 的綜合成本，通常以每百萬 Token 成本來表示。
前兩者僅是投入指標。但當業(yè)務圍繞產(chǎn)出運轉(zhuǎn)時，只針對投入優(yōu)化，本質(zhì)上是一種根本性的錯配。
每 Token 成本決定了企業(yè)能否實現(xiàn) AI 的規(guī)模化盈利。它是唯一能夠直接綜合反映硬件性能、軟件優(yōu)化、生態(tài)系統(tǒng)支持以及實際利用率的 TCO 指標，而 NVIDIA 在這一指標上實現(xiàn)了行業(yè)最低的每 Token 成本。
以上為摘要內(nèi)容，點擊鏈接閱讀完整內(nèi)容：重新思考 AI TCO：為何每 Token 成本才是唯一重要的指標 | NVIDIA 英偉達博客
特別聲明：以上內(nèi)容(如有圖片或視頻亦包括在內(nèi))為自媒體平臺“網(wǎng)易號”用戶上傳并發(fā)布，本平臺僅提供信息存儲服務。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.
