北京
開源生成式 AI 模型不再局限于數據中心，而是開始深入到現實世界的各種機器中。從 Orin 到 Thor，NVIDIA Jetson 系列正在成為運行 NVIDIA Nemotron、Cosmos 和 Isaac GR00T 等模型以及千問大模型、Gemma、Mistral AI、GPT-OSS、PI 等社區模型的通用平臺。
在今年初的 CES 展會上，卡特彼勒展示了 Cat 306 CR 小型挖掘機。其 Cat AI Assistant 運行在 NVIDIA Jetson Thor 平臺上。為了實現快速準確的自然語音交互，該系統采用了 NVIDIA Nemotron 語音模型，同時借助 Qwen3 4B，可以通過 vLLM 本地服務，確保無云連接的情況下，以低延遲解析請求并生成響應。
除了推動企業創新，開放模型還為開發者開辟了自由構建與實驗的廣闊空間。基于 NVIDIA Jetson，開發者可打造個人全天候在線的邊緣 AI 助手。
云部署會帶來延遲成本和持續的計算成本，而物理系統需要低延遲、功耗受控以及穩定一致的行為。NVIDIA Jetson 通過將計算單元與內存集成于單個系統級模塊（SoM）中，不僅加速了客戶的硬件設計進程，也使元器件采購與驗證比采用分立方案更為高效可靠。
NVIDIA Jetson 已成為在邊緣端運行開放模型的通用平臺。它全面支持各類開放模型與 AI 框架，開發者可在邊緣端靈活部署幾乎任何生成式 AI 工作負載。同時，Jetson Thor 在所有主流生成式 AI 模型上均提供領先的推理性能。
以上為摘要內容，點擊鏈接閱讀完整內容：開放模型點燃 AI 熱潮，NVIDIA Jetson 賦能 AI 在邊緣端落地 | NVIDIA 英偉達博客
特別聲明：以上內容(如有圖片或視頻亦包括在內)為自媒體平臺“網易號”用戶上傳并發布，本平臺僅提供信息存儲服務。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.
