實現(xiàn)ITPS與OTPS雙突破！昆侖芯馬陽：文心一言背后的國產(chǎn)算力“壓榨”實戰(zhàn)

大模型靠盲目價格戰(zhàn)和粗放燃燒算力的時代已經(jīng)結束，真正的出路不再是“更便宜的 Token”，而是“更精細的工程架構”。市場正在倒逼工程進步，迫使技術開發(fā)者從算力的“消耗者”轉(zhuǎn)變?yōu)樗懔Φ摹皦赫フ摺薄?/p>

責編 | 夢依丹

出品 | CSDN（ID：CSDNnews）

「算力」正撕裂著 AI 行業(yè)的幻夢。

即便強如 OpenAI，Sam Altman 也不得不坦言，之所以關停 Sora 這樣的現(xiàn)象級產(chǎn)品，核心原因在于算力資源極度緊缺，無法支撐非最高優(yōu)先級產(chǎn)品的消耗。

還有一件事，那就是算力緊缺正倒逼工程方案走向極端。近日的 Claude Code 源碼泄露揭開了一個尷尬的內(nèi)幕：為了解決復合命令安全分析帶來的 UI 卡頓和性能開銷，工程師將安全審查上限設為 50 條，導致超過 50 條命令后會靜默繞過拒絕規(guī)則，留下了致命的高危漏洞。這種“為省性能犧牲安全”的工程妥協(xié)，折射出大模型公司在算力成本與工程效能之間的劇烈掙扎。

為了深入拆解工業(yè)級大模型的推理優(yōu)化路徑，由 CSDN與奇點智能研究院聯(lián)合舉辦大「2026 奇點智能技術大會」將于 4 月 17-18 日在上海召開，來自昆侖芯推理框架架構師馬陽將受邀出席，并帶來題為《昆侖芯大規(guī)模 LLM 推理優(yōu)化：在文心一言上的實踐》的主題分享。

揭秘全棧優(yōu)化：如何實現(xiàn) ITPS 和 OTPS 的雙突破？

在文心一言這種億級流量、高并發(fā)的生產(chǎn)環(huán)境中，任何微小的架構抖動都可能影響千萬用戶的體驗。

在本次演講中，馬陽將系統(tǒng)性揭秘昆侖芯在文心一言落地過程中的硬核技術路線。這不僅是關于算力的博弈，更是一場精密的軟件工程：

PD 分離與“層級式”傳輸： 針對 Prefill 和 Decode 階段對資源需求的錯位，馬陽老師將分享如何通過 PD 分離部署突破單機性能瓶頸。他將詳細解析如何利用 layer-wise 方式掩蓋 KV Cache 傳輸耗時，讓集群在處理超大規(guī)模請求時依然保持強韌性。

投機解碼的“倍速”魔法： 面對 Decode 階段的訪存瓶頸，昆侖芯通過 Speculative Decoding 技術，在不顯著損失生成質(zhì)量的前提下，實現(xiàn)了生成速度的飛躍。在特定配置下，其 Normalized Performance 可提升至 2.81 倍，這對于追求極致交互體驗的應用來說是巨大的紅利。

量化創(chuàng)新的“降維打擊”： 開發(fā)者常受困于 KV Cache 的顯存占用與計算開銷。馬陽老師將分享一個極具啟發(fā)性的創(chuàng)新解法：將 KV Cache 反量化等價轉(zhuǎn)換為對 Attention 輸入輸出的縮放。這一改動直接將時間復雜度從 O(n) 降為 O(1)，徹底消除了計算量對序列長度的依賴。

空泡消除與 CUDA Graph 實戰(zhàn)： 針對小 Batch 場景下內(nèi)核啟動開銷大的痛點，昆侖芯利用 CUDA Graph 捕獲計算圖重復執(zhí)行。實戰(zhàn)數(shù)據(jù)表明，在 Batch=1 時，OTPS（每秒輸出 Token 數(shù)）提升高達 61%。此外，通過 H2D/D2H 的異步拷貝優(yōu)化，端到端性能可再獲 4% 的增益。

MoE 并行與“雙流”重疊： 在處理萬億級 MoE 模型時，通信開銷往往是吞吐量的殺手。馬陽將詳解如何通過 雙流 Overlap 優(yōu)化，讓計算與通信高度重疊。在 Prefill 階段，這一策略能帶來約 20% 的吞吐提升，是長序列高吞吐場景的破局關鍵。

通過這一系列從底層算子到上層架構的協(xié)同，昆侖芯交出了一份驚艷的成績單：不僅實現(xiàn)了 ITPS 和 OTPS 的雙重飛躍，更在實際業(yè)務測試中，顯著降低了顯存占用與整體部署成本，且精度損失幾乎可以忽略不計。

對于每一位在 AI 推理一線奮斗的開發(fā)者與架構師來說，馬陽老師的分享將直接指向落地的“最后一公里”：

? 掌握工業(yè)級部署方法論：學習如何在萬億參數(shù)規(guī)模下，平衡顯存、吞吐與延遲三大核心指標。

? 獲取極致性能優(yōu)化的 Tips：從算子開發(fā)到通信重疊，獲取在真實業(yè)務中驗證過的優(yōu)化細節(jié)。

? 洞察國產(chǎn)算力生態(tài)實戰(zhàn)：了解昆侖芯與飛槳開源生態(tài)的持續(xù)建設，預判下一代推理技術趨勢。

從底層算子到規(guī)模化落地的實戰(zhàn)派

作為昆侖芯推理框架的核心人物，馬陽深耕 AI 推理優(yōu)化與國產(chǎn)芯片適配領域 7 年，專注昆侖芯上的推理軟件研發(fā)、大模型推理適配與性能優(yōu)化，支撐多個核心推理項目落地。

全程參與昆侖芯 1/2/3 代產(chǎn)品推理方向的軟件研發(fā)工作，完整經(jīng)歷從算子開發(fā)、框架搭建到大模型規(guī)模化落地的全流程，具備軟硬件適配、精度性能優(yōu)化、業(yè)務工程化落地等全鏈路實戰(zhàn)經(jīng)驗，深諳國產(chǎn)芯片推理落地的核心痛點。

曾主導文心一言系列推理模型在昆侖 2/3 代芯片上的研發(fā)攻堅，從零到一完成相關推理優(yōu)化技術的落地，實現(xiàn) TCO 優(yōu)于競品，成功支撐了多個業(yè)務場景上線，并持續(xù)穩(wěn)定運行。

4 月 17-18 日，上海·環(huán)球港凱悅酒店。

我們誠邀您參加「2026 奇點智能技術大會」，與馬陽及數(shù)十位 AI 技術領軍者齊聚一堂。在算力即燃料的時代，學會如何用最精密的“發(fā)動機”，帶動最宏大的智能遠景。

目前 2026 奇點智能技術大會全日程已上線。

我們將通過 50+ 場高密度的深度復盤，為你繪制一份穿越 AI 周期、駕馭系統(tǒng)工程的實戰(zhàn)指南。