品玩4月30日訊,據(jù)科創(chuàng)板日?qǐng)?bào)報(bào)道,智譜今天凌晨發(fā)布技術(shù)博客,首次系統(tǒng)披露GLM-5系列模型在超大規(guī)模Coding Agent調(diào)用場(chǎng)景下的底層推理技術(shù)突破。
包括系統(tǒng)吞吐最高提升132%,相同硬件條件下服務(wù)能力的顯著擴(kuò)容。KV cache 修復(fù)方案(改進(jìn)了模型在長(zhǎng)對(duì)話中的記憶緩存機(jī)制,從而提升推理效率)獲SGLang開源社區(qū)采納。
此外,公司推理優(yōu)化還在進(jìn)一步加速,大幅提升單位算力token吞吐效率,降低推理成本。
![]()
特別聲明:以上內(nèi)容(如有圖片或視頻亦包括在內(nèi))為自媒體平臺(tái)“網(wǎng)易號(hào)”用戶上傳并發(fā)布,本平臺(tái)僅提供信息存儲(chǔ)服務(wù)。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.