上海
品玩4月30日訊，據(jù)科創(chuàng)板日?qǐng)?bào)報(bào)道，智譜今天凌晨發(fā)布技術(shù)博客，首次系統(tǒng)披露GLM-5系列模型在超大規(guī)模Coding Agent調(diào)用場(chǎng)景下的底層推理技術(shù)突破。
包括系統(tǒng)吞吐最高提升132%，相同硬件條件下服務(wù)能力的顯著擴(kuò)容。KV cache 修復(fù)方案（改進(jìn)了模型在長(zhǎng)對(duì)話中的記憶緩存機(jī)制，從而提升推理效率）獲SGLang開源社區(qū)采納。
此外，公司推理優(yōu)化還在進(jìn)一步加速，大幅提升單位算力token吞吐效率，降低推理成本。
特別聲明：以上內(nèi)容(如有圖片或視頻亦包括在內(nèi))為自媒體平臺(tái)“網(wǎng)易號(hào)”用戶上傳并發(fā)布，本平臺(tái)僅提供信息存儲(chǔ)服務(wù)。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.
呆子的故事
