北京
OpenAI為Responses API引入了基于WebSocket的執(zhí)行模式，用持久雙向連接替代傳統(tǒng)HTTP請(qǐng)求-響應(yīng)模式，針對(duì)編碼代理和實(shí)時(shí)AI系統(tǒng)中的延遲問(wèn)題。據(jù)OpenAI數(shù)據(jù)，早期生產(chǎn)環(huán)境使用顯示延遲最高降低40%，高并發(fā)場(chǎng)景下吞吐量也有改善。
這一改動(dòng)的背景是：隨著推理速度提升，多步驟工作流中的網(wǎng)絡(luò)往返時(shí)間已成為主要瓶頸。傳統(tǒng)模式下，工具調(diào)用、中間推理、后續(xù)查詢等每個(gè)步驟都需單獨(dú)HTTP請(qǐng)求，反復(fù)建立連接的開(kāi)銷拖慢了整體響應(yīng)。
WebSocket模式的核心變化是建立長(zhǎng)連接，允許客戶端與服務(wù)器持續(xù)交換數(shù)據(jù)。對(duì)于需要多輪交互的代理系統(tǒng)，這減少了握手次數(shù)和頭部傳輸，把省下的時(shí)間留給實(shí)際計(jì)算。
目前該模式已進(jìn)入早期生產(chǎn)驗(yàn)證階段，OpenAI將其定位為面向?qū)崟r(shí)AI和復(fù)雜代理工作流的基礎(chǔ)設(shè)施優(yōu)化。技術(shù)社區(qū)的關(guān)注點(diǎn)在于：這一改動(dòng)是否會(huì)成為代理架構(gòu)的默認(rèn)選擇，以及HTTP/3等替代方案的競(jìng)爭(zhēng)空間。
特別聲明：以上內(nèi)容(如有圖片或視頻亦包括在內(nèi))為自媒體平臺(tái)“網(wǎng)易號(hào)”用戶上傳并發(fā)布，本平臺(tái)僅提供信息存儲(chǔ)服務(wù)。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.
