消費(fèi)級顯卡可以快速上手跑！面壁智能MiniCPM-o 4.5發(fā)技術(shù)報告

面壁智能 投稿
量子位 | 公眾號 QbitAI

面壁智能公開了自己在全雙工全模態(tài)交互領(lǐng)域的核心技術(shù)——

Omni-Flow 流式全模態(tài)框架。

今天，面壁智能聯(lián)合OpenBMB開源社區(qū)、清華大學(xué)THUNLP實(shí)驗(yàn)室和THUMAI實(shí)驗(yàn)室，正式發(fā)布MiniCPM-o 4.5技術(shù)報告。

過往大模型均為半雙工交互模式，類似對講機(jī)式輪次對話。

用戶與AI無法并行交流，AI無法實(shí)時感知環(huán)境、不能被打斷插話，存在交互時空割裂，用戶體驗(yàn)差，嚴(yán)重制約多模態(tài)AI落地應(yīng)用。

MiniCPM-o 4.5是面壁智能今年2月發(fā)布的全雙工全模態(tài)模型，也是業(yè)界首個端到端全雙工全模態(tài)大模型。

該模型參數(shù)規(guī)模約9B，支持視頻、音頻、文本流輸入及文本與語音的連續(xù)輸出。

利用MiniCPM-o 4.5，不用聯(lián)網(wǎng)、僅用一張消費(fèi)級顯卡，你就能在個人電腦上擁有一個“邊看、邊聽、邊說、還能主動提醒”的類人AI助手。

目前，MiniCPM-o 4.5已基于llama.cpp完成模型量化和推理性能優(yōu)化，實(shí)測最低12GB顯存的RTX 5070即可流暢運(yùn)行全雙工模式（RTF0.4)，極大降低了個人端側(cè)部署的準(zhǔn)入門檻。M1-M5 Max（包含M5 Pro）的MAC設(shè)備亦可使用，建議內(nèi)存超過16G。

下面這支視頻展示了MiniCPM-o 4.5在個人筆記本上的完整部署與運(yùn)行過程，包括全雙工語音對話、實(shí)時視覺理解、主動提醒等能力演示。

模型發(fā)布至今，抱抱臉下載量已突破25萬+。

技術(shù)報告發(fā)布之外，MiniCPM-o 4.5還同步推出在線體驗(yàn)Demo、全模態(tài)全雙工API、端側(cè)安裝包Comni和Demo倉庫。

核心依托Omni-Flow流式全模態(tài)框架

MiniCPM-o 4.5極致流暢的全雙工交互體驗(yàn)，核心依托于面壁智能與清華大學(xué)聯(lián)合研發(fā)的Omni-Flow流式全模態(tài)框架。

這也是本次技術(shù)報告公開的核心底層技術(shù)。

該框架打破傳統(tǒng)模型孤立的回合式交互邏輯，搭建起毫秒級統(tǒng)一時間軸。

通過時分復(fù)用機(jī)制，Omni-Flow流式全模態(tài)框架將視覺、音頻、文本等多模態(tài)并行信息流，精準(zhǔn)對齊、拆分重組為周期性時序信息組。

模型以每秒一次的高頻次持續(xù)刷新環(huán)境認(rèn)知，實(shí)時更新對場景和用戶意圖的理解，全程無需依賴外部VAD語音活動檢測工具，原生支持持續(xù)感知、即時響應(yīng)、自由打斷。

在模型架構(gòu)上，MiniCPM-o 4.5采用輕量化端到端全模態(tài)設(shè)計，整體僅9B參數(shù)，由四大核心模塊高效協(xié)同構(gòu)成：

• 0.4B參數(shù)SigLIP-ViT視覺編碼器負(fù)責(zé)環(huán)境視覺感知；
• 0.3B參數(shù)Whisper-Medium音頻編碼器完成聲音信息采集；
• 8B參數(shù)Qwen3-8B LLM基座承擔(dān)核心思考與語義理解；
• 搭配0.3B參數(shù)輕量級語音Token解碼器實(shí)現(xiàn)語音生成。

模塊化分工設(shè)計各司其職、高效聯(lián)動，既保留了大模型強(qiáng)大的理解推理能力，又規(guī)避了復(fù)雜聲學(xué)任務(wù)對核心算力的損耗。

同時搭配自研TAIL時間對齊交錯語音生成方案，精準(zhǔn)匹配文本與語音輸出節(jié)奏。

在保證語音流暢自然、情感飽滿的前提下，最大限度降低交互延遲，徹底解決流式對話卡頓、滯后、銜接生硬的行業(yè)難題。

參數(shù)不大，但實(shí)力不容小覷。

在多項(xiàng)權(quán)威評測基準(zhǔn)中實(shí)現(xiàn)越級對標(biāo)，MiniCPM-o 4.5綜合性能比肩甚至超越多款行業(yè)前沿大模型。

在視覺能力上，模型OpenCompass綜合得分77.6、MMBench英文得分87.6，整體表現(xiàn)對標(biāo)Gemini 2.5 Flash，圖像理解、數(shù)學(xué)推理、文檔解析能力表現(xiàn)優(yōu)異。

在全模態(tài)動態(tài)交互、視頻場景理解領(lǐng)域，MiniCPM-o 4.5的優(yōu)勢更為突出。

Daily-Omni、Video-Holmes等多項(xiàng)評測數(shù)據(jù)顯示，MiniCPM-o 4.5優(yōu)于Gemini 2.5 Flash等大模型的表現(xiàn)；在LiveSports-3K-CC全雙工視頻基準(zhǔn)測試中，勝率達(dá)到54.4%，領(lǐng)先各類專用流式視頻模型。

同時模型推理效率優(yōu)勢顯著。

INT4量化版本顯存占用大幅降低，僅需12GB顯存即可運(yùn)行，解碼速度可達(dá)212 tokens/s，相較同類模型提速40%以上，響應(yīng)延遲更低，性價比與落地優(yōu)勢拉滿。

除此之外，模型搭載多項(xiàng)實(shí)用特色功能，適配多元化使用場景。

MiniCPM-o 4.5全面支持中英雙語實(shí)時語音對話，語音生成質(zhì)量行業(yè)領(lǐng)先，中文CER、英文WER錯誤率低于CosyVoice2等主流模型，情感表現(xiàn)力更強(qiáng)。

支持簡易參考音頻即可完成聲音克隆與角色扮演，音色自然逼真。

延續(xù)MiniCPM-V系列優(yōu)勢，擁有前沿的OCR文檔解析能力，支持高清圖像、高幀率視頻處理，多語言解析能力覆蓋30余種語言。

同時，模型原生兼容傳統(tǒng)輪次對話、Omni-Flow全雙工流式交互兩種模式，無縫切換，兼顧精準(zhǔn)問答與實(shí)時流式交互需求，適配各類使用場景。

兼顧普通用戶體驗(yàn)與開發(fā)者二次開發(fā)需求

為讓技術(shù)真正落地普惠，MiniCPM-o 4.5打造了全渠道、全人群的開放落地體系，兼顧普通用戶體驗(yàn)與開發(fā)者二次開發(fā)需求。

面向普通用戶，官方開放無需注冊、無需下載的在線體驗(yàn)Demo，同時推出適配Windows、macOS系統(tǒng)的桌面端Comni一鍵安裝包，簡化部署流程，普通用戶可快速上手體驗(yàn)全雙工AI交互能力。

面向廣大開發(fā)者，平臺免費(fèi)開放全雙工實(shí)時WebSocket API，提供完整規(guī)范的接口文檔，支持快速接入各類應(yīng)用；同時完整開源Demo前后端代碼，開放Linux部署方案，支持開發(fā)者自由二次開發(fā)、自定義調(diào)試，助力各類全模態(tài)AI應(yīng)用快速落地。

依托原生全雙工、持續(xù)感知、主動交互的核心能力，MiniCPM-o 4.5突破了傳統(tǒng)AI單次問答的場景局限，解鎖了大量全新流式交互應(yīng)用場景。

在生活服務(wù)領(lǐng)域，有望作為沉浸式智能陪伴助手，在用戶運(yùn)動、烹飪、日常勞作時實(shí)時答疑、主動提醒、全程指導(dǎo)。

在無障礙公益領(lǐng)域，可為視障人群提供實(shí)時環(huán)境感知服務(wù)，主動播報路況、設(shè)備狀態(tài)、環(huán)境變化，成為可靠的“視覺輔助助手”。

在智能車載領(lǐng)域，可以持續(xù)監(jiān)測路況與駕駛員狀態(tài)，主動預(yù)警風(fēng)險、提示可用車位、輔助泊車，提升駕駛安全性。

在具身智能領(lǐng)域，可作為機(jī)器人核心大腦，持續(xù)感知動態(tài)環(huán)境、自主決策交互時機(jī)，適配智能機(jī)器人、智能家居等智能化場景，覆蓋生活化、公益化、工業(yè)級多維度需求。

可以說，MiniCPM-o 4.5把“主動式AI”從概念變成了可以在你電腦上跑起來的東西。

當(dāng)然，團(tuán)隊(duì)也在技術(shù)報告中坦誠指出了當(dāng)前不足：

長時間交互的穩(wěn)定性、主動行為的豐富性、對復(fù)雜場景的魯棒性，都還有提升空間。

但這不妨礙它已經(jīng)立起了一個新的起點(diǎn)——全雙工全模態(tài)、端側(cè)可部署、全棧開源，這條路線跑通了。

目前，MiniCPM-o 4.5在線體驗(yàn)、API、端側(cè)安裝包、Demo代碼倉庫，所有入口都已在GitHub和面壁官網(wǎng)上線。

感興趣的小伙伴可以直接上手體驗(yàn)～

期待大家在評論區(qū)反饋。

技術(shù)報告PDF：

https://github.com/OpenBMB/MiniCPM-o/blob/main/docs/MiniCPM_o_45_technical_report.pdf

在線體驗(yàn)：

https://minicpmo45.modelbest.cn/

在線體驗(yàn)（手機(jī)端推薦）：

https://minicpmo45.modelbest.cn/mobile/

GitHub Demo（含本地安裝包）：

https://github.com/OpenBMB/MiniCPM-o-Demo

抱抱臉：

https://huggingface.co/openbmb/MiniCPM-o-4_5

魔搭：

https://www.modelscope.cn/models/OpenBMB/MiniCPM-o-4_5