北京
鍇杰最近不聲不響整了個大的，Macaron AI成立了Mind Lab ，并且發(fā)布了兩個重要研究。
Mind Lab專注一個核心問題:讓AI從真實(shí)使用中不斷學(xué)習(xí)和進(jìn)化,而不是訓(xùn)練完就凍結(jié)。
成立之初他們就發(fā)布了三個研究成果，簡單解釋一下，具體可以看他們的論文。
第一，用10%的成本訓(xùn)練超大模型：
訓(xùn)練萬億參數(shù)的AI模型通常需要海量GPU,成本高到普通團(tuán)隊玩不起。Mind Lab通過LoRA技術(shù)加混合并行系統(tǒng),把成本降到原來的10%。
更關(guān)鍵的是,他們證明了在相同算力下,"大模型+小型調(diào)整"比"小模型+全量訓(xùn)練"效果更好。因?yàn)榇竽Ｐ偷幕A(chǔ)能力夠強(qiáng),只需要微調(diào)就能適應(yīng)新任務(wù)。
這套方案已經(jīng)貢獻(xiàn)給NVIDIA和火山引擎的開源項(xiàng)目,在Kimi K2這樣的萬億參數(shù)模型上跑得又穩(wěn)又快。
第二，AI終于有了真正的記憶：
現(xiàn)有AI的記憶方案要么反復(fù)總結(jié)(算力浪費(fèi)大),要么存數(shù)據(jù)庫(理解會斷層)。Mind Lab提出"記憶擴(kuò)散"——把整個對話歷史當(dāng)作記憶本身,通過"智能遺忘"來管理。
就像人開車會自動忽略路邊廣告牌,只記住重要的東西。AI也學(xué)會了:重要的對話細(xì)節(jié)保留,不重要的壓縮或丟棄,始終把上下文控制在預(yù)算內(nèi)。
這個方法在長期對話記憶基準(zhǔn)測試Locomo上拿到93%準(zhǔn)確率,目前最優(yōu)。
Mind Lab 雖然剛成立，但是對于研發(fā)方向的判斷還是非常準(zhǔn)確的，在做的事情可能代表AI發(fā)展的下一個階段。
過去十年AI靠"做大"突破,更大的模型、更多的數(shù)據(jù)。但部署到產(chǎn)品后發(fā)現(xiàn),模型不會從用戶身上學(xué)習(xí),每次都重復(fù)同樣的錯誤,這個瓶頸越來越明顯。
Mind Lab提出的"體驗(yàn)型智能"其實(shí)是是讓AI從"工具"變成"伙伴"。工具每次用完就復(fù)位,伙伴會記住你的習(xí)慣、從錯誤中學(xué)習(xí)、隨時間越來越懂你，這也是他們當(dāng)時做馬卡龍應(yīng)用的時候想完成的。
研究和產(chǎn)品共享同一個循環(huán),用真實(shí)用戶數(shù)據(jù)驅(qū)動算法迭代。這種"研究-產(chǎn)品共設(shè)計"的路子在AI領(lǐng)域還挺少見,但可能是讓前沿技術(shù)真正落地的關(guān)鍵。
詳情：macaron.im/mindlab
特別聲明：以上內(nèi)容(如有圖片或視頻亦包括在內(nèi))為自媒體平臺“網(wǎng)易號”用戶上傳并發(fā)布，本平臺僅提供信息存儲服務(wù)。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.
