蔡浩宇美國(guó)AI公司推出視頻大模型

隆重亮相

日前（4月10日），米哈游創(chuàng)始人蔡浩宇旗下AI公司Anuttacon的員工Ailing Zeng突然在X上公布了其新一代AI生成模型LPM1.0，并在arXiv發(fā)布了相關(guān)論文。

該員工介紹，LPM1.0是一個(gè)基于視頻的角色表演模型。相較于其他視頻生成模型而言，LPM1.0在表演質(zhì)量、情感對(duì)話、精準(zhǔn)唇同步、身份保持以及逼真自然度等方面更有優(yōu)勢(shì)。此外，其還提到在將圖像轉(zhuǎn)化為表演視頻中，LPM1.0能作為對(duì)話代理、直播角色和游戲NPC的視覺(jué)引擎。

而據(jù)論文內(nèi)容，我們能夠發(fā)現(xiàn)更多關(guān)于LPM 1.0的資料。據(jù)悉，LPM 1.0是針對(duì)現(xiàn)有視頻模型在兼顧高表現(xiàn)力、實(shí)時(shí)推斷和長(zhǎng)時(shí)身份穩(wěn)定性這三個(gè)方面的挑戰(zhàn)所研發(fā)的，一款專注于單人全雙工視聽(tīng)對(duì)話的角色表演大模型。他們通過(guò)嚴(yán)格篩選，構(gòu)建了一個(gè)多模態(tài)以人為中心的數(shù)據(jù)集，并訓(xùn)練17B參數(shù)的Base LPM，通過(guò)多模態(tài)調(diào)理實(shí)現(xiàn)高度可控、身份一致性的性能。并將其提煉成Online LPM，從而實(shí)現(xiàn)低延遲、無(wú)限長(zhǎng)度的交互。

LPM 1.0 從用戶音頻生成視頻，從合成音頻生成語(yǔ)音視頻，并配有文本提示，全部以實(shí)時(shí)速度實(shí)現(xiàn)，且具有身份穩(wěn)定、無(wú)限長(zhǎng)度的生成能力。因此，LPM 1.0 能夠作為對(duì)話代理、直播角色和游戲 NPC 的可視化引擎。

官網(wǎng)顯示，LPM 1.0 的核心能力便是全棧實(shí)時(shí)視頻生成框架。特性包括四個(gè)方面。其一是身份保持，其通過(guò)全局外觀參考、多視角身體圖像和面部表情范例等精細(xì)化的條件輸入實(shí)現(xiàn)了專業(yè)級(jí)身份保持，避免了模型對(duì)牙齒、表情皺紋、側(cè)面輪廓和不可見(jiàn)身體外觀等未見(jiàn)細(xì)節(jié)的幻覺(jué)生成。

其二是多模態(tài)可控性，LPM 1.0 不僅可以通過(guò)文本，還可以通過(guò)音頻和圖像統(tǒng)一在單次生成中，實(shí)現(xiàn)對(duì)角色表演的精細(xì)導(dǎo)演級(jí)控制。

其三是角色泛化，LPM 1.0可以接受任意風(fēng)格角色作為輸入，包括寫(xiě)實(shí)真人、2D動(dòng)漫、3D游戲角色和非人形生物等等。

最后則是其獨(dú)特的長(zhǎng)時(shí)穩(wěn)定性，LPM 1.0 的在線流式架構(gòu)能夠在幾小時(shí)、幾天、甚至幾年的時(shí)間內(nèi)，保持穩(wěn)定、身份一致的生成，并支持無(wú)限時(shí)長(zhǎng)的視頻生成。

在具體的表演場(chǎng)景上，LPM 1.0 涵蓋對(duì)話，說(shuō)話，演唱，聆聽(tīng)等多個(gè)方面。

在具體的性能方面，Base LPM 能夠支持高保真高表現(xiàn)力離線生成，720p 分辨率的視頻。在長(zhǎng)時(shí)直播視頻生成中，能夠提供高保真度，唇形同步等多個(gè)核心優(yōu)勢(shì)，且相較于Kling-Avatar 2.0 和 OmniHuman 1.5 最長(zhǎng)僅生成 30 秒，LPM 支持任意時(shí)長(zhǎng)生成。

在LPM 1.0的應(yīng)用場(chǎng)景中，官方特意表明了其在交互式NPC與游戲角色嗎，以及游戲陪伴等游戲相關(guān)領(lǐng)域的應(yīng)用。實(shí)際上這也與米哈游近年來(lái)在AI領(lǐng)域的發(fā)展相契合。在一文中，競(jìng)核便詳細(xì)討論了米哈游當(dāng)前在AI領(lǐng)域的引用情況。

值得一提的是，LPM 1.0 目前仍處于研究階段。團(tuán)隊(duì)也明確表示，沒(méi)有計(jì)劃向公眾發(fā)布模型權(quán)重、源代碼、在線演示、AP1、產(chǎn)品或任何相關(guān)服務(wù)。同時(shí)也表示該模型不會(huì)開(kāi)源，也不會(huì)對(duì)外提供使用。他們稱只有在充分的安全保障措施和負(fù)責(zé)任使用框架切實(shí)到位之后，才會(huì)考慮開(kāi)放。

??

＊爆料丨合作丨招聘：點(diǎn)擊或戳微信號(hào) luoxuanwan111

點(diǎn)推薦