![]()
4分鐘一鏡到底
就這個(gè)炫技爽!
文 | 子路
編輯 | 子路、小小樹
AI短片進(jìn)化速度快得驚人。
11月5日,騰訊視頻首屆AI短片創(chuàng)作大賽公開獲獎(jiǎng)結(jié)果,二等獎(jiǎng)作品《聊齋志異:燕赤霞》(以下簡稱《燕赤霞》)引起許多觀眾注意,在超創(chuàng)同行內(nèi)部也引發(fā)了不小的討論。
截至發(fā)稿,全網(wǎng)播放量已破400萬。
這部4分鐘國風(fēng)水墨AI動(dòng)畫短片故事并不復(fù)雜,講述道士燕赤霞起初無差別滅妖,蒙受詛咒后意外撿到女嬰小妖,在日常相處中逐漸豐盈道心、辨別善惡,從殺妖到護(hù)妖的轉(zhuǎn)變過程。
但不同于常規(guī)用慢鏡頭玩新概念的AI視頻,《燕赤霞》全程采用一鏡到底,罕見使用了密集的打斗動(dòng)作,基本保證了人物場景一致性、物理運(yùn)動(dòng)準(zhǔn)確度,畫面觀感格外流暢。
這是AI能達(dá)到的水平?
![]()
△ 打斗畫面超出預(yù)期
我們注意到,《燕赤霞》作者在9月19日發(fā)布了首部國風(fēng)水墨AI動(dòng)畫短片《花木蘭》,彼時(shí)就已經(jīng)技驚四座,成為海螺AI官方推薦的二創(chuàng)標(biāo)桿作品,作者本人也拿到了“最佳導(dǎo)演”獎(jiǎng)。
與之相比,《燕赤霞》則在人物動(dòng)作連貫性(腳部運(yùn)動(dòng)鏡頭等)、分鏡復(fù)雜度等方面顯著提升了一個(gè)臺(tái)階。
再到今天最新發(fā)布的同系列國風(fēng)AI動(dòng)畫《貓將軍》,幀率、畫質(zhì)、打斗動(dòng)作穩(wěn)定性方面相比前作又有明顯進(jìn)步,并且挑戰(zhàn)了“貓頭人身”口型綁定的全新難度。
![]()
![]()
![]()
△ 《花木蘭》《燕赤霞》《貓將軍》運(yùn)動(dòng)畫面效果越來越好
短短一個(gè)半月,就實(shí)現(xiàn)了顯著的技術(shù)迭代,這位超創(chuàng)及背后團(tuán)隊(duì)是如何做到的?
在真人CG畫風(fēng)占據(jù)主流的當(dāng)下,他為什么選擇了中式水墨畫風(fēng)?
對(duì)耕耘在一線的超創(chuàng)而言,當(dāng)下AI大模型最主要的痛點(diǎn)是什么?
AI短片商業(yè)前景如何?
對(duì)此,我們獨(dú)家專訪了《花木蘭》《燕赤霞》《貓將軍》編導(dǎo)超創(chuàng)、光影幾何工作室AIGC創(chuàng)意主理人“貓大人愛睡大覺”(以下簡稱貓大人)。
![]()
光影幾何工作室AIGC創(chuàng)意主理人 貓大人
從他的分享中,我們可能發(fā)現(xiàn)了下個(gè)階段AI大模型整體迭代的秘密。
01 自研集成AI工作流,效率迅速提升50%
如果不是追求一鏡到底,《燕赤霞》的難度至少能降低60%。
貓大人是個(gè)90后男生,入局AI之前,他曾在頑態(tài)ONETIME擔(dān)任視覺藝術(shù)總監(jiān),擅長3D建模、角色綁定動(dòng)畫等,快節(jié)奏打斗是他標(biāo)志性的作品特色。
最關(guān)鍵的技術(shù)支持,是海螺AI于8月29日上線的首尾幀功能。只要首尾兩張圖加上提示詞,就能生成補(bǔ)足元素、動(dòng)作連貫流暢且跟隨主體鏡頭的視頻畫面。
![]()
△ 海螺AI上線的首尾幀功能十分強(qiáng)大
僅僅半個(gè)月之前,貓大人還在為快節(jié)奏打斗AI短片的高難度“愁到頭禿”。
他制作的國風(fēng)武俠AI短片《江湖》也強(qiáng)調(diào)打斗畫面,純粹用首幀生成,但即便忙了一個(gè)月,成品依然會(huì)出現(xiàn)“雙人擊劍碰撞落空”等瑕疵。
![]()
△ 《江湖》打斗畫面在8月中已屬頭部質(zhì)感
首尾幀技術(shù),可以說是近三個(gè)月AI視頻大模型最關(guān)鍵的一次迭代。
大家知道AI生成視頻手腳細(xì)節(jié)是最容易穿幫的,現(xiàn)在只要確定首尾幀,就能保留人物手部等細(xì)節(jié)內(nèi)容變化的一致性,不會(huì)脫離角色長相。
新功能剛上線,貓大人就應(yīng)用在了動(dòng)畫新作《花木蘭》里,得以實(shí)現(xiàn)《木蘭辭》“朔氣傳金柝,寒光照鐵衣”的熱血與恢弘。
![]()
△ AI動(dòng)畫版花木蘭戰(zhàn)斗畫面燃爆了
《花木蘭》反響頗佳,他就琢磨在下一部作品里挑戰(zhàn)質(zhì)感更好的一鏡到底。
我們團(tuán)隊(duì)想做的內(nèi)容,都是希望把AI的極限給探索出來。
“切鏡頭動(dòng)畫”我已經(jīng)在游戲宣發(fā)AI短片《邪惡饋贈(zèng)》里試過了,覺得挑戰(zhàn)力度不大,那當(dāng)然想試試影視人都覺得厲害的一鏡到底。
![]()
△ 《邪惡饋贈(zèng)》切鏡頭效果
寫劇本、設(shè)計(jì)生成燕赤霞角色形象、抽卡、打磨分鏡、剪輯……貓大人一個(gè)人用10天制作完成動(dòng)畫部分。
隨后邀請(qǐng)已在《花木蘭》中達(dá)成合作的民樂團(tuán)“離譜琴社”原創(chuàng)音樂、專業(yè)CV老師進(jìn)行配音、最終后期混音母帶,耗時(shí)約兩周,生成完整版《燕赤霞》,進(jìn)一步夯實(shí)光影幾何工作室國風(fēng)AI動(dòng)畫賽道的獨(dú)特性
![]()
△ 《燕赤霞》角色形象設(shè)計(jì)/受訪者供圖
他對(duì)《燕赤霞》效率仍不滿意,貓大人透露,今年4月起,光影幾何工作室的編程團(tuán)隊(duì)就著力開發(fā)工具,相當(dāng)于一個(gè)游戲插件,將市面上所有生成式AI大模型集成在同一個(gè)節(jié)點(diǎn)式工作流里,可以大幅提高工作效率。
舉個(gè)例子,正常主創(chuàng)想做一個(gè)AI短片,首先要在A平臺(tái)注冊(cè)、登陸、充值才能抽卡,如果生成圖片不滿意,又要打開B平臺(tái)注冊(cè)、登陸、充值、調(diào)整提示詞……
再加上后續(xù)視頻生成,每個(gè)AI模型各有優(yōu)勢,做打斗要去A、做空鏡最好是B、口型綁定又要去C……那反復(fù)調(diào)試就是一個(gè)非常繁瑣的過程。
我們內(nèi)部的工具打通了與各個(gè)模型的合作,可以直接用一張圖作為一個(gè)節(jié)點(diǎn),同開所有AI大模型,每個(gè)分鏡都能打一個(gè)組來排列每個(gè)跟進(jìn)的鏡頭,甚至可以一個(gè)網(wǎng)頁同時(shí)跑200個(gè)視頻。
這樣不管是改圖還是打磨分鏡,都能直接博采眾長,快速生成符合需求的高品質(zhì)AI視頻。
![]()
![]()
△ 光影幾何內(nèi)部集成AI工作流/受訪者供圖
該工具于近期測試完成,已經(jīng)應(yīng)用在貓大人新作《貓將軍》里。
同樣是國風(fēng)水墨AI短片,同樣一人成軍完成動(dòng)畫部分,《燕赤霞》用了10天,那么應(yīng)用全新集成AI工具的《貓將軍》用了多久呢?
5天。
50%的直接效率提升,成片質(zhì)感不減反增,打斗動(dòng)作穩(wěn)定性、畫質(zhì)、幀率等都得到了明顯進(jìn)階。
就像幾年前民間編程大佬基于Stable Diffusion開源設(shè)計(jì)的ComfyUI文生圖、文生動(dòng)圖工作流,再由B站秋葉大神整合成可以自動(dòng)調(diào)用插件的繪世啟動(dòng)器,甚至可以幫助新手從零開始入門AI繪畫。
據(jù)貓大人介紹,市面上還沒有其他團(tuán)隊(duì)開發(fā)出這種集成AI工作流工具。
但顯然,“百家爭鳴”之后,“萬法歸一”或?qū)⒊蔀榻^對(duì)的主流。
設(shè)想一下,如果市面上所有AI視頻內(nèi)容效率提升速度再加快一倍,將會(huì)迭代出多少可能性?很難不讓人熱血沸騰。
02 沖冠一怒,做與眾不同的AI國漫宇宙
一連三部作品,貓大人和光影幾何團(tuán)隊(duì)已經(jīng)成了國風(fēng)水墨AI動(dòng)畫賽道的領(lǐng)軍人物。
最初入局AI,他也嘗試過真人寫實(shí)、CG游戲、仙俠動(dòng)漫等多種畫風(fēng),比如7月份專門為愛奇藝比賽“共生”主題制作的短片《溫度》,嘗試探討智能機(jī)器人與養(yǎng)老問題。
決定深度投入國風(fēng)水墨AI動(dòng)畫賽道,當(dāng)然有考慮到2D水墨畫風(fēng)實(shí)現(xiàn)難度較低、對(duì)故事的承載效果更好,還可以有效避免真人肖像權(quán)、版權(quán)等潛在問題。
最關(guān)鍵的契機(jī),則是一個(gè)“沖冠一怒”的故事。
9月17日,迪士尼、康卡斯特旗下環(huán)球影業(yè)與華納兄弟探索在加州聯(lián)邦地方法院共同起訴,指控中國人工智能公司MiniMax旗下的海螺AI服務(wù)嚴(yán)重侵犯版權(quán)。
![]()
△ 迪士尼等公司指控海螺AI服務(wù)嚴(yán)重侵犯版權(quán)
隨后,相關(guān)AI平臺(tái)對(duì)版權(quán)問題更加敏感。當(dāng)時(shí)貓大人團(tuán)隊(duì)正在嘗試制作《花木蘭》AI短片,竟然會(huì)被網(wǎng)友問到“花木蘭是中國的嗎”這種問題,讓他覺得荒謬且憤怒。
我感覺這已經(jīng)是一種文化入侵,所以我們憋了一口氣,一定要把中國的傳統(tǒng)文化融入到最先進(jìn)的AI影視內(nèi)容中,做出更好的作品。
![]()
△ 作品中融入主創(chuàng)心聲
所以除了使用最新首尾幀技術(shù)盡可能呈現(xiàn)激烈打斗效果之外,光影幾何還用超額預(yù)算邀請(qǐng)“離譜琴社”的民樂老師原創(chuàng)音樂,融入琵琶、二胡、嗩吶、鼓等中國傳統(tǒng)民樂樂器,營造最適配的中國風(fēng)氛圍感。
算一筆經(jīng)濟(jì)賬大家就知道了,我們團(tuán)隊(duì)AI視頻對(duì)外報(bào)價(jià)一分鐘一萬到一萬五,樂團(tuán)報(bào)價(jià)一分鐘兩萬,最后《花木蘭》整體費(fèi)用達(dá)到六位數(shù)。
如果只是做一個(gè)普通作品,我們這種小團(tuán)隊(duì)其實(shí)沒有必要去承擔(dān)這個(gè)成本。
![]()
△ “離譜琴社”民樂老師/受訪者供圖
大概擁有同樣熱愛的人群總是相似的,合作下來,民樂團(tuán)老師比較認(rèn)同他們的理念,決定和光影幾何工作室組成一個(gè)固定團(tuán)隊(duì),以成本價(jià)共同探索國風(fēng)AI動(dòng)畫內(nèi)容的上限。
團(tuán)隊(duì)內(nèi)容布局卷軸初展,除了剛剛發(fā)布、改編自中國古代傳說的《貓將軍》,新作《后羿射日》已經(jīng)在開發(fā)中。
![]()
△ 《后羿射日》抽卡效果/受訪者供圖
這部短片設(shè)定在新石器時(shí)代,融入祭祀、舞蹈等非遺元素。
表現(xiàn)手法也不僅僅局限在“水墨”一種,他們更傾向于在國風(fēng)大前提下多維延伸觸角,比如后續(xù)作品嘗試游戲CG風(fēng)格等,或許能做一個(gè)與眾不同的“AI國漫宇宙”。
![]()
△ 國風(fēng)角色+機(jī)械姬質(zhì)感/受訪者供圖
編劇能力算是短板,我們目前以二創(chuàng)改編故事為主。
貓大人更傾向于從中國傳統(tǒng)文化、經(jīng)典影視作品中取材,一方面堅(jiān)持團(tuán)隊(duì)初心,另一方面從商業(yè)角度考慮,二創(chuàng)已經(jīng)具備觀眾認(rèn)知基礎(chǔ)和粉絲受眾,推廣難度更小,更有利于降低甲方風(fēng)險(xiǎn)。
![]()
△ 《燕赤霞》臺(tái)詞致敬徐克經(jīng)典電影《倩女幽魂》
商業(yè)化,是每個(gè)AI視頻團(tuán)隊(duì)都必須面臨的問題。
除了承接甲方商單之外,貓大人介紹,《燕赤霞》已經(jīng)接到了騰訊視頻、B站等視頻平臺(tái)遞來的橄欖枝,計(jì)劃開發(fā)成60-90分鐘的網(wǎng)絡(luò)電影,其他作品也有計(jì)劃開發(fā)成動(dòng)畫短劇。
加上集成AI工具流顯著提高的內(nèi)容效率,AI影視的可延展性被進(jìn)一步拔高。
03 分辨率、混音是AI“硬傷”,影視人最好盡快入局AI
可惜做不了院線電影,AI視頻分辨率被現(xiàn)有技術(shù)限制得太死了。
故事創(chuàng)意、畫風(fēng)、物理運(yùn)動(dòng)連貫性、任務(wù)場景一致性……關(guān)于AI的一切都在飛速迭代。
在貓大人看來,生成式AI視頻大模型現(xiàn)在最大的硬傷,一個(gè)是分辨率,另一個(gè)是很多圈內(nèi)人可能都沒注意到的,混音。
分辨率是世界級(jí)難題,目前全球AI視頻大模型分辨率都在1K左右,只能停留在小屏圈層。
他經(jīng)常催促海螺官方技術(shù)人員快點(diǎn)解決這個(gè)問題:
把人家都催煩了。
![]()
△ 用IMAX格式觀看斗法大場面也許會(huì)十分震撼
在現(xiàn)有分辨率下,混音問題其實(shí)對(duì)成片質(zhì)感影響更大。
貓大人表示,很多不懂混音的AIGC制作人還沒意識(shí)到,如果追求AI短片的高品質(zhì),就必須采用真人配音+后配音樂+混音母帶。
AI直接生成配樂當(dāng)然也可行,但觀眾能聽出來,AI音樂缺乏力量感和情緒效果,樂器聲太輕了,沒有抑揚(yáng)頓挫的感覺。
到混音階段也會(huì)更困難,AI音樂存在EQ打架的問題,在同一個(gè)頻率段上曲子會(huì)搶人聲,導(dǎo)致聲音渾濁或者失真。專業(yè)編曲就會(huì)知道要做避讓。
![]()
![]()
△ 《貓將軍》混音工作臺(tái)/受訪者供圖
為什么他會(huì)特別注意混音問題?
人生際遇總在不經(jīng)意間轉(zhuǎn)彎,貓大人本科專業(yè)學(xué)的就是錄音、混音,給本兮等歌手做過專輯;后續(xù)轉(zhuǎn)行寫了兩三年網(wǎng)文;再度轉(zhuǎn)行學(xué)習(xí)建模、角色綁定,才逐漸深入3D影視后期制作方面。
中間一度很迷茫,并不清楚自己的目標(biāo)在哪里,就很機(jī)械地制作,努力生活唄。
通過AI我個(gè)人覺得找到了一個(gè)新的方向,尤其是做《花木蘭》,好像此前所有的工作經(jīng)驗(yàn)都在AI動(dòng)畫導(dǎo)演這個(gè)身份里融會(huì)貫通了,我能統(tǒng)籌把控每一個(gè)環(huán)節(jié),達(dá)到最理想的效果。
一切都不一樣了。
![]()
△ 《貓將軍》抽卡效果/受訪者供圖
所以他非常建議泛影視人盡快入局AI,主動(dòng)擁抱這一新工具,將其作為一種創(chuàng)作輔助手段,越早越好。
說到底使用AI是一種經(jīng)驗(yàn)積累,比如抽卡提示詞,你想要一個(gè)背對(duì)鏡頭的畫面就不能有人物臉部描述、想要面部大特寫就不能帶一句手腳內(nèi)容。
越早進(jìn)入AI的邏輯,就越能得心應(yīng)手地使用它。
2025年,AI視頻完成了三步階梯式跳躍。
從簡單的ASMR超現(xiàn)實(shí)鏡頭(如“菜刀切地球”),到在已有影視作品的基礎(chǔ)上二創(chuàng)整活兒玩梗的病毒視頻(如“甄嬛掏出機(jī)關(guān)槍突突華妃”)。
![]()
△ 網(wǎng)友根據(jù)《甄嬛傳》二創(chuàng)整活兒玩梗的病毒視頻
再到這批已經(jīng)具備故事深度、畫面審美乃至聲畫結(jié)合,足以被稱為“內(nèi)容”的AI短片,更多長片已經(jīng)在制作中。
AI浪潮已然勢不可擋,也許現(xiàn)在這批“散兵游勇”式的AI超創(chuàng),就會(huì)是下一個(gè)申奧、辛爽、郭帆、張藝謀。
光影與算法共舞,期待更多讓內(nèi)容更加精彩的“后浪”。
特別聲明:以上內(nèi)容(如有圖片或視頻亦包括在內(nèi))為自媒體平臺(tái)“網(wǎng)易號(hào)”用戶上傳并發(fā)布,本平臺(tái)僅提供信息存儲(chǔ)服務(wù)。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.