設計師看呆！印象派插畫轉視頻，揭秘Luma隱藏玩法_風聞

剛玩過Pika 2.0這款“最優秀的免費AI視頻生成工具”後，網友又有新樂子了。

昨晚，我在微博上看到了設計師@Simon_阿文 po出了一組AI生成的圖片。本來他想為難一下這個名叫“Dream Machine”的大模型，但……小丑張嘴説話，旋轉木馬開始旋轉，獨角獸開始奔跑，po主直呼“我瘋了”。

▲“馬戲團”靜幀生成視頻（來源：Simon_阿文）

我也驚了，這絕對是迄今為止第一個能把風格化圖片轉成合理視頻的模型。（風格化是一種模擬真實藝術手法的創作方式，會有繪畫或印象派的效果，而不注重寫實。）

Dream Machine（造夢機）是2021年成立的Luma AI昨天免費開放的視頻生成大模型，這家公司在A輪B輪中都拿到了英偉達的投資。Luma AI模型可以在120秒以內生成120幀影像（5秒視頻）。

從官網效果視頻來看，“人緊閉雙眼在水下呼吸”、“北極熊在雪野中慵懶地匍匐前行”、“房間瞬時發生了爆破”……生成視頻動感、逼真、流暢，甚至有一些故事的延伸感！

▲Luma.AI官方視頻效果

全球互聯網的熱情一下子被點燃，大量用户湧入Luma AI網站，乃至今天上午我試用時也出現了排隊的情況。我承認，Luma AI生成模型終於能用了，雖然視頻幀率遠不如Sora，細節上還是問題很多，但比Pika半年推出的模型進步了一大截。

/ 01 / 實測：風格化表現力好，但畫面質量太有問題

Luma AI的造夢機大模型用起來非常的簡單，只要登入官網（https://lumalabs.ai/dream-machine）後註冊，通過輸入文字提示詞，等待約2兩分鐘，就可以獲得一段5秒的視頻。

我先後將一些風景照片、影視截圖、Coser高清美照等等投給Luma AI，120s的時間説長不長，如果你能忍受偶爾幾次的卡頓，模型能消化各種風格，交出一些生動有趣的“電影級”畫面。

首先，這個模型對提示詞的要求低，哪怕你説“將圖片轉化成視頻”，Luma AI也可以自由發揮。比如我將電影《教父》的畫面給到模型，你能想象AI會怎麼“續寫”嗎？視頻中，老教父站起身來，他旁邊的侍從一臉凝重地拉住了他，這畫面引人遐想，彷彿暴風雨前的蓄勢待發。

▲電影《教父》畫面生成視頻

一直以來，過去人們對圖生視頻模型的印象大概是超寫實還行，但風格化表現極差，這一次Luma AI卻表現真的不一樣。

相對來説，文生視頻的效果就會差一些。我直接使用Luma AI給出的參考文本生成視頻，可以看到視頻中的熊突然跳躍到空地上，然後對一個不斷變形的吉他使出了“無影爪”……運動幅度不是很流暢。

▲文本“一隻戴着墨鏡的泰迪熊在一片美麗的大瀑布前的叢林裏，彈着電吉他、跳着舞、晃着頭。”生成視頻

我承認，Luma AI在做畫面補充上是有一手，但是也會翻車在這一點上，出現完全不符合內容邏輯的情況。比如，我將《楚門的世界》結局時的經典微笑畫面交給大模型，視頻閃現了兩張一羣人簇擁“楚門”的畫面，離譜！第二個畫面不知道是AI從哪裏學來的，有種可惡的熟悉感。

▲電影《楚門的世界》畫面生成視頻，提示詞為“這個男人開心地笑了起來並揮手再見的鏡頭”

另外，理解物理世界對於Luma AI來説仍然是未被解決的問題。當某網友將美劇《生活大爆炸》中Sheldon的劇照投給Dream Machine，生成視頻中Sheldon的動作細節不符合物理。這個是AI視頻生成的老毛病了。

▲《生活大爆炸》中Sheldon生成視頻

最最嚴重的問題其實是畫面質量。Luma AI生成視頻的粒子效果尚可，不過這本來難度就不大，但是視頻幀率較低，想必是計算能力一般，畫面紋理和材質差，多為低渲染素材，細節表現失真。

這令我也很疑惑，Luma AI畫面逼真度比Sora差了怎麼這麼多？Luma AI模型的標定是2分鐘120幀，為了保證這個輸出速度，圖片質量就會比較低，渲染速度快就會出現低渲染素材。那如果我們用分辨率稍低一點的素材試一下，比如我用電影《五星級大鼠》可能效果就會……還是不怎麼樣。

▲電影《五星級大鼠》畫面生成視頻

總的來説，Luma.AI表現得最好的部分是運動平滑度、運動程度，它還有一定的內容表現力，例如可以在5s視頻中補充與風格、內容一致的動態畫面。畫面不僅僅只是動作流暢，還比原來更有趣、更有故事性。

儘管運動和內容表現力不錯，Luma.AI也坦率承認，目前模型存在着重現自然動作、變形效果和文本方面的困難。不過我認為，成像質量才是Luma.AI最大的問題，視頻的幀率較低，畫面紋理和材質經不起細看，細節表現失真。

▲Luma.AI評分（來源：烏鴉智能説）

人類學構圖時最先學的是物理邏輯，而AI的學習路徑大大不同。無論是Sora的刷屏視頻出現多處失誤，還是Luma “自爆”還需要改進的各種問題，當前我對Luma大模型表達驚豔的同時，也意識到了模擬真實世界仍需闖關。

/ 02 / 畫面幾乎不可用，實際價值待解

除了生成效果，視頻生成長度（約5s）、產品易得性（完全免費）也都是Luma AI模型的亮點。

要知道OpenAI“重磅彈”Sora雖然能根據提示詞生成1分鐘視頻，但還未開發公測。此外，開放的Pika、Runway和PixVerse等文生視頻產品基於原創模型，生成視頻長度也只有3-4秒，部分產品仍有付費門檻。

那麼，更易得、完全免費的Luma AI有沒有更實際的案例價值呢？

對於創意視頻生成、廣告創作、電影特效這類較專業的案例來説，答案是：Luma AI不行，Sora也不行。影視從業者江江告訴烏鴉君，Luma AI生成視頻的畫面質量太低，幾乎不可用。今年2月，第一財經的一篇報道也提到，某紀錄片從業者認為Sora還不能直接用於影視作品，因為精細度還不夠。

Luma AI視頻工具對於藝術表現這一塊也不見得打得通。上文提到的設計師@Simon_阿文也開始反思AI對作品的二創，他認為生成的視頻導致風格偏離，得不償失，“比如這隻熊…感覺串片場了”。設計師的風格暫時還不能被AI視頻生成精細地複製。

▲@Simon_阿文 作品中的獅子突然變成了卡通版本

/ 03 / 英偉達看好，開放打法是否有效？

AI生成視頻賽道打得火熱，資本市場也展現出對視頻生成領域的瘋狂，今年3月，三個華人創立的AI視頻生成創企（Haiper、愛詩科技、HeyGen）扎堆獲得了融資，而且融資額都過了千萬美金。

Luma AI的融資歷程也非常順利，截至今年1月份，Luma AI已融資超7000萬美元。A輪融資2000萬美元，投資方包括Amplify Partners、英偉達、General Catalyst等。B輪融資4300萬美元，a16z領投，Anjey Midha、Amplify、Matrix、英偉達等參投。

Luma AI的開放策略，使得Dream Machine對所有人都可用，這可能會使其在建立開發者和創作者社區方面佔據顯著優勢。據瞭解，Luma AI計劃發佈API和插件，將Dream Machine與流行的創意軟件集成，進一步擴大其影響力。

從另一個角度來講，Luma團隊可能是沒有能夠收集到足夠的信息訓練，所以只能開放，以此收集數據。而做得比較好的視頻生成項目可能不會開放，因為他們擔心垃圾數據會降低AI的訓練度。

▲Luma在網站支持模型現有的問題

/ 04 / 結語：AI視頻生成正在普及化

過去我們無法想象，AI視頻可以精細到如Sora、Luma這種程度，從文生文到文生視頻、圖生視頻，也不過才用了一年時間。Luma AI的視頻的質量令人驚歎，但目前，它們除了作為展示AI潛力的範例作用外，實用落地價值仍待觀察。

Luma 等AI生成視頻工具的開放和收費，預示AI視頻工具商業化將提速。影視從業者江江也對烏鴉君表示，Ta從視頻製作者的角度來看，原以為會成為技術難關的東西，AI都已經突破或者有突破的跡象了。或許AI視頻生成普及化到實際落地的那一天不會讓我們等太久。