不學Sora？這家國產AI搞了個“無限續杯”的視頻模型_風聞

這回，世超掏着一個據説不一樣的視頻模型：sand.ai 的 Magi-1。

具體有啥不一樣？我們先翻了翻 sand.ai 的資料，發現他們團隊還真是有點來頭。

 創始人曹越和聯創張拯早在 2021 年的萬引神文 Swin Transformer 就有合作，都曾就職於科技界的黃埔軍校 —— 微軟亞洲研究院。曹越還是光年之外的創始人之一。

在強強聯手的 buff 加持下，sand.ai 創立才一年多就有了自己的第一個視頻生成模型 Magi-1。

據説 Magi-1 是現在市面上唯一一款能進行無限時長視頻續寫的模型，還能精細化控制到每一秒生成的內容。

 要知道現在視頻生成模型的極限普遍就幾十秒，像可靈那樣一分鐘以上的都很少見。要生成更長的視頻，那是另外的。。。另外的價錢也不行，這是底層模型的技術問題。

而Magi-1 支持無限時長續寫，還可以每次同時生成最多 16 個 1s 到 10s 的視頻。

 不光技術有創新，sand.ai 還表示，他們已經在 4 月 21 日開源了模型，並同步上線產品 demo。

連業界大佬都發文力挺 sand.ai，李開復發帖，這是繼 DeepSeek 之後又一個開源的世界級模型。

美團創始人王慧文也為 sand.ai 這波開源發聲：“只有科技的不斷前行，能挽救人類掉入零和遊戲的深坑。”

我們去翻了幾個官方的案例，好像確實有點東西啊。

看看這飛快的運動速度！

再看看這絲滑的鏡頭轉換！

 這可讓世超有點期待了。

不過得先冷靜一下。測試下來，感覺想法是很有潛力的，有優勢和特色，但是生成的效果還有待提升。

 我們先找了個夢中情車的正面特寫慢鏡頭，準備續寫接下來世超駕駛 Lamborghini 秋名山車神再世的畫面。

測試的過程中，我們發現 Magi-1 對於運動速度和鏡頭的控制確實很優秀。蘭博基尼在路上疾馳的效果做出來了，鏡頭也很有電影感，一直聚焦在跑車上。

還有一個很明顯的優點，就是 Magi-1 對於視頻主要物體的保護非常到位。不會在多次續寫之後，跑車變身大黃蜂的情況。

它對物理環境的理解也是正確的，車輛一直保持在地面上，沒有出現低空飛行之類的騷操作。

 不過。。。Magi-1 好像有點健忘。比如前三段生成的視頻都知道車後是一面牆，結果第四段直接一個倒車擺尾漂移絲滑上路了。

而且場景理解自從上路就越來越抽象了。除了克蘇魯風綠化帶，提示詞讓它在紅燈前剎車，本意遵紀守法，它直接來個交通肇事。

雖然確實是在紅燈前剎車，沒毛病

 但我們接下來的測試發現，效果不好也不能全怪模型，還可能是提示詞出了問題。

打開 Magi-1 的提示詞增強，它可以把簡單的提示詞擴展成更詳細、容易讓模型理解的指令。但在實際使用的時候，它出現了添油加醋，假傳聖旨的現象。

比如這裏，我們只想讓小雞玩具跳起來，提示詞增強自己給自己上了個難度，還要讓小雞扇動翅膀。

 但如果我們把提示詞複製一遍，只刪掉扇翅膀的要求，關掉提示詞增強，生成的視頻效果立刻好起來了。

左圖有扇翅膀提示詞，右圖去掉扇翅膀提示詞

接下來，我們再對之前的跳躍提示詞直接進行修改，變成讓鏡頭逐漸左移。

效果看起來也不錯，環境沒有崩，小雞也沒有崩，鏡頭的確移動了。

** 所以這裏有個小小的功能改進建議嗷：**在進入視頻生成環節之前，最好讓大家夥兒看看增強的提示詞對不對，給一個修改提示詞的機會。

畢竟生成一次還是要等挺久的，要是最後才發現中間提示詞被魔改了，有點搞心態。

這也側面反映了，Magi-1 對於提示詞是非常敏感而且要求很高的。想用好它，最好知道什麼樣的提示詞才能讓它出好活。

看完測試，你可能覺得，這模型有點拉呀，現在生成效果比這個好的多的是，為啥把它拿出來説？

因為它和我們熟悉的 Sora 等非自迴歸 DiT 模型 (Diffusion Transformer) 的技術路線完全不一樣，是一個自迴歸生成模型 AR (Autoregressive model)。

 作為一次創新嘗試，它有自己獨特的優勢和潛力。

AR 模型就像一條環環相扣的鎖鏈，每一次生成視頻的新一幀，都在前一幀的基礎上。這樣生成的視頻相鄰幀之間就會有強相關性。

而 DiT 模型更像是放在一起偽裝成鎖鏈的一堆鐵環。它為了效率會同時生成很多幀，但沒有辦法兼顧到幀與幀之間的關聯。

為什麼 sand.ai 要嘗試一條新路，選擇和主流視頻生成都不一樣的 AR 模型呢？

 我們對 sand.ai 團隊進行了簡單的採訪，很榮幸得到了對 Magi-1 更專業、長遠的解答。

sand.ai 表示，他們早在 Sora 發佈前就洞察到了 AR 模型在視頻生成方面的潛力。堅持 AR，是因為它在大語言模型上已經被證實是可擴展的 (scalable) ，而 scalable 在很大程度上決定了這個技術在未來的上限。

理論上，AR 模型和語言模型的技術路線更接近，有機會讓語言和視頻統一建模，使文字和視頻之間的關係就像現在文生圖一樣緊密，效果有可能實現一次躍遷。

另一方面，視頻隨着時間的推移往往還有物理和邏輯的相關性。比如籃球如果被籃筐攔住，它就不會再掉落了。

下圖是用Magi-1生成的

DiT 每幀獨立生成的方式可能會切斷這種關聯，沒準會讓籃球直接魂穿籃筐。而 AR 會更好地理解視頻內容，不僅內容合理，還會在運動幅度、速度上表現得更好。

 雖然技術路線目前看還沒有完全成熟，**但 sand.ai 相信 AR 會是未來。**隨着技術的不斷迭代，也許就會找到最合理的 AR 模型視頻生成的方式。

於是按照他們的説法，在對技術全面而理性地分析後，sand.ai 在 AR 視頻生成上下了注。

其實，在視頻生成領域捲到飛起的今天，sand.ai 看似遲到了，但在上限更高的AR 視頻生成上他們卻是先發而至。

最重要的是，sand.ai 這波開源，屬實格局拉滿。

科技行業的每一次重大開源，都會帶來一場百花齊放。期待 sand.ai 未來的更多產品，以及更多團隊在 Magi-1 基礎上的創新成果。

圖片、資料來源：

莫莫實測、pexels、X、Google Scholar、小紅書 

https://help.openai.com/en/articles/9957612-generating-videos-on-sora

https://baike.baidu.com/item/%E5%8F%AF%E7%81%B5/64521309

https://www.geeksforgeeks.org/difference-between-autoregressive-and-non-autoregressive-models/

https://www.someecards.com/usercards/viewcard/dda55efbddeeb36fc8845276b625b586/