國產AI訓練，為什麼要用外國視頻？_風聞

生成式AI的這股浪潮翻湧到現在，已經一年多了。

如果要論在這股浪潮中，哪一類模型是AI領域“王冠上的寶石”，那一定是文生視頻模型莫屬。

從技術層面來説，Sora、Vidu這列視頻大模型，最核心的價值，在於它們實現了跨媒介的信息合成與創造，從而形成了文本、圖像、與視頻等不同模態的“大一統”。

而這樣的“大一統”，或許正是人類通向AGI的關鍵。

在這個“大一統”的框架下，數據不再被單一模態所限，而是作為多維度信息的綜合體被理解和運用。

正如圖靈獎得主，AI三巨頭之一的Yann LeCun所提出的“世界模型”理論所述，現如今的 LLM （大模型）都只是在文本上訓練的，因此只能非常粗淺地理解世界。

即使 LLM 憑藉大量參數和海量訓練數據，能展現出過人的文本理解能力，但它們本質上捕獲的依然只是文本的統計規律，並不真正理解文本在現實世界中所代表的含義。

AI三巨頭之一 Yann LeCun

而如果模型能使用更多感官信號（比如視覺）學習世界的運作模式，那麼就能更加深刻地理解現實。從而感知那些無法僅憑文字傳達的規律、現象。

從這個角度來説，誰能率先通過多模態的世界模型，讓AI掌握現實物理的規律，誰或許就能率先突破文本和語義的限制，在通往AGI的路上先登上一個大台階。

這也是為什麼，OpenAI當前如此傾注於Sora的原因。

雖然前段時間，Vidu的出現給國產視頻技術長臉了，在Sora這樣的行業霸主面前挺直了腰板，但大家夥兒在歡欣鼓舞的同時，細心一看Vidu的演示視頻，發現個挺有意思的事兒：裏面老外的臉蛋特別多。

這一下子，可讓大家夥兒琢磨開了，感覺像是無意中扯出了咱們在收集視頻資料這塊兒的一個小辮子——高質量數據不足。

數據之困

如果説，現階段真有制約視頻生成模型發展的硬門檻，那麼這樣的門檻，無非就是算力、算法與數據。

而其中的前兩者，實際上只要有錢，有人才，實際上都能搞得定，唯獨數據，一旦落下了，後面想追平，可就得費老大勁兒了。就像身高一樣，拉開了就很難追趕。

講真，雖然從絕對總量來看，中文互聯網上視頻內容也不少了，但其中真正可用於AI訓練的高質量數據，卻並不如外網豐富。

例如，在視頻目標檢測方面，YouTube視頻數據集VIS包含2,904個視頻序列,共超過25萬個標註目標實例。國內視頻目標檢測數據集，如華為的OTB-88，僅包含88個視頻序列。

而在行為識別數據集方面，由國際上同樣知名的HACS數據集，包含了140萬個視頻片段，涵蓋200個人類日常行為類別。相較之下，國內阿里雲的天池行為識別數據集，雖然也是涵蓋200個行為類別，但僅僅包含了20萬個視頻片段。

造成這一差距的原因，從視頻生態上來説，主要是因為國內的很多主流視頻網站，例如愛優騰，發佈的大都是一些影視劇、綜藝、娛樂等內容。

而流量最大的抖音、快手這些短視頻平台，也都是滿屏的搞笑段子、生活小竅門，本來時長就很短了，其中還不乏很多剪輯、搬運、抄襲的作品。

這麼一來，AI想找點“正經飯”吃，還真不容易。

對於視頻AI訓練來説，這樣的視頻，要麼過於集中於特定類型，缺乏日常生活等多樣化的場景，要麼時長太短，**缺乏深度和連貫的敍事，**這不利於AI學習到長序列的連貫性、故事邏輯和因果關係。

與之相比，專業團隊製作的電影、紀錄片等內容，往往才是視頻AI所需的高質量數據。

因為這些題材不僅種類豐富，時長夠長，並且十分重細節呈現，更有利於AI模型捕捉到光線變化、物體材質方面的區別，從而提升其生成的精準度。

視頻數據這塊兒地兒，咱們不光是缺高質量的內容，還有個頭疼的事兒——數據標註，這可是塊難啃的骨頭。就算視頻拍得質量再高，但你直接甩給AI，它也不能分清其中的物品。

所以收集好視頻數據後，得有人耐着性子，一幀一幀地告訴AI：“瞧見沒，這條線動的是車流，那個兩腳走路的是行人。”

要搞定數據標註這個既費勁又海量的活兒，沒點厲害的傢伙事兒可不成。例如，為提升標註效率，國外就湧現出了一批交互式視頻標註工具，如CVAT， iMerit等。這些工具集成了自動跟蹤、插值等算法，能夠大幅減少人工標註的工作量。

反觀咱們國內，由於自動化標註工具不那麼普及，**多半還是靠人海戰術，**大批的標註小分隊加班加點地手動肝。

這麼幹吧，雖説標註的量上去了，可問題也跟着來了——這批臨時拉起來的大軍，沒個統一的、客觀的標準，培訓啥的也不到位，全憑個人感覺在那兒判斷對錯好壞，這樣一來，數據質量參差不齊就成了常態，有的地方標得好一些，有的地方可能就馬馬虎虎。

更讓人頭大的是，這種活兒，不僅枯燥乏味，累死累活，還掙不了幾個錢，你説誰樂意幹長久？

根據多家視頻數據標註公司的反饋，大多數標註員的月薪在3000-5000元之間，國內視頻標註行業的年流失率普遍在30%-50%之間，個別公司甚至高達80%。

這行當人員流動跟走馬燈似的，公司得不停地招新人、培訓新人，剛教會一批，轉頭又走了一波。這直接把數據標註的質量穩定性給攪和了。

講真，在數據總量、多樣性、標註環節均不如外網的情況下，國內的視頻AI要想崛起，該怎麼跨過數據這道難關呢？

合成數據

如果高質量數據實在難找，那走合成數據這條路，用人工素材來“投餵”AI，是否可行呢？講真，在Sora問世前，就已經有人這麼做了，例如英偉達在2021年發佈的Omniverse Replicator就是這樣一個例子。

説白了，Omniverse Replicator就是個合成數據的平台，專攻那種超逼真的3D場景。這玩意兒牛就牛在，它造出來的視頻數據啊，每個細節都嚴絲合縫地遵循物理定律，就像是從真實世界裏直接摘出來的一樣。

這玩意兒對誰最管用？哦，那可多了去了，自動駕駛，機器人訓練什麼的，或者任何想要AI準確理解物理動態的項目。

在進行數據合成時，Omniverse Replicator首先會將各種3D模型、貼圖和真實的材質拖進自己的平台中，之後就像搭積木那樣，用這些素材構建出各種場景，例如城市街道，工作中的車間，或者是繁忙的馬路等等。

接下來，為了讓製造出來的數據不那麼“死板”、“單調”，Replicator有個厲害的功能，就是能讓人設定很多變化的因素。比如物體放哪兒、朝哪邊、長啥樣、顏色咋變、表面摸起來啥感覺，甚至是燈光怎麼打，都能讓它自己隨機變來變去。

這樣做有個大好處，就是能讓最後得到的數據五花八門，能讓AI見識各種情況。這對AI數據合成來説，是至關重要的一步。

再之後，為了精確模擬現實中的物理交互，Omniverse Replicator中的NVIDIA PhysX等物理引擎，會根據牛頓力學等物理法則，在物體發生碰撞或接觸的時候啊，計算它們的運動狀態改變，比如速度、加速度、旋轉和摩擦力等。

同時添加重力、彈性、摩擦力、流體阻力等約束條件，從而讓模擬更接近現實。

雖然Omniverse Replicator可以生成高質量的視覺和動態3D場景，但它最擅長的是處理那些遵循物理定律的東西，比如怎麼讓虛擬的球按正確的方式彈跳。而對於那些抽象的，具有連貫邏輯和敍事性的內容，就超出了它的能力範疇了。

比如，如果人們想在視頻裏展現一個人開心的樣子，就得讓AI先學會“笑”這個表情，這可不是物理模擬能搞定的東西……

再比如，人們喝完水後，如果杯子不是一次性的，人們往往就會將水杯放回原位，而不是隨手丟掉，這樣的行為，其實更多地遵循的是人類常識，而不是純粹的物理規律。

在理論上，Omniverse Replicator無法單獨生成訓練Sora這類視頻模型所需的所有數據，特別是那些涉及高級語義理解、連貫敍事和高度抽象概念，以及複雜的人類情感和社會互動的實例，這些都是Omniverse Replicator目前的設計和功能範圍之外的。

另闢蹊徑

實際上，除了Omniverse Replicator這種路子外，使用虛幻5引擎生成相關數據，也是一種備選策略。

在之前Sora放出的視頻中，人們就已經發現，某些視頻片段的效果，跟此前寫實、逼真的畫風有點不一樣，看上去更像是某種“3D風格”，例如下面的這個大眼睛、長睫毛、口噴冷氣的小白龍。

雖然OpenAI官方並未承認，但眼尖的網友一看就感覺到了，這玩意兒有虛幻5的影子！

但即使這種猜測是真的，虛幻5能提供的，大概率也只是對光線、場景、3D信息和物理交互的模擬數據，本質上和Omniverse Replicator一樣，只能提供一些很“硬”的物質層面的模擬。

要真想搗鼓出一個啥都有的世界級視頻大雜燴數據集，就得想想新招。

一個挺極端的法子就是讓AI自產自銷，自己造視頻來訓練自己。但這裏頭有個坑，要是這些AI親手做的視頻在訓練材料裏佔太多了，就會出現**“模型自噬”**的風險。

換句話説，就是生成的東西越來越差。

在極端情況下，持續使用自我生成的數據，可能會導致模型性能急劇下降，甚至模型完全失效，因為AI可能會將前代模型的缺陷一代代放大。

去年，萊斯大學和斯坦福團隊發現，將AI生成的內容餵給模型，只會導致性能下降。

研究人員對此給出一種解釋，叫做**「模型自噬障礙」（MAD）**。

研究發現在使用AI數據，經過第5次迭代訓練後，模型就會患上MAD。

在合成數據上訓練AI模型會逐漸放大偽影

這其中的機理，和生物學上因“近親繁殖”導致後代產生缺陷的情況十分類似。

正如近親繁殖中的個體因遺傳池縮小而限制了遺傳多樣性，過度依賴AI生成的數據，也會限制模型學習的多樣性，**因為它反映的是前代模型的固有的理解，**而非原始的真實世界多樣性。

如果將模型比作人的話，那麼任何模型，即使數據質量再高，也始終會存在稀缺的內容，就像一個人的基因即使再好，也總會存在某些稀缺的因子。

這些“缺陷”在前代模型中不明顯或可接受，通過迭代訓練過程，這些缺陷仍有可能被放大，尤其是在缺乏外部多樣性的情況下。

研究還發現，提高合成質量會損害合成多樣性。

對大模型來説，如果想表現出更好的泛化能力（所謂的舉一反三），就需要不斷適應新的數據和場景，應對新的挑戰，從而總結出新規律、新關聯。

這就是為什麼數據多樣性，對模型如此重要的原因。

既然這中文互聯網上的高質量數據，本來就不是很多，合成數據這條路，從技術上似乎也很難走得通，那麼國產視頻大模型想要超過Sora，還能有哪些路子呢？

自我進化

如果有一種辦法，能讓模型在自己生成數據的同時，不陷入“自噬”的漩渦，還能不斷自我進化，這豈不美哉？

講真，國內已經有部分AI企業走出了這條路子，例如智子引擎團隊開發的新型多模態大模型——Awaker 1.0就是這麼個例子。

簡單地來説，Awaker 1.0這個模型，之所以能突破以往的數據瓶頸，主要歸功於自身獨特的三大功能：自動生成數據、自我反思、持續更新。

首先，在自動生成數據方面，Awaker 1.0主要通過網絡和物理世界兩種途徑來蒐集數據，也就是説，它不光在網上到處搜索，看新聞、讀文章、學東西，還能在跟真實世界裏的智能設備配合時，通過攝像頭看東西、聽聲音，理解周圍發生的事兒。

不過，與簡單的數據爬取不同的是，在蒐集了這些多模態的數據後，Awaker 1.0還能理解和消化這些信息，並以此生成新的內容，比如文字、圖像甚至視頻。之後再根據這些“反芻”後的內容，不斷優化和更新自己。

接下來，強化後的Awaker 1.0可以生成質量更高、更有創意的新數據，如此循環往復，就形成了一個自我訓練的閉環。

換句話説，這實際上是一種動態合成數據的方法，外部數據只是給它提供了“種子”，通過不斷地自生自吞，它可以不斷放大和擴展這些初始數據，持續為自己生成新的訓練數據。

這就像是一個強悍的“增程發動機”，則巧妙地利用了少量的燃料（數據），通過一個循環放大的過程，產生出遠超燃料本身能量的動力輸出。

同時，為了在這個閉環中，糾正數據可能的偏差，Awaker 1.0不僅會對生成的數據進行質量評分和反思，過濾掉質量不高的樣本，並且還會通過持續在線學習和迭代，根據新的外部數據和反饋，確保數據的實時性和準確性。

如此一來，模型既避免了受限於有限的外部數據源，也避免了陷入純合成數據可能導致的“模型自噬”現象。

而這種自我反饋和學習的機制，實際上也暗合了AI領域要統一理解側和生成側的想法。

Sora問世後，越來越多聲音表示，要通往AGI，必須達成**“理解和生成的大一統”**。

這是因為，人類智能的本質就是對世界的理解和創造，目前的AI往往是專門從事理解任務(如分類、檢測)或生成任務(如語言模型、圖像生成)。但真正的智能需要打通理解和生成，形成閉環。

説白了，要讓AI模仿人類大腦的學習模式，邊看邊想，同時在自我輸出的過程中，根據不斷變化的現實進行反思和調整。

用中國人的話來説，就是知行合一。

AI要做到這一點，就需要能夠自己生成數據來訓練自己，並從中不斷成長，隨着時間推移而不斷進化。

這樣，即便面對從未見過的新情況，AI也能像人一樣，靈活應對，甚至有所創造，這就是在實現AGI上的重要一步。