數字內容“遍地開花”，AI技術如何創新“造夢”？_風聞
智能相对论-智能和车，边评边测；未来和家，且品且鉴30分钟前
文 | 智能相對論
作者 | 陳泊丞
這是春晚舞台西安分會場《山河詩長安》的一幕：“李白”現世，帶領觀眾齊頌《將進酒》，將中國人骨子裏的豪情與浪漫演繹得淋漓盡致。
近年來，隨着AI大模型技術的持續升級與賦能，數字內容生產與應用的趨勢愈發強烈，現實場景與數字內容不斷融合，悄然改變着整個內容創作行業的格局，甚至進一步推動了相關產業和商業的新變革。
技術創新重塑數字內容生產與應用新範式
數字人“李白”的精彩演繹、義烏女老闆的AI帶貨——這些熱門事件的背後，是技術創新突破所帶來的結果。AI大模型的成熟應用，讓越來越多不同形式的數字內容得以爆發，並廣泛進入大眾視野。
在6月21日舉辦的華為開發者大會（HDC 2024）上，華為雲盤古大模型迎來5.0版本升級，其中盤古媒體大模型在語音生成、視頻生成以及AI翻譯上的技術創新就重塑了數字內容生產和應用的新範式。
一、語音生成進階：只需三言兩語，沉浸式、真實感的語音易如反掌
過去的語音生成依賴傳統的聲音克隆模型，由於模型比較小，精度低等原因，往往在實際操作上就要複雜得多。比如，在數據收集階段，對目標人物的語音數據就要儘可能的多樣化，包括不同的語速、語調、音量以及不同語境下的語音，需用到幾百句話的錄音。
然後到了預處理階段，需要對收集到的語音數據進行清洗，通過人工標註等形式去除噪聲、靜音片段和其他不需要的部分。進而還要進行語音分割，將連續的語音信號切割成較小的語音片段（如音素或單詞）。最後提取音頻特徵，再用於後續的聲音建模。
以上，還只是數據收集和預處理，尚未進入真正的語音生成階段。但其中的工作量和操作複雜度就已經很大了，對語音生成的效率和質量都是一個非常大的影響和挑戰。
時至今日，隨着技術的創新，基於更先進的模型，比如盤古媒體大模型的語音生成能力，這一問題得到了很好的解決。只需要幾句話、幾秒鐘的聲音，AI即可學習到個性化的音色、語調、表達韻律，從而獲得高質量的個性化語音。同時，還支持喜怒哀樂等擬人情感語音，閒聊、新聞、直播等10多種語氣風格，讓生成的語音更真實、更有情感色彩，能沉浸式地應用到不同場景中。
比如，在視頻譯製中，AI將能做到配音演員的專業程度——通過盤古媒體大模型提供的視頻翻譯能力，AI可以把視頻翻譯為目標語言，並保留原始角色的音色、情感、語氣。華為雲也在積極聯合夥伴邏輯智能，打造高感情語音克隆以及14國小語種配音，共同構建高感情超擬人多模態音頻應用能力等。同時，再結合盤古媒體大模型的口型驅動模型，還可以實現音唇同步，尤其是在側面、多人對話、物體遮擋以及人物移動等場景，也能做到很好的口型匹配。
二、視頻生成跨越：只需幾十張圖，可控的、一致的視頻唾手可得
傳統的視頻生成技術在資源需求、數據集、時序一致性、物理定律遵守、效率與質量平衡、可控性、逼真度和連貫性以及應用限制等方面都存在一定的侷限性。如今，基於盤古媒體大模型，只需要訓練幾十張特定美學風格的圖片，如吉卜利、二次元等風格，再輸入實拍視頻即可快速生成該風格的動漫視頻。
第十四屆北影節“AIGC電影短片單元”競賽
獲最佳影片獎的作品《致親愛的自己》
除了按需時長生成穩定的動漫視頻，再通過ID一致性模型，還能對生成畫面中的關鍵角色進行一致性處理，確保視頻中角色樣貌特徵在前一幀和後一幀中所呈現的效果始終一致，在側臉、運動軌跡下的視覺效果合理一致，由此增強AI視頻生成的可控性、一致性，讓視頻內容更合理、真實。
實拍轉動漫作品《海上有座花園》的對比
此外，業內對視頻生成的真實度、複雜度也在聚焦增強。比如，OpenAI的Sora正在試圖模擬複雜的攝像機運鏡，同時準確地保持角色和視覺風格一致，讓AI創作的數字內容更加趨於現實創作。英偉達更是發佈了一系列技術套件如ACE（NVIDIA Avatar Cloud Engine）、NeMo™以及RTX™等，去增強數字內容的真實感，讓數字人物的互動、對話更加複雜、逼真。
過去的機器翻譯系統往往是基於統計模型或規則模型構建的，因此翻譯結果大多無法與原文一致，顯得生硬、不自然，並不具備應用到不同場景的條件。現如今，華為雲通過AI實現多語種實時傳譯，準確性>93%，可應用於實時通話、雲會議等需要實時翻譯場景。
同時，基於盤古媒體大模型的語音復刻、AI文字翻譯以及TTS技術，便可以實現語音的同聲傳譯，成功實現跨語言母語溝通體驗。甚至還可以結合數字人技術，讓數字人來模擬用户説話，結合口型模型技術做到口型與聲音精準匹配，讓AI翻譯、數字人與語音生成高度結合用於線上開會、跨國貿易交流等場景中。
技術的“瓶頸”在收縮？
技術的創新和突破帶來了數字內容生產和應用的爆發，但另一方面隨着生產和應用的進程加速，相應的技術瓶頸也在出現，並不斷收縮、聚焦。目前，AI大模型在數字內容生產和應用上的問題主要呈現在三個層面。
**其一，能源與計算效率瓶頸。**當前，大模型訓練的算力當量還在進一步增大，從GPT-3到GPT-4算力當量增長了68倍。隨着訓練的token數、模型參數增加，大模型訓練所需的計算量也需要隨之增加。
更重要的是，其背後的成本投入是難以為繼的。根據計算，訓練一個5000億參數規模的Dense模型，基礎算力設施投入約10億美金，無故障運行21個月，電費約5.3億元——這遠遠超出了企業的承受範圍。
但是，如果想要規模化地生產高質量的數字內容，大模型的精進又是必要的路徑。在這個階段，業內開始尋求更高效、更優的算力解決方案。像華為雲昇騰AI雲服務就在致力於提供方便、好用的算力服務，在算力層面不斷革新計算能力和計算效率，提供從雲化算力、模型開發、模型託管到生態的全棧服務。
**其二，算法架構的優化挑戰。**隨着大模型參數的增加，想要實現更好的計算結果和輸出更優的答案，那麼其處理的時長就會不斷延長的。但是，這在實際應用中是一個困擾數字內容生產和應用的顯著問題，非常不利於數字內容的規模化、商業化發展。
由此，業內也開始在算法架構上進行優化，調整計算邏輯、處理方法來實現更優效果。其中，以稀疏激活機制為代表的MoE模型就是目前AI行業的一個焦點，類似於“術業有專攻”的理念，稀疏激活機制通過對數據任務進行拆解，分門別類，再分配給特定的“專家”（Experts）進行處理，最終綜合加權輸出——不僅實現了計算效率優化，也讓輸出結果更加全面、強大。
**其三，安全與倫理問題。**大模型內部運行機制複雜，生產出來的內容欠缺可解釋性和可控性，又易受對抗樣本攻擊，存在監管難題和安全漏洞。對此，在數字內容生產和應用中，相關的安全和倫理問題隨着行業的廣泛發展而日趨突顯。
因此，在數字內容行業高速發展的階段，儘管企業能吃上數字內容的紅利，但也需要鑑別模型的安全性、可靠性，避免因模型的安全和倫理問題而引發負面輿論影響。在這樣的挑戰下，華為雲盤古大模型也隨即作出升級，在數據治理、安全合規等方面達到了較高標準。
以技術“造夢”，數字內容未來可期
新範式的明確帶來更明確的技術方向，對於整個數字內容行業而言，這意味着未來的發展已經有了基礎的雛形，前景仍是樂觀的。但是，不可忽視的是，技術的瓶頸客觀存在，且更加突出，擺在行業面前的依舊是一條較為嚴峻的發展之路。
儘管拋開技術瓶頸不談，在具體的實踐中，數字內容的生產和應用也不簡單，往往都需要面對很多在技術之外的具像化問題，只有基於問題去一步步解決才能最終完成落地。
華為雲團隊在進行紀錄片譯製時就發現，項目實際開展起來會遇到各種各樣的問題，比如環境聲音太雜太亂，AI無法準確識別人聲保證音譯的完整度，或是隨着場景的切換，人物的狀態、口型都呈現出不同的樣子，需要AI精準地匹配等等。
如果這些問題不一一解決，AI譯製的效果就打了個大大的折扣。對此，華為雲團隊通過精準分析問題，採用不同的技術去解決各類細微問題，比如通過分離模型技術讓環境聲和人聲分開，通過口型模型技術讓聲音與口型精準匹配等。
技術或許一直都有，但是如何用恰恰才是項目落地的關鍵。換句話説，在今天數字內容行業高速發展、技術創新加速迭代的階段，只有實踐了才能真正推動行業的發展。這是一個比拼項目的階段，誰家的項目經驗越豐富，越能知道相關的技術應該如何應用才能發揮出應有的效果。
目前，中影集團與華為雲合作，將媒體大模型應用到影視工業，共同打造影視譯製大模型，通過AI將視頻譯製成不同語言，並保留原始角色的音色、情感、語氣，還能支持口型匹配，為影片譯製提供全新的AI製作方式。
今天，數字內容迎來迸發，越來越多精彩內容面世的另一面恰恰是廠商們不斷運用技術、驗證技術、完善技術的過程。未來的項目之路任重而道遠，同時也是行業走向成熟的必經之路。靜待技術在創新中、實踐中持續升級、完善，未來便更快能看到一個數字內容精彩紛呈，如同夢境一般的世界。
*本文圖片均來源於網絡
此內容為【智能相對論】原創，
僅代表個人觀點，未經授權，任何人不得以任何方式使用，包括轉載、摘編、複製或建立鏡像。
部分圖片來自網絡，且未核實版權歸屬，不作為商業用途，如有侵犯，請作者與我們聯繫。
•AI產業新媒體;
•澎湃新聞科技榜單月度top5;
•文章長期“霸佔”鈦媒體熱門文章排行榜TOP10;
•著有《人工智能 十萬個為什麼》
•【重點關注領域】智能家電（含白電、黑電、智能手機、無人機等AIoT設備）、智能駕駛、AI+醫療、機器人、物聯網、AI+金融、AI+教育、AR/VR、雲計算、開發者以及背後的芯片、算法等。