英偉達開源Audio2Face模型,可用於AI 即時生成面部動畫
【環球網科技綜合報道】9月25日消息,英偉達今日宣佈開源生成式AI面部動畫模型Audio2Face,此次開源內容不僅包含模型本身,還涵蓋軟件開發工具包(SDK)及完整訓練框架。這一舉措旨在為遊戲、3D應用等領域注入新活力,加速AI智能虛擬角色的開發進程,推動相關產業技術升級。

作為一款先進的生成式AI技術,Audio2Face具備強大的功能特性。它能夠精準分析音頻中的音素、語調等關鍵聲學特徵,在此基礎上即時驅動虛擬角色的面部動作,不僅可實現口型與音頻的精準同步,還能生成自然流暢的情感表情。憑藉這一優勢,該技術在多個領域展現出廣闊應用前景,除了遊戲開發,還可廣泛服務於影視製作、客户服務等場景,為行業發展提供新的技術支撐。
在運行模式方面,Audio2Face展現出高度的靈活性,支持兩種核心運行方式。其一為預錄製音頻的離線渲染模式,適用於對動畫精度要求高、無需即時反饋的場景,如影視動畫製作;其二是動態AI角色的即時流式處理模式,能夠滿足遊戲、即時互動虛擬客服等對響應速度要求嚴苛的場景,確保虛擬角色在與用户交互過程中,面部動畫始終保持即時、自然的狀態。
目前,Audio2Face技術已獲得行業內的廣泛關注與實際應用,並取得了顯著成效。知名遊戲開發商Survios在其熱門遊戲《異形:俠盜入侵進化版》(Alien: Rogue Incursion Evolved Edition)中,成功集成了該技術。通過應用Audio2Face,Survios大幅簡化了遊戲開發過程中的口型同步與面部捕捉流程,有效降低了開發成本,提升了遊戲製作效率。
Farm 51工作室同樣將Audio2Face技術應用於其新作《切爾諾貝利人2:禁區》(Chernobylite 2: Exclusion Zone)的開發中。藉助該技術,工作室實現了通過音頻直接生成細膩面部動畫的突破,不僅節省了大量的製作時間,更重要的是顯著提升了遊戲角色的真實感,讓玩家在遊戲過程中獲得更沉浸式的體驗。Farm 51工作室創新總監Wojciech Pazdur對此給予高度評價,稱這一技術應用為行業帶來了“革命性突破”。(純鈞)