虛幻5再次炸場！1部iPhone搞定3A大作級動作捕捉，網友：遊戲行業要變天_風聞

Pine 魚羊 發自 凹非寺

量子位 | 公眾號 QbitAI

什麼樣的新技術，能在ChatGPT的包圍圈裏脱穎而出火爆全場？

一部iPhone，兩分鐘，真人大變數字人！

還是表情動態、眼神細節一比一還原的那種。

沒錯，動作捕捉視頻，發佈會現場iPhone錄製，後期處理全過程也都當場完成。

在此之前，這位《地獄之刃》女主演經歷的動捕都是醬嬸的：

複雜的設備必不可少，而且不僅要在臉上標滿定位點，後期花費的時間也還得長達幾周甚至數月。

這不，Epic剛把虛幻引擎5這一新能力公佈出來，網友們都炸了鍋了，相關視頻播放量迅速突破百萬。

“現場”氛圍嘛，總結起來就是一通操作猛如虎，網友直呼太瘋狂：

（實現面部建模）從幾個月到幾分鐘，未來幾年遊戲的發展必定是瘋狂的。

還有網友表示，以後再也不能説什麼眼見為真了。

三幀視頻就能生成3D模型

具體來看看，這一名為“MetaHuman Animator”的騷操作，究竟是如何做到兩分鐘搞定面部動捕的。

以現場演示為例。首先，演員要錄製一段視頻，期間可以做出任何表情。可以是誇張的憤怒：

也可以是細小的眼神變化：

並且錄製全程只需一部iPhone。

接下來，技術人員將錄製好的視頻上傳到軟件，整個處理過程都是在本地進行。

總結下來，處理過程分為兩步：

1、最新版本的Live Link Face應用程序會儘可能用最佳的分辨率捕獲所有面部動態；

2、MetaHuman Animator使用視頻和Dev數據將其轉換成高保真的動畫。

在這個過程中，先是用Live Link Face對演員的視頻進行面部動作捕捉。

完成面捕之後，只需要三幀視頻 （正面、左側面、右側面）就能生成演員的“元人類DNA”。

其中用到的算法是定製版面部特徵算法，生成的過程只要幾秒鐘。

這樣一來，所有的面部數據都會被標定，還原出剛剛視頻錄製中的面部表情也就更加容易了。

更重要的是，在這個過程中，可以將真人視頻與生成的建模視頻進行逐幀比較。

然後等幾分鐘不到，完整的動畫視頻就成功生成了，最終工作人員要做的就只有微調和導入音頻。

在新應用的加持下，做到下圖這樣的效果，對於工作人員來説也是信手拈來。

算法細節上，Epic是採用自家“面部求解器”和“標誌檢測器”來確定視頻中人物面部的關鍵操作點。

利用這些關鍵點，基於語義空間解決方案，AI會將每一幀視頻映射到“n維人類空間”數據庫中的最近鄰居上。

這個所謂“n維人類空間”，是Epic在多年來收集到的詳細面部捕捉數據的基礎上，挑選打磨過的龐大數據庫，包含頭部各個部位的各種運動姿態。

網友：3D動畫和遊戲都要變天了

Epic這波炸場，算是給最近被AI大浪衝擊得恍恍惚惚的人類，又添了一點刺激。

有metahuman領域的網友就説“3D動畫和遊戲都要變天了”：

幾個月前用iPhone還只能捕捉到大致的面部肌肉控制。

不過，相比於各種“失業”現場，對於這項技術，更多人樂見其成。

有網友表示，有了這項技術之後，開發人員直接效率翻倍，能夠節省太多時間，要做的就只有後期潤色。

還有網友已經在期待電影製作人使用這項技術了：

Epic自己則説，新的MetaHuman Animator有利於“複雜角色技術的民主化”。並表示這項新技術有望在今年夏天更廣泛地推出。

那麼，你期待嗎？

參考鏈接：[1] https://www.unrealengine.com/en-US/blog/new-metahuman-animator-feature-set-to-bring-easy-high-fidelity-performance-capture-to-metahumans

[2] https://www.youtube.com/watch?v=pnaKyc3mQVk

[3]https://arstechnica.com/gaming/2023/03/epics-new-motion-capture-animation-tech-has-to-be-seen-to-be-believed/