Meta用一個頭顯搞定全身動捕，無需手柄和下身傳感器_風聞

　　蕭簫 發自 凹非寺

　　量子位 | 公眾號 QbitAI

　　還記得你玩VR的時候，完全看不到自己下半身的樣子嗎？

　　畢竟，目前的VR設備通常只有手柄和頭顯，沒有下半身傳感器，系統無法直接判斷下半身的動作，預測時也容易出bug。

　　現在，Meta終於邁出了一大步——只憑頭顯（甚至不用手柄），就能搞定全身動捕，連雙腿的不同動作都預測得一清二楚！

　　新研究一po出就在網上爆火。

　　有網友調侃，小扎的元宇宙終於要有腿了，順手還po了個Meta的股票。

　　還有VR玩家感到高興：玩遊戲時終於可以在身上少掛點硬件了！

　　這項研究究竟是如何只用頭顯做到全身動捕的？

　　給強化學習AI搞個物理約束

　　研究人員設計了一個框架，以頭顯（HMD）和手柄控制器的位置和方向數據作為輸入，其他數據全靠AI預測。

　　為此，他們先基於強化學習訓練了一個策略（policy，基於三層MLP），根據僅有的HMD和手柄數據，儘可能逼真地還原真實動作捕捉的姿勢（動捕數據一共10小時）。

　　他們搞了4000個身高不同的仿真人形機器人，每個機器人具有33個自由度。

　　隨後，將這些機器人在英偉達的Isaac Gym（一個專門用於強化學習研究的機器人物理模擬環境）中同時進行訓練，比單個環境下訓練一個機器人要更快。

　　在物理環境中一共訓練了2天（約140億步）後，這隻框架就能基於這個強化學習策略，根據頭顯和手柄數據直接預測用户全身動作了——

　　包括慢跑、行走、後退或過渡動作（transition）等。

　　不僅如此，Isaac Gym還允許添加其他不同的模擬對象，因此還能通過訓練環境複雜度以增強動作真實性。

　　例如，根據虛擬環境中新增的皮球，模擬出“踢”的交互動作：

　　所以，相比其他模型，為什麼這個框架預測的效果更好？

　　（此前雖然也有手柄和頭顯預測全身姿態的AI，但預測全身動作時往往會出現身體不自然抖動、走路時腳像是在“滑冰”、接觸力不穩定等bug）

　　Meta研究人員分析後認為，此前模型難以準確預測下半身姿態的原因，是預測時上下半身的關聯度較小。

　　因此，如果在預測時增加一定的物理約束（人體力學），例如慣性平衡和地面接觸力等，就能讓預測精度更上一層樓。

　　****△腳上的紅色直條大小表示接觸力大小

　　研究人員還進一步發現，即使不用手柄控制器，只需要頭顯的60個姿勢（包含位置和方向數據），就足以重建各種運動姿態，還原出來的效果同樣沒有物理偽影。

　　除此之外，由於這個策略是基於4000個身高不同的仿真人形機器人訓練，因此它也能自動根據用户的不同身高來調整策略（具有基於動捕的重定向功能）。

　　不過，也有網友好奇他為什麼要採用強化學習來預測運動姿態，畢竟當前監督學習是主流方法。

　　對此作者回應稱，強化學習更方便加入物理約束（即降低抖動、腳滑等bug的關鍵原因），但對於監督學習來説，這通常是個難點。

　　但研究人員也表示，目前這個框架還有一定限制，如果用户做的動作不包含在訓練數據中（例如快速衝刺）、或是進行了某些過於複雜的交互，那麼虛擬環境中的仿真機器人就可能當場跌倒、或出現模擬失敗的情況。

　　作者介紹

　　三位作者都來自Meta。

　　一作Alexander W. Winkler，目前是Meta Reality Lab的研究科學家，研究方向是非線性數值優化、高自由度運動規劃、基於三維物理的仿真和可視化等。

　　他本碩畢業於德國卡爾斯魯厄理工學院（KIT），博士畢業於瑞士蘇黎世聯邦理工學院（ETH）。

　　Jungdam Won，目前是Meta AI Lab的研究科學家，本科和博士畢業於韓國首爾大學計算機科學與工程系，研究方向包括強化學習中智能體的控制和交互，以及通過機器學習方法優化動作捕捉等。

　　Yuting Ye，目前是Meta Reality Lab的研究科學家，參與過Quest和Quest 2的手柄跟蹤功能研發，本科畢業於北京大學，並在弗吉尼亞大學獲得碩士學位，博士畢業於佐治亞理工學院，研究方向是動作捕捉和元宇宙等。

　　論文地址：

　　https://arxiv.org/abs/2209.09391

　　參考鏈接：

　　https://twitter.com/awinkler_/status/1572968904401776641