神舟十二號上的數字航天員_風聞
游戏研究社-游戏研究社官方账号-2021-09-08 07:46
神舟十二號已經上天80多天,還有10天左右就要返回地球了。
相比起航時的萬眾矚目,神舟十二號在太空的兩個月裏相當低調。一方面是航天員們忙於執行科研探索和空間站維護任務,沒有太大精力出境;另一方面,8月以來國內諸多圈層的波瀾起伏也分散了所有人的關注點。
昨天早上,聶海勝成為了首位在軌100天的中國航天員,社交媒體和新聞網站紛紛發文祝賀,讓大家又一下子想起來:“在距離地球幾百公里的高空,還有3個我們的人”。

執行三次任務,在軌100天的聶海勝
不過,“3個我們的人”也許並不準確——神舟十二號升空那天,還有0.5個人,也跟着飛船上了天,在地球上的人們暫時移開目光時,一直默默關注、記錄着這次航天任務中的一切。

一位名叫“小諍”的新華社數字記者,與航天員們一起升空,進入了中國空間站,並從外太空向地球發回了報道。她是新華社的第一位數字記者,也是全球首位數字航天員。

在亮相的報道影像中,小諍向觀眾介紹了中國和國際空間站各個艙段的功能、佈置陳設,還拍攝了航天員出艙的全過程。

從報道影像中看,小諍相當接近真人。這種“接近”倒不是説她的畫風和建模多麼複雜精細,而是她作為一個虛擬數據構成的存在,居然有豐富的面部微表情,以及不少微妙的肢體語言。
比如她拍攝國際空間站航天員出艙時,站在艙門一側,有無意識的擺手,有微微探身查看艙門的小動作,還有幅度很小的轉頭——我第一遍看這段視頻時,甚至沒能發現圖像最左邊這位是小諍,還以為也是一位國際空間站航天員,就是因為這些動作細節,騙過了我大腦中的辨識器,讓我下意識認為“有這些動作的,應該是個真人”。

左一為小諍
眾所周知,類人形象的大敵是“恐怖谷效應”:當一個類人形象十分“像人”卻又有明顯非人特徵的時候,我們人類就會產生恐懼的情緒。小諍當然很像真人,但卻完全沒有觸發恐怖谷效應,在B站、微博等小諍亮相的地方,大家的感覺都是“好美”“是不是戴了美瞳”“新老婆來了”,沒人覺得恐懼。

要説這是因為小諍過於完美,能騙到所有人,那也不是。我來來回回看了十幾遍小諍的視頻,發現原因可能在於,她幾乎沒有那種經常能在各種虛擬形象上看到的“無機質表情”——也就是我們俗稱的皮笑肉不笑。
這個猜測直到前幾天才得到驗證。新華社衞星新聞實驗室在上週五發布了一個技術展示視頻,呈現了很多驅動小諍的技術細節,比如她説話時,整個臉頰的肌肉都在隨之而動。

再比如她的臉上其實是有毛孔的,並不是一整塊建模而來。放大之後,皮膚上的凹凸不平,甚至是鼻子裏的絨毛(咦?)都能看清。在不同強度的光線下,皮膚也有不同的質感。

和很多數字人一樣,小諍的面部動作是由微表情(BlendShapes)驅動的,每個微表情都是根據真人模特的表情進行局部微調的結果——只不過,小諍的建模師模擬出了5000多個微表情,以至於她能做出很多沒受過演藝訓練的正常人都做不出的微妙神態。

喜怒哀樂
我知道你們現在肯定很想説(或者已經在評論裏説了)“遊研社除了遊戲什麼都研究”,但是等等,小諍其實和遊戲大有關係——她是新華社和NExT Studios合作的產物,由後者擔任實際的動捕和建模等技術工作。
NExT Studios,就是騰訊互娛旗下的那家做出過《只只大冒險》《死神來了》《疑案追聲》的NExT工作室。

很少有遊戲玩家知道,實際上從2017年開始,NExT內部就有一個十幾人的小團隊,一直在進行虛擬數字人方面的嘗試。他們花了半年時間做出了可以交互的Siren(塞壬),在2018年GDC上吸引了不少眼球。

2019年NExT又做了一個男性數字人Matt,為數字人加入了帶情緒的面部動作,以及更工業化的製作流程。

而最後出現在我們面前的就是小諍,一個畫風和Siren略有不同,但表情精細度猶有過之的數字人。
然而相比這些技術上的進步,作為一個玩家,小諍最大的意義其實在於其製作時間——大概1個多月前,我和NExT負責數字人項目的技術人員聊了聊,他告訴我,小諍從接到新華社的合作邀請開始,一共只做了3個月左右,比Siren快了一倍多。
3個月,看起來還是挺久。但對於製作時長動輒三四年的3A遊戲來説,一個完整遊戲角色的製作時間也差不多是3個月——而根據NExT的説法,他們的數字人技術,在真正的遊戲開發多線環境下,可以把時間壓到一個月甚至半個月左右。也就是説,NExT的數字人技術管線,理論上來講已經可以用於實際3A遊戲開發了。

這似乎也是NExT要製作數字人的背後動因所在。關於數字人的硬件和軟件近年來都基本成熟了,很多海外遊戲大廠發現,他們為自己的遊戲製作角色的過程,其實和電影工業用數字技術創造虛擬人物,本質上沒什麼區別。一直堅持探索數字人領域的,也確實都是和遊戲有密切關聯的公司。

小諍的前期動捕
Epic今年二月推出了專門創建數字人的工具MetaHuman Creator,創建好的角色,可直接導入到虛幻引擎中。

而前不久關於英偉達四月發佈會上“數字黃仁勳騙過了所有人”的討論,也展示了英偉達在數字人技術上的探索(實際上發佈會上只出現了14秒的數字黃仁勳)。

當然,還有NExT。
遊戲開發史告訴我們,一旦大廠們把一個技術的工業管線跑通,很快就會有個人開發者也能用的套件工具出現——虛幻引擎就是明證,曾經複雜無比的3D場景建模,現在小團隊甚至只有一個人的獨立開發者也能輕鬆上手開發。
今天,基於面部捕捉的精細3D人物建模還是大型遊戲獨有。但也許不久之後,我們就能期待,獨立遊戲和小團隊們開發的遊戲也能低成本地做出有表情、有肢體動作的3D人物來。
不過,數字人技術不僅僅可以用於遊戲開發、航天探索,完全可以更加貼近普通人的生活。
有一本挺老的科幻小説,叫《雪崩》,在萬維網誕生2年後的1992年,就預言了現在我們已經每天沉浸其中的網絡空間。這本書中提出了很多極富預見性、影響深遠的概念,其中就有avatar這個概念——我們在網絡中的虛擬化身,從圖片形式的頭像到會動的QQ秀,再到任天堂的Mii,乃至蘋果的擬我表情,都是人類在不斷追求虛擬化身的真實性。《雪崩》把這條線推到了極致,在那個近未來世界裏,人們可以直接把3D形象投影到網絡中。

Mii——任天堂推出的卡通化身
為什麼我們會試圖在一個本就虛擬的環境中追求avatar的真實性?《雪崩》用一位女主角的親身經歷做了解答:這位女性高中時意外懷孕,回到家不敢告訴任何人,裝作冷靜地和家人們吃了飯,沒任何人發現,直到她的祖母來串門,看到她臉的一瞬間就明白了整件事——“後來我才恍然大悟,大腦能吸收處理數量驚人的信息,只要它們以適當的形式出現就行,比如真人的面孔”。
今年Metaverse的概念突然火的不行(順便一説,這個概念就是首次出現於《雪崩》中),各大公司都給出了自己的理解。離玩家最近的一種解讀,可能是騰訊的“超級數字場景”,即遊戲會在未來打通線上和線下的間隔,與現實產生越來越多的交互。
如果我們哪天真的能進入一個現在還很難想象其面貌的超級數字場景,現有的所有數字化身肯定都過於蒼白無力,也許只有充滿微表情、肢體動作的3D數字人才能承擔起容納我們形象的任務。從這個角度來説,NExT和小諍都在為超級數字場景添磚加瓦。
也許在未來的某一天,我們每個人都可以像擁有一個QQ頭像一樣,擁有一個像小諍這樣的數字化身,在另一個世界,以另一個身體,再次相見。