噱頭十足!一場遠距離虛擬人專訪,能盤活元宇宙嗎_風聞
大眼联盟-10-01 13:24

元宇宙這個概念,自從2021年被扎克伯格帶火後,給人們的感覺一直就像個“最熟悉的陌生人”,總是若即若離,忽遠忽近的。説直白點兒,就是大家都覺得它存在感不夠強,沒有想象的那麼厲害。
因為提起元宇宙,網友們腦海中的印象還是這樣的:
扎克伯格曾遭到“羣嘲”的著名Horizon Worlds虛擬形象自拍,圖片來自Facebook
可是才短短一年,一場長達1小時,發生在元宇宙世界的隔空對話就橫空出世,炸翻了社交網絡。這次輪到網友傻眼,紛紛驚呼,怎麼一不留神它就悄悄進化成這樣了?!
近日,麻省理工學院科學家、同時也是人工智能大佬和知名播客主播的Lex Fridman,對Meta首席執行官馬克·扎克伯格進行了一場關於增強現實、AI和大語言模型的深度訪談。
與以往不同的是,這次兩人沒有在物理世界碰面,而是相隔着大半個美國,在元宇宙裏以超逼真的3D虛擬形象完成了對話。截至硅星人發稿時,這場名為「First Interview in Metaverse」的採訪已在 X(原推特)上狂攬近1千3百萬觀看量。
圖片來自Lex Fridman Youtube頻道
視頻開頭,Lex Fridman的全身版高清數字分身出現在一片白色未來感空間中,他説:“儘管Mark和我在現實世界中相隔數百英里,但由於我們的形象都以照片級精度的3D模型建模,並伴隨空間音頻相互呈現,我倆就像在同一個房間面對面交流。這項技術實在太令人驚歎了!我認為這將是未來人類在互聯網上更深度有意義連結彼此的方式。”
兩人在訪談中都佩戴着Meta Quest Pro VR頭顯。可能是因為視野裏的效果太過真實,Lex一度像個好奇寶寶,除了咧嘴“傻笑”,就是不停感嘆:“我在哪兒?Mark真的是你嗎?這太棒了!你不介意我離你太近吧?”
當然,視線距離是可以調整的。不僅如此,你還可以通過控制手柄來調整光源位置,找到最凸顯自己面部優點的照明角度。
扎克伯格介紹説,與Horizon Worlds中的卡通版本或視頻傳輸不同,創建這些全新模擬真人的Meta Codec虛擬形象,需要對用户的各種面部表情和動作細節進行廣泛掃描,而後建模並壓縮成一個編碼版本。
隨後,頭戴設備的實時眼部和麪部追蹤功能會捕捉用户表情,映射到3D虛擬化身上,並“發送一個編碼版本的你應該看起來的樣子”給虛擬世界或會議通話另一端的人們,在他們眼前呈現一個足以以假亂真的你。
由於元宇宙裏的形象數據是以編碼形式傳輸,所以除了逼真外,也比發送一個完整的沉浸式視頻更加節省帶寬。

從採訪視頻來看,虛擬化身呈現出對真人細節的還原能力確實太強,用Lex的話説,“它捕捉到了一切,包括人臉上的缺陷。對我來説,這些缺陷正是人的微妙之處,這些小雀斑、皺紋、不對稱的臉頰、笑的時候眼角的表情…它們讓我更加享受其中,意識到完美並不是沉浸的關鍵。”
“眼睛的確很重要,”扎克伯格説道:“許多研究證明,人的交流主要是靠表情和肢體完成的,而不是靠語言。Meta一直努力用自己的經典虛擬系統捕捉這些表情,通過照片般的真實體驗,帶來特殊的臨場感。”他認為這也觸及了虛擬現實和增強現實的視覺核心,就是令人們不論在世界上的哪一個地方,都會感覺在一起。
想象未來進入會議室,有些人實際在現場,有些人則以這種逼真的虛擬形態出現,並通過結合混合現實技術疊加在物理環境上:你以為TA坐在桌子邊跟你聊項目,其實TA遠在千里之外;夜深人靜一個人在外地想家的時候,帶上頭顯親人就近在咫尺。而對面人的一顰一笑,每一個細微的面部表情,都可以幾乎沒有延時和耗損地立體真實再現。
體驗過程中,Lex一直禁不住驚呼這太美妙了,“我此刻心跳很快,對話的親密感可以這樣遠程實現。我感受到了情緒,也感覺到你我真實存在。這是我人生中最難以置信的體驗之一,真的大開眼界!”
不過需要説明的是,實現視頻中的對話效果目前對普通人還不是那麼容易。在開始採訪前,兩人都曾提前飛到匹茲堡,在Meta Codec項目組進行了融合當前軟硬件最高技術、長達幾個小時的細節掃描。
在前幾天剛結束的Connect大會上扎克伯格説過,他最大的願景就是讓那些高大上的科技變得親民,改變大多數人的生活。那麼這次,他對未來又有什麼構想呢?
小扎表示現在我們才剛剛開始。通過先掃描少數人,收集足夠多的表情數據,來探索整個流程能簡化到什麼程度,進而在應用到大量人羣時更流暢。雖然目前這項技術還沒完全準備好推向市場,但在未來幾年內,會持續調整和優化,以早日應用到工作場景,解決生產力問題。
Meta正在努力實現的是,只需用手機進行非常快速的人臉掃描,比如拿起手機在臉前晃動、説幾句話、做一些表情,全程可能只需兩三分鐘,就產生如同現在的通話質量。如何在保證體驗的同時更高效,仍是接下來面臨的挑戰之一。

Lex認為,全新的Meta Codec Avatars顯然已經越過了曾經的“恐怖谷底”,鏡頭裏的小扎看起來完全和本人一樣,接着他試探性地笑着問:“所以我們也不需要胳膊和腿了,對吧?”
“不不,這些我們還是會解決的”,扎克伯格趕忙解釋道,“實際上有個問題是,高精度的全身掃描需要強大的算力支持,無論對於頭顯的傳感器還是渲染能力。所以我們也許會考慮以較低的保真度還原身體,比如仍保留大的動作,但臉才是最需要解析的東西。畢竟眉毛移動一毫米就會傳達截然不同的情緒,相比之下,胳膊移動一英寸也顯得沒那麼重要了。”
Horizon Worlds裏的虛擬形象曾因蒼白的表情和缺少下半身被人們形容為”恐怖谷效應“,圖片來自Meta
兩人後來還聊到了剛剛問世的Quest 3、增強現實、元宇宙中的人工智能和人類的未來。Lex把這次和扎克伯格的訪談調侃成“互聯網裏表情最僵硬的兩個人在元宇宙的相遇”,他覺得在這個虛擬空間裏,自己的表現力更容易被捕捉到,能更真實地傳達情緒:“我真希望更多的人能來親自體驗!” 小扎也表示非常期待網友們看到這集播客後的反應,唯一擔心的是觀眾透過2D屏幕,能否真地感受到這種呼之欲出的真實震撼感。
而從網友們的留言來看,顯然不僅感受到,而且被結結實實地震撼了。
即使這幾個月已經被谷歌、微軟、特別是OpenAI的ChatGPT幾輪暴風式更新洗禮過,也算見過大世面,這次元宇宙裏的採訪還是超越了人們的認知範圍。全球頂級Youtuber 野獸先生 (MrBeast)在視頻下留言説,“我們是怎麼從像素虛擬人來到這兒的,我到底錯過了什麼!”其他人也紛紛跟帖表示“這是我見過最難以置信的事情之一”。

有人説,在引領科技創新的強者隊伍裏,Meta永遠佔有一席之地。被質疑、取笑甚至詬病了那麼久,元宇宙還是進化成這樣一種強大的3.0形態來了。

Lex説,我看到了未來。
扎克伯格説,我相信接下來的一年會相當瘋狂。
不論Meta未來會怎樣發展,走向如何,這場史上首次跨越百英里、元宇宙中的“真人”隔空對話都具有里程碑式的意義。而生於這個時代,見證一切不可能變為可能的我們,本身就已經足夠幸運。
硅星人