眼耳鼻舌身意，嚴肅地聊一聊元宇宙的“技術拼圖”_風聞

元宇宙太太太火了，以至於還沒來得及認真聊一聊技術本身，各種炒房團、割韭菜、融資潮、付費課……就紛至沓來，我看不懂但大受震撼。

吃多了瓜，頗有一種“累了毀滅吧”的虛無感。不過，元宇宙的技術體系，其實還有很多值得探討的地方。

用美國科技評論家Benedict Evans的話來説，“元宇宙”這個新詞，描述了一組明顯不相關的趨勢，將它們概念化並捆綁成一個單一的敍事。元宇宙概念上市公司 Roblox 的定義中，元宇宙應具備身份、朋友、沉浸感、低延遲、多元化、隨地、經濟系統、文明等八大要素。每一種還包含着一連串解釋。

模糊且抽象的概念，讓元宇宙看起來無所不包，又説不清楚，給渾水摸魚留下了餘地。不過，也有不少技術方向是紮紮實實、值得長期投入、對人類社會來説意義非凡的。

所以，我們決定還是嚴肅地聊一聊支撐元宇宙的技術本身。

元宇宙到底是什麼？一個共識是，足夠真實的“虛擬世界”。

無論是1981年美國數學家和計算機專家弗諾·文奇在小説《真名實姓》中構想的虛擬世界，還是普遍認為1992年“元宇宙”一詞誕生的科幻小説《雪崩》中，與真實世界平行的虛擬空間；2003年宇宙學家保羅·戴維斯（Paul Davies）提出的“無限的虛擬多元宇宙塔”，抑或是Facebook的扎克伯格計劃用VR/AR復刻的數字場景，本質上都指向了——模擬現實。

“硅谷鋼鐵俠”埃隆·馬斯克（Elon Musk）也在一檔播客節目中提出，未來遊戲將與現實無法區分，人類將處於模擬之中，你不妨稱它們為現實，或者也可以稱它們為多元宇宙。

元宇宙的載體與內容，最終都要能夠模擬現實。那麼，有哪些感官需要被模擬呢？

佛教認為，人有六根，即：眼、耳、鼻、舌、身、意，這些被認為是心與物的媒介的根本。

那麼我們分別從這些感官版圖中，聊聊元宇宙來臨時，人如何重新認知世界，有哪些技術路徑是值得期待的。

元宇宙之眼

元宇宙的熱度，許多科技企業都想蹭，但沒有一個像Facebook這麼徹底，直接連名字都改成了Meta“元”。這種孤注一擲的操作，很大程度上源自於Facebook在AR和VR上押下了很大的賭注，至少在視覺技術上模擬人類之眼，提供沉浸式的體驗，無人可出其右。

在元宇宙所涵蓋的諸多高新技術中，VR/AR是被認為短期內能夠成立並見到回報的。小説《雪崩》中也需要首先“戴上耳機和目鏡”才能以虛擬分身的方式進入虛擬世界。

模擬視覺，帶來的“真實感”體驗，是元宇宙體驗的第一道關卡，而Facebook（現更名為Meta）則獨擅戰場。

關於Facebook通過收購Oculus等公司，在AR / VR技術上投入大量資金的歷史，我們就不贅述了。Meta在“模擬視覺”上的差異化優勢在於：

首先，成本足夠低。元宇宙的困境之一是VR 頭顯的滲透率不足，能破解這一問題的廠商自然能夠率先拿到船票。

Meta在全球運營着五個研究機構，支持VR/AR的研發。從目前的市場表現來看，Meta旗下的Oculus已經成為頭號選擇，其中Oculus Quest 2更是在今年迎來了一波銷售熱潮，預算友好的同時，支持Steam 平台的絕大多數VR應用，這也使得Meta能快速進入規模化增長空間。

其次，硬件的終極價值要靠體驗來兑現，這要求VR/AR廠商能夠建構起足夠龐大的內容和社交平台，為用户提供和現實中別無二致的工作、娛樂和生活體驗，目前只有Meta能夠將社交優勢與VR技術優勢疊加在一起，產生1+1＞2的效果。比如Facebook的虛擬會議，就用了兩年多時間，讓多達16人（以化身為代表）一起坐在虛擬會議桌旁開會。此前，Meta還展現了一些全新的技術硬件，比如AR眼鏡Horizon Home，允許用户邀請他們的朋友進行虛擬社交聚會，並且隨時隨地可穿戴，讓虛擬現實的交互無處不在。

硬件+生態這條路背後，是沉澱多年的技術優勢。比如強大的人工智能模型，來理解用户手勢指令的上下文邏輯，最終確定需要執行的操作；再比如情境感知，理想情況下，用户只需要單擊一次，即可執行任何想做的事情；提升佩戴舒適度，也需要降低VR頭顯的“運動病”發生概率，增加AR可穿戴設備的柔軟度和舒適度，讓它們儘可能被全天候使用。

模擬視覺的軟硬件能力，是一項艱鉅的長期任務，還有多年的研究要做。短期內，元宇宙還是聚焦於VR/AR。

更早播下種子的Meta，確實有可能率先收穫，從元宇宙上賺到錢，這也就不難理解它孤注一擲擁抱元宇宙的決心了。

元宇宙之體

要讓用户在數字世界裏有更豐富的感覺，來自身體的觸覺交互和動態感知，是元宇宙的核心挑戰之一。

最近，Meta的Reality Labs Research實驗室，就發佈了兩個重要的產品。

一是可穿戴手套，可以在虛擬的 VR 空間感受真實的觸覺。

想象一下，當你在元宇宙咖啡館裏工作時，虛擬鍵盤每一次擊鍵的觸感都能被完美感受；在元宇宙遊戲中，你可以感受到木質桌面的粗糙和書本表面的光滑……是不是體驗感會大大提升？是不是比在VR裏簡單地看到自己拿起來了更有趣味、獲得更多信息？

而Meta這次發佈的觸覺手套，就在手套上安裝數百個氣動裝置，遍佈整個手部，可以在佩戴者做出觸摸動作時協同改變形狀，通過氣壓來呈現逼真的觸覺感覺。

這種裝置使得研究人員不得不轉向軟體機器人等新興領域，來規避傳統機械耗電、僵硬、體積過大等問題。

同時，為了精確地知道用户的手在虛擬場景中的位置，是否與虛擬物體接觸，產生的作用力多大，還需要研發新型的觸覺渲染系統，根據手的位置、對虛擬環境的理解、虛擬物品的重量紋理和剛度等等，向手套的氣動裝置發送正確的指令，需要構建相應的軟件和算法建模。

為了達到真實的觸覺模擬，2017年Reality Labs Research團隊就開始嘗試，將不同材料（木材、大理石、泡沫）製成的虛擬球體與單個振動觸覺設備建立關聯線索。

除了手部跟蹤，身體動態也能給虛擬世界增加不少體驗感。如何讓身體數據能夠輸入系統並被模擬呢？

Meta的研究團隊將手腕智能設備與AI相結合，進而感知動態環境。

相比手套、VR、語音等輸入方式，手腕設備更適合全天無感知佩戴及交互。但技術挑戰在於，如何將運動信號準確地轉換為數字指令。

Facebook在2019年收購CTRL實驗室使用傳感器，嘗試通過神經信號讓用户直接控制機器。通過手腕的肌電圖信號，系統可以理解哪怕一毫米的手指運動，進而轉換為數字命令發送到設備上，實現數字交互與控制。

舉個例子，你可以在遠處控制虛擬對象，彷彿擁有了原力一般的超能力；未來還可以無需鍵盤，在桌子或膝蓋上打字就能輸入；當你穿着鞋子離開家，設備就會詢問你是否需要播放音樂……

人類在嬰兒時如何感知世界，靠的正是一次次抓握，一次次爬行。身體知覺的模擬，能夠讓我們在虛擬空間裏和世界再次對話、重新成長。

元宇宙之聲

你戴着一副AR眼鏡和一個柔軟的腕帶，決定去元宇宙裏的虛擬會議室開個會，突然發現，設備裏傳來了嘈雜的音樂和其他人討論的聲音，讓你很難集中注意力。

事實上，大腦不會對耳朵傳來的所有聲音照單全收，我們總是會對一些特殊詞彙（比如自己的名字）特別敏感，在有必要時也能主動屏蔽外界噪聲。如果要在虛擬世界裏複製真實的聲音體驗，不僅需要聲學設備本身的高性能，也要對聲音如何與真實環境相互作用進行建模。

就拿Meta的研究方向來説，在3D打印眼鏡上使用多個麥克風，捕捉周圍的聲音，然後通過眼動追蹤設備，感知頭部和眼睛運動的軌跡，AI系統可以找出你最感興趣的聲音中的哪一個，增強正確的聲音。

這樣在嘈雜的虛擬會議室或咖啡廳裏對話，也不必特意提高聲音才能被聽到。

當用户的眼神轉向旁白的電視或視頻時，裏面正在播放的內容又會變得更響亮，身邊其他聲音則變得更安靜。

除了模擬大腦認知，空間音頻技術和聲學仿真技術，能夠模仿現實生活中不同方向來源的聲音，營造一個更加真實的虛擬空間，用户使用Oculus Quest等設備在空間中移動時，設備模擬出的聲音和房間裏真實的聽覺效果幾乎沒有差別。

舉個例子，當大家都在使用Meta的元宇宙會議系統時，麥克風陣列可以捕捉各個角度的聲音並傳送到耳機裏，用户可以很自然地判斷發言者所在的位置並轉向TA，這種體驗感簡直就像自己真的在房間裏一樣。

再想象得多一點，空間音頻結合實時動畫化的超逼真虛擬人，可能會徹底改變視頻通話的感覺，讓遠程社交不再是線下的“替代品”，真的能夠提升溝通效率。

聽覺模擬，不僅改變着元宇宙中的溝通方式，也可能提升聽覺障礙人羣的社交參與度。

如果説元宇宙和現實世界相比有什麼吸引力，那麼降低生理性差別及其限制，或許會讓許多人都感覺到更加幸福。

元宇宙之意識

你可能會問，除了眼耳手，還有哪些方式進入元宇宙？在1981年出版的小説《真名實姓》中，美國數學家和計算機專家弗諾·文奇教授，就提出了通過腦機接口進入並獲得感官體驗的虛擬世界。

意識進入人造現實，這不正是黑客帝國中“缸中之腦”的情節嗎？但要實現這一點並沒有那麼簡單。

事實上，Meta的Facebook Reality Labs也在進行腦機接口（BCI）的相關研究，希望給VR系統和AR眼鏡提供一種全新的交互方式，但至今並沒有可規模化商用的案例。至於埃隆馬斯克那種直接給大腦做手術的介入式方案就更加遙遠了。

腦機接口BCI的問題主要在於，非侵入性的、基於腦電圖EEG的交互速度非常慢，有時患者需要70分鐘才能輸入一個句子，並不具備使用價值。此外，現有腦機接口設備的體積也很大，無法長時間佩戴。

目前，Meta的研究團隊希望測量血管和神經元的運動，創建小型、方便的BCI設備，進而幫助實現無聲語音輸入。

進步總是發生在一點一滴地寸進當中，哪個科技公司更瞭解這項技術，就距離元宇宙更進了一步。

元宇宙之味

元宇宙技術體系中，Meta沒有提到的感覺是氣味和味道。至少目前在VR/AR中，鼻子和舌頭似乎都有點不太必要存在——但視覺、聽覺、觸覺一旦得到完善，就需要開拓其他感官了。

我們常説“聞香識人”，真實世界裏人的氣味、空間的氣味、食物的味道，都是自然界提供給我們的重要信息。沒有它們，VR將永遠是對現實的乏味模仿。

但嗅覺和味覺所代表的化學感官，數字化的嘗試出人意料地緩慢。

一方面，源自現實的技術挑戰。嗅覺是與杏仁核直接相關的感覺，這也為什麼氣味可以喚起強烈的情感記憶，但將嗅覺整合到VR中，在味道調製上選擇十分有限，無法模仿出現實世界中的數千種氣味。同時也給硬件設計提出了極大挑戰。

2015年在Kickstarter上推出的FeelReal面具，聲稱可以發出氣味，並製造出冷熱霧氣的感覺。但這款面具並不成功，The Verge將佩戴FeelReal口罩描述為“在炎熱的天氣裏將空氣清新劑放入車裏，把臉埋在汽車的塑料座椅上，然後跟隨司機經歷一輪高速急轉彎”——想想都要窒息了。

曾有日本實驗室提出了一個原型嗅覺機，可以掛住Oculus Rift上，放在鼻子底下，通過聲波將液體霧化，向上飄入鼻孔。但這一設計無法讓機器在不應該聞到的時候停止釋放氣體。

味覺感官也同樣，曾有日本研究人員開發了一種食品模擬器，讓用户有咀嚼的感覺，配合適當的噪音（比如吃餅乾的咔嚓聲），來產生味覺。但這種味道模擬的工作推進緩慢，需要大量的味覺數據，食物風味來自嗅覺，食物質地則依賴觸覺，實現起來十分困難。

（數字味覺界面，一種模擬味覺的方法，通過電和熱刺激來驅動人類舌頭。）

另外，消費者的需求不強烈也是延緩商業化的重要原因。

相比技術挑戰，體驗數字化嗅覺與味覺的心理障礙可能更高。人類進化得來的生理機制是，專注於其他事情時，往往無法檢測到香味，即使感受到化學感官刺激，也更傾向於認為其中包含着危險，

曾有一個實驗讓參與者通過VR感知到虛擬廚房裏的尿液氣味，結果受試者經常錯誤地將尿液氣味誤認為是其他味道，比如魚或者垃圾、屍臭味等等，甚至有人認為這是一種令人愉快的氣味，因為它喚起了好的回憶（屬實大受震撼了家人們）。

總而言之，人類對特定氣味和味道的反應，依賴於背景或以前的經歷，相比視覺線索，化學感知的商業化價值並不明顯。

這也是為什麼在人機交互、多感官融合領域，對化學感官的研究普遍會被忽視。看來要在元宇宙辦公室裏和同事們一起喝虛擬咖啡，還有好長一段路要走了。

寫在最後

説到這裏，會發現關於元宇宙想要模擬現實中的人類感知，還需要較長的時間。在技術與商業上都相對成熟的只有Meta長期押注的VR/AR 視覺體驗。

但是，任何單一技術的短板都有可能限制元宇宙“真實”的效果，給其發展帶來不確定性。

但換個角度，眼耳鼻舌身意的每一項感官模擬，都能帶來建構虛擬世界之外的奇效。比如幫助身體殘障人士重新聽到視覺、嚐到味道、聞到花香；再比如更輕盈、精準度高的可穿戴設備，為智能消費硬件市場帶來變化。

從這個角度看，最終元宇宙是否實現並不重要，至少在向目標前進的過程中，互聯網乃至整個世界，都已經變得更好了。而科技巨頭或初創企業想要抓住元宇宙的機會，唯一的選擇只能是走在堅實的技術道路上。