應用加速落地，XR互動距離黃金時代還有多遠？_風聞

3個月之前，一家位於加拿大的VR內容製作公司Felix & Paul工作室為了慶祝1969年的登月事件，聯合《時代週刊》共同發佈了新一期的系列VR紀錄片《太空探索者》。

圖片來源：Felix & Paul工作室

毫無疑問，這部運用交互式虛擬視頻技術、號稱可以讓觀眾從國際空間站內外體驗宇宙最後邊疆的紀錄片，出圈了。其中，整個系列紀錄片都以超高分辨率電影虛擬現實拍攝方式來呈現，影片的首次太空行走也成為全篇高潮。不難看出，作為“贏在未來的技術”、“通往元宇宙的鑰匙”，XR互動技術顯然迎來了長足的發展，並且催生出各式各樣的互動形態和內容形式，讓人們其未來發展充滿了想象。

當我們的交互方式開始由2D向着3D迭代演變，XR互動究竟意味着什麼？

01

二十年曆程，XR發展如何打破桎梏？

想要弄明白這個問題，不妨先了解一下XR互動的具體內核。事實上，XR是一個寬泛的“大雨傘”，涵蓋了VR（Virtual Reality，虛擬現實）、AR（Augmented Reality，增強現實）以及MR（Mixed Reality，混合現實）。三種技術的交集，共同構築了XR的技術底層。

實際上，隨着數字化進程的不斷推進，VR、AR、MR技術都已經日臻成熟。或許已經有人聽説過AR/VR技術，但是XR技術卻是依然難以被大眾所知，但實際上在不知不覺中XR技術已經悄然影響着我們的生活。那麼，XR技術神秘面紗下的真面目究竟是什麼呢？

從發展階段來看，XR技術的發展大致可以分為幾個階段：

在互聯網尚未完全普及的1999年，跳舞機開始風靡全球。在大街小巷，玩家根據屏幕上的箭頭指示，在地上的跳舞毯用腳踩擊，動感十足的舞曲加上高手炫酷的表演，在彼時迅速掀起了全民跳舞潮。也許大多數人並沒有意識到，跳舞機事實上也是XR互動技術早期應用的體現。但那個時候的體感互動設備，往往佔地面積較大、投入成本較高，並且支持的互動操作也較為有限。

時間來到2006年，任天堂發售了最新的電視遊戲主機——Wii，作為第一款引入體感功能的電視遊戲主機，Wii最與眾不同的特色在於Wii Remote手柄。Wii Remote可以實現指向定位與動作感應兩種操作。指向定位功能可用於控制屏幕上的光標，動作感應功能則可偵測三維空間中的移動及旋轉。在兩種功能的加持下，Wii Remote可在遊戲中化為球棒、刀劍等道具，使用户能夠實現多種動作。自此，體感類遊戲首次從街頭巷尾走進了玩家的家中，但儘管體積有所縮小，但使用的門檻和價格卻進一步提高，用户需要花費高昂的價格購買專用的設備體驗。

2021年開始，市場風起雲湧，XR技術活躍在大眾視野下，包括HTC VIVE、Oculus Quest 2、PICO等虛擬現實設備的火爆，也讓市場看到了XR互動設備的潛力。XR設備開始更多地運用到在線演唱會、發佈會現場、電影拍攝現場以及電視節目等場景，開始運用高科技感以及逼真感的XR技術，例如2021年的春節聯歡晚會就首次採用了XR技術來營造更為沉浸的影視體驗。此外，包括Meta、蘋果、華為等科技型企業均開始佈局XR設備的研發。

但需要注意的是，從XR互動技術發展至今，均是基於新的設備和新的平台進行打造，對於用户而言不僅需要購置新的體驗設備，還需要額外的學習成本才能夠實現對於新設備的運用，這也成為了長期以來XR設備發展的最大痛點。

02

當雲遊戲技術成為催化劑

日前，IDC發佈《全球增強和虛擬現實支出指南》，報告中預測在2026年，亞太地區AR/VR支出將達166億美元，複合年增長率提升42.%。儘管XR互動技術存在痛點，但與整個蒸蒸日上的市場相比，這樣的短板也足以被市場忽視。但IDC分析師還預測，未來幾年內AR/VR技術將對消費者更加友好，用户體驗將得到改善。

在近期舉行的時尚虛擬偶像星瞳的生日會上，似乎讓人看到了XR互動進階的新突破點。

11月3-5日，時尚虛擬偶像、QQ炫舞系列虛擬代言人星瞳在杭州競鵝酒店（騰訊電競聯名店）舉辦線下生日活動，活動中的互動環節引起了外界的注意——通過藉助騰訊先鋒的虛實互動技術，可以讓真實用户不借助綠幕摳圖和特殊裝備，僅憑手機便能實時投射在大屏的虛擬場景中，和星瞳進行跳舞挑戰，還能通過系統對玩家骨骼姿態的判斷得到打分評級，共同解鎖AI虛實互動體驗。

顯然，這樣依靠大屏+手機的XR互動體驗，擺脱了此前對於專業XR互動設備的依賴，將XR設備繁瑣複雜的空間計算、圖形處理工作轉移至雲端，僅以手機作為信號收集和互動入口的工具，並最終在大屏幕得以呈現，自然為用户提供了更高的自由度以及上手體驗感。

誠然，對於XR行業而言，這樣的改變尚且不足以改變生態。但需要注意的是，這確實為一直以來依賴專業設備的行業提供了新的解決方案。

從這個方面來看，星瞳AI虛實互動體驗是如何實現的呢？這與其背後的騰訊先鋒虛實互動技術的三大核心技術能力息息相關。

一是實時無綠幕摳圖。作為XR行業的關鍵核心技術，視覺空間定位技術的發展，對整個XR生態有着至關重要的影響。而基於雲端的實時4K視頻髮絲級摳圖，讓用户僅需使用普通手機攝像頭，無需綠幕、無需設備算力即可高質量完成摳圖，幫助普通用户將形象投射至虛擬場景中進行流暢互動，幀率可達60FPS。對於企業而言，這無疑成為了已達瓶頸的視覺空間定位技術的突破點。

二是姿態估計與動作捕捉。傳統的動作捕捉系統包括傳感器、信號捕捉設備、數據傳輸設備、數據處理設備。不僅需要多組光學動作捕捉鏡頭互相配合確定三維座標，還需要動捕軟件算出目標的位置、運動軌跡等信息，實現動作捕捉。但對於用户而言，不僅意味着高昂的設備支出，也需要更大的空間容納相關設備。而騰訊先鋒這項技術的姿態估計與動作捕捉則不需要依賴特殊場地和拍攝設備，也無需額外穿戴，僅使用手機的普通RGB攝像頭，即可隨時隨地實現動作捕捉。並且支持包括身體、手部和表情在內的高精度全身動捕，相關數據的處理也完全基於雲端計算，無需用户設備額外算力。

三是實時雲端視頻流媒體AI通用處理架構。XR頭顯可以提供最高分辨率和更清晰的視覺效果，但頭顯渲染虛擬內容需要配備強大GPU的計算機，也進一步限制了用户探索XR頭顯的能力邊界。而該技術整合硬件編解碼和高效神經網絡推理框架，基於雲遊戲的能力，構建了完整的視頻流媒體處理與雲端低延遲AI計算方案。最終在雲端計算能力的輔助下，能夠更好地擺脱本地計算設備的限制，讓用户再也無需擔心手機儲存空間和硬件配置，在功能較弱的機器上也能夠提供高質量的XR體驗。這對於AI虛實互動體驗而言，無疑是突破軟硬件條件限制的突圍點。

事實上，以上的種種核心能力，均是基於騰訊先鋒在雲遊戲方面的探索所積累的經驗，受遊戲的啓發而不斷拓展，也逐漸超脱於遊戲之外，為更多技術的更迭提供了助推力。

03

XR破局，應用場景外延持續拓展

據Counterpoint Research報告顯示，截至2022年二季度，Meta AR/VR設備全球市場份額達66%，市場優勢地位明顯。PICO緊隨其後，市場份額為11%。根據IDC，全球XR頭顯出貨量複合年均增長率預計將在2024年達到38%，行業的發展前景可見一斑。

XR互動設備乘風起，或許，我們現在可以預想一下XR的應用場景了。

事實上，當前XR已經形成豐富的應用場景，當下最主要的還是應用於C端消費級，目前包括遊戲、影視娛樂等等，而在製造業、零售業、醫療、教育等B端場景，XR也開始出現廣泛佈局。據中國信通院發佈的《虛擬（增強）現實白皮書》，2022年XR產業將正式步入深度沉浸階段，市場滲透率也在進一步提升。

例如在工業方面，在《中國製造2025》重點領域技術路線圖重大政策文件中，虛擬現實被列為智能製造核心信息設備領域的關鍵技術之一，通過智能製造各個環節的信息獲取、實時通信，以實現動態交互、智能決策分析和智能控制。這樣的思路在行業內也有了初步的應用，包括奧迪、福特、寶馬、豐田、沃爾沃等主流車企積極引入XR技術用於汽車研發。以奧迪為例，基於VR的虛擬裝配線校驗，使流水線工人在三維虛擬空間內完成對實際產品裝配工作的預估和校準，顯著提升了生產與組裝效率；同樣地，福特使用VR技術檢查汽車的整個外觀與內飾設計，並能夠查看特定細節，成為進行階段性數據驗證、業務流程參考的重要支撐。

圖片來源：Audi MediaCenter

在生物醫藥大健康產業方面，隨着5G技術的成熟運用，也極大地加快了XR設備的傳輸速度，結合相關設備，也能夠作為傳統醫學手段的有效補充。例如，總部位於美國芝加哥的醫療科技初創公司Level Ex 研發的VR醫療軟件——Airway Ex，能夠通過對人體組織動力學、內窺鏡設備光學和運動流體的現實模擬，針對外科手術醫生提供了一種避免對人產生傷害的手術訓練方式。

而在教育培訓領域，XR互動技術也起到了至關重要的作用。K12教育、職教領域，XR都有非常大的應用空間，XR技術可以形象地對抽象的概念進行具象表達，對難以實操的高價值設備進行虛擬仿真實訓學習。一直以來，NASA對XR技術情有獨鍾，此前在德克薩斯州休斯頓桑尼卡特訓練基地中建立了一箇中性浮力VR實驗室，主要用於模擬空間站環境，幫助宇航員們更好地適應重力、完成各種工作，更直觀地瞭解、理解太空行走的流程和可能發生的危險狀況。

圖片來源：NASA

而在體感遊戲領域，XR互動技術也將成為推動遊戲互動形式迭代的重要推動力。據此前基於Valve和Steam的官方數據，Steam平台頭顯每月的連接數保持上升趨勢，且增長幅度不斷加大；此外，支持XR設備的遊戲數量也在持續增加，9月份Steam平台共上線60款支持VR的遊戲，相比上個月49款有所增加。據Steam平台9月軟硬件調查結果顯示，2022年9月頭顯連接數量總體數量已經達到Steam用户總量的2.03%。

當行業應用加速落地，類似電影的《頭號玩家》時代究竟什麼時候可以到來？

XR互動被行業寄予厚望，被看作是有能力接棒智能手機、成為下一代超級終端的產品。

總體來看，XR技術跨學科廣、涉及領域多、成熟速度慢，但一旦成熟將是全新的顛覆性計算平台。值得注意的是，包括高通、蘋果、三星等企業都開始着手研發相關的硬件。但需要注意的是，距離XR黃金時代的到來，還尚且有一段距離。距離XR時代拐點的到來，還需要解決底層技術成熟度和終端設備輕量化的問題。

但這次騰訊先鋒攜手星瞳帶來的AI虛實互動體驗，也讓整個行業看到了基於雲遊戲技術實現XR互動，幫助XR產業更好開拓市場的可能性。

國人的創新是浪漫且充滿詩意的。

20世紀90年代初，錢學森在閲讀文獻時注意到了“Virtual Reality”，將之命名為“靈境”。也留下了這麼一句話“靈境技術是繼計算機技術革命之後的又一項技術革命。它將引發一系列震撼全世界的變革，一定是人類歷史中的大事。”

值得慶幸的是，這樣的歷史大事，已經悄然拉開帷幕，眾多企業也開啓了這場搶奪新時代先機的卡位戰。可以預見的是，隨着技術、生態的不斷完善，更豐富的場景不斷落地，市場對於XR的接納程度不斷提高，屬於XR互動的黃金時代也將隨之到來。