紫光展鋭先進技術科普|推動XR技術變革，開啓沉浸式交互新時代_風聞

專欄

先進技術科普系列

回顧計算機技術的發展歷史，我們可以看到人機交互方式的不斷演變。過去50年，硬件形態從早期的遊戲主機到個人電腦，再到智能手機，經歷了垂直計算硬件、通用計算硬件到小型化硬件的發展路徑。遊戲主機時代，硬件以高度專業化為特徵，主要針對特定類型的計算任務。個人電腦的出現將計算能力擴展到更多應用領域，而智能手機則將這種能力進一步小型化和便攜化，使計算成為日常生活的一部分。

這種演變不僅僅是硬件尺寸和形態的變化，更是計算能力和交互方式的革命。早期的遊戲主機通過專用的計算硬件和圖形處理單元，實現了高效的圖形渲染和遊戲計算。隨着個人電腦的普及，通用計算硬件使得計算能力得以擴展，用户可以通過鍵盤、鼠標等輸入設備與計算機進行交互。而智能手機的出現，將計算能力進一步壓縮到手掌大小的設備中，觸摸屏技術的應用則徹底改變了人機交互的方式。

XR技術的出現，為人機交互注入了新的生命力。通過不斷的技術迭代，XR設備和內容形成了一個正向循環的生態系統，將我們帶到了元宇宙的入口。XR產業的發展依賴於三大核心底層技術：視覺和智能計算技術、大屏顯示技術和高速連接技術。

什麼是XR

擴展現實技術（XR），涵蓋虛擬現實（VR）、增強現實（AR）和混合現實（MR），正在引領新一輪的人機交互革命。XR不僅僅是簡單的視覺或聽覺刺激，而是通過結合計算、人工智能、音視頻處理、仿真和通信技術，創造一個讓用户感覺身臨其境的虛擬世界。沉浸式體驗是XR的核心目標，但要實現這一目標並非易事。那麼，“沉浸式”究竟指什麼？我們離沉浸式的XR還有多遠？

視覺沉浸感是XR體驗的關鍵。超高清顯示技術、超高算力和高數據傳輸速度等支撐性技術，確保了用户在視覺上的沉浸體驗。物理沉浸感則通過多模態交互、空間計算、三維重建、定位與地圖構建等技術，打破了物理與數字空間的界限。認知沉浸感進一步擴展了XR對現實場景的語義與幾何理解，未來的腦機接口、裸眼3D和光場技術將使這一沉浸感更加真實和深刻。

AR/VR/MR的基本概念

XR關鍵技術

視覺質量是XR提供極致體驗的關鍵。人眼接收的80%的信息來自於視覺感知，因此，接近人眼視覺體驗需要超高像素密度和合適的視場角（FOV）。像素密度決定了圖像的精細程度，高分辨率可以改善“紗窗效應”，使圖像清晰度達到接近真實世界的水平。視場角越大，視覺沉浸感越強，但同時也需要更高的計算能力支持。

此外，多模態感知交互融合了面部追蹤、眼球追蹤、語音識別、手勢交互、觸覺模擬等技術，使用户能夠根據自身需求，以最自然的方式與設備互動。面部追蹤技術可以捕捉用户的面部表情，並在虛擬世界中呈現出來，使虛擬角色表現得更加生動。眼球追蹤技術則能夠檢測用户的視線方向，調整顯示內容，提高互動的精確度。語音識別技術可以識別用户的語音指令，使用户能夠通過語音與設備進行互動。手勢交互技術則通過檢測用户的手勢動作，實現自然的手部操作。觸覺模擬技術可以通過觸覺反饋設備，讓用户感覺到虛擬物體的存在，進一步增強沉浸感。

人眼視場角範圍定義

紫光展鋭在XR的技術投入

紫光展鋭長期投入IP 集成能力、音視頻多媒體 IP 等核心技術，在5G/Wi-Fi 等通訊基礎、沉浸式大屏顯示所需的高動態（HDR）、廣色域（WCG）、高幀率（HFR）等方面擁有持續創新的先進技術。除產品研發外，紫光展鋭深度參與了XR行業標準，並積極與生態合作伙伴為XR技術研究和產業推進作貢獻。

5G對XR體驗的推動

XR業務的流量特性，如非整數週期性、抖動、高速率、嚴格的包時延需求等，對通信系統的節能和容量帶來了巨大挑戰。受手持設備和可穿戴設備電池容量的限制，終端能耗優化尤為重要。5G技術支持高速率、低時延和高可靠性，同時基於XR流量特性引入節能和容量優化機制，不僅滿足了XR業務的通信需求，還拓展了用户使用場景，為用户提供了更靈活的使用方式。

從2018年開始，3GPP將XR作為5G標準中的重要內容，涵蓋了XR概念、關鍵技術、設備類型和性能指標等方面的內容。面向5G-A和6G，除了基礎業務場景的滿足，元宇宙的更多應用場景將成為重點。在感知、計算和網絡融合發展的趨勢下，實現“智能無所不及”的願景。

5G技術的高速率和低時延特性，使得XR設備能夠在實時傳輸大量數據的同時，保持低延遲和高穩定性。這樣，用户在使用XR設備時，可以獲得更加流暢的互動體驗。此外，5G技術還支持大規模連接，使得更多設備能夠同時接入網絡，為XR應用提供了更加廣闊的使用場景。未來，隨着5G-A和6G技術的發展，XR技術將進一步提升，為用户帶來更加豐富和多樣的沉浸體驗。

3GPP TR26.928  不同類型擴展現實技術及其應用

XR在日常生活中的滲透

隨着XR技術的不斷進步，其應用場景也逐漸從專業領域滲透到消費級市場。無論是娛樂、教育、醫療還是社交，XR技術都在改變我們與世界互動的方式。在娛樂領域，用户可以通過VR設備體驗身臨其境的遊戲和電影；在教育領域，AR技術可以將抽象的知識形象化，使學習過程更加生動有趣；在醫療領域，MR技術幫助醫生進行精準的手術操作和病情模擬；在社交領域，虛擬形象和虛擬環境為用户提供了新的互動方式。

例如，在娛樂領域，通過VR設備，用户可以進入虛擬的遊戲世界，與虛擬角色互動，體驗到傳統遊戲無法提供的沉浸感。在電影領域，VR技術可以讓觀眾成為影片的一部分，參與到故事情節中，獲得全新的觀影體驗。在教育領域，AR技術將抽象的數學、物理概念具象化，使學生能夠直觀地理解複雜的知識點。醫療領域，MR技術幫助醫生在手術中實時查看患者的三維掃描數據，提高手術的精確度和安全性。在社交領域，虛擬形象和虛擬環境使用户能夠以全新的方式進行互動，打破了傳統社交的空間和時間限制。

再比如以語音識別為例，在家居場景中，設備需要克服噪音干擾，確保遠距離拾音和高信噪比，以提升用户體驗。在遊戲場景中，語音識別技術不僅要準確識別用户的指令，還需要增強音頻效果，提供更加逼真的遊戲體驗。紫光展鋭推出的智能顯示芯片平台M6780，集成了多麥克風陣列音頻捕捉、智能語音喚醒和端側命令詞識別等技術，實現了清晰、準確的語音識別。

如首款搭載NPU的智能顯示芯片平台M6780中，集成了完整端側智能語音方案，通過紫光展鋭自研的多麥克風陣列音頻捕捉算法、智能語音喚醒、端側命令詞識別等技術，讓芯片可以聽得清、聽得懂、能執行。

未來展望

儘管目前XR技術在各個行業中已經取得了顯著進展，但要實現真正的沉浸式體驗，還需要克服許多技術挑戰。例如，當前的XR設備在交互流暢性、響應速度和認知沉浸方面仍有提升空間。此外，內容生產和生態系統的完善也是推動XR技術普及的關鍵因素。隨着技術的不斷進步和內容生態的擴展，XR技術將逐步滲透到更多場景，為行業帶來新的視野和商業市場空間。

未來，XR技術有望在更多領域發揮重要作用。教育領域，通過XR技術，學生可以進入虛擬實驗室進行實踐操作，提高學習效果。零售領域，用户可以通過AR技術在家中試穿虛擬服裝，提升購物體驗。房地產領域，用户可以通過VR技術在線參觀房屋，節省時間和精力。旅遊領域，用户可以通過VR技術體驗世界各地的風景和文化，拓展視野。紫光展鋭作為XR技術領域的領導者，將繼續推動技術進步和行業發展，為用户帶來更多可能。