讓數字人出圈的技術秘籍，華為率先公開了_風聞

明敏 蕭簫 發自 凹非寺

量子位 | 公眾號 QbitAI

在剛剛結束的2022華為開發者大會（HDC2022）上，升級版的手語數字人再次亮相，為大會的主題演講進行了實時翻譯。

相較去年HDC，手語數字人不僅在形象上有了優化，覆蓋手語詞彙量更是提高到了2萬+，還能支持多達26種面部表情和準確的口動，在需要的時候實現恰當的情緒化表達，大大提高了手語的可懂度。

這樣一個會手語的數字人，已不僅限於連續兩年在華為開發者大會上“嶄露頭角”了。其實在政府網站、學校和移動應用等場景，手語數字人也已經逐漸上崗。

實際上，製作一個精良的數字人並不簡單，如果要求高度定製化，技術門檻只會更上一個台階。

這也導致當下數字人頗有種大廠“奢侈品”的味道。

畢竟，並非所有人都能承擔起如此高昂費用和製作複雜度，以手語數字人為例，需求很大一部分來自於學校、公益機構等。

而在這些現象背後，其實還隱藏着數字人在製作、應用落地方面的一連串難題。

大廠競速，降低數字人落地門檻

想要探尋數字人的落地瓶頸，還需從它的生產製作流程看起。

製作數字人的流程，可以分為建模、驅動和渲染三個階段。

建模即搭起數字人的“基礎骨架模型”，驅動負責讓模型“動起來像人”，渲染則負責讓模型“看起來像人”。

聽起來不難，但在傳統的數字人制作流程中，每一階段都面臨操作繁雜、算法門檻高、開發週期長的問題，成本更是大型企業才負擔得起。

極高的製作門檻，和數字人主打的“服務場景”卻並不匹配。

像銀行、政務服務、直播間、景點導覽、學校等需求方，往往不具備獨立開發製作數字人的技術能力，能承受的製作成本更是相對有限。

這種情況下，不少科技廠商如華為競相涉足數字人領域的研發，力圖降低每個製作階段的技術門檻。

在建模上，傳統方式往往要利用多方位攝像頭，對模特們打點掃描，採集説話時唇部、表情、面部肌肉、肢體細節和姿態等身體數據，隨後按照需求設計建模，如卡通風、超寫實風格等。

BUT，這背後需要的工作量非常大，而且需要專業人員操作。

相比之下，目前已經有更多AI算法來降低3D建模門檻，也適配不同的數字人風格。

在本次HDC上，華為就展示了一套高效的3D卡通數字人建模服務，能夠幫助開發者快速構建自定義的3D卡通數字人資產。基於業界前沿的全屬性特徵識別和多模態基模融合兩大核心技術，只需要1張照片，AI算法1秒鐘就能生成一個活靈活現的卡通風格數字人，甚至連身體都能建模好。

全屬性特徵識別技術能夠對髮型、眼形、眉形、鬍子和眼鏡等面部主要屬性迅速而精準地識別，每個部分又可細化到常見的特徵，如單雙眼皮、卷直髮等，實現美與像的平衡。

值得一提的是，這樣的神經網絡模型非常輕量，大小僅在KB級別（不到1MB），推理時間更是達到毫秒級，大部分情況下識別準確率超90%；

而如何在毫秒級時間內，僅憑一張照片就“拼”出最合適的卡通化人臉，同時換上最合適的風格，則是多模態基模融合技術的能力。

依託大量基礎幾何（1k+）和形狀素材（100+），配合百萬級的AI訓練數據，高效建模得以輕鬆實現。

**△**卡通化程度和風格可自定義調節與轉換

通過3D卡通數字人建模服務和HMS Core手語服務的配合——無論是熱情活潑的手語老師，還是端莊親和的手語直播主持人，都能快速搞定。

建模完成後就是驅動和渲染了，讓模型不僅能像人一樣表情自然、肢體動作流暢，還能具備一定語言理解表達能力。

傳統平台雖然有動作庫、降低人工製作難度，但最複雜的往往是兩個動作之間的過渡、以及將語音文本和表情逐幀對應的過程。

目前有大廠已經試圖在用算法搞定動作過渡，至於語音文本和表情對應則可以用AI算法來降低工作量。

此次HDC，華為正式發佈的HMS Core 3D Engine，不僅能進行超大規模數字世界的實時渲染，對於數字人的驅動也專門提供了一套能搞定實時骨骼動畫、表情動畫、腳步/全身IK、布娃娃系統、動畫重定向、多重動畫融合的“工具包”。

3D Engine的動畫編輯器不僅支持創建多個動作狀態機，而且還能對多個角色的動作進行平滑過渡，解決數字人動作之間“不流暢”的問題。

除了單純的動作驅動，讓數字人具備理解表達能力，同樣是決定驅動真實性的一環。

HMS Core的手語服務，用AI算法給數字人打開了“手語表達與理解”能力。

基於大量深度學習算法，讓模型學習語音、唇形、表情參數間的潛在映射關係，手語服務通過HMS Core 3D Engine驅動模型在接收到輸入信號時，自動做出對應的動作。

建模和驅動之後，就來到最終的渲染部分。

傳統方法往往計算量極高，更別提直播場景中常見的實時渲染。

尤其是寫實數字人，為避免高時延，實時渲染往往選擇犧牲數字人的真實感，包括皮膚、頭髮和眼睛等部位，想要打造真實感難度非常高，最後往往只能採用3D卡通數字人來完成實時直播。

在這種背景下，HMS Core的3D Engine在實現在實時渲染的同時，還儘可能還原寫實數字人真實的效果。利用3D Engine呈現出來的數字人，不僅能與場景進行實時交互，在皮膚材質、髮絲仿真、眼球材質等渲染上也足夠細緻，這些細節直接影響了數字人的逼真程度。

皮膚材質上通過次表面反射、雙葉高光對皮膚的光澤度和通透感實現了增強，呈現出了更自然的皮膚效果。

在髮絲上，則是通過實時物理模擬完成10萬+髮絲運動，來增強頭髮的陰影、半透明和高光渲染效果。

眼球還原上甚至精確到了虹膜、瞳孔、鞏膜、晶狀體折射率等，根據參數進行調整。

整體來説，相較於傳統數字人制作流程，從降低門檻、提高易用性等維度出發， HMS Core提出了一個更為簡易的數字人全流程解決方案。

背後技術能力並不簡單

其實，面臨數字人落地的難題和機遇，國內外不少公司都在投入這一賽道角逐。

這其中既包括蘋果、Meta和英偉達等科技巨頭，也有Neon和DATAGRID等初創公司，憑藉自身軟硬件優勢“擴張”在數字人行業的版圖。

在賽道玩家雲集的情況下，華為降低用“人”成本的底氣何在？

一方面，在AI等技術上，華為這些年也在不斷地進行研究和積累。

據華為介紹，在NeurIPS近五年來引用最多的50篇論文、以及ACL近五年來應用最高的20篇論文中，都各自有一篇華為諾亞方舟實驗室的論文，同時ACL引用最高的30篇論文中，更是有3篇相關論文。

華為輪值董事長徐直軍，此前也透露過華為的AI研發數據：僅2018一年，華為的AI研發投入就達到15億美元，研發團隊更是超過5000人。

具體到內容上，這些論文中就有不少像多模態技術這類與數字人息息相關的研究。

被ACM Multimedia 2022收錄的一篇新論文中，華為泊松實驗室就聯合人大高瓴人工智能學院提出了一種名叫MMTG的新模型，意圖讓AI看到圖文混雜的輸入時能理解它們的關聯，並創作出新的文本，進一步提升數字人的表達能力。

另一方面是獨特的應用場景優勢，作為鴻蒙生態的重要組成部分，HMS Core提供的一系列全面的端、雲開放能力，為數字人在移動端乃至鴻蒙生態上的落地提供了有力的支持。

通過HMS Core 3D Engine和手語服務打造的手語數字人，已經開放給暢聽無礙、知音等第三方App集成接入，實現在手機上的直接使用，為聽障人羣帶來生活的便利。

2700億市場如何把握？

事實上，不止手語數字人，目前更多場景都面臨着使用數字人的情況。

據《量子位虛擬數字人白皮書》預測，2030年我國虛擬數字人市場規模將快速增長至2700億。

按需求場景劃分，主要有身份型虛擬人和服務型虛擬人。

身份型虛擬人即虛擬偶像、真人人偶分身等，服務型虛擬人的常見應用場景有銀行、政務大廳、播音室等。

比如在銀行數字化轉型趨勢下，數字人銀行客服通過語音交互，就能以更貼近於傳統櫃枱的方式，提供更加人性化便捷的服務；

還有手語翻譯場景，我國聽障人羣數量達到2700萬，但專業手語翻譯師的數量恐怕還不到1萬。3D手語數字人在彌補專業人才缺口的同時，也能快速普及國家通用手語。

目前，我們已經能看到越來越多的數字人開始上崗工作，隨着華為等大廠的技術投入，其成本和使用門檻也在進一步降低。