搜狗-清華天工研究院提出ChoreoNet模型：讓數字人聞聲起舞_風聞

近日，搜狗分身技術團隊聯合清華大學天工智能計算研究院賈珈老師團隊共同發表的數字人技術論文《ChoreoNet:基於舞蹈動作單元的音樂-舞蹈合成框架》被2020國際頂級盛會ACM Multimedia錄用為長文。

（截圖來源：ACM Multimedia官網https://2020.acmmm.org）

ACM Multimedia專注於推進多種媒體的研究與應用，涉及人工智能、計算視覺、數據科學、深度學習、人機交互等多個新興領域，是中國計算機學會推薦的多媒體領域唯一A類國際學術會議，被認為是多媒體技術領域奧運級別的盛會。雖然鼓勵來自全球的各類機構分享、交流最新研究成果，但該會議論文接受率很低，只有對日常生活和技術突破具有巨大影響潛力的研究項目才會被通過。

“攻克難關”備受認可

音樂和舞蹈是與人們生活密不可分且高度相關的兩種藝術形式，近年來，“樂舞合成”也是業內高度關注的領域。不過，早期合成基於相似度檢索進行，合成結果的多樣性有限，而目前通行的方法是利用神經網絡模型，將音樂特徵映射到人體骨骼關鍵點，但由於人類骨架關鍵點的高度冗餘和帶噪特性，逐幀關鍵點預測非常困難，導致合成質量有限，成為困擾業內人士的一大“難關”。

搜狗分身技術團隊與清華天工研究院賈珈老師團隊在論文中提出了一個極具創造性的解決方案，該方案將人類編舞知識融合到樂舞合成框架中，設計多個舞蹈單元(CAU)，並使用CAU序列預測模型，開發了一個像人類一樣根據音樂編排舞蹈動作的舞蹈合成框架——ChoreoNet。通過實驗驗證和數據對比，相較於基線法，ChoreoNet性能更好，合成動作也更加自然逼真，無論是音樂匹配度、動作自然度還是其他方面，表現都更加優秀。

（截圖來源：ChoreoNet論文）

此次，該論文被ACM Multimedia認可並錄取為長文，不僅代表了搜狗AI分身技術在身體動作及姿態生成方面的突破，也從側面印證了搜狗強大的AI技術實力和能夠實現持續輸出的創新能力。值得注意的是，搜狗是在業內率先選擇通過音頻來驅動身體動作作為研究課題的先行者。

“死磕技術”引領方向

在搜狗的AI戰略版圖中，“自然交互+知識計算”是核心方向，技術研究和推動技術向產品的快速轉化均以此為基礎和方向，而搜狗“分身”是其中關鍵和重要一環。

在2018年發佈全球首個AI合成主播之後，搜狗分身持續研究並打造更加逼真自然的數字人能力，在2D/3D數字人領域構建了音畫同步、逼真的面部表情唇動生成及驅動能力。此外，如何能夠讓數字人更加自然並且富有表現力也是搜狗分身的重點研究方向，其中身體動作以及姿態的表達至關重要。搜狗在首代AI合成主播問世後不到3個月的時間，便成功推出與“坐播”截然不同的“站播”合成主播，今年5月推出的3D AI合成主播不止面部細節經得起高清鏡頭考驗，更是實現了自如行走。本次與清華大學天工智能計算研究院的工作選擇了音樂場景，重點研究如何提升身體動作生成及驅動的表現力和自然度，為AI數字人的技術探索開啓了新方向。

“未來應用”前景廣闊

人工智能是未來科技的風向標，而5G時代的到來又大大加速了這一進程。自2018年搜狗推出全球首個AI合成主播之後，能夠與普通人的生活深度交融並廣泛運用於各行各業的“AI分身”便深受關注，不少科技企業躬身入局。

從上文可以看出，搜狗從未停下突破的步伐，從2D到3D、“坐播”到“站播”、從支持單一語種到支持多語種、再到支持互動。目前搜狗分身技術已經在司法、傳媒、會展、藝術、金融客服等多個場地落地，為新華社、央視、平安惠普、北京互聯網法院等打造了多個AI合成主播、AI合成客服、AI虛擬法官等，也創造了雅妮、新小微、新小浩、新小萌等多個經典AI數字人形象。

由音頻驅動的數字人或數字舞蹈演員，擁有巨大的想象空間和市場化應用前景。特別是與搜狗現有3D數字人的技術相結合後，使用場景可以從目前集中的傳媒、金融、法律等領域向影視、娛樂領域進軍，攪動萬億規模的市場。

AI為人賦能，這是搜狗人工智能的發展理念，也是搜狗分身技術的願景。作為一項既能解決行業痛點，又能為用户創造價值，既能給社會帶來變革、又能對科技產生影響，同時還能持續突破和進步的前沿技術，搜狗分身的未來，無疑具備更多的可能性、極大的想象空間。