對話網易伏羲AI研究負責人：AI入局，如何改變遊戲的未來？
周昊
（觀察者網訊 文/周昊 編輯/莊怡）從雅達利公司在1972年推出第一款電子遊戲《Pong》開始，由電腦控制的AI就成為了遊戲內容中不可或缺的一部分。
半個多世紀以來，雖然電子遊戲的載體和形式發生了翻天覆地的變化，但基於遊戲開發者制定的規則並運行的“傳統遊戲AI”實際上並未跳脱出它一開始所誕生的範疇——“什麼情況下做什麼的若干規則的整合”。
直到近些年，大幅進步的人工智能通過不斷在遊戲內進行驗證，在大幅提升自身技術的同時，也為遊戲行業帶來了一場新的“智械危機”。
遊戲之內：近乎無解的高手
今年十一假期期間，網易旗下國產端遊《永劫無間》進行了一項新的測試，有着“新員工”之稱的“噩夢AI”在短短五天內便擊敗玩家上億次，提前完成了業績指標。
《永劫無間》噩夢AI發佈戰報
“噩夢AI”是一個目標被設定為在取勝的同時“如何在實戰中高效擊敗玩家”的人工智能角色，通過學習，“噩夢AI”不僅能夠在遊戲中熟練使出各種高難度操作，甚至還能觀察當前的對局環境、戰場態勢等，並做出提升尋路效率、採用迂迴作戰等對應的最優解。
需要注意的是，“噩夢AI”強大的對局能力並非是通過讀取後台數據“作弊”來實現，而是通過對遊戲進程推進觀察所做出的實事應對；換言之，從玩家角度來看，與之對局的“噩夢AI”其行為模式更像是一個“遊戲超級高手”。
網易伏羲AI研究&技術落地負責人呂唐傑在接受《觀察者網》採訪時確認，此次《永劫無間》噩夢人機模式背後的AI是結合深度神經網絡及強化學習方法，在設定任務目標後，通過AI之間的自我對弈訓練，最終人為挑選後產生，AI在遊戲中獲取的數據範圍及數值屬性，與真實玩家間不存在差異。
“噩夢AI”取得的超神戰績事實上僅僅是近年來AI技術進入遊戲產業後的一個縮影。過去數年間，AI技術已經從環境相對簡單的棋牌類遊戲進入到對局信息更為複雜的對抗類遊戲之中。
比如2016年AlphaGo橫空出世，成為首個擊敗人類圍棋世界冠軍的AI；隨後在《王者榮耀》、《星際爭霸2》、《Dota 2》等複雜對局類遊戲中，AI組成的隊伍也連續擊敗了大量職業戰隊。
騰訊AI Lab遊戲AI研發中心總監付強曾分享過一組數據：《王者榮耀》的AI“絕悟”初進入遊戲時只會在泉水發呆，但兩個小時後就能夠打贏內置規則的傳統AI；當學到20個小時後基本可以達到王者水準，而學習達到100多個小時後，“絕悟”已經可以在固定陣容上比較容易打贏職業選手，“‘絕悟’一天的訓練量就相當於人打遊戲150年，在遊戲內的勝率更是超過了98%”，付強表示。
呂唐傑也向《觀察者網》強調，AI技術跟遊戲本身是一種相輔相成的關係。遊戲作為研究和驗證AI技術的絕佳場景，在AI技術的發展過程中起到了至關重要的作用，無論是最初的AlphaGo、還是後來的OpenAI Five、AlphaStar等，AI研究團隊都是通過複雜的遊戲場景來反覆打磨AI算法、驗證技術效果，這極大地促進了AI行業算法、模型結構以及大規模分佈式計算等技術的發展。
可以説，正是遊戲行業與AI技術的深度融合，使得AI技術在算法研究、神經網絡架構探索以及大規模分佈式計算等領域取得了飛速的發展。
遊戲之外：AI點亮未來
與在遊戲內通過強化學習扮演一個超級高手相比，AI技術在遊戲之外的開發、運營等環節所展現出的自然語言處理、計算機視覺、語音合成、數據挖掘等技術力則更為廠商所青睞。
AI技術的三大要素是算法、算力和數據。目前遊戲行業的算法研究比較開放，全球的AI研究員都可以及時跟進最前沿的技術方案，而相對應的，算力和數據則成為了各家公司的技術壁壘。
當前，國內主流遊戲廠商如騰訊、網易、米哈遊、字節跳動等大廠均成立了各自的遊戲AI Lab，雖然遊戲廠商對AI技術的應用有着各自的側重，但整體的前進路徑卻是大同小異。
呂唐傑也表示，AI技術可以在遊戲開發階段大大提升遊戲團隊的製作效率。
比如語音合成表情技術，可以讓遊戲角色通過配音直接輸出角色表情，相比於傳統人工手繪表情的解決方案，工作效率提升上百倍；
比如使用AI技術可以快速地將演員或視頻中角色的表情、動作等遷移到遊戲內的角色模型，相比於傳統的基於動作捕捉的方案也能顯著提升產出效率、降低製作成本。
在遊戲的日常運營過程中，AI反外掛技術也可以作為傳統反外掛技術的有效補充，通過讀取分析玩家在遊戲中的行為數據，AI可以快速識別出異常行為玩家，比如在《永劫無間》中，基於AI的反外掛方案抓到的外掛已經佔到所有方案的60%以上。
“AI點亮遊戲未來，” 呂唐傑給出了自己對遊戲AI技術的理解：“從技術角度來理解，先進的生產力一定會取代落後的生產力，主流遊戲都在積極擁抱以神經網絡為基礎的新一代人工智能技術強化學習、人工智能，這是一個讓人興奮的趨勢。”
值得注意的是，目前國內在數字基建方面的投入強有力地促進了遊戲AI技術的快速發展。
呂唐傑也強調，通過集團自建並與阿里雲、華為雲等公有云計算提供商以及國內超算中心的深度合作方式，網易伏羲搭建了一個擁有數萬CPU和上千GPU的計算集羣，並擁有PB級的數據處理能力。
“強大的數字基建為遊戲AI技術的研究和應用保駕護航，也正是依託這些數字基建，我們才能研發出像永劫無間機器人、魔獸世界反外掛、AI照片捏臉、智能對話機器人等優秀的技術落地案例。”
呂唐傑坦言，目前遊戲中存在的很多NPC均是用傳統基於規則的方案製作，與玩家的交互也是機械式的問答，玩家的沉浸感並不強，基本上“有多少人工，就有多少智能”；但隨着大模型預訓練技術的發展，未來遊戲策劃只需要給怪物、NPC賦予故事背景和人設，並設定好他們的行動空間，剩下的就可以交由AI，讓其通過學習大數據完成智能水平的提升，從而讓玩家體驗到NPC的鮮活感，也讓遊戲真正有可能變成一個自由開放的世界。這對於玩家而言，每一天乃至每一個玩家的每一次的遊戲體驗均會有所不同，也會讓玩家們體驗遊戲的方式發生巨大的改變，對於遊戲行業而言也將是一次新的革命歷程。
網易伏羲AI研究&技術落地負責人呂唐傑 受訪人供圖
以下為本次採訪實錄，受訪人為網易伏羲AI研究&技術落地負責人呂唐傑，僅做不改變願意的調整：
1.觀察者網：網易十一期間在《永劫無間》遊戲中引入“噩夢AI”，為何會有一次這樣的策劃？
**呂唐傑：**噩夢AI的上線是一個不錯的開始，遊戲機器人曾在福利局、人機模式等玩法中扮演了重要的角色，但隨着玩家遊戲水平的逐漸提升，初始版本的遊戲機器人已經跟不上玩家的需求。
一方面是由於機器人本身的競技水平比較弱，另一方面是機器人的行為模式還比較固定甚至説是蠢萌，其根本原因則是在技術層面上，《永劫無間》原始版本的遊戲機器人是通過行為樹、狀態機等基於規則的方法開發的，這類方法的特點是簡單、易用，但同時機器人所能達到的水平上限不高。
目前，強化學習領域的研究者們已經在相當多的場景，特別是遊戲場景中實現了匹敵甚至超越人類專家水平的AI，而強化學習也被認為是實現更通用、更廣泛、更高級的機器智能的重要技術手段之一。
因此，我們藉助了深度強化學習技術對遊戲機器人進行了多方面的能力提升，包括尋路效率、戰鬥博弈水平、迂迴作戰等。
另外，從技術的角度來講一定是先進生產力取代落後生產力，不單是《永劫無間》，網易大多數遊戲項目組也都在積極擁抱新一代人工智能技術，這是一個讓人興奮的趨勢。
2.觀察者網：與玩家認知中的傳統遊戲AI相比，當前階段在遊戲中引入的AI有什麼不同？從玩家角度來觀察，對兩種AI的感知又有何不一樣？
**呂唐傑：**首先是兩種遊戲AI的製作產生方式不同。傳統遊戲AI可以看成是“什麼情況下做什麼”的若干規則的組合，是人類有限經驗的堆疊。而當前我們在遊戲中引入的AI，是通過像“新手玩遊戲變成老手”那樣的過程“訓練”出來的，可以將其視為具備了感知、認知、決策以及學習能力的智能體。
其次，兩種遊戲AI的技能水平差異很大，這也是第一點所直接導致的。基於規則的AI其實是人類先驗知識的一種簡易的表達，體現的是遊戲開發者、策劃對於怎麼玩遊戲的一種認知。
但其問題就在於人類雖然可以精通遊戲，卻拙於提煉如何精通遊戲。因此，一個基於規則的遊戲AI邏輯，往往包含了成千上萬條規則以儘可能地覆蓋所有決策情形，規則越多，遊戲AI也就越智能，但在實際中規則AI其實很難達到極高的智能水平。
而在求解“如何將遊戲玩得更好”這個問題的過程中，強化學習算法能夠自動探索可能的決策情形，將應對策略凝練到參數模型中，不需要龐大的規則庫，也不需要人工干預學習過程。
與規則AI這種機械的“人工智能”相比，這是更高級形式的“人工智能”，“人工”是因為它仍然是人類設定的程序，“智能”是因為這種程序實現的（或者説模擬的）是人類獲取知識的方法，而非直接表達知識本身。
目前，人工智能技術日新月異的發展所帶來的各行各業的變化已經非常容易被常人所感知到，強化學習技術在圍棋、星際爭霸、Dota2等遊戲中的突破都引起了非常大的轟動。在遊戲領域大家已經形成了這樣的共識——現代人工智能技術在某些特定領域超越人類，已經是事實。
從我們自己的經驗來講，玩家們對於傳統遊戲AI和用強化學習算法訓練出的遊戲AI的感知有非常明顯的區別，這主要也是由兩者之間的技能水平差異所帶來的。
比如新AI學會了比較高級的連招技能，新AI表現出像人一樣的欲擒故縱、聲東擊西等計謀，新AI壓迫性太強等等。如果只侷限於傳統的基於規則的方法，遊戲AI只能演配角戲，比如給新手玩家練手、在深夜玩家數量較少時充人數，那遊戲AI對於很多玩家來講其實是可有可無的。
目前來看，深度強化學習為代表的現代人工智能技術可以有無限潛力，藉助這些技術產生的遊戲AI可以幫助玩家做更多的事情，與玩家在遊戲世界裏面共建共生，或許可以成為遊戲玩法的全新發展方向。
3.觀察者網：一般的認知中，遊戲中任何怪物、NPC的操作均遵從開發人員設定的邏輯，AI的引入能否理解為未來遊戲中的對應怪物、NPC會有自主的運行邏輯？這會對遊戲內的生態帶來哪些變化？
**呂唐傑：**隨着大模型預訓練技術的發展，遊戲行業的這一天可能很快就能到來，這對於遊戲內的生態會產生重要的影響。
首先，可以提升遊戲內怪物、NPC的製作效率，並且還能將這些NPC的智能水平提升到一個新的層次。此前遊戲中的NPC是基於傳統規則方案所製作的，遊戲策劃使用行為樹、流程圖等工具，手工製作AI的行為邏輯，基本上“有多少人工，就有多少智能”。因為生產力低下，鑑於遊戲開發團隊有限的預算和投入，一般遊戲中的怪物、NPC就會存在智能不足、可玩性有限的問題。
通過使用人工智能技術，怪物和NPC擁有了自我學習的能力，遊戲策劃只需要給這些怪物、NPC賦予故事背景和人設，並設定好他們的行動空間，剩下的就可以交由AI，讓其通過學習大數據完成智能水平的提升，從而讓玩家體驗到NPC的鮮活感。
其次，遊戲真正有可能變成一個自由開放的世界，並讓玩家獲得身臨其境的交互體驗。比如玩家可以跟NPC進行自由的交流，包括文字、語音、表情、行為等多種交互形式，而NPC又能根據遊戲世界觀、自己的人設以及與玩家和其他NPC的交互，在遊戲裏自主式的發展，那玩家每一次在遊戲裏都會有新奇的體驗，不同玩家的體驗也各不相同。
《西部世界》電視劇中描繪了一種終極NPC的形態，我相信通過人工智能技術的發展，這種高智能、高自由度的NPC在遊戲中必將出現，這也是我們努力的目標，而這對於很多想要持續探索開放遊戲世界的玩家來説將是一個福音。
4.觀察者網：傳統遊戲中的強力AI角色通過後台讀取對應的數據來實現強大的應對能力（如RTS遊戲中戰爭迷霧無效等），而如今遊戲AI則是依據當前場景判定下一步的行動邏輯。這種純自主性的AI在開發及應用層面與傳統的遊戲AI有何不同？
**呂唐傑：**由於傳統的遊戲AI與純自主性的AI背後所依賴的技術不同，使它們具有不同的特點：傳統的遊戲AI由於完全以邏輯方式實現，其行為更加可控及可定製化，但其行為模式較為單一固化，且通常無法應對複雜的遊戲場景；
與之相對的，純自主性的AI基於深度神經網絡，其具有更高的上限，能夠應對複雜場景，同時行為表現上具有一定的變化，但由於深度神經網絡的黑盒性質，對其進行定義化的行為調整存在一定困難。
從開發層面來看，傳統的遊戲AI要展現強大的應對能力，除了通過後台獲取數據外，往往還會在屬性數值方面進行增強。而此次《永劫無間》噩夢人機模式背後的AI，是結合深度神經網絡及強化學習方法，在設定任務目標後，通過AI之間的自我對弈訓練，最終人為挑選後產生，其獲取的數據範圍及數值屬性，與真實玩家間不存在差異。
5.觀察者網：除了在遊戲內與玩家互動，AI在遊戲開發、日常運營的過程中還能夠帶來哪些改變？
**呂唐傑：**在遊戲開發階段，AI技術可以大大提升遊戲團隊的製作效率。例如通過語音合成表情技術，可以讓遊戲的角色通過配音直接輸出角色表情，相比於傳統人工手繪表情方案，工作效率能提升上百倍；
再比如使用AI技術可以快速地將演員或視頻中角色的表情、動作等遷移到角色模型上，相比於傳統的基於動作捕捉的方案，能顯著地提升產出效率、降低製作成本；
AI文圖生成技術則可以讓策劃通過文本快速地生成和挑選一些合適的概念圖，降低了策劃跟美術之間的交流障礙，減少中間返工的成本等等。
在日常運營階段，AI反外掛技術通過分析玩家在遊戲中的行為數據，可以快速識別出異常行為玩家，從而作為傳統反外掛技術的有效補充。
6.觀察者網：目前全球來看遊戲AI技術的開發、應用等方面中外之間是否有明顯的差異？
**呂唐傑：**AI技術跟遊戲本身是一種相輔相成的關係。
一方面，遊戲作為研究和驗證AI技術的絕佳場景，在AI技術的發展過程中起到了至關重要的作用。無論是最初的AlphaGo、還是後來的OpenAI Five、AlphaStar等，AI研究團隊都是通過這些複雜的遊戲場景來反覆打磨AI算法、驗證技術效果。可以説，這些遊戲極大地促進了AI技術在算法研究、神經網絡架構探索以及大規模分佈式計算等方面的飛速發展。
總體來説，國外在使用遊戲來促進AI技術發展這一領域要比國內要做得更好一些；但同時，依靠AI技術的發展、應用來反向促進遊戲本身，這一領域國內很多公司走得更為靠前，目前國內很多大型遊戲公司都成立了自己的AI技術部門，在用AI技術賦能遊戲上做了大量的技術創新和應用落地。
當然，無論是用遊戲來促進AI技術的研究，還是用AI技術來促進遊戲產業的發展，兩者都對全球產業帶來了正向的促進作用。比如網易伏羲已在“遊戲+AI”領域發表了150多篇國際級論文，擁有200多篇技術專利，並在全球遊戲開發者大會（GDC）做過10餘次AI技術專題分享，在國際和國內享有一定的聲譽。
7.國內數字新基建所打造的算力網、數據中心等對遊戲AI技術的開發、應用帶來了哪些作用？
**呂唐傑：**AI技術的三大要素是算法、算力和數據。目前遊戲行業算法研究比較開放，全球的AI研究員都可以及時跟進最前沿的技術方案，而算力和數據則成為了各家公司的技術壁壘。
得益於在數字新基建方面的投入，國內的遊戲AI技術取得了快速的發展。例如網易伏羲已經搭建了一個擁有數萬CPU和上千GPU的計算集羣，並擁有PB級的數據處理能力。同時阿里雲、華為雲等公有云計算提供商、國內的一些超算中心也為遊戲AI技術的研究和應用提供了大量支持，也正是依託這些數字基建，我們才能研發出像《永劫無間》機器人、反外掛機器人、AI照片捏臉、智能對話機器人等優秀的技術落地案例。