乘風破浪的馬里奧！這個AI帶你一口氣通29關，你猜連AI都過不去的是哪3關？_風聞

大数据文摘-大数据文摘官方账号-2020-08-11 14:39

2020-08-11

大數據文摘出品

作者：牛婉楊

馬里奧的系列遊戲自打誕生以來就風靡全球，同時也陪伴了無數人的童年。

人工智能出現後，不少技術咖都開始嘗試，能不能利用AI完成馬里奧的一次通關夢？

比如，這裏有一位馬里奧遊戲瘋狂愛好者uvipen就在GitHub上貢獻了兩種不同的方法，都能讓馬里奧輕鬆遊走在障礙之間！去年6月，uvipen從2016年的論文《Asynchronous Methods for Deep Reinforcement Learning》中得到了啓發，用異步優勢Actor-Critic算法(A3C)讓馬里奧順利通過了32關中的9關。

顯然，他對之前的方法不夠滿意，於是經過一年多的鑽研，他帶着新方法來了！這次，他用 OpenAI 公佈的近端策略優化 (Proximal Policy Optimization，簡稱PPO) 算法，成功助力馬里奧通過32關中的29關，近乎通關！

效果大概是這樣👇

強迫症表示這也太舒適了吧，快來和文摘菌一起看看uvipen是如何做到的吧~

用PPO算法順利通過29關！如果不行，那就換一個學習率

這個PPO是何來頭？文摘菌也去了解了一下。

PPO全稱是近端策略優化，聽這個名字你可能覺得陌生，但是在人工智能圈，這個算法可是早就用於各種遊戲對抗中了。

早在2017年，OpenAI 2017年提出的用於訓練OpenAI Five的算法就是PPO，也正是在它的幫助下，人工智能OpenAI Five首次在電子競技遊戲 DOTA 2 國際邀請賽中打敗世界冠軍Dendi。

Dendi 在第一局比賽中以 2:0 告負，而第二局僅開始十分鐘 Dendi 就選擇了直接認輸。

由此看來，PPO的強大之處可想而知，**它不僅具備超強的性能，且實現和調優要簡單得多。**這也正是uvipen選擇使用PPO訓練馬里奧通關策略的原因。接下來文摘菌就為你介紹一下PPO~

近端策略優化(PPO)，是對策略梯度(Policy Graident)的一種改進算法。Policy Gradient是一種基於策略迭代的強化學習算法，PPO的一個核心改進是將Policy Gradient中On-policy的訓練過程轉化為Off-policy，即從在線學習轉化為離線學習。

舉一個比較通俗的例子，On-policy就好比你在下棋；而Off-policy就相當於你在看別人下棋。

而這個從在線到離線的轉化過程被稱為Importance Sampling，是一種數學手段。

https://openai.com/blog/openai-baselines-ppo/

uvipen把代碼都放在了Github上，如果你也想成為馬里奧的開掛式玩家，可以運行python train.py來訓練你的模型。例如：python train.py --world 5 --stage 2 --lr 1e-4 。

然後通過運行python test.py來測試訓練後的模型。例如：python test.py --world 5 --stage 2。

如果在訓練過程中遇到問題，可以嘗試換一個學習率。uvipen通常把學習率設為1e-3，1e-4或1e-5，但是也有一些比較難的關卡，比如第1-3關，就連uvipen都失敗了70次，不過當他最後將學習率調整為7e-5後，終於過了這關~

那既然一共完成了29關，剩下的3關分別是哪些呢？作者表示，只有4-4、7-4和8-4這三關沒過去，因為這些關都比較難，要求按一定規律才能過去，玩家必須選擇正確的道路前進，如果你選錯了路就會陷入“死循環”，從而無法過關。

比如7-4這一關就要先從下面走一次再從上面走才能過，否則就會一直重複，因此在行進過程中一旦發現重複就一定是錯了，需要趕緊換路線。

這一關也被不少玩家稱為，馬里奧世界中最難迷宮。

不得不説，這對於AI確實十分有挑戰性，只通過PPO算法是無法完成的，還需要進一步研究。在這裏文摘菌就坐等uvipen更新啦，相信未來他一定能夠利用AI完美通關馬里奧~

Github指路：

https://github.com/uvipen/Super-mario-bros-PPO-pytorch

去年嘗試用A3C通關失敗，但是科普很成功

其實uvipen想要用人工智能通關馬里奧也沒有那麼容易。在去年他就開始了嘗試，當時，uvipen使用的是異步優勢Actor-Critic算法(A3C)，雖然只過了9關，但還是在當時引起了一番討論。

uvipen自稱是受到2016年這篇論文《Asynchronous Methods for Deep Reinforcement Learning》的啓發，於是就想用其中提到的異步優勢Actor-Critic算法(A3C)來嘗試一番。

論文鏈接：

https://arxiv.org/pdf/1602.01783.pdf

uvipen發現，在他去年實現這個項目之前，已經有幾個存儲庫在不同的常見深度學習框架(如Tensorflow、Keras和Pytorch)中可以很好地重現論文的結果。他認為這些框架都很好，只不過在圖像預處理、環境設置和權重初始化等很多方面都過於複雜，會分散用户的注意力。

因此，他決定寫一個更乾淨的代碼，簡化那些不重要的部分，同時仍然嚴格遵循論文中的方法。

來看看在A3C的加持下馬里奧是怎麼過關的：

這簡直就是“乘風破浪的馬里奧”啊~ 不過也有網友打趣道，馬里奧裏的各種隱藏彩蛋這下就都不能被發現啦，“不吃掉所有蘑菇的馬里奧沒的靈魂”~“應該研究一下如何順利通關的同時拿到所有分”~

雖然通關沒成功，但是uvipen還是特意為了照顧那些不熟悉強化學習的朋友，在他的Github上將A3C分解為更小的部分，並用通俗的語言解釋了什麼是A3C算法，以及是如何通過這一算法實現的。

文摘菌也藉此機會幫大家複習下什麼是Actor-Critic算法。

我們不如這樣想，你的agent有兩個部分，Actor(演員)和Critic(評論家)，Actor就好比一個淘氣的小男孩正在大膽探索着他周圍奇妙的世界，而Critic就像是他的爸爸一樣需要監督着他，只要孩子做了好事，爸爸就會表揚和鼓勵他以後再做同樣的事。當然，當孩子做錯事時，爸爸也會警告他。孩子與世界的互動越多，採取的行動也越多，他從父親那裏得到的正面和負面的反饋也越多。

孩子的目標是，從父親那裏收集儘可能多的積極反饋，而父親的目標是更好地評價兒子的行為。換句話説，在Actor和Critic之間，有一種雙贏的關係。