AI發展出人類無法理解的語言 臉書關閉“失控”項目

（譯/弗格森）Facebook上個月引起廣泛爭議的“開發出人類無法理解”的溝通的智能對話機器人項目已經被關閉，因為研究者擔心會“失控”。

根據digitaljournal網站21日的報道，Facebook上個月引起廣泛爭議的“開發出人類無法理解”的溝通的智能對話機器人項目已經被關閉。隨後，多家科技媒體也報道了這則消息。

上個月，Facebook 人工智能研究所（FAIR）使用機器學習方法，對兩個聊天機器人進行對話策略迭代升級，結果發現它們竟自行發展出了人類無法理解的獨特語言。研究者不得不對其進行了人工干預。

6月20日，美國《大西洋月刊》公佈了其中一段聊天記錄

這一研究一經發布，迅速在網絡和媒體上引起了廣泛的關注和傳播，不少人在驚呼：機器創造了自己的語言，人類都無法理解，細思極恐。

但是也有人指出，這不就是一堆亂碼嗎？

現在，這一系統被關進了“小黑屋”。根據國外媒體的報道，現在Facebook 的研究院已經停止了這一項目的研究，原因是“擔心可能會對這些AI失去控制”。

這不是第一次發現 AI 偏離訓練所用的英文，轉向發展出新的更加有效的語言。雖然在人類看來，這些溝通更像是胡言亂語。但是，從AI 智能體的角度上看，他們實際上是有詞義意義的。

用新的語言進行溝通：英語缺乏“反饋”

這篇研究報告的主旨是説機器人可以成為不錯的談判者——他們甚至會假裝對某件沒有價值的東西感興趣，然後在談判過程中犧牲掉它，好像做出了讓步。而關於對話智能體發展出自我語言的部分，在研究報告中確實只是一鱗半爪，但卻引發了大家的關注。

正如Fast Co. Design報道，研究員注意到，系統中的聊天機器人（bots）完全放棄了用英語進行交流，但是，升級版的系統確實能夠與其他的智能體進行交流。他們一起可以決定如何繼續進行任何工作。一開始，他們所使用的詞彙似乎是無法理解的，但是，通過長期的觀察，研究者發現，這些詞彙其實代表了智能體面臨的任務。

例如，在一次交流中，兩個進行對話的機器人——Bob 和 Alice，使用自己創造的語言來完成了交流。Bob 開始説：“I can can I I everything else”。Alice回答，“Balls have zero to me to me to me to me to me to me to me to me to。” 接下來的對話都是類似這樣的句子。

雖然這些詞語組合第一眼看上去沒什麼實際意義，但是，研究者認為，他們揭示了兩個機器人是如何工作的，每一個詞彙他們需要進行多少次處理。Bob的重複説明了他如何使用這一詞彙，來向Alice傳遞更多的信息。如果用這種方法來進行闡述，那麼它所説的那就好就有點像人們所説的“I’ll have three and you have everything else”。

看起來，似乎智能體們發現，英語的句子對於特定場景的理解並不是必需的。當下，以深度學習為主的AI 遵循的是“回饋”（reward）原則，智能體通過依照一系統特定的行為行動，會獲得相應的利益（benefit）。但是，在這一場景中，繼續使用英語並沒能帶來相應的回饋，所以智能體決定適應更加高效的方法進行溝通。

Facebook AI Research (FAIR)的研究員對FastCo. Designs説，“英語語言中，並沒有所謂的回饋能讓智能體來遵從。”

FastCo. Designs報道稱：“智能體會偏離自己人類能理解的語言，創造出自己的‘代碼語言’。比如，如果提到‘the’ 5次，那麼就是我想要複製這一術語5次。這和人類創造的縮寫其實也沒有多大的差別。”

其他的AI開發者也注意到了智能體會使用“縮寫”來簡化溝通。在Open AI，研究者成功地讓AI機器人學會自己創造的語言。

問題在哪

如果AI繼續創建自己的語言，開發人員可能會在創建和採用新的神經網絡時遇到問題，但是不清楚這是否會讓機器實際上推翻其研發者。

然而，這些新的發展使得AI能夠更有效地工作，並且如果他們在工作中學習新的AI創建的“縮寫”，並保持最新的這種新的溝通方式，可以使研究團隊長期受益。（本文轉自新智元）