阿西莫夫機器人三定律或已過時？伯克利教授定義AI發展“新三原則”！_風聞

AI能給我們的生活帶來便利，但也會造成意想不到的“驚喜”。

試想2046年的某一天，你去機場趕飛機時間來不及了。於是，你對自動駕駛的網約車説：“請送我到舊金山機場，越快越好！”於是，自動駕駛汽車以以200英里/小時的速度衝向機場，闖了無數紅燈，還撞倒了幾輛自行車。

而你，一到機場，就被開着直升機趕來的警察拷走了。

這個例子説明，當人工智能片面地理解人類的需求時，可能製造出新的麻煩。

而這只是眾多AI的潛在“作惡”可能的一種。在硅谷，頂尖大學的學者們一致認為，AI在給未來帶來無限可能的同時，也可能帶來各種安全隱患。

那麼，我們應該如何去確保AI不作惡，“以人為本”地發展呢？來自加州大學伯克利分校的斯圖爾特·羅素(Stuart Russell)教授在一次最新的演講中給出了他的答案。

斯圖爾特·羅素（Stuart Russell）是加州大學伯克利分校的電子工程和計算機科學教授，**他的書《人工智能：****現代方法》（與谷歌研發總監彼得·諾維格合著）是人工智能領域的標準書；**它已被翻譯成13種語言，並在118個國家的1,300多所大學中使用。

（Stuart Russell教授，圖片來自網絡 ）                               

人工智能發展的目標已有偏差

近年來，研究者們普遍認為，AI是理性的，它能夠通過感知周圍的環境，來最大化實現它的目標。**研究者往往將發展AI的目標設定為人類級別(human-level)，或是超人類(superhuman)級別。**但Russell教授認為，如果我們真的按照這個目標去發展AI，可能會引發很多潛在的問題。

就像文章開篇的例子一樣，Russell教授認為，如果我們按照純理性目標構建人工智能，將會麻煩重重。他在演講中舉了另一個例子：“當你要求AI幫你取咖啡，其實你不是希望它要不惜一切代價，比如清空我的銀行賬户，或者是在沙漠上跋涉300英里來幫你完成取咖啡的目標 。但是，AI可能並不這麼認為。”

這是什麼原因呢？過去，人們假設機器人對目標具有完備的知識。**而實際上，AI對目標往往僅具有不完善的知識或只擁有部分知識。**因此，由於對整個人工智能定義的目標偏差，人們往往不知道我們對AI的指令將會帶來什麼樣的後果。這種未知，使很多人對人工智能產生了各種負面或悲觀的預測。

因此，Russell教授認為，當前AI發展最關鍵的問題，是需要調整AI研究的重點方向，以便將來我們不會面臨這種風險。

“新三原則”，創建以人為本 的AI

 “在傳統的模型裏，人類被假定是足夠聰明的，他們往往能夠通過行為來實現自己的目標，而機器也能夠達到足夠聰明的程度，使他們自己能實現他們的目標。但是，人類並不想創造出比我們更聰明的物種。我們想創造的AI應該是對人類有益的，他們的行為能夠達成我們人類而不是機器自己的目標。”

針對這一點，Russell教授提出了三個新原則，重新將人工智能定義為“可證明對人類有益的人工智能”(ProvablyBeneficial AI)。

**第一原則：利他主義(Altruism)。**這個原則意味着，機器的唯一目標是最大化地實現人類的目標與價值。

 這一點與1942年艾薩克·阿西莫夫所定義的機器人三定律背道而馳。在阿西莫夫的定義裏，機器人在不傷害人類，但要在遵從人類要求的基礎上保護自己。“他的第三條原則指出，機器人一定要維護自己的生存。 但我定義的機器對維護自身生存毫無興趣。”Russell教授説。

    

  （ 阿西莫夫的機器人三定律，圖片來自網絡，版權屬於原作者）

第二原則：謙遜原則(humility) ——AI對人類應該保持敬畏之心。

在這一原則的指導下，AI要承認自己並不是無所不知和無所不能。這也就是説，機器需要知道將人類的價值最大化，但它也要清楚自己並不能完全理解價值的含義。

因此為了對人類有用， 它就得通過觀察人類做的選擇，根據人類給予它的信息去學習、掌握人類的需求。  

機器需要承認，人類才是需求的主宰。而這一原則，對於我們未來製造出安全的人工智能十分重要。

第三原則：基於人類的行為給機器設定偏好提供依據。

設置這一條原則的原因是，機器往往無法準確瞭解如何實現人類的價值。但是沒關係，人類可以輔助機器來實現。因此要增加人和機器的互動環節。

Russell教授認為，機器人設計的目的並不是只為了滿足一個人或者一個用户的願望， 而是去尊重人們都認可的道德價值觀。“比如，人類可能會做錯事，產生違背道德準則的行為。但我們並不希望機器人複製這些行為。反之， 我們希望機器人去嘗試理解人類做事的動機和人類共通的道德觀， 而且在合適的情況下制止人類去做那些不該做的事。”

為了更好的解釋這三條原則，Russell教授提出了輔助遊戲(assistance game)的方法，即增加人類與AI的互動過程：這個輔助遊戲模型假設人類有自己的偏好，並會根據這個偏好去行動；**在AI的系統裏，人類的偏好被作為先決條件引入，**機器人雖然不知道環境中什麼其他的條件值會影響人類的偏好，但它需要知道它的最終的目的是儘可能地尋找滿足人類的偏好的最優解。

因此，它需要使用主動學習(active learning)的方式掌握更多的信息，同時得到人類的反饋，以瞭解人類的偏好，並將最終的決策權交給人類。

Russell教授舉了一個圖形分類領域的例子。**在舊的AI模型下，人們只是給圖像分類定義了一個簡單的數學目標，即通過數學方法儘可能地將預測偏差減到最小。**但這個數學目標卻並沒有考慮種族價值觀的取向，“而這個過於“理性”的算法使Google Photos功能裏的圖像分類算法錯誤地將黑人分類成大猩猩，結果導致了幾百萬美元的公關損失。”   

（ Google Photos，圖片來自網絡，版權屬於原作者）

用新的模型來應用到這個情景裏，人類會給予AI一些安全的圖片進行分類，同時AI會像人類詢問在分類時應該考慮的其他因素都有什麼，於是人類會教給他們種族、語言等差異或尊重、同理心等美德，來幫助AI避免錯誤的分類。

（教授的PPT，圖片來自其官網）

​

新AI原則可能面臨的挑戰

這個新的模型意味着整個AI的研究方向可能會被改變。但是Russell教授對這個模型持有樂觀的態度。

在Russell教授10月份剛發行的新書HumanCompatible: Artificial Intelligence and the Problem of Control中，解釋了這個新模型的必要性。新書解釋了AI的工作原理，並認為它具有巨大的能力來改善我們的生活，但同時也強調，人類必須確保永遠不會失去對功能強大的機器的控制。

目前模型的主要問題在於，它不太善於學習我們的偏好。而要讓機器學習人類偏好需要大量的投入和研究，將耗費巨大的金錢和精力。

但是，Russell教授認為這是必要的。如何通過重塑AI的基礎來避免機器對人類產生嚴重的威脅，確保機器的發展遵循人類的目標，而不是機器的目標，將是AI新發展模式需要研究的重點。

（AI助手，圖片來自網絡）

但是，調整AI的研究方向意味着將會面對很多挑戰。

第一個挑戰在於機器如何將人類的行為語言與人類偏好聯繫起來。“比如，我們在説某句話的時候有時並不真的意味着我們想要這句話字面上的意思。”教授解釋道。“這就需要培養機器在不同語言環境下對人類語言和行為更深的理解能力。”

**第二個挑戰是人類有時也無法準確認識自身偏好。**例如，我們的經歷性自我(experiencing self)和記憶性自我(remembering self)可能具有不同的偏好，如果是這樣，那麼AI應該針對哪個進行優化？

此外，人類的偏好通常會隨着時間而變化：AI是否應該針對我們當前的偏好進行優化，即使它知道將來將會發生可預測的變化？

最後，還有一個挑戰在於，機器怎樣去了解人類所共通的偏好，比如利他主義、驕傲、競爭、羨慕等等，並且兼顧人類之間(比如不同的社會、文化、種族結構)偏好的不同呢？教授認為這些是更深遠而長久的問題。

面對這些挑戰，研究者們該如何應對呢？教授認為，我們首先需要研究的一個重點在於“如何確定人類的偏好是什麼”。

在書裏，Russell教授提出了一個關於人類偏好模型的初步構想。他認為我們可以設置一個可擴展的分層先驗(expandable  hierarchical prior)，其中最初存在相對簡單的假設，但是隨着假設在解釋數據時變得更糟，我們將“擴展”假設集來尋找對數據更合理的解釋。 但同時，教授也認為這樣做可能在計算上的要求更高，同時也並不能處理人類偏好在時間上的變化。

（教授的新書，圖片來自網絡）

此外，教授認為還應繼續對理論的探索，尤其強調跨學科合作，例如計算機科學、經濟學、認知科學等領域深入的交叉合作。

同時，實踐與應用層面的工作也要跟進，比如在自動駕駛、AI助手中去探索應用，通過結合心理學與認知科學，進一步瞭解人類認知的構造，最終與哲學、社會學、政治科學等領域的學者合作，探索人工智能在宏觀層面的長期目標。

你對教授提出的人工智能領域的新目標是否認同呢？你認為我們應該怎麼做才能實現更好的人工智能？歡迎在下方評論！