我的AI不可能這麼傻：深度學習的致命弱點_風聞

來源： Nature自然科研

作者： Douglas Heaven

人工智能專家正在想辦法修復神經網絡的缺陷。

一輛自動駕駛汽車正在靠近一個停車讓行標誌，它非但沒有停下，反而加速衝入了繁忙的十字路口。後續的事故調查發現，停車讓行的標誌上貼了幾張方形標籤，正是這些標籤讓汽車的人工智能（AI）系統將停車標誌錯誤識別為“限速45”。

     插圖：Edgar Bąk

**這一場景沒有真實發生，但AI被蓄意破壞和惡意攻擊的危險卻一直存在。**研究人員已經證實，通過在特定位置放置貼紙，就能讓AI誤讀停車標誌1；如果將特定印刷圖案貼在眼鏡或帽子上，就能騙過人臉識別系統；不僅如此，研究人員還嘗試在音頻中加入一定模式的白噪聲，成功讓語音識別系統產生了幻聽。

上面只是簡單幾例，説明要破壞AI的先進模式識別技術有多麼容易。這種模式識別技術也被稱為深度神經網絡（deep neural networks，DNN），它對圖像、語音和消費者數據等各種類型的輸入具有強大的分類能力。從自動電話系統到流媒體網站的用户推薦，深度神經網絡早已融入了我們的日常生活。然而，只要對輸入做一些微小改變，即使變化小到人類無法辨識，也能使最先進的AI系統懵圈。

加州大學伯克利分校計算機科學博士生Dan Hendrycks表示，對於一項還不完美的技術來説，這些問題比特異性怪異模式更值得警惕。和許多研究人員一樣，他認為這種問題凸顯出了深度神經網絡根本上的脆弱性——縱使在擅長的工作上表現出色，一旦進入陌生領域，它們將以無法預測的方式崩潰。

     來源：停止標誌：參考文獻1；企鵝：參考文獻5

而這絕不是小問題。隨着深度學習不斷從實驗室走向真實世界，從自動駕駛汽車到罪犯搜索再到疾病診斷無處不在。但正如今年的一項研究指出2，只要在醫學掃描影像中惡意增加幾個像素，深度神經網絡就會將其誤診為癌症。此外，黑客還能利用這些弱點劫持在線的AI系統，讓它執行自己的算法3。

在搞清楚深度神經網絡為什麼會失敗的過程中，研究人員已經找到了很多原因。谷歌AI工程師François Chollet稱，“對於深度神經網絡的這種根本脆弱性，目前沒有修復方法”。想要彌補這些缺陷，他與其他人都認為需要用額外的能力來“增強”善於模式匹配的深度神經網絡，比如讓AI自主探索世界、自主編寫代碼並保留記憶。一些專家認為，這樣的系統將塑造今後10年的AI研究。

實踐的檢驗

**2011年，谷歌發佈的一套系統可以識別YouTube視頻中的貓，隨之掀起了一股深度神經網絡分類系統的熱潮。**懷俄明大學的Jeff Clune也是Uber舊金山AI實驗室的高級研究經理，據他回憶，“那時候每個人都在説，‘太厲害了，計算機終於可以理解世界了’”。

但AI研究人員明白，深度神經網絡並沒有真正地理解世界。通過對大腦結構的粗略建模，大量的數字神經元被部署在多層結構，這構成了深度神經網絡的基本軟件結構，其中每個神經元都與前後層的神經元相連。

深度學習網絡的基本概念是，底層輸入的圖像或像素等原始特徵會激發這些神經元，通過簡單的數學規則產生信號並傳遞給更高層級。訓練深度神經網絡需要使用大量樣本，不斷調節神經元之間的連接方式，直到頂層神經元輸出期望的答案——比如將獅子的圖片識別成獅子，即使之前從未見過這張圖片。

第一次大型實踐檢驗發生在2013年。谷歌研究員Christian Szegedy和同事發表了一篇題為《論神經網絡的有趣特性》的預印本論文4。**研究人員只改變了少量像素，就讓深度神經網絡得出了完全不同的結果，比如把獅子識別成圖書館。**團隊把這種更改過的圖像稱為“對抗樣本”。

一年後，Clune和他當時帶的博士生Anh Nguyen與康奈爾大學的Jason Yosinki合作,共同演示了什麼叫做“睜眼説瞎話”，比如讓深度神經網絡將曲線條紋識別成企鵝5。深度學習領域的先驅、來自加拿大蒙特利爾大學的Yoshua Bengio説：“和機器學習打過交道的人都知道它們經常會犯低級錯誤。但這種錯誤是研究人員意料之外的，我們無法想象這種錯誤會發生。”

新的錯誤紛至沓來。目前就職於美國奧本大學的Nguyen發現，只要將圖像中的物體稍微轉個方向，就足以把一些最好的圖像分類器搞得團團轉6。今年，Hendrycks和同事還報道稱，即使是未經更改的自然圖像也能讓先進的分類器給出不可預測的錯誤答案，例如將蘑菇識別成了扭結餅，將蜻蜓識別成了井蓋7。

這一問題不僅出現在物體識別技術上，任何利用深度神經網絡為輸入（如語音）進行分類的AI都很容易受騙上當。會玩遊戲的AI也很容易遭到暗算。2017年，加州大學伯克利分校的計算機科學博士生Sandy Huang和同事讓經過訓練的深度神經網絡通過“強化學習”的過程打一個名為Atari的電子遊戲8。研究人員會先給AI一個目標，再看它對一系列輸入的響應，通過試錯的方式讓它達到目標。

這種技術成就了具有超人能力的遊戲AI，包括著名的AlphaZero和撲克機器人Pluribus。即便如此，Huang的團隊還是可以通過在屏幕上添加一兩個隨機像素，讓AI輸掉整場比賽。

今年早些時候，加州大學伯克利分校的AI博士生Adam Gleave和同事的研究表明，將一個主體引入一個AI環境，就能讓其做出混淆視聽的“對抗策略”9。舉例來説，一個AI足球運動員的訓練目標是讓球越過守門員，但在仿真環境中，當守門員表現出無法預料的行為時，如倒在地上，AI足球運動員也會失去進球的能力。

一個AI足球運動員在模擬的點球大戰中被AI守門員的“對抗策略”（倒在地上）迷惑（右）。| 來源：Adam Gleave/參考文獻9

看透深度神經網絡的弱點所在，甚至能讓黑客掌控強大的AI。去年穀歌的一個團隊就展示了他們不僅可以利用對抗樣本讓深度神經網絡犯下特定錯誤，還能對它進行重新編程，讓經過訓練的AI去執行其他不相關的任務3。

原則上，許多學習語言的神經網絡可以用於編碼任何其他的計算機程序。Clune表示：“理論上你可以將聊天機器人的程序轉換成任何你想要的程序，而這只是震驚的開始。”他認為在不遠的未來，黑客會劫持雲端的神經網絡，運行自己的垃圾郵件算法。

對於加州大學伯克利分校的計算機科學家Dawn Song來説，深度神經網絡就像活靶子。她説：“攻擊系統的方法太多了，防禦非常非常困難。”

越強大越脆弱

深度神經網絡的強大之處在於它們的多層結構，可以從一個輸入的不同特徵上提取模式來進行分類。對於一個被訓練用於識別飛機的AI來説，色彩、紋理和背景一類的特徵對它們而言，就像我們眼中的顯著特徵——機翼一樣。這也意味着輸入的微小改變會讓AI的預測結果大相徑庭。

一個解決辦法是給AI更多數據，讓AI反覆暴露在有問題的例子下，不斷地糾正它的錯誤。在這種“對抗訓練”的方式下，其中一個網絡會學習識別物體，另一個網絡則嘗試改變前一個網絡的輸入來使它出錯。這樣就能把對抗樣本變成深度神經網絡訓練數據的一部分。

Hendrycks和同事建議用大規模對抗樣本來測試深度神經網絡的表現，量化深度神經網絡抵抗錯誤的魯棒性。但他們也表示，在訓練網絡抵抗某種攻擊的同時也會弱化網絡對於其他攻擊的抵抗力。谷歌DeepMind倫敦辦公室的一個研究團隊在Pushmeet Kohli的領導下嘗試為深度神經網絡“接種”抵抗出錯的“疫苗”。

很多對抗攻擊都是通過對輸入進行微調來讓深度神經網絡產生誤分類的，例如稍微改變圖像像素的顏色，一直到能讓深度神經網絡出錯為止。Kohli團隊認為，一個魯棒的深度神經網絡其輸出不會因為輸入的微小變化而改變，而這一特性可用數學的方式整合進整個網絡，通過限制它學習的方式來實現。

但目前還沒有人能夠從整體上修復AI這一脆弱性的問題。Bengio説，問題的根源在於深度神經網絡沒有一個好的模型來指導它們如何從數據中挑選重要的部分。雖然AI會把修改後的獅子圖片看成圖書館，但人是不會看錯的，因為人類腦中對於獅子的概念是由耳朵、尾巴以及獅鬃等一系列高級特徵構成的，這讓人類能從一些低級屬性或次要細節中抽離出來。Bengio説：“我們的經驗告訴我們哪些特徵才是重要的，而這來自於我們對世界結構的深入理解。”

想要解決這一問題，一種嘗試是將深度神經網絡和符號學AI相結合——符號學在機器學習之前曾經統治AI領域。利用符號學AI，機器學習可以通過世界運行的硬編碼規則來進行推理，例如不同離散物體間的不同相互作用方式。很多研究人員和紐約大學的心理學家Gary Marcus一樣，認為混合AI是未來前進的方向。Marcus一直是當前深度學習方式的批評者，他説：“深度學習在短期內的用場使得人們失去了長遠的眼光。”今年5月，他在加州帕羅奧圖聯合創立了名為Robust AI的初創公司，致力於結合深度學習與基於規則的AI技術來開發機器人，這種機器人可以與人安全地協作。公司從事的具體業務目前還處於保密狀態。

即使能將規則嵌入深度神經網絡，它們的能力也無法超越其學習的數據。Bengio認為AI智能體需要在更復雜的環境中進行學習和自我探索。大多數計算機視覺系統都無法識別出一聽圓柱形的啤酒，因為它們是通過二維圖像訓練的。這也是為何Nguyen和同事只消讓物體換一個角度，就能騙過深度神經網絡了。而在三維環境中學習，無論是真實環境還是模擬環境，都能幫助解決這一問題。

另一方面，**AI學習的方式也需要改變。**Bengio説：“學會因果推理需要讓主體在真實世界中進行活動，讓他們自由實驗和探索。”另一位深度學習先驅、來自瑞士Dalle Molle人工智能研究所的Jürgen Schmidhuber也抱有同樣的想法。他認為模式識別太強大了，強大到把阿里巴巴、騰訊、亞馬遜、臉書和谷歌送上了全球最值錢企業的寶座。但緊隨其後的將是更大的浪潮，這次浪潮將以機器為中心，這些機器不但可以操縱世界，還能用自己的行為創造它們自己的數據。

從某種意義上來説，利用強化學習稱霸電子遊戲的AI已經在人工環境中這麼做了：通過不斷試錯，它們以被允許的方式操作屏幕上的像素直到目標達成。不過，相較於目前用於訓練深度神經網絡的仿真環境或整理好的數據來説，現實環境的複雜程度更甚。

即興機器人

在加州大學伯克利分校的一間實驗室裏，一條機械臂正在翻找着什麼。它撿起一個紅色的碗，並用碗把一個藍色的烤箱手套往右輕推了幾釐米。它扔掉了碗，撿起了一個空的塑料噴瓶，隨後又掂量了一番一本書的質量和外形。在連續多天不休不眠的訓練後，這個機器人開始熟悉這些陌生物品，以及怎麼和它們“玩”。

這條機械臂利用深度學習教會自己如何使用工具。給它一堆物體，它會一個個撿起來，看看移動它們或用一個物體碰觸另一個物體會發生什麼。

機器人利用深度學習探索三維(形狀)工具的用途。| 來源：Annie Xie。

 當研究人員給機器人設定一個目標，例如給它呈現一張接近空托盤的圖片，並讓機器人整理托盤中的物品以匹配圖片中的狀態，機器人就會開始自己的表演，利用沒有見過的物品來進行操作，例如它會用一塊海綿將所有的東西掃下桌面。它還會發現利用塑料水瓶推開物品比直接拾取這些物品來得更快。“與其他機器學習技術相比，它完成任務的通用性給我留下了十分深刻的印象。” 曾在伯克利實驗室工作、目前在斯坦福大學繼續相關研究的Chelsea Finn説。

Finn認為，這種學習方式增進了AI對於物體和世界的普遍理解。如果你只在照片中見到過水瓶或者海綿，你也許可以在其他圖像中識別出它們，但你不知道它們到底是什麼、有什麼用。她説：“如果不能與世界進行實際交互，你對世界的認識就只能停留在粗淺的表面。”

但是，這種學習是一個緩慢的過程。在仿真環境中，AI能以光速遍歷樣本。2017年，DeepMind出品的自主學習遊戲軟件AlphaZero被訓練成了超人大師，僅僅一天就精通了從圍棋到國際象棋再到日本象棋的多個遊戲。當時，對於每一項比賽，AI都在虛擬環境中進行了超過2000萬次的訓練。

AI機器人無法如此快速地學習。幾乎所有主流的深度學習方法都極度依賴大量的數據，Ambidextrous（一家位於加利福尼亞伯克利的AI和機器人公司）的聯合創始人Jeff Mahler説道，“在單個機器人上收集幾千萬數據點將耗費數年時間。”同時，由於傳感器的標定會隨時間變化，硬件也在老化，得到的數據也不一定可靠。

因此，大多數基於深度學習的機器人工作依然利用仿真環境來加速訓練。“你能學習到的內容取決於你構建仿真環境的質量。”來自佐治亞理工的機器人學博士生David Kent説。

仿真器不斷在改進，研究人員也越來越擅長於將虛擬環境中學習到的知識遷移到真實環境中去。不過仿真環境目前還無法與複雜的真實世界相媲美。

Finn認為，利用機器人學習最終肯定比利用人工數據學習更具擴展性。她的“工具使用”機器人在幾天內學會了相對簡單的任務而無需密集的監督。她説：“你只需要運行機器人，一段時間檢查一次就好。”她期待未來有一天可以有很多機器人，給它們工具夜以繼日的學習。這不是沒有可能，畢竟這也是人類認識世界的方式。Schmidhuber説：“嬰兒不是通過從Facebook上下載數據來學習的。”

減少學習數據

嬰兒可以從很少的數據點中學會識別新樣本：即使他們從未見過長頸鹿，卻能在見過一兩次後認出它們。嬰兒學習如此迅速的部分原因在於，它們還見過長頸鹿之外許多其他生物，所以對於物體的顯著特徵也較為熟悉。

遷移學習為AI提供了類似的能力：其基本概念是將其他任務訓練得到的知識進行遷移。當訓練一個新的任務時，通過複用部分或整體的預訓練網絡來作為訓練的起始點，從而實現遷移學習。例如，對一個已經能夠識別一種動物的深度神經網絡的一部分加以重複利用，比如那些能識別基本動物體形的層，就能為學習識別長頸鹿的新網絡提供更多優勢。

遷移學習的一種極端形式是僅僅通過幾個樣本甚至是一個樣本就訓練出新的網絡。這種稱為少樣本學習或單樣本學習的方法極度依賴於預訓練的深度神經網絡。想象一下，你想要構建一個能在刑事數據庫中識別罪犯的人臉識別系統。一個快捷方法是利用一個已經看過數百萬張人臉（無需為新數據庫的人臉）的深度神經網絡，因為它已經很好地理解了人臉的顯著特徵，如鼻子和下巴的形狀等。當這個網絡掃描一張新的人臉時，就能從圖片中精確提取有用的特徵集，隨後再與罪犯數據庫中的圖像進行相似度比對，找到匹配度最高的對象。

擁有這樣的預訓練記憶可以幫助AI在無需觀察大量模式的情況下識別新樣本，加速機器人的學習速度。但這樣的深度神經網絡在面對與先前經驗相差太遠的實例時也會陷入差錯。目前還不清楚這樣的網絡有多強的通用性。

即便像DeepMind的AlphaZero這樣最為成功的AI，都只侷限於非常狹窄的領域。AlphaZero的算法在訓練後可以下圍棋或國際象棋，但卻無法同時下兩種棋。重新訓練一個模型的連接和反應，讓它打贏國際象棋比賽，這種操作會重置其之前在圍棋上的所有經驗。Finn説：“從人類的角度看，這種學習方式很荒唐。”人類根本不會這麼容易就忘記他們曾經學會的東西。

學會學習

AlphaZero在遊戲方面的成功不僅僅來源於有效的強化學習，還要歸功於一種算法（利用了一種類似於蒙特卡洛樹搜索的技術），這種算法幫它減少了後續步驟的搜索空間10。換句話説，AI是被引導着如何從它所處的環境中最好地學習。Chollet認為，AI接下來最重要的一步是賦予深度學習網絡自己寫算法能力，而不用人類提供的代碼。

他認為，在基礎的模式匹配能力之餘賦予AI推理能力，有利於AI應對它們不熟悉的輸入數據。讓計算機自動生成代碼的合成技術已經被研究了很多年，Chollet相信，通過與深度學習技術的結合可以讓基於深度神經網絡的系統更接近人類的抽象智力模型。

在機器人領域，臉書AI研究院的計算機科學家、德克薩斯大學奧斯丁分校教授Kristen Grauman正在教機器人如何更好地自主探索世界，包括在新場景中應該觀察哪裏，如何操作物體才能更好地掌握它的形狀或用途。這麼做的初衷是讓AI可以預測出哪些新視角可以提供最有利學習的新數據。

該領域的研究人員表示，他們正在逐步解決深度學習的缺陷，同時也在不斷探尋新的技術提高這一過程的穩定性。目前深度學習還沒有太多的理論支撐，Song説，“如果某個地方不靈了，我們很難找到原因。整個領域依然有賴於經驗，不斷嘗試就對了。”

目前來説，雖然科學家意識到深度神經網絡的脆弱性，以及它們對大量數據的依賴性，但大部分人依然認為這一技術已經建立了起來。研究人員在這十年中，通過巨量的計算資源訓練神經網絡，實現瞭如此優異的模式識別，給我們留下了深刻的啓示。“但沒有人知道如何讓它變得更好。”Clune説。

參考文獻：

1. Eykholt, K. et al.IEEE/CVF Conf. Comp. Vision Pattern Recog. 2018, 1625–1634 (2018).

2. Finlayson, S. G. et al.Science 363, 1287–1289 (2019). PubMedArticle G

3. Elsayed, G. F., Goodfellow, I. & Sohl-Dickstein, J. Preprint at https://arxiv.org/abs/1806.11146 (2018).

4. Szegedy, C. et al. Preprint at https://arxiv.org/abs/1312.6199v1  (2013).

5. Nguyen, A., Yosinski, J. & Clune, J. IEEE Conf. Comp. Vision Pattern Recog. 2015, 427–436 (2015).

6. Alcorn, M. A. et al. IEEE Conf. Comp. Vision Pattern Recog.2019, 4845–4854 (2019).

7. Hendrycks, D., Zhao, K., Basart, S., Steinhardt, J. & Song, D. Preprint at https://arxiv.org/abs/1907.07174 (2019).

8. Huang, S., Papernot, N., Goodfellow, I., Duan, Y. & Abbeel, P. Preprint at https://arxiv.org/abs/1702.02284 (2017).

9. Gleave, A. et al. Preprint at https://arxiv.org/abs/1905.10615 (2019).

10. Silver, D. et al.Science 362, 1140–1144 (2018). 

原文以Why deep-learning AIs are so easy to fool為標題發表在2019年10月9日的《自然》新聞特寫上