陳根：人工智能安全對抗賽，機器時代的攻與防_風聞

文/陳根

歷史表明，網絡安全威脅隨着新技術的進步而增加。

關係數據庫帶來了SQL注入攻擊，Web腳本編程語言助長了跨站點腳本攻擊，物聯網設備開闢了創建殭屍網絡的新方法。互聯網打開了潘多拉盒子的數字安全弊病；社交媒體創造了通過微目標內容分發來操縱人們的新方法，使網絡用户更容易收到網絡釣魚攻擊的信息；比特幣使得加密ransowmare攻擊成為可能。

**近年來網絡安全事件不斷曝光，新型攻擊手段層出不窮，安全漏洞和惡意軟件數量更是不斷增長。**2019年VulnDB和CVE收錄的安全漏洞均超過了15000條，平均每月高達1200條以上。2019年CNCERT全年捕獲計算機惡意程序樣本數量超過6200萬個，日均傳播次數達824萬餘次，涉及計算機惡意程序家族66萬餘個。

根據研究集團IDC的數據，到2025年聯網設備的數量預計將增長到420億台。我們正在迅速進入“超數據”時代，但是，在數據算法大行其道人工智能方興未艾的今天，我們也迎來了新一輪安全威脅。

人工智能攻擊如何實現？

我們先想象一個超現實場景：

未來的恐怖襲擊是一場不需要炸彈、鈾或者生化武器的襲擊，想要完成一場恐怖襲擊，恐怖分子們只需要一些膠布和一雙健步鞋。通過把一小塊帶有電子芯片的膠布粘貼到十字路口的交通信號燈上，恐怖分子就可以讓自動駕駛汽車將紅燈識別為綠燈，從而造成交通事故。在城市車流量最大的十字路口，這足以導致交通系統癱瘓，而這卷膠布可能只需 1.5 美元。

以上就是“人工智能攻擊”，那麼它又是如何實現的？

要了解人工智能的獨特攻擊，需要先理解人工智能領域的深度學習。深度學習是機器學習的一個子集，其中，軟件通過檢查和比較大量數據來創建自己的邏輯。機器學習已存在很長時間，但深度學習在過去幾年才開始流行。

人工神經網絡是深度學習算法的基礎結構，大致就是模仿人類大腦的物理結構。傳統軟件開發需要程序員編寫定義應用程序行為的規則，與傳統的軟件開發方法相反，神經網絡只需通過閲讀大量示例就能創建自己的行為規則。

當你為神經網絡提供訓練樣例時，它會通過人工神經元層運行它，然後調整它們的內部參數，以便能夠對具有相似屬性的未來數據進行分類。這對於手動編碼軟件來説是非常困難的，但對神經網絡而言卻非常有用。

舉個簡單的例子，如果你使用貓和狗的樣本圖像訓練神經網絡，它將能夠告訴你新圖像是否包含貓或狗。使用經典機器學習或更古老的人工智能技術執行此類任務非常困難，一般很緩慢且容易出錯。近年興起的計算機視覺、語音識別、語音轉文本和麪部識別都是藉助深度學習而獲得巨大進步。

但由於神經網絡過分依賴數據，從而引導神經網絡犯錯。一些錯誤對人類來説似乎是完全不合邏輯甚至是愚蠢的，人工智能也由此變成了人工智障。例如，2018年英國大都會警察局用來檢測和標記虐待兒童圖片的人工智能軟件就錯誤地將沙丘圖片標記為裸體。

當這些錯誤伴隨着神經網絡而存在，人工智能算法帶來的引以為傲的“深度學習方式”，就成了敵人得以攻擊和操控它們的方法**。**於是，在我們看來僅僅是被輕微污損的紅燈信號，對於人工智能系統而言則可能已經變成了綠燈，這也被稱為人工智能的對抗性攻擊，即引導了神經網絡產生非理性錯誤的輸入，強調了深度學習和人類思維功能的根本差異。

**儘管恐怖襲擊看起來遠在天邊，但這一類的安全威脅卻近在眼前。**上一陣子引起惶恐的豐巢智能快遞櫃刷臉功能就被小學生破解，一羣小學生只用一張打印照片就能代替真人刷臉，騙過“人工智能”快遞櫃，取出父母的包裹。比利時魯汶大學的兩位少年僅僅通過在肚子上貼一張圖片就輕鬆躲過了目標檢測界翹楚YOLOv2的火眼金睛，成為了一個“隱形人”。

此外，隨着人工智能技術的發展，我們生活中將有更多的方面需要用到這種生物識別技術，其一旦可以被輕而易舉地攻擊便貽害無窮。除了圖像領域，在語音系統上，全球知名媒體TNW（The Next Web）在早些時候也進行過報道，黑客能夠通過特定的方式欺騙語音轉文本系統，比如在用户最喜愛的歌曲中偷偷加入一些語音指令，即可讓智能語音助手轉移用户的賬户餘額。

此外，對抗性攻擊還可以欺騙GPS誤導船隻、誤導自動駕駛車輛、修改人工智能驅動的導彈目標等，對抗攻擊對人工智能系統在關鍵領域的應用構成了真正的威脅。

基於深度學習的網絡威脅

全球數字化時代才剛開始，黑客的攻擊卻存在已久，尤其是近年來的黑客襲擊事件給網民們留下深刻陰影。2007年，熊貓燒香病毒肆虐中國網絡；2008年，Conficker蠕蟲病毒感染數千萬台電腦；2010年，百度遭史上最嚴重的黑客襲擊；2014年，索尼影業遭襲導致董事長下台；2015年，美國政府遭襲，僱員資料外泄……

當人工智能技術的研究風聲迭起時，也就是網絡世界戰爭的白熱化階段。對於黑客利用人工智能技術進行攻擊的可能性預測，或許會幫助我們在網絡世界的攻守裏達到更好效果。

目前，網絡威脅的大部分惡意軟件都是通過人工方式生成的，即黑客會編寫腳本來生成電腦病毒和特洛伊木馬，並利用Rootkit、密碼抓取和其他工具協助分發和執行。

那麼，機器學習如何幫助創建惡意軟件？

機器學習方法是用作檢測惡意可執行文件的有效工具，利用從惡意軟件樣本中檢索到的數據（如標題字段、指令序列甚至原始字節）進行學習可以建立區分良性和惡意軟件的模型。然而分析安全情報能夠發現，機器學習和深度神經網絡存在被躲避攻擊（也稱為對抗樣本）所迷惑的可能。

2017年，第一個公開使用機器學習創建惡意軟件的例子在論文《Generating Adversarial Malware Examples for Black-Box Attacks Based on GAN》中被提出。**惡意軟件作者通常無法訪問到惡意軟件檢測系統所使用的機器學習模型的詳細結構和參數，因此他們只能執行黑盒攻擊。**論文揭示瞭如何通過構建生成對抗網絡（generative adversarial network, GAN）算法來生成對抗惡意軟件樣本，這些樣本能夠繞過基於機器學習的黑盒檢測系統。

如果網絡安全企業的人工智能可以學習識別潛在的惡意軟件，那麼黑客就能夠通過觀察學習防惡意軟件做出決策，使用該知識來開發“最小程度被檢測出”的惡意軟件。

2017 DEFCON會議上，安全公司Endgame透露了如何使用Elon Musk的OpenAI框架生成定製惡意軟件，其所創建的惡意軟件無法被安全引擎檢測發現。Endgame的研究看起來是有惡意的二進制文件，通過改變部分代碼，改變後的代碼可以躲避防病毒引擎檢測。

數據投毒

**不論是人工智能的對抗性攻擊還是黑客基於深度學習的惡意軟件逃逸，都屬於人工智能的輸入型攻擊（Input Attacks），**即針對輸入人工智能系統的信息進行操縱，從而改變該系統的輸出。從本質上看，所有的人工智能系統都只是一台機器，包含輸入、計算、輸出三環節。攻擊者通過操縱輸入，就可以影響系統的輸出。

**而數據投毒便屬於典型的污染型攻擊（Poisoning Attacks），即****在人工智能系統的創建過程中偷偷做手腳，從而使該系統按照攻擊者預設的方式發生故障。**這是因為人工智能通過深度學習 “學會”如何處理一項任務的唯一根據就是數據，因此污染這些數據，通過在訓練數據里加入偽裝數據、惡意樣本等破壞數據的完整性，進而導致訓練的算法模型決策出現偏差，就可以污染人工智能系統。

數據中毒的一個示例就包括訓練面部識別認證系統以驗證未授權人員的身份。在2018年Apple推出新的基於神經網絡的Face ID身份驗證技術之後，許多用户開始測試其功能範圍。正如蘋果已經警告的那樣，在某些情況下，該技術未能説出同卵雙胞胎之間的區別。

但其中一個有趣的失敗是兩兄弟的情況，他們不是雙胞胎，看起來不一樣，但年齡相差多年。這對兄弟最初發布了一段視頻，展示瞭如何用Face ID解鎖iPhone X。但後來他們發佈了一個更新，説明了他們實際上通過使用他們的面部訓練其神經網絡來欺騙Face ID。當然，這是一個無害的例子，但很容易看出同一模式如何為惡意目的服務。

**中國信息通信研究院安全研究所發佈的《人工智能數據安全白皮書（2019年）》也提到了這一點。**白皮書指出，人工智能自身面臨的數據安全風險包括：訓練數據污染導致人工智能決策錯誤；運行階段的數據異常導致智能系統運行錯誤（如對抗樣本攻擊）；模型竊取攻擊對算法模型的數據進行逆向還原等。

值得警惕的是，人工智能與實體經濟深度融合，醫療、交通、金融等行業對於數據集建設的迫切需求，使得在訓練樣本環節發動網絡攻擊成為最直接有效的方法，潛在危害巨大。比如在軍事領域，通過信息偽裝的方式可誘導自主性武器啓動或攻擊，可能帶來毀滅性風險。

人工智能時代的攻與防

未來的機器時代是道高一尺魔高一丈的世界，而今天的網絡安全問題早已突破了虛擬與現實的邊界。國家與地域的邊界，成為廣泛存在的全球性問題。網絡安全是一個龐大的系統工程，構建這個系統則需要以全球的深度連接為基礎。

**此外，網絡安全要以人與人工智能的共同值守為特徵。**隨着各類互聯網技術的爆發式成長，網絡攻擊的手段也不斷豐富和升級，但是唯一不變的就是變化本身。防禦網絡攻擊，必須具備快速識別、快速反應、快速學習的能力。

如果是病毒威脅入侵，用機器學習檢測的方法，勢必很難解決。因此，只有在綜合的技術運用下，理解信息泄露及其中的關聯，弄清黑客如何入侵系統，攻擊的路徑是什麼，又是哪個環節出現了問題。找出這些關聯，或者從因果關係圖譜角度進行分析，增加分析端的可解釋性，才有可能做到安全系統的突破。

**對抗網絡安全的風險還需要擁有智慧的動態防禦能力，網絡安全的本質是攻防之間的對抗。**在傳統的攻防模式中，主動權往往掌握在網絡攻擊一方的手中，安全防禦力量只能被動接招。但在未來的安全生態之下，各成員之間通過數據與技術互通、信息共享，實現彼此激發，自動升級安全防禦能力甚至一定程度的預判威脅能力。

當然，網絡安全本來就是一個高度對抗、動態發展的領域，這也給殺毒軟件領域開闢了一個藍海市場。人工智能殺毒行業面臨着重大的發展機遇，殺毒軟件行業首先應該具有防範人工智能病毒的意識，然後在軟件技術和算法安全方面重視信息安全和功能安全問題。

以現實需求為牽引，以高新技術來推動，就有可能將人工智能病毒查殺這個嚴峻挑戰轉變為殺毒軟件行業發展的重大契機。