聚焦真實生產環境 騰訊發佈業內首個AI安全攻擊矩陣

近年來,人工智能迅猛發展,與家居、金融、交通、醫療等各個領域深度融合,讓人們的生活更為便利。但與此同時,基於人工智能的系統一旦存在風險也將帶來更為嚴重的後果。如何確保人工智能在不同的應用場景下不會被輕易控制、影響或欺騙,也成為從業者的重要研究課題。

9月25日,騰訊正式發佈業內首個AI安全攻擊矩陣。這是一份具有高實用性的AI安全技術指導框架,首次全面梳理了學術及工業界最前沿的AI安全研究,從攻擊者的視角系統列舉了AI技術研發部署各個環節中的攻擊過程與技術實現手段,幫助AI從業者快速瞭解全生命週期下AI系統的風險點與對應緩解方法,為AI系統的安全部署和應用落地提供重要的技術參考。

據瞭解,該矩陣由騰訊兩大實驗室騰訊AI lab和朱雀實驗室聯合編纂,並借鑑了網絡攻防領域中成熟度高、實戰意義強的開源安全研究框架ATT&CK,全面分析了攻擊者視角下的戰術、技術和流程,能夠幫助防禦者更精準地掌握安全響應方法與防禦措施。相比從單一角度研究算法的安全問題,該矩陣具有更高的實用價值和參考意義。

該AI安全的威脅風險矩陣強調真實場景,並按照較成熟、研究中、潛在威脅三種成熟度直觀地將攻擊技術分類。據騰訊AI Lab介紹,矩陣編撰的核心難點在於如何選取和梳理AI系統安全問題的分析角度。作為一種與其他軟硬件結合運作的應用程序,AI系統安全的分析切入角度與傳統互聯網產品並不完全一致。經過充分調研,團隊最終選擇從AI研發部署生命週期的角度切入,總結歸納出AI系統在不同階段所面臨的安全風險,從全局視角來審視AI的自身安全。

在這種實用思想的指導下,該矩陣能夠像字典一樣便捷使用。研究人員和開發人員根據AI部署運營的基本情況,就可對照風險矩陣排查可能存在的安全問題,並根據推薦的防禦建議,降低已知的安全風險。

除了聚焦機器學習、計算機視覺、語音識別及自然語言處理等四大基礎研究領域外,騰訊AI Lab也在持續關注AI領域的安全性研究,助力可信的AI系統設計與部署。騰訊朱雀實驗室則專注於實戰攻擊技術研究和AI安全技術研究,以攻促防,守護騰訊業務及用户安全。此前朱雀實驗室就曾模擬實戰中的黑客攻擊路徑,直接控制AI模型的神經元,為模型“植入後門”,在幾乎無感的情況下,實現完整的攻擊驗證,這也是業內首個利用AI模型文件直接產生後門效果的攻擊研究。

騰訊雲副總裁、騰訊安全平台部負責人楊勇表示,隨着行業對AI應用的不斷深入,在各個層面都會出現更具有實際攻擊意義的方法和手段。騰訊將持續研究AI安全領域,並不定期更新風險矩陣,保持和業界最新成果的同步。

目前,風險矩陣的完整版本可於騰訊AI Lab官網免費下載。