對於AI智能體，既要抓住機遇之“帆”也要把好安全之“錨”

【環球網科技報道 記者 林迪】在當今的智能化時代，人工智能技術的飛速發展正深刻地改變着我們的生活和工作方式。其中，AI 智能體作為新興的技術形態，正逐漸成為各行業關注的焦點。近日日，記者與Gartner 高級研究總監趙宇深入探討了 AI 智能體的安全問題，揭示了這一領域面臨的機遇與挑戰。

趙宇指出：“AI 智能體是在大模型的基礎上加入了工具以及工作流的調度，同時它可以實現自主規劃和決策。”

據介紹，這種技術力量不僅具備感知環境、採集信息的能力，還能夠通過訪問大語言模型獲取基礎 AI 能力，並與外部工具進行交互，以完成複雜任務。其應用場景廣泛，涵蓋工業生產、物流、科研、金融等多個領域，為提高效率、優化流程和創新驅動帶來巨大潛力。

她強調：“傳統人工智能的風險依然存在，但是在這個場景下會被放大化。”其中，幻覺問題是其中的典型風險，由於智能體推理複雜性和上下文跨度的增加，其產生的錯誤解讀可能導致嚴重安全事故，如自動駕駛中錯誤識別道路標識可能引發車輛事故。

對此，她建議：“從安全角度來説，除了常説的輸入校驗、輸出可控性驗證之外，我們強烈建議企業用户用對抗訓練去增強他們的模型、智能體的魯棒性來減少幻覺。同時，採用因果推理模型等算法識別輸入輸出的因果關係，過濾虛假結論。”

另外，AI 智能體的自主決策能力雖然提高了效率，但也帶來了新的風險。趙宇解釋説：“它會有自主決策的能力，它甚至會去做一定的操作，所以自主決策上會有風險。這些風險包括被惡意攻擊者利用，以及因智能體自身完備性和能力問題可能導致的決策失誤。因此，企業要識別和攔截一些已知的攻擊模式，比如説已知的惡意指令。”

她還告訴記者，在多智能體交互場景下，智能體之間的通信和協作存在特殊的安全風險。比如，多智能體交互可能導致訪問控制風險呈指數級增長，引發資源競爭和衝突，影響業務和系統穩定性。

對此，她建議稱：“企業可以通過白名單方式或 API 限定，確保智能體的行為在安全範圍內。對智能體依賴的開源庫進行穩健成分分析掃描，阻斷已知漏洞傳播。還可以在多智能體協同場景下，採取動態訪問控制和審計，分配唯一憑證，採用零信任架構等措施。”

當 AI 智能體應用於物理環境時，如工控、自動駕駛、無人機操作等，其安全風險更為突出。趙宇指出：“如果使用在物理環境上，不管是工控、自動駕駛、無人機操作等等，那麼它就有可能會造成人員健康、身體安全性，然後或者是財產安全等，這些風險比純網絡層面的風險還要大。 攻擊者可能通過對傳感器的欺騙或篡改物理層面信號，導致設備失控，造成嚴重後果。”

另外，針對物理環境交互風險，趙宇談到：“如果説可能傳感器遭到欺騙或者是被惡意輸入，就需要結合多傳感器的數據做一定的數據融合，通過這種多模態交叉驗證，來降低單一傳感器被欺騙的風險。”

儘管 AI 智能體面臨諸多安全挑戰，但其發展潛力巨大。目前，AI 智能體的應用正在多個領域展開探索。在智能製造領域，車廠嘗試利用 AI 智能體進行零件設計和視覺相關工作，工廠中也在探索智能體在調度方面的應用。此外，在客服、文檔處理等領域，AI 智能體也展現出了較好的應用前景。

最後，她總結道：“在未來發展過程中，各行業需要高度重視 AI 智能體的安全問題，通過技術創新、標準制定、合作交流等多方面努力，構建安全可靠的應用環境，實現 AI 智能體在保障安全的前提下，為各行業帶來更高效、更智能、更創新的發展動力，推動人工智能技術與各行業的深度融合。”