專業風險管理人員如何看待人工智能帶來的威脅 - 彭博社

Aaron Brown

未來來臨迅速。

攝影師：達斯汀·錢伯斯/彭博社通過蓋蒂圖片社

自從E·M·福斯特於1909年出版了《機器停止》以來，失控的人工智能一直是科幻小説的主題，並在2023年引起了廣泛的重視。美國國家標準與技術研究所於2023年1月發佈了其AI風險管理框架。隨後出台了其他文件，包括拜登政府於10月30日發佈的行政命令 安全、可靠和值得信賴的人工智能，以及次日由28個國家和歐盟簽署的 關於人工智能安全的布萊切利宣言。

作為一名專業風險管理人員，我發現所有這些文件都存在不足。我發現在小説中更多地體現了風險原則。1939年，作家艾薩克·阿西莫夫厭倦了閲讀關於智能機器反擊其創造者的故事。他堅持認為足夠聰明以建造智能機器的人不會愚蠢到忽略道德控制——這是所有智能機器基本電路深處的基本覆蓋。阿西莫夫的第一法則是：“機器人不得傷害人類，也不得因不作為而使人類受到傷害。”無論人工智能的目標如何，都不得違反這一法則。

或者考慮阿瑟·克拉克（Arthur C. Clarke）在1968年電影中著名的HAL 9000計算機，《2001太空漫遊》。HAL的故障不是由於計算機錯誤，而是因為它正確地計算出人類宇航員正在減少任務成功的機會 - 這是它的編程目標。克拉克的解決方案是確保對AI進行手動覆蓋，超出AI系統的知識和控制範圍。這就是弗蘭克·鮑曼如何利用物理門互鎖和禁用HAL的AI電路來勝過HAL。

雖然對這兩種方法都有異議，但它們通過了第一個風險管理測試。它們設想了一個糟糕的未來狀態，並確定了那時人們希望你現在做的事情。相比之下，2023年的官方文件設想了糟糕的未來路徑，並解決了我們不會選擇它們的問題。問題在於未來路徑的數量是無限的，其中大部分我們無法想象。有相對較少數量的可能的糟糕未來狀態。在金融領域，一個糟糕的未來狀態是有現金義務無法履行。有許多方法可以達到這一點，而我們總是承諾不會選擇這些路徑。承諾是好的，但風險管理教導我們關注今天可以做的事情，以使未來狀態能夠生存。

人類存在可能會終結的事情並不少見：小行星撞擊、環境崩潰、大流行病、全球熱核戰爭。這些都是盲目的危險。它們並不尋求傷害人類，因此有一些可能會有人類倖存。

兩種危險本質上是不同的——受到惡意的智能外星人的攻擊，以及受到我們自己建造的智能的攻擊。一個隱藏着直到獲得力量和位置來發動攻擊的智能敵人，計劃突破任何防禦，並繼續其戰役直到取得完全勝利，這是一種不同類型的擔憂，而不是盲目的災難。

計算機控制的危險是眾所周知的。軟件錯誤可能導致不當行動，有時會導致致命後果。雖然這是一個嚴重的問題，但它是一個盲目的風險。人工智能提出了一種根本不同的危險，更接近於惡意的人類而不是故障的機器。通過人工智能和機器學習，人類給計算機設定目標而不是指令。有時這些目標是明確編程的，其他時候計算機被告知從訓練集中推斷出這些目標。人工智能算法是計算機用來實現目標的工具，而不是人類。由於目標的不經思考的規定而產生的危險並不是盲目或隨機的。

這與一個愚蠢的計算機程序不同，其中人類詳細説明了程序對所有輸入的期望響應。有時程序員會犯錯誤，這些錯誤在測試中沒有被發現。最糟糕的錯誤通常是與其他程序的意外交互，而不是單個程序的錯誤。當軟件錯誤或計算機故障發生時，它們會導致隨機結果。大多數情況下，後果僅限於計算機設計用來控制的系統。

這是愚蠢和智能程序之間的另一個關鍵風險區別。控制核電站的傳統計算機可能會導致核電站的熔燬，但它不能發射核導彈，使股票市場崩潰，或者通過打開你的空微波爐來燒燬你的房子。但是惡意的智能可能是從許多人工智能實現的相互作用中產生的新現象，幾乎控制着一切。

人類的智慧，例如，可能起源於為視覺、肌肉控制、調節身體功能和其他任務而進化的個體算法。所有這些任務對人類都是有益的。但在這種新興的意識中，大批人選擇合作進行復雜的專業任務，建造能夠摧毀地球上所有生命的核武器。這並不是唯一一個從人類智慧中產生的可怕的、毀滅生命的想法 — 想想種族滅絕、酷刑、國王的神聖權利、聖戰和奴隸制。當今個體人工智能程序缺乏摧毀人類所需的複雜性和力量，大多數都有良性目標，這並不意味着新興的人工智能智慧會比人類更友善。

我對2024年的希望是我們將對人工智能進行嚴肅的逆向壓力測試。我們邀請各種各樣的人羣 — 不僅僅是官員和專家 — 讓他們假設某種特定的不良狀態。也許是2050年，天網已經殺死了其他所有人類（我經常向人羣展示災難電影，以準備進行逆向壓力測試，這有助於營造氛圍並激發人們的創造力 — 這是好萊塢對風險管理的巨大貢獻）。你們是最後的倖存者，躲藏直到終結者找到並終結你們。討論你們希望人們在2024年做些什麼，不是為了阻止這種狀態發生，而是為了在2050年給你們一些生存的手段。

更多來自彭博觀點：

想要更多彭博觀點嗎？ OPIN <GO>。或訂閲我們的每日新聞簡報**。**