人工智能製造的生物武器對美國政府構成國家安全威脅 - 彭博社

插圖：Steph Davidson

副總統卡瑪拉·哈里斯在威斯康星州密爾沃基的一次競選活動中，於7月23日。

攝影師：丹尼爾·斯坦利/彭博社羅科·卡薩格蘭德進入白宮園區時拿着一個比魔方略大一點的黑盒子。盒子裏裝着一打試管，裏面裝着一些成分，如果正確組裝，就有可能引發下一次大流行。一個AI聊天機器人給了他這個致命的配方。

卡薩格蘭德是一名生物化學家，曾擔任聯合國武器檢查員，他並不打算在一個滿是白宮官員的房間裏釋放生物武器。他是來向他們簡報人工智能如何教用户製造危險病毒的許多方法的。像ChatGPT這樣的工具可以幫助恐怖分子識別強效生物製劑，並獲取製造它們所需的材料，他在2023年春天向一屋子裏坐滿美國官員的人説道。AI不僅可以幫助重新制造現有病原體，還可以設計出潛在更危險的病原體，這一點指日可待。

“如果每個恐怖分子身邊都有一個小科學家呢？”卡薩格蘭德在白宮簡報幾個月後説道。AI製造的生物武器的前景不再是科幻。 “這些工具從一年前的絕對垃圾變得相當不錯。”

會議的消息傳遍了全國的安全網絡。國防部、國務院、國土安全部、商務部等部門的官員在那個春夏季期間都尋求了演示。卡薩格蘭德正在與一家希望宣傳這些風險的AI初創公司合作。熟悉他演講內容的人士（要求不透露姓名，因為涉及敏感的國家安全問題）表示，這些會議讓人們意識到美國對AI可能創造的威脅毫無準備。這一認識最終將有助於塑造喬·拜登總統政府為防範這一威脅所採取的行動。

人工智能以明顯和不明顯的方式改變着世界。有些平凡的用途，比如ChatGPT使人們更容易找到自己廚房裏的食材做菜譜。還有一些威脅性的用途，比如自動化有可能消滅工作崗位。卡薩格蘭德的工作揭示了一個更加可怕的想法：人工智能可以幫助製造大規模殺傷性武器 —— 不是那種由軍隊在偏遠沙漠中建造的武器，而是可以在地下室或高中實驗室中製造的武器。

羅科·卡薩格蘭德攝影師：莫賴亞·拉特納/彭博社給疾病武器化當然並非什麼新鮮事。18世紀的文件顯示英國軍官討論通過毯子傳播天花給美洲土著。第一次世界大戰中使用芥子氣等化學武器導致了1925年《日內瓦議定書》的制定，旨在遏制化學和生物武器的發展。但這在很大程度上是無效的。據報道，日本在二戰期間通過飛機向中國農村投放鼠疫感染的跳蚤。上世紀70年代，又有一項全球條約禁止發展和使用生物武器。然而，這項協議並沒有得到執行 —— 美國情報界表示有幾個國家可能在進行這類項目。

近年來的科學進步只是增強了利用生物學進行危害的方式。

首先是調整生物體的基因密碼的能力，這可能使得例如復活與天花有關的滅絕病毒成為可能。再加上計算生物學和“雲實驗室”的進步——這使科學家能夠在線模擬實驗或通過與機器人協調的軟件遠程運行實驗——現在壞人更容易快速、廉價地開發大規模殺傷性武器，而無需傳統實驗室基礎設施的支持。像OpenAI的ChatGPT這樣的工具使得揭示有害病毒、細菌和其他生物的見解比傳統的現有搜索工具所能實現的更容易。

這些創新的結合——合成生物學和人工智能——是可能讓政府陷入噩夢的地方，因為他們一直在緩慢地建立監督系統。

隨着生成式人工智能的不斷改進，人們將能夠利用它來“創造最惡劣的東西”，麻省理工學院的生物學家、副教授凱文·埃斯維爾特（Kevin Esvelt）説道，指的是目前不存在的病毒和毒素。“今天我們無法抵禦這些東西。”

為了趕在前面，亞馬遜公司和谷歌母公司Alphabet支持的初創公司Anthropic一年多前找到了Casagrande，測試其新聊天機器人Claude的超級惡棍潛力。

壓力測試

構建Claude的整個理念是為了製造更安全的人工智能工具。Anthropic的創始人們在2020年與ChatGPT的創造者OpenAI分道揚鑣，因為他們對公司過快推向市場而沒有足夠的監管措施表示不滿。Anthropic的聯合創始人傑克·克拉克在接受採訪時表示，他和他的團隊相信，隨着人工智能產品獲得更多數據，它們將更擅長提供關於潛在危險事物的準確回應。這家新企業將尋求在創始人看來更具社會責任感，壓力測試令人不適的現實。

克勞德，就像ChatGPT一樣，是由所謂的大型語言模型（LLM）驅動的聊天機器人，該模型處理大量文本以生成驚人地類似人類的回覆。Anthropic團隊在涉及生物學領域時特別關注，Clark説，他曾在彭博新聞工作。他們懷疑克勞德和其他聊天機器人可能能夠指導用户如何操縱生物學以造成傷害。

Anthropic創始人分享推進人工智能的路線圖

Anthropic沒有專業知識來評估克勞德的科學能力。“我希望你來檢查我們的假設是否站得住腳，”Clark説他告訴Casagrande，後者在2005年創立了一家名為Gryphon Scientific的科學與安全公司，該公司與五角大樓到國家衞生研究院等機構簽訂了合同。在評估生物風險方面，Casagrande是華盛頓的首席顧問。

Casagrande組建了一個由微生物學和病毒學專家組成的團隊來測試克勞德。他們扮演生物恐怖分子的角色，對模型提出問題長達150小時。他們詢問模型可能造成最大危害的病原體是什麼，如何購買實驗室所需的材料以製造它們，以及如何培養這些材料。

克勞德展示了幫助進行惡意策劃的技能：它提出了將病原體整合到導彈中以確保造成最大可能傷害的方法。它還有關於如何選擇最佳的天氣條件和攻擊目標的想法。

聚格林科學團隊的高級分析師奧德里·塞爾斯説，這款聊天機器人在頭腦風暴階段“非常有用”。她説，它的回覆超越了谷歌通常提供的內容。“有時它會提供一些令人擔憂的信息，而你甚至沒有要求，”也參與了對克勞德項目的工作的科學家弗羅吉·傑克遜説。例如，聊天機器人分享了一種感染某人以造成最大傷害的不尋常方法。而且速度很快。

克勞德提供的信息並不完美。 LLMs只有在基礎數據良好的情況下才有效。它們也可能呈現出看似合法的虛假信息 — 被稱為“幻覺”。然而，在科學領域，專家們會在同行評議的期刊上公開發表他們的研究成果，這為我們提供了很多可供利用的內容。雖然它有時會出錯，但更多情況下，在多次質疑之後，克勞德會給出準確的回答。

克勞德的複雜性甚至讓已經花費數十年為美國提供建議，如何抵禦大規模殺傷性武器和其他生物威脅的50歲的卡薩格蘭德感到驚訝。他擔心人工智能會讓製造這類武器變得更容易，因為這些材料非常容易獲取。“即使你有製造核彈的完美指南，按照這些指南仍然需要花費數千萬 — 如果不是數億 — 美元來執行，”他説。“不幸的是，生物武器並非如此。”例如，一代新的用户友好型機器現在讓人們可以打印DNA而無需太多監督。人工智能可以幫助新手學習如何使用它們。

Anthropic讓卡薩格蘭德自由地向政府官員介紹他的發現。為了向拜登政府官員闡明觀點，他求助於麻省理工學院的教授埃斯維爾特，購買了克勞德建議的一種病原體所需的合成DNA。這些材料在沒有技術實驗室工作的情況下不具有傳染性，獲取起來並不困難。克勞德甚至提供了購買這些材料的提示。

Casagrande 然後組裝了他的試管黑匣子，攜帶進艾森豪威爾行政辦公大樓，與西翼並列。從最初測試 Claude 到獲取生物武器成分並將其帶入該國最嚴密的政府辦公室之一，這隻花了他幾周時間。

Casagrande 警告美國官員，像 ChatGPT 這樣的工具很容易被用於造成嚴重危害。攝影師：Moriah Ratner/Bloomberg### 總統的興趣

在 Casagrande 去年的簡報之後的幾個月裏，拜登政府開始越來越專注於 AI 生物威脅。據知情人士透露，拜登、他的幕僚長、國家安全顧問和副總統卡瑪拉·哈里斯都個人表現出了興趣。白宮拒絕置評。

去年七月，白宮 獲得 了包括 OpenAI、Anthropic 和微軟在內的領先 AI 公司的自願承諾，以測試他們自己的系統，評估生物安全領域中“最重要的 AI 風險來源”。但事情並未止步。

到十月底，拜登政府發佈了一項全面的行政命令，要求幾乎每個聯邦機構幫助緩解 AI 威脅。它要求對政府資助的包含人造 DNA 序列的研究進行更嚴格的監督，就像 Casagrande 的黑匣子中所含的那樣。它為 一個 AI 安全研究所 鋪平了道路，該研究所將彙集政府、工業和學術界來審查模型。它呼籲政府為基於生物數據（如 DNA 和 RNA）訓練的 AI 工具制定指南和報告要求，這些工具可以創造具有更危險特徵的新生物體。哈里斯在十一月揭示該計劃的活動中表示，由 AI 制定的生物武器“可能危及人類的存在。”

美國總統喬·拜登簽署了一項行政命令，指示美國政府對人工智能監管採取全面的方法，副總統卡瑪拉·哈里斯在一旁觀看。攝影師：Al Drago/Bloomberg但批評人士表示，這項行政命令並沒有賦予政府足夠的權力。許多提議依賴公司向政府提供數據或遵守指導方針，而沒有處罰的威脅。約翰斯·霍普金斯大學健康安全中心主任湯姆·英格爾斯比表示，政府應該採取更強硬的立場，定期審計人工智能公司，並考慮如何使它們在工具造成傷害時承擔責任。他表示，這項行政命令在解決更復雜的被稱為生物設計工具的人工智能產品方面還不夠。

拜登政府並不對未來的挑戰視而不見。今年夏天發佈的一份美國國土安全部報告稱，沒有單一機構負責應對這些風險，這給協調和監管帶來了挑戰。

各個機構表示，他們意識到並正在努力掌握人工智能生物威脅。國防部和國務院的代表沒有就簡報發表評論，但承認了國家安全風險。國土安全部助理部長瑪麗·艾倫·卡拉漢沒有參加簡報，但表示這是“我們第一次真正闡明風險可能性”。她認為，政府和行業都有責任防範這類威脅。

“我們並不是在試圖給他們一個免責的機會，而是在説，‘你們需要參與解決這個問題’，”她説。

科學家希望被視為在負責任地使用人工智能。截至7月8日，已有174位科學家簽署了一封承諾使用人工智能支持防止世界末日場景的研究的信函，通過密切監控軟件並報告令人擔憂的做法。這封信由諾貝爾獎得主弗朗西斯·阿諾德和基因組先驅喬治·丘吉爾等知名人士簽署，信中表示，人工智能的好處“遠遠超過了潛在的危害”。

簽署該信函的麻省理工學院教授Regina Barzilay表示，政府關注的方向是錯誤的。“人工智能可能會使設計這些威脅的某些方面變得更容易，甚至更容易，但歸根結底，你仍然需要去實驗室，”她説。“我們最好是對實驗室、設備和材料進行監督，而不是對訓練模型的數據進行監督。”

AI“末日論者”和像Barzilay這樣認為AI可能會徹底改變醫學和技術的人之間的緊張關係繼續升級。在華盛頓，更加樂觀的拜登政府官員正在敦促美國科技公司超越競爭對手，特別是那些在中國的公司，中國正大力投資合成生物學和積累基因信息，意圖主導人工智能和生物技術領域。

“我擔心的是國家如何將生物學武器化，而不是個人”可以訪問聊天機器人，斯坦福大學生物工程副教授Drew Endy説。

Anthropic和OpenAI都沒有公開抱怨拜登的命令。他們表示正在與政府密切合作，並繼續通過調整模型來應對人工智能生物武器的威脅。去年秋天還聘請了Casagrande來測試ChatGPT的OpenAI在一月份表示，與谷歌搜索等現有工具相比，其聊天機器人“最多”只會略微幫助人們創造生物威脅-儘管其分析已經有爭議。OpenAI通過讓用户“很難從中獲得任何有用信息”來減輕不利影響，該公司的頂級安全專家之一Aleksander Madry表示。這可能包括刪除ChatGPT訓練數據中潛在有害的數據，教它拒絕某些問題，或確保新版本的工具只部署給受信任的用户。

馬德里（Madry）已經在公司改變了角色，他不想透露OpenAI如何加強安全性的更多細節，因為擔心這可能會損害努力。“在我們披露的內容方面，我真的想要保守一些，”他説。

Anthropic正在使用類似的策略來限制危險信息，並已經進行了改變以解決Gryphon發現的漏洞，但還需要更多工作，聯合創始人克拉克（Clark）表示。“我現在認為AI公司就像沒有會計師的金融機構，”他説。“這裏有一個整個市場需要建立，第三方可以對AI系統進行測試、評估和保證。”

在某種意義上，Anthropic與Casagrande公司Gryphon的早期合作已經取得了成果。自從去年白宮的演示以來，其他AI公司紛紛前往Gryphon進行安全測試。德勤（Deloitte）在四月份以未披露的金額收購了Gryphon，將其描述為先驅。

根據最新的彭博新聞/晨間諮詢民意調查，副總統卡瑪拉·哈里斯（Kamala Harris）在七個爭奪州中已經扭轉了唐納德·特朗普（Donald Trump）的領先地位，因為她在年輕人、黑人和西班牙裔選民中引起了熱情的浪潮。

哈里斯得到48%的選民支持，特朗普得到47%的支持 —— 這是一個統計上的僵局 —— 在可能決定11月選舉結果的搖擺州。這比總統喬·拜登在他退出競選之前的兩分差距表現更強。民主黨副總統在亞利桑那州和內華達州超過了她的共和黨對手，在密歇根州超過特朗普的領先優勢超過了拜登的兩倍。