一位新興的AI安全思想家談為什麼你仍然應該擔心 - 彭博社

Shirin Ghaffary

我們與AI政策界的新星丹·亨德里克斯（Dan Hendrycks）談到了他為什麼認為我們需要更加關注人工智能的災難風險。但首先…

三件事情要知道：

• Sequoia領導了對Dust的籌款，一家法國人工智能初創公司，由一位前OpenAI科學家創立• OpenAI的中國封鎖將重塑人工智能領域，大公司紛紛出手• SoftBank將參與Perplexity的融資，估值30億美元

安全第一

幾年前，丹·亨德里克斯還是加州大學伯克利分校的計算機科學博士生。現在，他是人工智能安全和政策領域最具影響力的新興人物之一。

僅在過去幾個月裏，亨德里克斯一直在為埃隆·馬斯克提供建議，與阿根廷總統共進晚餐，並幫助制定了加利福尼亞州一項備受爭議的新立法，名為SB 1047。

亨德里克斯首次引起轟動是在2023年5月，他的新非營利機構，人工智能安全中心（CAIS），撰寫了一句公開信，呼籲“減輕人工智能帶來的滅絕風險”，並將其作為全球優先事項，與預防大流行病或核戰爭同等重要。該聲明得到了包括OpenAI的Sam Altman和Anthropic的Dario Amodei在內的人工智能界名人的簽署。

自那時以來，人們對人工智能可能導致世界末日的擔憂有所減弱。但亨德里克斯表示，這並不意味着我們不應該擔心。

Dan Hendrycks來源：Dan Hendrycks如果我們在接下來的10年內達到人工通用智能，“這將徹底改變人類的狀況：至少會出現大規模的勞動力中斷，” Hendrycks 告訴我。“所以這不是像，‘哦，現在我們有了電動牙刷。’ 這不像其他一些小的外圍技術創新。” 已經籌集了數百萬美元的 CAIS 正在計劃將其業務擴展到 DC。

Hendryck 的人工智能安全倡導在某些圈子裏讓他不受歡迎，尤其是他在備受爭議的加利福尼亞法案 SB 1047 上的工作，一些技術人員表示這可能會削弱創新。他説很多批評都是無稽之談。“很多風險投資者和其他人都會反對它，不管其內容如何，” 他説。

我們與 Hendrycks 談論了圍繞該法案的騷動，他與馬斯克的合作以及我們如何知道何時達到人工通用智能。

本次採訪已經過編輯，以確保長度和清晰度。

彭博社：您是埃隆·馬斯克的 xAI 安全顧問。與埃隆合作是什麼感覺？

Hendrycks：他是一位非常出色的執行者。在與他的每週會議中，我笑得比在其他任何會議中都多。

我很想聽聽更多關於馬斯克對人工智能安全的看法。他顯然非常關注人工智能的長期風險。另一方面，他一直非常強調不希望監管者或監督員干涉言論監管。

在那裏有一個區別。 因此，埃隆絕對是支持監管的。 他過去曾在AI安全方面扮演過卡桑德拉的角色，用掉了很多社會資本。

他肯定會反對言論自由的侵犯，但那不是政府的事情。 那更多是一種規範，即“你是否指示AI説特定的意識形態的東西？”

在xAI安全方面，你被分配了什麼任務？

我認為現在主要的事情是遵守行政命令，並制定好測試，“模型是否可以被用於實質上使惡意行為者將其用作化學、生物、放射性或核武器或網絡武器？” 因此，我們需要很好的度量。 這與我的測量、基準測試和評估背景相符。

以後，會有類似“如果我們在系統中遇到這種危險，公司的政策是什麼？” 這樣的事情，需要協商和弄清楚應該怎麼做。

我認為在OpenAI或Anthropic，他們可能至少有數十人在從事這方面的工作。 你會增加人手嗎，還是隻有你一個人？

所以幸運的是，我做的一些工作可以在AI安全中心完成。 例如，我們與Scale AI合作制定了基準測試 - 大規模殺傷性武器 代理基準測試。 然後我們可以發佈出去，在xAI那裏他們最終可以使用它。 因此，我可以以這種間接的方式幫助，隨着組織擴大並有更多專注於安全的人員，這將在人員數量方面成為一個較小的問題。

在AI安全中心，你關注什麼？

目前，我對制定一個人類可以達成一致的衡量標準感興趣，這個標準會説，“如果超過了這個門檻，那麼我們就有了AGI。” 因為我認為目前很難協調關於何時達到超強能力水平，以及當我們達到超強能力水平時應該做什麼？目前在能力衡量方面一切都有點混亂。

我們另一個關注點是出口管制和國家安全，確保我們對諸如Nvidia H100之類的東西有控制，並試圖更加監督計算的情況，以免落入朝鮮等地方的手中。

還有一個關注點是加利福尼亞立法SB 1047。

大約一年前 你説過AI有可能協助製造生物武器或進行大規模黑客攻擊。我們見過類似的情況嗎？你改變了估計嗎？

我想我在2021年寫下了我的估計。我認為2026年左右會發生一些對關鍵基礎設施的重大攻擊。這個方向看起來還是大致正確的。也許會比那個時間稍早一些。

但我想要非常清楚地表明，我擔心的兩種主要惡意使用形式 — 影響國家安全的那些 — 是對關鍵基礎設施的網絡攻擊和AI生物武器。

我現在不關心模型。我們現在還在使用GPT-4模型。GPT-4模型對我來説並不令人擔憂。

**你如何看待許多科技行業人士對SB 1047提出的抨擊？**我會和其中一些人交談，然後他們會説，“模型永遠不應該進行測試。政府永遠不應該測試模型或它們是否會造成傷害。” 我就會説，“好的，我不明白這裏有什麼可以談判的餘地。” 因為我們在發佈iPhone之前會進行測試。

然後有很多完全站不住腳的論點，比如，“哦，這違反了第一修正案” — 就好像他們有沒有和律師辦公室交談過一樣？ 他們還對其他一些事情感到非常不滿：有一個偽證條款之類的東西。 是的，如果你故意向政府謊報是否進行了安全測試，然後你説，“哦，一切都很好”，但實際上並不是 — 如果你對政府撒謊，那可能會惹上麻煩。 這並不罕見。

許多風險投資者和其他人可能會反對，不管其內容如何。 但我認為我們在權衡方面做得很好。 我們針對影響國家安全的事物。 例如，當涉及到網絡和傳統大規模殺傷性武器時，我們專門關注關鍵基礎設施。 我認為他們已經在做很多這方面的安全測試，因為行政命令。 這只是使其成為法律，而不是一個可以被未來某個政府廢除的行政命令。你認為最近一些對有效利他主義（EA）的批評是否已被用來攻擊你，或者攻擊AI安全工作？

這是一個疲憊的區分。我認為人們普遍認為[SB 1047]是合理的。我們委託了一項獨立的民意調查，以瞭解全國對此的支持程度。

這不是一個有效行動的事情。非常不幸的是，在 ChatGPT 之前，關心人工智能風險的主要團體是有效行動主義者。

我們中的一些人只是不得不與有效行動主義者共同生活，因為他們只是一個壓倒性的力量。但是在 GPT 之後，他們只是杯水車薪，我認為他們可能不是主要影響故事的人。

埃隆不是有效行動主義者。薩姆也不是。我認為他們非常關心人工智能安全。

你認為聯邦對此進行監管有希望嗎？

當然。我的意思是，我們已經有了出口管制，例如對 GPU 的管制。這些都有很多漏洞。我們不能指望工業和安全局自己解決所有問題。我認為世界終於明白了：這在很大程度上是關於計算和 GPU，而不僅僅是人工智能開發者的故事。這種流動非常重要，我們應該確保，如果芯片是未來的鈾等價物，我們要跟蹤，“鈾去哪了？有沒有走私？”

我還預計人工智能的能力將會躍升。自 GPT-4 以來，我們還沒有出現重大的飛躍，因為還沒有用 GPT-4 十倍計算量訓練的模型。但是當有了這樣的模型時，我認為人們會説，“哦，人工智能的進展比預期快得多。”然後就會有政治能量來做新的事情。

我看到一張與阿根廷總統哈維爾·米萊伊一起參加的技術晚宴的照片。我想我看到了你。是這樣嗎？如果是的話，你們討論了什麼？

是的，沒錯。顯然 [Milei總統] 的團隊正在查看我製作的教科書，或者他的顧問正在查看。我認為他們正在做一些有趣的事情。我認為評論其他國家的事務通常不是一個好的先例，但顯然他對自己的經濟做得很好。我的意思是，我認為他們意識到從經濟角度來看，人工智能是一個非常重要的問題。所以我們將看看他們最終會做些什麼。

我坐在OpenAI的Greg Brockman和一些Andreessen Horowitz的人旁邊，度過了愉快的時光。

**有關人工智能的問題？**給我發郵件，Shirin Ghaffary，我會盡力在未來的新聞簡報中回答您的問題。

本週人類引用

“也許一些創意工作會消失，但如果其產出質量不高，也許它們本來就不應該存在。”

—OpenAI首席技術官Mira Murati

Murati在上週在達特茅斯學院的一次採訪中發表了這些言論，引發了網上的激烈討論。她後來在X上進一步闡述了她對人工智能對創意產業影響的看法。

值得關注的人物

微軟聯合創始人比爾·蓋茨告訴彭博社，人工智能的炒作是有道理的，該領域的增長是“真實的”。### 深度學習

彭博社更多內容

獲取科技日報以及更多彭博科技週刊直接發送到您的收件箱：

  • 網絡公告涵蓋黑客和網絡間諜的陰影世界
  • 遊戲進行中報道視頻遊戲業務
  • 開機蘋果獨家新聞、消費者科技新聞等
  • 屏幕時間近距離觀看好萊塢和硅谷的碰撞
  • 聲音片段報道播客、音樂行業和音頻趨勢

根據法院網站上發佈的一份意見副本，美國最高法院準備允許愛達荷州在醫療緊急情況下進行墮胎。

這一決定將恢復一項下級法院的命令，確保該州的醫院可以進行緊急墮胎以保護母親的健康。發佈的版本表明，大多數法官將駁回愛達荷州和共和黨領導人的上訴，而不解決案件的核心問題。

閲讀關於愛達荷州墮胎的最高法院文件全文

彭博法律部獲得了一份意見副本，該意見在週三早上法官發佈另外兩份意見時短暫出現在法院網站上。意見的副本不一定是最終裁決，因為尚未發佈。

最高法院新聞辦公室表示，該案件的意見尚未正式發佈。“法院的出版部門無意中並短暫地將一份文件上傳到法院的網站上，”法院的公共信息官帕特里夏·麥凱布（Patricia McCabe）説。“法院對於莫伊爾訴美國和愛達荷州訴美國的意見將會適時發佈。”

複製顯示法院以6-3的投票結果解除了之前對聯邦地方法院命令的暫停，保守派法官克拉倫斯·托馬斯、薩繆爾·阿利托和尼爾·戈落斯對此持不同意見。

地方法院的命令旨在在訴訟繼續進行期間保持有效。最高法院的決定意味着總部位於舊金山的聯邦上訴法院可以考慮這個案件。

愛達荷州是少數幾個現在除非母親生命受到威脅否則禁止墮胎的州之一。醫生和醫院管理人員表示，該州的法律阻止他們為患有嚴重健康風險的婦女提供治療，即使她們沒有機會生下健康的嬰兒。患者不得不等待數天才能接受治療，或者被緊急送往其他州。

## 權力平衡

最高法院將裁決緊急墮胎問題

51:32

卡根和傑克遜

法院作為一個整體沒有在發佈的版本中解釋其決定，稱上訴被“不適當地批准”而被駁回。這意味着法院不會解決關於州墮胎禁令與旨在確保醫院能夠治療需要緊急護理的患者的聯邦法律交叉問題。

但在一份贊同意見中，大法官艾米·科尼·巴雷特表示，自法院一月份表示將審理爭議以來，“這些案件的形勢發生了重大變化”。

在一份由首席大法官約翰·羅伯茨和大法官佈雷特·卡瓦諾共同簽署的意見中，她指出了拜登政府對聯邦法律適用範圍的澄清。巴雷特還表示，自地方法官考慮該案以來，愛達荷州的法律已經發生了變化。

在另一份附帶意見中，法官埃琳娜·卡根（Elena Kagan）表示，法院的決定“將阻止愛達荷州在懷孕終止是為了防止對女性健康造成嚴重危害時實施其墮胎禁令。”

閲讀下一篇：一家激進的最高法院正在重塑美國，而其地位正在侵蝕

凱坦吉·布朗·傑克遜法官單獨撰寫稱，根據曾短暫發佈的副本，她不會駁回此案。

“今天的決定對愛達荷州的懷孕患者並非勝利。這是拖延，”她寫道。“當這個法院猶豫不決，全國等待時，經歷緊急醫療情況的懷孕人士仍處於危險境地，因為他們的醫生對法律要求一無所知。”

阿利托表示，法院“只是失去了決定這個案件所提出的簡單但情感化和高度政治化問題的意願。”

醫院法律

這一決定“意味着愛達荷州的懷孕患者獲得了她們所需的墮胎護理，這是至關重要的，”國家婦女法律中心的生殖權利和健康副總裁格雷琴·博切爾特（Gretchen Borchelt）表示。“但同時，這並不能給全國各地的懷孕人士帶來安慰。看起來這讓情況沒有得到解決。”

這個案件是自2022年保守派多數派推翻羅伊訴韋德（Roe v. Wade）以來，最高法院首次審視州墮胎禁令。法院於6月13日維護了廣泛使用的墮胎藥米非司酮的全面獲取，稱反墮胎醫生和組織缺乏提起訴訟的法律資格。

拜登政府認為，聯邦緊急醫療救治和勞工法覆蓋了州立的墮胎禁令，當有人因醫療緊急情況出現在醫院時。眾所周知，1986年的EMTALA法案要求接受聯邦資金的醫院為這些患者提供穩定的護理。

政府在2022年8月愛達荷州的禁令生效之前提起訴訟，兩家下級法院表示，在法律鬥爭繼續進行期間，醫生可以繼續在健康緊急情況下進行墮胎手術。最高法院在一月份介入，暫停了下級法院的裁決，並宣佈大法官們將聽取論點。

案件是莫伊爾訴美國，23-726，以及愛達荷州訴美國，23-727。

美國最高法院限制了證券交易委員會在內部法官面前提出投訴的能力，稱被告在機構尋求財務處罰時有權向聯邦陪審團陳述自己的案情。

這項6-3的決定可能會減少委員會施加高額和解的籌碼。這對證券交易委員會曾經用來裁決每年超過100起案件的行政系統造成打擊，後來在法律挑戰中縮減了規模。