為什麼加利福尼亞的人工智能法案正在分裂硅谷 - 彭博社

加利福尼亞州參議員斯科特·維納

攝影師：大衞·保羅·莫里斯/彭博社 不要錯過任何一集。關注 《大視野》每日播客 今天。

## 大視野

分裂硅谷的人工智能法案

16:31

一項有爭議的人工智能安全法案剛剛通過了加利福尼亞州的立法。它被OpenAI和南希·佩洛西拒絕，受到埃隆·馬斯克的支持——並可能徹底重塑該技術在州內乃至全球的發展未來。

在今天的播客中，主持人薩拉·霍爾德與加利福尼亞州參議員斯科特·維納交談，他是SB 1047的作者，討論他為何認為加利福尼亞需要在人工智能監管方面發揮領導作用。彭博社科技記者希林·加法裏解釋了即使該法案被加文·紐森州長否決，它所提出的關於人工智能監管的問題也可能是持久的。

閲讀更多： 加利福尼亞通過分裂科技領袖的人工智能安全法案

進一步收聽： 人類與人工智能機器人在世界呼叫中心之都模糊不清

在 Apple Podcasts、Spotify 或您獲取播客的任何地方收聽並關注《大視野》

終端客户端：在桌面上運行 {NSUB BIGTAKEPOD <GO>} 以訂閲

以下是對話的輕微編輯稿：

**莎拉·霍爾德：**八月的最後一週並不被認為是忙碌的時節。除非你在加利福尼亞州的立法機構工作。

**斯科特·維納：**我是斯科特·維納參議員。我正在加利福尼亞州的州府打電話。

**霍爾德：**當我們最近交談時，維納參議員告訴我他正在從投票到投票，涉及從監管對沖基金到允許户外大麻銷售的所有事務。這些都是非常加利福尼亞的事情。

**維納：**我們正在進行立法會議的最後一週。因此每天都是馬拉松式的投票。我們已經投票通過了幾百個法案，還有數百個法案在週六會議結束之前需要投票。

**霍爾德：**但我想和維納參議員談談當天正在投票的一項非常具體的法案。這是他在二月份提出的，名為SB 1047——前沿人工智能模型的安全與保障創新法案。該法案將要求人工智能公司遵循新的安全標準——並在其工具造成災難性傷害時承擔法律責任。該法案僅適用於最大的人工智能公司——那些在訓練其人工智能模型上花費超過1億美元，或在微調上花費1000萬美元的公司。

**維納：**作為全球科技領導者，我們在加利福尼亞有責任制定良好的前瞻性創新、安全的科技政策。

**持有者：**現在，參議員維納從來不是一個會迴避有爭議政策舉措的人。作為一名民主黨人，他一直是該州區域改革的最大支持者之一。但在ChatGPT和Claude首次被釋放的地方，以及OpenAI和Anthropic在追逐超級智能的地方提出這項法案，並沒有受到歡迎。

**維納：**我知道由於這個主題的性質，會有顯著的反對聲音。我知道這會很強烈，但比我想象的還要強烈。

**持有者：**OpenAI反對這項法案。南希·佩洛西也是。安德森·霍洛維茨也是。但維納相信，即使面對這些反對聲音——沒有哪個州比這裏更適合在這個領域前瞻性地發展。

**維納：**加利福尼亞在科技政策、氣候政策以及許多我們領先於國會的問題上一直處於領先地位。我們引領潮流，我們也應該在這裏做到這一點。

**持有者：**今天的節目：關於限制人工智能危害的法案的辯論已成為科技界的一個焦點。這可能是科技監管的未來嗎？還是一個警示故事？

這是彭博新聞的《大觀點》。我是莎拉·霍爾德。

**持有者：**SB 1047的構想是在大約一年半前出現在加利福尼亞州參議員斯科特·維納的腦海中。那時，他被一羣專家接觸，希望他能承擔人工智能監管的責任。

**維納：**在2023年初，一些人工智能技術專家找到了我，表示是時候進行一次關於人工智能安全的對話了，因為我們有這麼多令人驚歎的創新。我們如何確保隨着人工智能的發展，它以負責任的方式進行。因為我們有不提前應對技術帶來的風險的歷史，只是讓事情發生，然後再去清理後面的爛攤子。

**霍爾德：**現在，加利福尼亞有很多關於人工智能的法案在討論——事實上，在八月份的會議上，立法者通過了另一項關於深度偽造的法案。但SB 1047關注的是一系列不同的潛在人工智能危害：災難性的危害。想想，超過5億美元的財產損失，或者大量的人命損失。維納説他選擇關注這個特定方面是有原因的。

**維納：**在SB 1047的辯論中，有很多“那麼怎麼樣”的論調。那麼深度偽造呢？算法歧視呢？錯誤信息呢？你為什麼要關注災難性危害的風險？我的回答是，我們需要解決所有這些問題。但除了這些潛在的危害，我們知道還有更大的危害風險。例如——關閉電網，銀行系統崩潰；更容易或促進化學、生物、核武器的製造。摧毀關鍵基礎設施。這些都是你不需要擁有地球上最好的想象力就能想象到的危害。

**霍爾德：**這些是最壞的情況，維納因想象這些情況而受到批評。

**維納：**有時，反對該法案的人試圖説，任何關注人工智能安全的人都一定是個瘋狂的悲觀者。這是不真實的。

**霍爾德：**你不認為自己是個瘋狂的悲觀者嗎？

**維納：**我不是個瘋狂的悲觀者。我非常支持人工智能和創新。我只是希望它能負責任地進行。

**霍爾德：**不過，立法中列出的風險大多是假設性的。至少，目前是這樣。我問了為彭博新聞報道人工智能的記者希林·加法裏，關於人工智能引發的災難風險究竟有多迫在眉睫。

**希林·加法裏：**好吧，這真的取決於你和誰交談，因為即使是專家，甚至是所謂的人工智能教父，他們基本上發明了我們今天使用的這種類型的人工智能模型，也有很大的分歧。

像約書亞·本吉奧這樣的人，例如——他是領先的計算機科學家，獲得了圖靈獎，這就像深度學習的諾貝爾獎，而深度學習又是我們今天使用的人工智能的基礎——他是這個法案的堅定支持者。他公開表示這些風險可能會出現。他不知道確切的時間，但他説風險足夠大，我們應該努力減輕它。然後還有另一位與他同年獲得圖靈獎的科學家，現任Meta的人工智能負責人揚·勒昆。他説這太荒謬了。我們不應該擔心這些災難性風險。今天的人工智能工具遠沒有人類聰明，我們在這裏過於偏執了。

**持有者：**過於偏執還是不偏執——另一個問題是這樣的州立法是否真的能防止最糟糕的事情發生。我問Shirin SB1047是如何處理AI傷害減少的。

**Ghaffary：**所以它實際上會做的是要求公司做幾件事情。

首先，他們必須有一個所謂的緊急停止開關，也就是説如果事情變得非常糟糕，他們有辦法關閉機器。另一個是他們必須創建所謂的SSP——安全和保障協議。這基本上就像是一份文件，概述了他們如何遵循風險緩解，包括進行外部測試等事情，對吧？所以他們説你必須找第三方去測試你的系統，確保它們不是高風險。

此外，僅僅通過被追究法律責任的威脅，對吧，這種方式就是將加利福尼亞州如何追究你的責任寫下來並明確説明，如果你至少沒有遵循一套基本的風險最小化原則。

**持有者：**正是這種法律責任的威脅讓一些科技公司感到恐慌，並助長了對該立法的激烈遊説活動。

**Ghaffary：**風險投資公司和科技公司已經請來了大牌遊説者。他們僱傭了加利福尼亞州頂尖的遊説者。Andreessen Horowitz僱傭了一個與紐森州長相識已久的非常知名和有影響力的遊説者。OpenAI和其他公司也僱傭了正在處理這項法案的遊説者。

**持有者：**而且，這個科技行業的反擊已經導致了切實的變化。以SB1047處理開源初創公司的方式為例。Shirin表示，儘管該法案僅適用於這些人工智能巨頭，但其中一些公司，如Meta，仍然將其人工智能模型開源。這使得較小的初創公司更容易在他們的工作中使用這些模型。

**Ghaffary：**人們擔心的是，如果該法案適用於像Meta這樣的公司，是否會產生下游效應，Meta會説，我們不再開源我們的模型，因為我們不想擔心其他開發者濫用我們的技術而帶來的潛在責任？

**持有者：**最新版本的立法試圖解決這些潛在的下游後果，Wiener告訴我。

**Wiener：**例如，明確規定，關閉人工智能模型的義務僅適用於你擁有該模型的情況。如果你開源一個模型，而有人對該模型進行了重大更改，那麼就不再是你的責任。

**持有者：**不過，科技公司如OpenAI對SB1047提出的另一個總體批評是——這是一個更難通過修正案解決的問題。即該立法來自加利福尼亞州，而不是國會。

**Ghaffary：**許多批評該法案的人表示，我們應該獲得聯邦立法。他們不想要這種拼湊式的法律。

**持有者：**一個拼湊的方案。意味着不同的人工智能法規由各州設定，可能會相互重疊或矛盾——而不是所有科技公司都必須遵循的一個國家框架。

但維納參議員表示，加利福尼亞州採取行動的部分原因是國會沒有采取行動。

**維納：**人們會説，嘿，這應該由國會來處理。應該在聯邦層面處理。擁有一個一致的國家標準更好。我的回答是絕對的。我希望能夠關門大吉，因為國會介入並通過了一項強有力的人工智能安全法。這對我來説簡直是天籟之音。

**持有者：**並不是所有加利福尼亞州的政治家都支持這一開創性的政策議程。包括南希·佩洛西參議員。

**檔案南希·佩洛西：**這項法案出發點良好，但信息不足。

**持有者：**但顯著的支持者也開始出現。

**新聞檔案：**埃隆·馬斯克現在公開支持加利福尼亞州的一項法案，以規範人工智能的發展，這與包括OpenAI和Meta在內的其他大牌形成鮮明對比，後者都反對該法案。

**持有者：**希琳對馬斯克的看法並不感到完全驚訝。

**加法裏：**馬斯克一直以來都對這一點感到擔憂。他擔心人工智能的長期潛在災難性影響。這就是為什麼他幫助資助OpenAI，以對抗谷歌，因為他認為人工智能如此重要，應該有更多人來控制它。

現在，如果你很憤世嫉俗，你可能會這樣看待這個問題：埃隆更有動力支持這項法案，因為他的人工智能公司並不是第一名。Open AI或Anthropic或其他這些公司被認為更領先。

**霍爾德：**至於維納，他告訴我他會接受任何他能得到的支持。

**霍爾德：**你認為他的推文對你有幫助嗎？

**維納：**我認為他的推文真的引起了很大的反響，因為有些我知道的人對這項法案非常批評，而一旦他們看到馬斯克的推文，他們開始重新思考這個問題。

**霍爾德：**人工智能社區對這項法案的爭論並沒有阻止州立法者。他們在八月的最後一週通過了SB1047。現在，它的命運掌握在加利福尼亞州州長加文·紐森手中。如果他簽署成為法律，影響可能遠超加利福尼亞。

接下來——這些在行業後院制定的人工智能法規會有全球影響嗎？

**霍爾德：**金州在技術方面通常走在前列——無論是開發還是監管。彭博社的科技記者加法裏表示，加利福尼亞發生的事情很少會僅限於加利福尼亞。

**加法裏：**這很可能會成為其他州的模板。過去加利福尼亞制定了一些技術立法，其他州隨後跟進。我們已經看到像科羅拉多州這樣的其他州在討論人工智能立法，我確實認為我們可能會看到更多。

霍爾德：而且不僅僅是其他州可以借鑑加利福尼亞州正在做的事情。

**加法裏：**它甚至有一天可能成為聯邦或國際類型法規的模板。

**霍爾德：**希琳説，SB 1047已經與最近在歐盟和韓國舉行的全球安全峯會所達成的國際協議緊密相連。儘管美國沒有國家級的人工智能監管，但OpenAI和Anthropic最近自願同意在發佈之前與美國商務部的新人工智能安全研究所分享他們的人工智能模型。

**加法裏：**所以該法案的支持者説，看看，你們已經在做這些工作。你們為什麼如此反對呢？但該法案的批評者説，這些自願協議正在發揮作用。我們已經看到公司自願參與。那麼我們為什麼需要這個強制措施呢？

**霍爾德：**這是企業與政策制定者之間常見的緊張關係：他們都認為自己應該是握有權杖的一方。但對於人工智能行業來説，希琳説，現在是進行這場辯論的特別緊張時刻。

**加法裏：**人們認為現在正在進行一場通往超級智能的競賽。這是一個令人興奮的時刻，我們看到這種寒 Cambrian 爆炸和人工智能的快速進步，他們擔心這會扼殺這一切。我認為這是一種經典的科技與政府之間的恐懼。

Holder: 對於人工智能監管者來説——放慢那種爆炸性增長——只要足夠長的時間來建立一些保護措施——可能並不是最糟糕的事情。而雖然Shirin説我們可能還不會看到我們日常生活中使用的人工智能工具的任何變化——最大的變化可能在於開發者如何推出新技術。

Ghaffary: 他們可能需要在推出某些模型之前多花一點時間，確保我們是否遵守這些指導方針？

如果沒有，我們是否冒着被起訴的風險？所以這將為這些公司創造更多的行政開銷，以確保他們遵循這些規則。

Holder: 對於加利福尼亞州參議員Scott Wiener來説——這種行政開銷是確保未來安全的小代價。

Wiener: 這不是關於成為人工智能悲觀者。這是關於作為一個負責任的成年人，我們説，讓我們做所有這些好事。同時也要防止重大傷害。

Holder: 無論你是否同意他，Shirin表示，關於該法案的辯論已經讓我們瞭解到，在未來幾年中，我們可能需要問哪些關於人工智能發展和人工智能監管的問題。

Ghaffary: 我認為這項法案表明，大家很容易説，哦，是的，人工智能可能會帶來某種災難性風險。我們對此達成了一致。但實際上很難達成一致。好吧，現在，風險出現的概率是多少？它有多緊迫？管理它的最佳方式是什麼？一旦進入細節，管理人工智能就變得非常複雜，尤其是因為它是如此新穎，技術上如此困難。

所以我認為在某些方面，這可能是最難以監管的技術之一。本集由：Adriana Tapia 製作；高級製作人：Naomi Shavin 和 Kim Gittleson；編輯：Kim Gittleson，Seth Fiegerman；高級編輯：Elisabeth Ponsot。執行製作人：Nicole Beemsterboer；聲音設計/工程師：Blake Maples；事實核查員：Adriana Tapia。