《華爾街日報》：有效利他主義如何分裂硅谷——並加劇了OpenAI的動盪

過去幾年間，被稱為"有效利他主義"的社會運動在硅谷各家人工智能公司中分化了員工與管理層，使信徒與非信徒形成對立。

OpenAI的內爆事件展現了該思潮的影響力——而首席執行官山姆·阿爾特曼的勝利迴歸則揭示了其剛性邊界，為這一引發分裂的哲學理念的坎坷之年畫上句點。

就在有效利他主義最著名的支持者山姆·班克曼-弗裏德因欺詐罪被定罪數週後，OpenAI的崩潰給這場運動再添打擊。該運動認為，精心構建、灌注正確人類價值觀的人工智能系統將帶來黃金時代——而失敗則可能導致災難性後果。

一年前發佈ChatGPT的OpenAI，其創立部分基於有效利他主義原則。這一廣泛的社會道德理念影響着硅谷乃至更廣泛AI研究界。部分追隨者居住在私人集體住宅中，在那裏進行頭腦風暴、哲學辯論，並通過四人聯棋"Bughouse"放鬆。該運動涵蓋致力於動物權利和氣候變化的人士，其思想源自理性主義哲學家、數學家及未來預測者。

在科技巨頭數億美元捐款的強力推動下，有效利他主義者認為貿然發展人工智能可能毀滅人類。他們主張AI開發應安全優先於速度。這場運動包含助推生成式AI繁榮的參與者，雖內部封閉且理念多元，但都秉持改善世界的信念——即使這意味着先賺取鉅額財富再捐贈給公益事業。

據知情人士透露，週五遭董事會解僱的阿爾特曼，與公司首席科學家兼董事伊利亞·蘇茨克維在AI安全問題上的分歧，正反映了有效利他主義的核心關切**。**

參與罷免投票的除主導行動的蘇茨克維外，還包括有效利他主義慈善機構"有效風險"的科技高管董事塔莎·麥考利，以及喬治城大學安全與新興技術中心（由專注有效利他事業的基金會資助）執行董事海倫·託納。知情人士稱，這三人構成了罷免阿爾特曼所需的四票中的三票。董事會指其"持續缺乏坦誠"。

週三公司宣佈阿爾特曼將復任CEO，蘇茨克維、麥考利和託納將被替換。主張放緩AI發展、被聘為臨時CEO的科技高管埃米特·希爾已離職。

阿爾特曼被解職曾引發公司內部反抗，威脅到OpenAI存續。約770名員工中超700人聯署要求其迴歸，否則將集體跳槽至最大投資方微軟。蘇茨克維週一公開表示對投票決定感到遺憾。

“OpenAI董事會成員所推崇的‘有效利他主義’理念及其誤用，可能延緩了世界獲取人工智能巨大福祉的進程。”風險投資家兼OpenAI投資人維諾德·科斯拉在為The Information》撰寫的評論文章中寫道。

奧特曼今春環球訪問期間曾警告，人工智能可能造成嚴重危害。他同時將有效利他主義稱為“存在嚴重缺陷的運動”，表現出“極其怪異的湧現行為”。

有效利他主義羣體投入巨資宣揚人工智能構成生存風險的觀點。但得克薩斯大學奧斯汀分校計算機科學家、OpenAI人工智能安全研究員斯科特·阿倫森指出，正是ChatGPT的發佈讓大眾意識到AI發展之迅猛。他表示，這款聊天機器人展現的驚人能力，令此前對此不屑一顧的人開始擔憂。

這場運動已席捲科技界的科學家、投資者和高管羣體——他們正競相開發能模擬並最終超越人類能力的人工智能系統。該運動支持者認為，AI雖能帶來全球繁榮，但首先須防範其造成災難性後果。

谷歌等企業正爭相成為首個推出媲美人腦AI系統的公司。它們大多將人工智能視為推動工作和經濟增長的高利潤工具。

運動的高調支持者包括Facebook聯合創始人達斯汀·莫斯科維茨，以及Skype創始人、億萬富翁揚·塔林，他們已承諾為有效利他主義研究投入數十億美元。山姆·班克曼-弗裏德在破產前也曾承諾捐贈巨資。埃隆·馬斯克稱，有效利他主義聯合創始人威廉·麥卡斯基爾的著作“與我的哲學觀高度契合”。

哲學家威爾·麥卡斯基爾2018年4月12日在温哥華TED2018大會上演講。圖片來源：勞倫斯·蘇穆隆/蓋蒂圖片社風險投資公司安德森-霍洛維茨的聯合創始人馬克·安德森和初創企業孵化器Y Combinator的首席執行官蓋瑞·譚批評了這一運動。譚稱其為空洞的“美德信號哲學”，應予以摒棄，以“創造人類繁榮的實際問題”。

有效利他主義者對人工智能毀滅人類的緊迫恐懼“遮蔽了他們接受外界批評的能力”，領導普林斯頓大學團隊研究該運動的研究員莎澤達·艾哈邁德表示。“這對於任何試圖解決棘手問題的羣體都不是好事。”

OpenAI的動盪暴露了硅谷幕後市場信仰者與相信倫理、理性、數學和精密機器應引導未來的有效利他主義者之間的較量。

關於該運動的這一描述基於對50多位高管、研究人員、投資者、現任和前任有效利他主義者的採訪，以及有效利他主義社區的公開演講、學術論文和其他已發表材料。

回形針行動

去年秋天的一天，數千枚OpenAI標誌形狀的回形針被送到該公司舊金山辦公室。似乎沒人知道它們來自哪裏，但所有人都明白其含義。

有人將一枚回形針遺落在舊金山OpenAI公司。在人工智能界，回形針已成為末日象徵。其隱喻在於：若命令一個人工智能系統儘可能多地製造回形針，它可能會為追求產量最大化而毀滅全人類。

這個惡作劇出自Anthropic公司員工之手，這家與OpenAI同城競爭的企業，本身也因AI安全理念分歧而創立。

2021年初，OpenAI首席研究科學家達里奧·阿莫迪與數名高管離職，創立了這家對有效利他主義者友好的AI研究公司Anthropic。

班克曼-弗裏德曾是Anthropic最大投資人之一，支持該公司將AI安全置於增長與利潤之上的理念。 

即便對AI安全懷有憂慮，人們仍無法抗拒開發現代AGI（人工通用智能）的誘惑——這種尖端系統可媲美甚至超越人腦。

去年12月OpenAI節日派對上，首席科學家蘇茨克弗在舊金山加州科學院對數百名員工及賓客演講，不遠處就是博物館的斑馬、羚羊與獅子標本生態展。

“我們的目標是創造熱愛人類的AGI”，蘇茨克弗説道。

“感受AGI”，他帶領眾人重複：“跟我念，感受AGI。”

有效利他主義者宣稱，他們能構建更安全的AI系統，因其願投資於"對齊"研究：確保員工能控制所創技術，並使其符合人類價值觀。但迄今未有AI企業明確界定這些價值觀的具體內涵。

OpenAI最近表示，將在未來四年內將其五分之一的計算資源投入到該公司所稱的"超級對齊"項目中，該項目由Sutskever領導。知情人士透露，該團隊一直在構建一個由AI衍生的"科學家"，能夠對AI系統進行研究。

6月5日，Sam Altman（左）和OpenAI首席科學家Ilya Sutskever在特拉維夫發表演講。圖片來源：JACK GUEZ/法新社/蓋蒂圖片社感到沮喪的員工表示，對AGI和對齊問題的關注導致解決更緊迫問題的資源減少，例如開發者濫用、欺詐和可能影響2024年選舉的惡意AI使用。他們認為資源分配不均反映了有效利他主義的影響。

據熟悉該公司的人士透露，儘管OpenAI正在構建自動化工具來捕捉濫用行為，但並未為此工作僱傭大量調查人員。這些人還表示，該公司監控其開發者平台的員工也很少，該平台被超過200萬研究人員、公司和其他開發者使用。

該公司最近僱傭了一名人員來考慮OpenAI技術在2024年選舉中的作用。專家警告AI生成的圖像可能會誤導選民。

在本文發表後，OpenAI表示：“我們是一家以價值觀為導向的公司，致力於構建安全、有益的AGI，而有效利他主義並非其中之一。我們有團隊專門研究短期風險，如網絡安全、經濟影響以及將系統與人類價值觀對齊。”

Anthropic聯合創始人兼首席執行官達里奧·阿莫代於9月20日在舊金山TechCrunch Disrupt 2023活動上。圖片來源：Kimberly White/Getty Images據現任及前任員工透露，谷歌今年將其兩個人工智能部門——DeepMind與Google Brain合併，引發了關於如何應用有效利他主義原則的分歧。

長期聘用該運動支持者的DeepMind聯合創始人德米斯·哈薩比斯負責合併後的部門。

知情人士稱，Google Brain員工大多對有效利他主義不予理會，轉而探索人工智能的實際應用及AI工具可能被濫用的問題。

一位前員工將此次與DeepMind的合併比作包辦婚姻，“讓Brain的許多人感到不適”。

毀滅概率(P(doom))

21歲的人工智能安全研究員阿爾瓊·帕尼克塞裏與其他有效利他主義者共同居住在仙女座之家——這是距加州大學伯克利分校幾個街區遠的一棟三層五居室住宅。

他們舉辦晚宴，有時會要求訪客透露其"毀滅概率"——即對人工智能災難發生可能性的預估。

加州伯克利仙女座之家的棋局對弈圖片來源：Tzu Kit Chan帕尼克斯里表示，加州伯克利是灣區有效利他主義的中心。一些住宅設有"無AI區"，讓人們暫時逃離關於人工智能的持續討論。

根據開放慈善基金會的網站顯示，該機構前CEO霍爾頓·卡諾夫斯基曾與兩位OpenAI高管同住。自2015年以來，這家支持有效利他主義事業的非營利組織已向AI相關事業捐贈3.27億美元，其中包括向OpenAI捐贈的3000萬美元。

當卡諾夫斯基與現任Anthropic總裁丹妮拉·阿莫代伊訂婚時，他們與丹妮拉的哥哥達里奧（現任Anthropic CEO）是室友。

2017年8月，卡諾夫斯基和丹妮拉·阿莫代伊舉辦了一場以有效利他主義為主題的婚禮。新人鼓勵賓客向卡諾夫斯基創建的有效利他主義慈善機構GiveWell推薦的項目捐款，並建議提前閲讀德國哲學家尤爾根·哈貝馬斯457頁的著作。

“這是理解我們婚禮的必要背景，“這對夫婦在婚禮網站上寫道。

有效利他主義運動可追溯至約二十年前，當時牛津大學一羣哲學家和他們眼中的“超級硬核行善者”，正在尋找一個營銷術語來推廣他們功利主義版本的慈善理念。

追隨者信奉用有限時間創造最大善行。他們可以儘可能多賺錢，然後捐出大部分資金來解決政府和傳統非營利組織忽視或未解決的問題。他們關注的是每花費一美元能產生最大影響或幫助最多人的方案。

本月被定罪的班克曼-弗裏德表示，他積累財富只為捐出大部分。

3月30日，FTX創始人薩姆·班克曼-弗裏德（中）抵達紐約聯邦法院。圖片來源：埃德·瓊斯/法新社/蓋蒂圖片社大約從2014年開始，有效利他主義者開始關注先進人工智能系統可能導致人類滅絕的風險，這種威脅與氣候變化同等級別。這一認知與瑞典哲學家尼克·博斯特羅姆的著作《超級智能》出版時間吻合，該書使回形針成為人工智能危險的象徵符號。

此後，有效利他主義者建立了線上社羣網絡，在這裏交換職業建議、進行哲學辯論並做出預測。相關非營利組織和學生團體定期舉辦地方聚會及會議，聚焦運用理性思維、經濟學和數學解決全球最嚴峻的問題。

這些遍佈全球的聚會活動通常對外封閉。紐約近期一場有效利他主義會議的組織者拒絕了《華爾街日報》記者的參會申請，郵件回覆稱"錄取標準極高”，建議記者"需要更多時間融入有效利他主義社羣”。

凱特琳·奧斯特羅夫對本文有貢獻。

寫信給羅伯特·麥克米倫，郵箱：[email protected]，以及迪帕·西塔拉曼，郵箱：[email protected]

刊登於2023年11月24日的印刷版，標題為《哲學如何分裂硅谷》。