有效利他主義的問題不僅僅是山姆·班克曼-弗裏德 - 彭博社

插圖：Sophi Gullbrants for Bloomberg Businessweek 

Sonia Joseph在14歲時第一次閲讀了哈利·波特與理性方法，這是一部重新想象男孩巫師為嚴格經驗主義者的超級流行的同人小説。這位理性的波特用科學方法測試他的教授的咒語，嘲笑他發現的任何不一致之處，並在他12歲之前解決了巫師界的所有問題。Joseph説：“我喜歡它”，她在十幾歲時讀了HPMOR四次。她是一個神經非典型的、雄心勃勃的印度裔美國人，在她的馬薩諸塞州郊區高中感到格格不入。她説，這個故事“非常吸引聰明的局外人。”

對同人小説作者 埃利澤·尤德科夫斯基的其他作品的搜索為Joseph打開了更多的大門。自2000年代初以來，尤德科夫斯基一直主張敵對人工智能可能在幾十年內摧毀人類。這一信念使他成為一個智力上的伯父，在一個自稱為理性主義者的羣體中，他們致力於保持他們的思維不偏不倚，即使結論令人恐懼。Joseph對理性主義的興趣的萌芽也使她走向了有效利他主義，這是一種相關的道德哲學，因其與被辱的加密前億萬富翁山姆·班克曼-弗裏德的關聯而臭名昭著。有效利他主義的核心是強調利用理性思維對世界產生最大效益的積極影響。這些不同但有重疊的羣體在在線論壇中發展起來，關於人工智能危險的帖子變得普遍。但他們也聚集在舊金山灣區，在那裏他們開始勾勒出一個名為AI安全的研究領域，這是一項使機器更不可能殺死我們所有人的努力。

約瑟夫攝影師：亞歷克斯·布魯因和喬迪·赫茨，為彭博商業週刊拍攝約瑟夫在2019年獲得神經科學學士學位後不久搬到舊金山灣區從事人工智能研究。在那裏，她意識到在網上看起來如此龐大的社交圈在現實中卻更為緊密。許多理性主義者和有效利他主義者，自稱為EA，共同工作，相互投資，住在共同的房子裏，主要與彼此社交，有時還處於多元關係的網絡中。在整個社區中，幾乎每個人都在慶祝某種方式的非傳統。約瑟夫覺得這一切都很自由和令人興奮，就像來到了一個現實版的理性主義霍格沃茨。她和她的同齡人一起致力於解決她認為最迷人的問題，目標是防止人類滅絕。

與此同時，她開始感受到一些奇怪的氛圍。一個理性主義男性把她介紹給另一個人，稱其為“完美的理性主義誘餌”——rat指的是理性主義者。她聽説了涉及該領域男性領導人的性行為不端的故事，但當她詢問周圍的人時，她的同齡人都把這些指控視為微不足道的性格缺陷，不足以與AI啓示錄的威脅相提並論。最終，她開始與社區中的一名AI研究人員約會。她聲稱他對她實施了性行為不端，並向舊金山警方報案。（像她這樣的許多女性一樣，她要求不透露該男子的姓名，以免遭到可能的報復。）她的指控使社區產生了分歧，她説，人們質疑她的心理健康，試圖抹黑她。最終，她搬到了加拿大，在那裏她繼續從事AI工作，並努力營造一個更健康的研究環境。

“在理想的世界中，社區本應就性侵政策和教育進行認真討論：‘我們有哪些盲點？這是怎麼發生的？我們如何設計機制來防止這種事情再次發生？’”她説。“我對社區如何通過這種非常扭曲、厭惡女性的視角看待我感到失望。”

在硅谷，理性主義者、有效利他主義者和人工智能安全研究人員之間存在一個深具影響力的亞文化。儘管其邊界模糊不清，但數以百計甚至數千名成員都相信他們需要拼命工作，或者至少投入大量資金，以阻止人工智能對我們發動“終結者”式的襲擊。該運動的領導者得到了一些科技界最富有和最有權勢的人士的支持，包括埃隆·馬斯克、彼得·蒂爾和以太坊創始人維塔利克·布特林。其理念吸引了硅谷典型的信徒和厚顏無恥的機會主義者。直到最近，其最慷慨的支持者是Bankman-Fried，在他的事業崩潰前，他在相關事業上投入了近6億美元，然後將有效利他主義視為一種逃避。 有效利他主義，一旦他的事業崩潰，就將其視為一種逃避。 一旦他的事業崩潰，就將其視為一種逃避。。

Bankman-Fried攝影師：Lam Yik/BloombergBankman-Fried的崩潰揭示了社區的缺陷，但他遠非唯一被指控的不良行為者。使這一亞文化對聰明外人如此具有吸引力的封閉性和共同目標的結合也使其成為騙子、性侵者和狂妄自大者的獵場。通過硅谷彌賽亞情結的熟悉視角過濾對使人工智能更好、更安全的合法願望，有可能因為關聯而玷污整個項目。

根本的意識形態崇尚極端：追求理性真理高於一切，捐贈最多的錢並出於最重要的原因做最大的善事。這種思維方式可能具有吸引力的清晰度，但也可能為破壞性或可鄙的行為提供掩護。這些領域中的八名女性聲稱普遍存在性騷擾，包括濫用和騷擾，他們説這種行為經常被淡化。即使是懷有純潔意圖的人，信徒們説，有效利他主義和理性主義意識形態可能會放大那些傾向於末日思維的人的痛苦，導致一些人產生精神崩潰。

這些裂縫具有全球性後果。社區的聯繫和資源使其成員在人工智能的發展上擁有超出比例的影響力，這是當今科技行業最着迷的對象，也是價值無數億的極其強大的工具。信徒們試圖讓人工智能成為一種善的力量，但幻滅的成員説，他們那個志同道合的社區正在被那些似乎不知道如何做人的人利用和濫用。“即使壞的人工智能結果很可能會發生，”約瑟夫説，“將其用作侵蝕人權的藉口是對我們正在為之奮鬥的東西的不尊重。”

這種過於迂腐的社區的邊界可能很難定義。一些理性主義者不認為自己是有效利他主義者，反之亦然。許多人稍微偏離特定正統信仰，用諸如“後理性主義者”或“EA相關”的術語掩飾他們的確切信仰。然而，有兩件事是清楚的：在過去的十年裏，有效利他主義已經成為一些邊緣理性主義思想的主流、公開的代表，特別是對人工智能安全的迫切需求；整個事情始於尤德科夫斯基。

1979年出生於芝加哥的尤德科夫斯基（Yudkowsky）在青少年時期放棄了摩登正統猶太教，成為了一名無神論者。他沒有完成高中學業，但在十幾歲時開始對“奇點”這一概念產生了濃厚興趣，奇點是指技術進步將不可避免地導致超人類智能的那一刻。他在2000年代開始認真地撰寫有關人工智能的文章，這時已經有了HAL 9000、天網和黑客帝國等作品進入公眾視野，但他的作品量卻引人注目。在數年裏，他每天都發表簡潔的博客文章，主張研究人員應盡一切努力確保人工智能與人類價值“對齊”。為此，他在加利福尼亞州伯克利創建了 機器智能研究所（MIRI），最初得到了來自蒂爾（Thiel）和Skype聯合創始人揚·塔林（Jaan Tallinn）的資助。

尤德科夫斯基的Twitter個人資料。來源：@ESYudkowsky/Twitter尤德科夫斯基的想法最初並沒有吸引很多追隨者。但他擅長營銷。2009年，他創建了一個名為LessWrong的在線論壇，這個論壇發展成了一個理性主義辯論和人工智能思想實驗的中心。到了2010年，尤德科夫斯基在fanfiction.net上開始連載HPMOR。這部作品的許多章節引導讀者前往LessWrong上關於理性主義原則的帖子，一些章節還請求捐款給伯克利的應用理性中心（CFAR），這是一個與尤德科夫斯基有關的機構。 HPMOR“對於神經非典型人羣、喜歡幻想的人和尋找社羣的人來説，是一個令人難以置信的招募工具，”作家雅克琳·布里克（Jacqueline Bryk）説道，她自己也是這三個羣體的成員。

同時，有效利他主義也在同步發展。它起源於哲學家彼得·辛格，他認為能夠拯救生命的人應該儘可能拯救更多生命。簡而言之，把你本來可能捐給歌劇院的錢投入到抗瘧疾蚊帳中。到了2010年代初期，像GiveWell這樣的EA組織開始倡導基於研究的、可量化的慈善選擇。許多有效利他主義者也轉為素食主義者，並研究減少動物痛苦的最廉價方式。在它們的核心，理性主義和有效利他主義共享一個信念，即數學可以幫助回答關於是非的棘手問題。2013年，仍然是理性主義圈邊緣人物的蒂爾在一年一度的EA峯會上發表了一場主題演講，該峯會在舊金山灣區的一個理性主義團體房屋舉辦。

到了2014年，機器人啓示錄的想法贏得了更多信徒。哲學家尼克·博斯特羅姆，自上世紀90年代起就認識尤德科夫斯基，出版了暢銷書超級智能，將人類比作玩弄炸彈的小孩。他寫道：“我們幾乎不知道爆炸將何時發生，儘管如果我們把設備靠近耳朵，就能聽到微弱的滴答聲。” 史蒂芬·霍金、比爾·蓋茨和埃隆·馬斯克都在警告。馬斯克在2014年的麻省理工學院研討會上説：“通過人工智能，我們正在召喚惡魔。” 第二年，他共同創立了OpenAI，一個旨在使人工智能對人類安全的非營利組織。80位知名科學家、學者和行業專家在波多黎各舉行了一場閉門會議討論風險，然後簽署了一封警告信。

Bostrom攝影師：湯姆·皮爾斯頓/蓋蒂圖片社逐漸地，理性主義者、有效利他主義者和人工智能安全研究人員的世界開始融合。有效利他主義者提出了“長期主義”這個詞，意味着如果所有生命都同等重要，那麼最好是拯救未來數萬億個潛在生命，而不是當今地球上的數十億生命。因此，放棄瘧疾蚊帳，集中精力應對核擴散、未來大流行病以及，沒錯，失控的人工智能等災難。

幾年來，這個想法成為硅谷辯論中不可避免的話題。在這個場景中，有效利他主義擁有迄今為止最主流的聲望和億萬富豪捐助者支持，因此這種轉變意味着真正的資金和認可。2016年，時任聯合首席執行官的 開放慈善，由Facebook聯合創始人達斯汀·莫斯科維茨資助的有效利他主義非營利組織，寫了一篇博客文章，解釋了他新的熱情，希望防止人工智能末日。在接下來的幾年裏，開放慈善對長期主義事業的資助從2015年的200萬美元增加到2021年的1億美元以上。

2019年，開放慈善向MIRI捐贈了770萬美元，而比特幣創始人維塔利克·布特林捐贈了價值500萬美元的現金和加密貨幣。但其他個人捐助者很快就被長期利他主義者Bankman-Fried超越，他是一位長期的有效利他主義者，創建了加密交易平台FTX，並在2021年成為億萬富翁。在Bankman-Fried去年財富蒸發之前，他召集了一羣領先的有效利他主義者來管理他每年1億美元的長期主義事業未來基金。據《紐約客》報道，在該基金的伯克利辦公室，水冷卻器旁的閒聊包括關於人工智能接管會在多久以後發生以及發生的可能性有多大的問題，或者用該羣體的行話來説，“你的時間表是什麼？”和“你的p(毀滅)是多少？”

有效利他主義轉向了人工智能安全領域。一位曾是該社區成員的人士説：“存在這種壓力，如果你足夠聰明或者足夠注重定量分析，你就會放下手頭的一切去從事人工智能安全工作。”80,000小時，一個在有效利他主義者中具有影響力的職業建議播客，開始推薦該領域的工作優先於其他一切。但社區也開始出現分裂。OpenAI曾作為一個非營利組織推出，2019年宣佈轉型為一家營利企業，並獲得了來自微軟公司的10億美元投資。兩年後，幾位OpenAI高管脱離出來，成立了自己的研究公司Anthropic。他們聲稱，OpenAI實際上正在加速一種可能無法控制的人工智能的到來，因此Anthropic將繼續努力確保做對。Bankman-Fried在去年初投資了5.8億美元給Anthropic。

對於那些真誠擔心人工智能啓示錄的研究人員來説，這場日益激烈的爭執揭示了一個令人不安的問題，迴響着曼哈頓計劃的陰影。通過研究人工智能，他們是在保護人類的未來嗎？還是，儘管懷着最好的意圖，他們正在讓事情變得更糟？

插圖：Sophi Gullbrants為彭博商業週刊繪製隨着有效利他主義的流行，對其哲學的批評也日益增加，特別是“賺錢以捐贈”的理念，即像班克曼-弗裏德這樣的人應該盡一切努力賺很多錢，以便捐贈。為了積累他的數十億財富，班克曼-弗裏德據稱欺詐了他的客户，批評者稱他的失敗表明有效利他主義容易陷入一種讓目的正當化非法手段的狹隘視野。然而，在有效利他主義者中，最顯著的批評更為微妙：生活在這種思想的邏輯極端是不切實際的，也是一種悲慘的處境。

有效利他主義者專注於優化他們的影響力，甚至可以説是到了一種打倒一個想法的標準方式就是稱其為“次優”。然而，最大化善行是一種固執的原則。（班克曼-弗裏德在80,000 Hours上的出現中説：“只做得好沒有理由停下來。”）如果捐贈收入的10%是好的，那麼給出更多邏輯上更好。將這種完美主義推向極端可能會讓人陷入癱瘓。一位著名的有效利他主義者朱莉婭·懷斯描述了她每次考慮購買冰淇淋時面臨的心理掙扎，知道這筆錢可以用來給海外某人接種疫苗。出於類似原因，她在是否可以為自己生孩子上苦惱不已；當她的父親擔心她似乎不快樂時，她告訴他：“我的幸福不是重點。”

Wise自那時起修改了她的冰淇淋預算併成為了一名母親，但許多其他EA仍然陷入了一些人所謂的“苦難陷阱”。一位前EA發推文説，他的內心聲音“會自動將我花的所有錢（比如晚餐）轉換為一個‘死亡計數器’，期望我如果把它捐給慈善機構，就可以拯救的生命的一部分。”另一位發推文説，“EA意識形態導致信徒將自己視為行動符合EA意識形態的小機器，這導致‘壓制你人性中重要的部分’。簡而言之：EA經常很難兼顧，因為咀嚼使行走變得不夠理想。”

該運動對AI安全的優先考慮也引起了批評者的關注，他們認為這種全有或全無的方法是一種逃避，一種避免與更可解決的問題接觸，而更傾向於技術行業利益的方式。“如果你真的覺得AI很酷，相信有必要相信你必須為之工作來拯救世界吧？”經常發表對有效利他主義進行尖鋭批評的AI倫理學家Timnit Gebru問道。“你不必為未解決飢餓問題感到內疚。”

即使領先的EA對轉向AI也存在疑慮。Leverage Research首席運營官、前有效利他主義中心首席執行官Larissa Hesketh-Rowe表示，她從未清楚某人如何能確定他們的工作使AI更安全。當社區中地位較高的人説AI風險是一個重要的研究領域時，其他人就會推遲，她説。“沒有人會明確地這樣想，但你會被吸引贊同那些人，如果你贊同他們，你就會成為酷孩子團體中的一員，”她説。“如果你不明白，那麼你就不夠聰明，或者你不夠好。”Hesketh-Rowe於2019年離職，此後對EA感到幻滅，並認為社區陷入了一種羊羣心理狀態。

Hesketh-Rowe攝影師：泰勒·丹·漢森，彭博商業週刊在理性社區的極端派別中，人工智能研究人員相信他們與啓示相關的壓力正在導致精神崩潰。MIRI員工傑西卡·泰勒有時的工作內容包括“想象極端的人工智能折磨場景”，她在一篇LessWrong的帖子中這樣描述——人工智能可能對人們造成的最嚴重的痛苦。她説，在工作中，她和一小隊研究人員相信“我們可能會創造上帝，但我們可能會出錯並摧毀一切。” 2017年，她因妄想自己“本質上是邪惡的”並“用我的惡魔力量摧毀了世界的重要部分”而住院三週，她在帖子中寫道。儘管她承認出於治療目的服用迷幻藥物，但她也將妄想歸因於工作中噩夢場景與現實生活的模糊。她寫道：“在普通患者中，幻想成為魔鬼被視為誇大狂”，“在這裏，這個想法自然而然地源自我的日常社交環境，並且是我精神崩潰的核心。”

泰勒的經歷並不是個案。它概括了一些理性主義者的文化主題，他們經常聚集在MIRI或CFAR員工周圍，共同生活，並痴迷於推動社會規範、真相甚至意識思維的邊界。他們稱外部人為普通人或NPC，即非玩家角色，就像視頻遊戲中只説幾句話並且不在情節中發揮作用的小鎮居民。在家庭聚會上，他們花時間“調試”彼此，進行一種據稱會產生更理性思維的對抗式審問風格。有時，為了進一步探索，他們嘗試用迷幻藥物進行實驗，並嘗試“越獄”他們的思維，打開他們的意識，使他們更有影響力或“主體性”。泰勒圈子中有幾個人經歷了類似的精神崩潰。其中一人於2018年自殺，另一人於2021年去世。

社區的一些現任和前任成員表示，其動態可能“類似邪教”。一些內部人士稱這種對AI啓示錄的狂熱程度為一種世俗宗教；一位前理性主義者稱其為無神論者的教堂。它提供了一個更高的道德目的，人們可以將自己的生活奉獻給它，以及一個強調末日審判的更高權力。在這個團體內部，有一種無言的感覺，認為自己是足夠聰明以看到真相併拯救世界的被選之民，“在宇宙中具有重要意義，”前理性主義者袁喬楚説。

袁喬楚在2013年開始與理性主義者交往，當時他是加州大學伯克利分校的數學博士候選人。一旦他真誠地開始考慮AI可能在20年內消滅人類的想法，他就輟學了，放棄了退休規劃的想法，並遠離了那些沒有將每一個清醒時刻奉獻給避免全球毀滅的老朋友。“如果你能説服他們這樣做可以幫助阻止世界末日，你就可以真正操縱人們做各種瘋狂的事情，”他説。“一旦你進入那種思維模式，它會嚴重扭曲你關心其他事情的能力。”

“每個人都相信我，但他們的相信還不夠。你需要那些非常關心虐待問題的人”

當涉及到社區中對女性的虐待時，這種無法關心的現象最為明顯，因為投機分子利用即將到來的末日前景來為濫用行為開脱。根據對社區各層次的八名女性的採訪，理性主義者、有效利他主義者和AI安全研究人員的亞文化中，性騷擾和虐待是令人痛心的普遍現象。許多年輕、雄心勃勃的女性描述了類似的軌跡：她們最初被這些理念吸引，然後沉浸在社交場景中。通常這意味着參加有效利他主義者或理性主義者團體的聚會，或者被加入到充滿術語的Facebook Messenger聊天羣中，與數百名志同道合的人一起。

這八位女性表示，場景中充斥着隨意的厭惡女性主義。從低端來看，理性主義者附近的作家Bryk説，一位知名的理性主義者曾經輕蔑地告訴她，她是一個“五歲的小孩，身體卻是20歲的熱辣美女”。與年齡大得多的男性建立關係很常見，多元戀愛也很普遍。這兩者本質上並不有害，但幾位女性表示，這些規範成為幫助有影響力的年長男性獲得更多伴侶的工具。現年20多歲的谷歌Brain的AI研究員Keerthana Gopalakrishnan參加了EA聚會，被已婚男性調戲，並被他們講述單一配偶制已經過時，非單一配偶制更為進化的觀點。“如果你是一個相貌尚可的女性進入EA社區，你會收到大量的性請求加入多人關係，通常來自於有影響力或直接資助該運動的多元和已婚男性”，她在一個關於她經歷的EA論壇上寫道。她的帖子遭到了強烈的踩，最終她將其刪除了。她寫道。

Yudkowsky的書。來源：Eliezer Yudkowsky社區的指導原則可能被用來為這種行為辯護。其中許多人認為，理性導致對世界的優越結論，並使NPC的道德準則變得過時。前往舊金山灣區追求人工智能職業的女性Sonia Joseph在22歲時被鼓勵與理性主義領域的一位40多歲的初創企業創始人共進晚餐，因為他與Peter Thiel有密切聯繫。在晚餐上，這位男士吹噓説Yudkowsky以他為原型塑造了一個核心《HPMOR》教授。Joseph説，他還辯稱，一個12歲的女孩與成年男性發生性關係是正常的，這種關係是向年輕一代傳授知識的一種高尚方式。然後，她説，他跟着她回家，並堅持留宿。她説他睡在她客廳的地板上，直到早上他離開，她才感到安全。

在極端情況下，五名女性，其中一些要求匿名，因為害怕報復，稱社區的男性對她們進行了性侵犯或不當行為。她們表示，在此後，她們經常不得不應對職業後果以及情感和社交方面的影響。社交圈與舊金山灣區的人工智能行業有很大的重疊，包括創始人、高管、投資者和研究人員。那些向警方或社區調解人員報告性虐待的女性説，她們被貼上麻煩製造者的標籤，並遭到排斥，而男性卻受到保護。

2018年，兩人指控布倫特·迪爾（Brent Dill），一位為CFAR做志願者和工作的理性主義者，虐待了他們，當時他們與他處於關係中。他們當時都是19歲，而他的年齡大約是他們的兩倍。兩位伴侶都表示，他利用藥物和情感操縱來迫使她們參與遠超出她們舒適程度的極端BDSM情景。作為對指控的回應，CFAR委員會傳閲了一份對迪爾早期指控進行的調查摘要，該調查在很大程度上為他開脱。委員會寫道：“他與CFAR的目標和戰略一致，應被視為盟友”，稱他為“一個重要的社區樞紐和推動者”，“體現了一種罕見的主動性和英雄責任感”。（在一片譁然之後，CFAR為其“非常不足”的回應道歉，解散了委員會，並禁止迪爾參加其活動。迪爾沒有回應評論請求。）

Rochelle Shen，一位曾經經營過一個理性主義相關的團體住宅的創業者，聽到社區中一位調解性侵指控的女性用了同樣的辯解。調解員一再告訴Shen要考慮那名男子可能面臨的後果。“你不想毀了他的事業，”Shen回憶道她説。“你要考慮對社區的影響。”

社區中一位不願透露姓名以免受報復的女性表示，她曾遭到一位知名人工智能研究員的性虐待。在她面對他之後，她説，她收到的工作邀約被取消，會議演講機會被撤銷，還被取消了人工智能活動的邀請。她説，社區中的其他人告訴她，有關不當行為的指控損害了人工智能安全的進展，還有人建議她自殺是一種主動選擇。

對於社區內聲稱受到虐待的一些女性來説，最具毀滅性的部分是幻滅。28歲的Angela Pang通過Quora上的帖子瞭解了理性主義者，她記得當她發現一個與她想法相同的社區時所感到的喜悦。她曾試驗素食來減少動物的痛苦，很快就與有效利他主義的優化思想產生了聯繫。她説她曾遭到社區中的某人的侵犯，起初對自己的錯誤承認，但後來否認了。這種改口讓她感到雙重受害。“每個人都相信我，但他們的相信並不足夠，”她説。“你需要那些非常關心虐待問題的人。”Pang在一個暴力家庭長大；她説她曾目睹家人在雜貨店發生家庭暴力事件。旁觀者盯着看，但繼續購物。她説，這讓她感到很相似。

社區中女性所聲稱的虐待行為並不會減弱AI安全的重要性。我們已經知道，當今的單一任務AI可能會扭曲結果，從種族主義的假釋算法到性別歧視的薪酬差異。超級智能AI也必然會反映其創造者的偏見，無論是好是壞。但是，AI稍微更安全的可能性也不會使女性的安全變得不重要。

二十年前，尤德科夫斯基對AI安全的擔憂是邊緣化的。如今，它們背後有數十億美元的支持，而且還在不斷增加——谷歌投資了4億美元在Anthropic公司，但以安全為重點的努力仍然只佔行業投入於不斷發展的AI軍備競賽的一小部分。OpenAI的ChatGPT可以通過法學考試；它的DALL-E可以為您繪製粉色的海豚躍過雲端。微軟正在試點在必應中使用AI搜索。儘管共識觀點是真正有感知能力的AI還有一段距離，但研究和進步的速度正在迅速加快。

困擾該運動的問題變得更加相關，它的罪行也變得更加重要。尤德科夫斯基現在認為OpenAI的商業努力是“幾乎是最糟糕的”道路，這將加速我們的毀滅。在上個月的播客中，他説他幾乎失去了人類能夠被拯救的所有希望。“問題在於召喚惡魔很容易，而召喚天使要困難得多，”他説。

2003年左右，當*《黑客帝國》*續集在影院上映，人工智能末日場景大多被 rel=“noopener”>夜間宿舍談話，波斯特羅姆提出了一個關於人工智能的思想實驗，該人工智能的唯一目標是製造儘可能多的回形針。該人工智能很快意識到，為了最大化其目標，不應該有人類存在：如果人類決定關閉人工智能，那將阻止回形針的製造，而人類體內含有可以製成回形針的原子。他得出結論，該人工智能將被強烈激勵尋找方法來對我們和地球上的一切進行採礦以實現其目標。這種被稱為回形針最大化器的概念，是關於痴迷於特定目標的危險的有力表述。

每個人工智能安全研究人員都知道回形針最大化器。很少有人似乎意識到這種亞文化正在模仿那種狹隘的視野。隨着人工智能變得更加強大，那些痴迷於自我指定任務的人將感到越來越高的風險。已經發生的附帶損害將不重要。他們只會考慮自己的一種回形針：拯救世界。