AI觀察｜OpenAI CEO：對AI的監管應該建立類似原子能機構_風聞

走出去智庫觀察

在經歷數輪關於AI監管的對談和磋商後，最近很少發聲的OpenAI首席執行官Sam Altman於5月9日接受了新訪談。

此次對談的另一人是Stripe首席執行官Patrick Collison，其21歲時創辦了在線支付Stripe公司，2022年以95億美元財富位列“福布斯全球富豪榜”第214位。

走出去智庫（CGGT）觀察到，通過此次訪談，Sam對大語言模型和AI的未來、監管的方式、競爭對手和中國AI發展，以及AI領域的創投機會都表達了更成熟、更系統化的思考。

今天，走出去智庫（CGGT）刊發此次訪談的內容（略有刪減）****，供關注AI發展和監管的讀者參閲。

要 點

CGGT，CHINA GOING GLOBAL THINKTANK

1、在AI的發展中，我們正在進入一個新階段，在某些領域需要大量聰明的專家給出反饋，以使模型變得儘可能智能。這可能會引發一輪的RLHF人才爭奪戰。大模型的數據缺口可以通過合成數據彌補，簡單地通過互聯網數據把Transformer擴展起來的方法會失效。

2、AI監管應該建立起類似原子能機構這樣保證核不擴散的國際組織，根據硬件和能源使用情況監控所有AI公司，所有超過能力閾值的系統都需要接受審核。

3、後續AI行業會產生分化，開源AI負責產出商業化產品和應用創新，閉源AI負責建構超級智能，以解決前沿的科學研究問題。商業化AI方面最有前景的領域是AI投資決策技術和AI自動化辦公輔助。

4、Google是很有力的競爭對手，中國在AI領域可見到的成功太少，透明度較低。

正 文

CGGT，CHINA GOING GLOBAL THINKTANK

Patrick：我猜幾乎所有在場的人都是ChatGPT的用户。你（Sam）最常用的ChatGPT是什麼樣的，就是你在不測試AI的時候，你真的想要用的時候，ChatGPT完全是你的工具嗎？

Sam：ChatGPT無疑是彙總文摘。如果沒有它，我已經不知道怎麼繼續工作。我可能無法處理電子郵件和Slack（一種基於雲端運算的即時通訊軟件）。希望能隨着時間的推移，我們為這個場景構建一些更好的插件；但即使是手動操作也效果相當好。

**Patrick：**有沒有任何插件成為你的工作流程的一部分？

**Sam：**我偶爾在代碼解釋器中瀏覽。但説實話，對我個人來説，它們還沒有真正像是日常習慣的一部分。

AI監管：建立AI國際化監管機構，所有超過能力閾值的系統都需要接受審核

**Patrick：**核武器的秘密應該被機密處理嗎？

**Sam：**我認為當今世界之所以能夠避免核災難，並不完全是因為把秘密做了機密處理，而是人們做了一些更聰明的事情。這些事情所需要的力量是巨大的，基本上需要國家的參與。建立國際原子能機構是一個好決定，包括其他一些方面。因此，機密化核武器的秘密可能會有所幫助，但我不認為這（機密化處理）會是一個完全的解決方案。

**Patrick：**現在AI安全問題已經成為關注重點，我們應該從核不擴散的經驗中吸取什麼最重要的教訓？

Sam：首先，我認為過分借鑑以前的教訓是一個錯誤，因為每種技術形式都是不同的。我認為核材料和AI超級計算有一些相似之處，這是可以借鑑和獲得啓示的方面，但我會提醒人們不要過度學習上一件事的教訓。我認為，可以建立一個類似於國際原子能機構的AI機構，讓每個人都參與到對極其強大的AI訓練系統的全球監管機構中來，這是一個非常重要的事情。這就是我們可以學到的一個教訓。

**Patrick：**如果它被建立了，明天就存在了，那麼它應該首先做什麼呢？

**Sam：**任何超過設定閾值的系統——實現這個最容易的方法是計算閾值（最好的方法是能力閾值，但這更難以衡量）——我認為都應該接受審核。應該讓該機構有完全的可視化權限，要求在發佈系統之前通過某些安全評估，這是第一件事。

**Patrick：**有些人可能會認為，不知道該如何描述這種情況，也有更好戰的一方可能會認為，這件事情中國不會這麼做。因此，我們只會束縛自己，因此這件好事情無法實施。

**Sam：**有很多人對中國會或不會做什麼發表了非常強硬的言論，但他們從未去過中國，也從未與曾經和中國進行過外交工作的人交談過，他們對複雜的高風險國際關係幾乎一無所知。我認為這顯然非常困難，但我認為沒有人想要摧毀整個世界，所以至少有理由嘗試一下。

我認為其中有一些不同的事情，這就是為什麼從過去任何一種技術類比中學習都是危險的。

這些不同的事情，包括能源跟蹤和能源數量，但製造最有能力的GPU的人並不多，你可以要求他們都安裝一種監測設備，如果其正在與超過10，000個其他GPU進行通信，那麼就必須接受監管。

無論如何，我們都有選擇的餘地。

後續的AI發展：開源的經濟應用和閉源模型的超級智能探索並行

**Patrick：**今年最大的驚喜就是開源模型的進步，特別是最近60天左右的瘋狂進步。你認為一年後開源模型會有多好？

**Sam：**我認為將會有兩個發展方向：一是超級規模化的最佳閉源模型，二是開源社區的進步。雖然開源社區可能會落後幾年或多年，但我認為我們將會生活在一個有着非常強大的開源模型的世界，人們會用它們來做各種各樣的事情，整個社區的創造力將會讓我們所有人感到驚訝。

然後，那些擁有巨大集羣的人做前沿研究，雖然將會非常遙遠。我認為這是好事，因為我們有更多的時間去解決一些更恐怖的事情。

**Patrick：**David Luan（前OpenAI副總裁）向我闡述，理論上好的模型可能足以完成大部分有價值的經濟活動。因此，超大模型可以在科學研究方面做一些事情，比如推動AI的進步，但是對於大多數的實用日常案例，可能一個開源模型就足夠。你認為未來會是怎樣的？

**Sam：**對於許多經濟活動來説，較小的開源模型將足夠使用。但是幫助我們發明超級智能，那是非常有價值的活動，就像治癒所有的癌症或發現新的物理規律等等，這些都將由超大模型來實現。

**Patrick：**Facebook現在應該開源Llama嗎？

**Sam：**現在這個點上，可能應該。

**Patrick：**他們應該採用開源的基礎模型/語言模型，還是隻是特別的Llama呢？

**Sam：**我認為Facebook的AI策略在最初的情況下只能説是混亂的，但我認為他們現在開始非常認真，並且他們有非常有才能的人，我預計他們很快就會有更連貫的策略，他們將會是一個令人驚訝的新的真正玩家。

AI的安全性：大家都在指責AI不安全，但沒人給出解決方法

**Patrick：**有沒有什麼新的發現可能會顯著改變你對AI災難性結果的可能性估計，無論是提高還是降低它？

**Sam：**是的，我認為有很多，我認為從現在到超級智能之間的大部分新工作都會使這個概率上升或下降。

Patrick：那麼，你特別關注什麼？有什麼你特別想知道的事情嗎？

Sam：首先，我不認為強化學習人工智能（RLHF）是正確的長期解決方案。我不認為我們可以依賴它。我認為它是有幫助的，當然它使這些模型更容易使用。但你真正想要的是理解模型內部的運作情況，並能夠使之更可靠，比如説，精確地知道哪個電路或人工神經元集合在發生什麼，並能夠以一種能夠給模型性能帶來穩定改變的方式調整它。

還有很多超越這個的研究，但如果我們能讓這個方向可靠地工作，我認為每個人的災難概率（P Doom）都會大幅降低。

Patrick：你認為有足夠的可解釋性工作正在進行嗎？

Sam：沒有。

Patrick：為什麼不呢？

Sam：你知道，很多人都説他們非常擔憂AI的安全，所以這在表面上看起來很奇怪。

大部分聲稱真的很擔心AI安全的人，似乎只是在推特上花時間説他們真的很擔心AI的安全，或者做很多其他的事情。

有一些人非常擔心AI的安全，並且正在做出很好的技術工作。我們需要更多這樣的人，我們也在OpenAI內部投入更多的努力，讓更多的技術人員去研究這個問題。

但是，世界需要的不是更多在Twitter上發帖寫長篇大論的AI安全人員，而是更多願意做技術工作，使這些系統安全且可靠的人。我認為這些事情正在發生，包括優秀的機器學習研究者轉變焦點，以及新人進入這個領域。

Patrick：參加這次談話的很多人都是活躍的慈善家，他們中的大多數人在Twitter上發佈的內容不是很多，聽到這個交流他們可能會資助可解釋性領域的一些事情。如果他們有這種想法，下一步應該做什麼？

Sam：我認為還沒有做出足夠嘗試的一個策略是，給個人或小團體提供資助。這些人非常技術性，並且想要推動技術解決方案，也許他們正在讀研究生或者剛畢業，或者正在讀本科。我認為嘗試這個是非常值得的，他們需要訪問到非常強大的模型，OpenAI正在嘗試開展一些項目來支持獨立的研究者，但我認為給這些人提供財務支持是非常好的一步。

Patrick：此外，你認為這個領域在多大程度上受技能瓶頸的限制？也就是説，有些人可能具備所需的內在特性，但可能沒有所需的四年或者更長時間的學習經歷，這對他們的有效性也產生了影響。

Sam：我認為，如果有一個聰明的人，他已經學會了如何做好研究，並且具有正確的心態，那麼只需要大約六個月的時間就能讓他從一個聰明的物理研究者變成一個有成果的AI研究者。現在我們在這個領域還沒有足夠的人才，但是人才很快就會到來。我們在OpenAI有一個項目，就是做這個的，我對它的效果感到驚訝。

OpenAI的未來：平台+頂級應用

Patrick：對於OpenAI來説，顯然你們想成為一家卓越的研究機構。但是關於商業化，是成為一家消費者公司更重要還是成為一家基礎設施公司更重要？

Sam：作為一項商業策略，我是支持平台+頂級應用。

我認為這個模式在很多企業中都取得了成功，原因是充分的。我們開發的消費者產品有助於改進我們的平台。我希望隨着時間的推移，我們能夠找到方法，讓平台也能夠改進消費者應用。我認為這是一個良性循環。

正如你指出的，我們的目標是成為世界上最優秀的研究機構，這對我們來説比任何產品化更重要。我們建立這樣一個組織，能夠不斷取得突破性的進展，雖然並非所有嘗試都會成功，我們走過了一些彎路，但我們已經找到了比其他人更多的範式轉變，並且我們將實現下一個重大突破，這是我們努力的重點。

Patrick：你對OpenAI最引以為豪的突破是哪個？

Sam：整個GPT範式，我認為那是具有變革性和對世界有重要貢獻的，它源於OpenAI擅長結合多種方式的工作。

競爭對手和中國：Google最近很專注，中國的成果不明確

Patrick：明天將召開Google I/O開發者大會，如果你是Google的CEO，你會怎麼做？

Sam：我認為Google做得很好，他們最近非常專注，真的在努力尋找如何重新打造公司來適應這項新技術，我對他們的表現印象深刻。

這些模型和能力是否真的對搜索構成威脅，還是隻是一種表面上的反應，或過於倉促？我認為它們可能會以某種重大方式改變搜索，但並不威脅搜索的存在。所以，如果Google什麼都不做，那將真正對Google構成威脅，但顯然Google不會無所作為。

Patrick：中國的機器學習研究有多重要？

Sam：我很想知道這個問題的答案：中國的機器學習研究對我們而言有多重要，我們能夠看到多少成果。

Patrick：不太多，你説對了，從已發表的文獻中瞭解的並不多。

Sam：但也不是完全沒有。

Patrick：你是否瞭解原因。因為中國研究人員發表論文數量非常大，也有很多在美國進行出色工作的中國研究人員，那麼為什麼中國的研究論文在單篇論文影響力方面相對較低？

Sam：我猜測，很多人懷疑的是他們沒有發表最重要的研究成果。

Patrick：你認為這可能是真的嗎？

Sam：對於這個問題，我對自己的直覺不太確定，我感到困惑。

對AI未來應用的暢想：更多取代日常工作，產生出獨立的優於人的判斷

Patrick：你更希望OpenAI能夠實現訓練效率的10倍提升，還是推理效率的10倍提升？

Sam：這是一個好問題，將取決於合成數據的重要性。必須選擇的話，我會選擇推理效率。但我認為正確的衡量指標是考慮所有用於模型訓練和推理的計算量，然後進行優化。

Patrick：你提到的推理效率可能是該方程式中占主導地位的項。

推出GPT-2時，只有少數人注意到並真正理解其意義。關於突破的重要性，現在是否正在發生類似的GPT-2時刻？

Sam：我們正在做很多工作，我認為其中一些工作將成為類似GPT-2的重要時刻，如果它們能夠結合在一起。但目前還沒有什麼發佈，我可以有很高的信心説這是2023年的GPT-2，我希望到今年年底或明年會有所改變。

Patrick：什麼是你使用的最好的非OpenAI的AI產品？

Sam：坦率地説，我想不出其他什麼產品。我對世界的瞭解比較狹窄，但ChatGPT是我每天使用的唯一AI產品。

Patrick：有沒有你希望存在的AI產品，你認為我們當前的能力或即將實現的能力使得這種產品成為可能，你期待着它的出現？

Sam：我希望有一種像“副駕駛”一樣的產品，可以控制我的整個電腦。它可以查看我的Slack、電子郵件、Zoom、iMessage以及龐大的待辦事項和文檔，並且在很大程度上完成我的工作。

Patrick：一種類似Siri Plus的產品。

另外，你提到了治療癌症，這些技術顯而易見的應用有哪些，你認為我們已經或即將具備的能力，但目前人們並沒有看到人們明顯追求的應用？

Sam：有一個無聊的答案和一個令人興奮的答案。

無聊的答案是，如果你能夠開發出非常好的工具，如我上面剛提到的那個應用，並且將每個科學家的工作速度提高三倍、五倍甚至十倍，那麼科學發現的速度可能會大大增加，即使它並非直接從事科學研究。

更令人興奮的是，我認為類似的系統可以開始閲讀所有的文獻，產生新的想法，在模擬中進行一些有限的測試，然後給科學家發送電子郵件，説：“嘿，你能幫我在實驗室中運行這個嗎？”這樣可能會取得真正的進展。

Patrick：我不知道這裏的本體論如何工作，但你可以想象構建更好的通用模型，類似於人類，它可以閲讀大量的文獻，可能比人類更聰明、記憶更好，然後你可以想象基於某些數據集訓練的模型，它們在某個特定領域做一些完全不同於人類的工作，例如將CRISPR映射到編輯精確度之類的事情。這真的是一種特殊用途的模型，在特定領域做一些與人類完全不同的事情。

你認為對這些模型來説，最有用的應用是屬於第一類，即創造更好的人類，還是屬於第二類，即為目前不易處理的問題域創建這些預測性的架構？

Sam：我真的不知道。在大多數領域，我都願意給出一些粗略的觀點，但在這個領域，我對科學過程和偉大科學家是如何工作的沒有足夠深入的瞭解，無法説出我的觀點。我覺得，如果我們能夠有一天找到如何構建出真正擅長推理的模型，那麼它們應該能夠自己做出一些科學上的飛躍，但這需要更多的工作。

對監管的態度：過度官僚化監管可能會拖慢創新速度和意願

Patrick：基於你的經驗，你如何看待所有這些AI安全問題？你認為合成生物學應該如何被監管？

Sam：我希望不再有另一種合成病原體導致全球大流行。

我想我們都同意這不是一次好的經歷（指新冠肺炎疫情），雖然與可能發生的情況相比，這還不算太糟糕，但我對沒有更多的全球協調行動感到驚訝，我認為應該有更多的協調行動。

Patrick：那麼我們實際上該怎麼做呢？因為我認為與人工智能一樣，同樣的挑戰也適用於合成生物學。我認為這是一種生產裝置，合成病原體的生產裝置並不一定那麼大，因此觀測和遙測是困難的。

Sam：我認為這個問題比AI的挑戰要複雜得多，我們確實有一些這樣的特徵，比如巨大的能力和大量的圖形處理器。我沒有過多地思考這個問題，我會問你我們應該怎麼做。我想如果有人告訴我這是個問題，我們應該怎麼做，我會打電話給你，所以我們應該怎麼做呢？

Patrick：我不知道是否有一個現成的解決方案。我想説的是，我不確定這有多大的幫助，我們需要更多的一般性、可觀察性，例如廢水測序等等，無論如何都應該這樣做，但這並不能幫助我們防止合成生物學的攻擊，沒有一個巨大的關聯數據集，比如人們所感染的病原體，以及隨後的縱向健康結果，這就是一個普遍的瘋狂事實。

Sam：我認為，提高我們的快速響應、治療和接種能力是一件明顯需要做的事情，我希望現在能有更多的進步。

Patrick：我非常同意這一點，臨牀試驗是限制我們應對新冠病毒的一步。我認為這已經被廣泛地報道和評論了，我們在最初就有了疫苗候選品，之後發生的一些事情顯然是生產的擴大，但大部分的時間都是在驗證疫苗的效果和安全性。我認為這是整個生物醫學領域裏最容易採取的方法。

目前，埃茲拉·克萊恩和德里克·湯普森正在寫一本書，他們認為，很多左翼的觀念，是關於自我剋制、某種新清教主義的理念。為了實現我們所關心的價值，我們需要更多的創造。他們指出，**許多各種各樣的出於善意的但卻是自我設限的禁止，阻礙了這一創造過程的實現。**從你所參與的各種事情來看，你認為自我設限和限制對實際創新進展的影響有多大？

Sam：當然，我們需要更多的豐富性。我個人認為，豐富的能源和豐富的智能將是兩個非常重要的因素，但也有許多其他的因素。當我們開始能夠為世界提供大量的聚變能源時，但要理解實現這些目標的過程有多麼痛苦，至少可以説是令人沮喪。這迫使我們開始考慮可以儘快做的各種奇怪的事情，而不是等待所有的許可過程，才將這些能源連接到電網上。在某個國家進行海水淡化，只需要他們的核能機構或其他機構的許可，這比連接到電網要容易得多。

這是一個真正的問題，我認為社會對解決這個問題的意願並不強烈，這使得問題變得更糟。

最後，我們對這個問題投入的努力，每一個額外的障礙都會使這些創新更不可能發生。所以存在這樣的情況，創辦一家新公司真的很難，説服人們這是一件好事也很難，特別是現在，人們對此持懷疑態度。然後還有監管問題，需要很多時間應對，導致你甚至不會嘗試去做，因此從想法到世界上大規模部署採用的過程中，每一個階段都有太多的阻力和疑慮。我認為這使得人們嘗試的次數比以前少，或者信念比以前少。

來源：Web3天空之城

（作者：城主 | 編輯：騰訊新聞 郝博陽）

免責聲明

本文僅代表原作者觀點，不代表走出去智庫立場。