風暴來臨之前:比爾蓋茨對話“GPT之父”|文化縱橫_風聞
文化纵横-《文化纵横》杂志官方账号-46分钟前
比爾·蓋茨 | 微軟公司創始人
薩姆·奧爾特曼 | OpenAI首席執行官
【導讀】在半個多世紀對人工智能的嘗試和爭論後,今天的人工智能似乎找到一條可行之路。2022年,ChatGTP-3一舉成功,以深度學習技術構建的、規模龐大的神經網絡模型成為全行業追逐的技術路線,人工智能產品如雨後春筍般湧現。作為OpenAI的CEO,薩姆·奧爾特曼去年被OpenAI突然解僱,後在員工要求下很快重返,成為轟動硅谷的事件。而此前不久,比爾·蓋茨在自己的播客中與他作過一次對話,其中既體現了二人之間的思想張力,也不乏洞見。
**例如,奧爾特曼認為,當人工智能可以幫人運營公司、發現新的物理學後,人可以在更高的抽象層次上思考完全不同的事。而蓋茨則更為保守:如果機器人代替人更好地解決各種實際問題,而人只需要娛樂與沉思,這一情形足以成為一個令人困惑的哲學問題。**蓋茨還提出,人類思維的發展一直高度依賴於稀缺性,當人工智能充分滿足這些稀缺性,一代人在沒有這種稀缺的情況下成長,也許會產生難以預料的社會組織形態與價值觀念。
最後,奧爾特曼指出:未來世界只有兩個東西最重要——智能成本和能源成本,而對二者的降低將為人們帶來福祉。這一判斷高度概括了人工智能成為社會核心生產力之後的文明邏輯。總的來説,奧爾特曼更接近於硅谷的“有效加速主義”價值觀,對人工智能持有樂觀信念。而蓋茨站在人文主義的立場上,把許多技術語境下的現實情形構造為懸而未決的哲學命題。在人工智能技術掀起風暴之前,這場計算機行業的老兵與新秀之間的對話,為我們打開了豐富的思考空間。
****本文節選自《我與薩姆·奧爾特曼的對話》,轉自公眾號“比爾蓋茨”,****僅代表作者觀點,供讀者參考。
比爾·蓋茨與薩姆·奧爾特曼的對話
**比爾·蓋茨:**我今天的嘉賓是薩姆·奧爾特曼。當然,他是OpenAI的首席執行官。長期以來,他一直是科技行業的創業者和領導者,包括經營Y Combinator,這家公司做了很多了不起的事情,比如資助Reddit、Dropbox、Airbnb。
在我錄製本期節目不久之後,他被解除了OpenAI首席執行官的職務,這完全驚到了我,至少是短暫的驚訝。解僱後的幾天裏發生了很多事情,包括幾乎所有OpenAI員工聯名支持薩姆迴歸,而現在,薩姆又回來了。我們在對話中不會討論那件事;然而,你會聽到薩姆致力於建立一個安全和負責任的人工智能的承諾。
**比爾·蓋茨:**今天我們將主要關注人工智能,因為它如此令人興奮,人們同時也對它感到擔憂。歡迎,薩姆。
**薩姆·奧爾特曼:**非常感謝你邀請我來參加節目。
**比爾·蓋茨:**我有幸見證了你們工作的進展,但開始的時候我是非常懷疑的,我也沒期待過ChatGPT能做得這麼好。它讓我十分驚訝,我們實際上並不懂這種編碼方式。我們知道數字,我們可以看到它相乘,但如何把莎士比亞的作品編碼?你認為我們能對這種表示有更深的理解嗎?
**薩姆·奧爾特曼:**百分之百可以。要在人腦中做到這一點非常難,你可以説這是一個類似的問題,就是有這些神經元,它們彼此相連。但它們的連接在變化,我們不可能切開你的大腦來觀察它是如何進化的,但我們可以完美地透視。目前在可解釋性(interpretability)**方面已經有一些非常好的工作,而且我認為隨着時間的推移會有更多的解釋出現。我認為我們將能夠理解這些網絡,但我們目前的理解能力還很低。**而正如你所樂見的,我們僅瞭解的那一點點已經對改進這些東西非常有幫助。撇開科學好奇心不談,我們都有動力去真正瞭解它們,儘管它們的規模是如此龐大。我們還可以説,莎士比亞(的作品)在你大腦的哪個位置編碼的,又是如何表現的?
**比爾·蓋茨:**我們不知道。
**薩姆·奧爾特曼:**我們確實不知道,甚至可以説在這些我們本應能夠完美透視、觀察並進行任何測試的大量數字中我們還是找不到答案,這就更讓人缺少滿足感。
**比爾·蓋茨:****我非常確信,在接下來的五年內,我們會理解它。**就訓練效率和準確性而言,這種理解將讓我們做得比今天能做的好得多。
**薩姆·奧爾特曼:**百分之百同意。你會在許多經驗性發現的技術發展史中看到這一點。他們雖然不知道發生了什麼,但顯然它行得通。然後,隨着科學理解的加深,他們可以使它變得更好。
**比爾·蓋茨:**是的,在物理學、生物學中,有時只是隨便一通亂試,然後就“哇”的一聲——這究竟是怎麼實現的?
**薩姆·奧爾特曼:**在我們的案例中,構建GPT-1的那個人自己解決了這個“哇”的問題,這有些令人印象深刻,但並沒有深入理解它是如何工作的,以及為什麼它是有效的。然後我們有了拓展規律,可以預測它會變得多好。這就是為什麼當我們告訴你可以做一個演示時,我們相當有信心它會成功。我們還沒有訓練模型,但我們很有信心。這讓我們做了大量嘗試,對正在發生的事情有了越來越科學的認識。但這確實源於經驗結果先行。
比爾**·蓋茨:**當你展望未來兩年,你認為會有哪些重要的里程碑?
**薩姆·奧爾特曼:**多模態(Multimodality)肯定會很重要。
**比爾·蓋茨:**你指的是語音輸入、語音輸出?
**薩姆·奧爾特曼:****語音輸入、語音輸出,然後是圖像,最終是視頻。**顯然,人們真的需要這些。我們已經推出了圖像和音頻,反響比我們的預期要強烈得多。我們能夠將其推進得更遠,**但也許最重要的進步領域將圍繞推理能力展開。**現在,GPT-4的推理能力還非常有限。還有可靠性,如果你問GPT-4大部分問題10000次,這10000次中可能有一次回答得很好,但它不一定知道是哪一次。而你卻希望每次都能得到這10000次中最好的回答,因此可靠性的提升將非常重要。
**可定製性和個性化也將非常重要。**人們對GPT-4的需求各不相同:不同的風格,不同的假設集,我們將使所有這些成為可能,然後還能讓它使用你自己的數據。它能夠了解你、你的電子郵件、你的日曆、你喜歡的預約方式,並與其他外部數據源連接,所有這些都將是最重要的改進領域。
**比爾·蓋茨:**在目前的基礎算法中,它只是在做簡單的前饋(feed forward)、乘法,所以為了生成每一個新詞,它本質上都在做同樣的事情。我會很感興趣的是,你們能夠像解決複雜的數學方程式那樣,可能需要任意次數的應用變換,那麼用於推理的控制邏輯可能需要比我們今天所做的複雜得多。
**薩姆·奧爾特曼:**至少,我們似乎需要某種形式的自適應計算(adaptive compute)。現在,我們在每個標記上都花費同樣多的計算資源,不管它是一個簡單的標記,還是解決一些複雜的數學問題。
**比爾·蓋茨:**是的,比如説,“解決黎曼假設……”
**薩姆·奧爾特曼:**那需要大量的計算。
**比爾·蓋茨:**但它用的計算資源跟説個“The”一樣。
**薩姆·奧爾特曼:**對,我們至少得讓它能用。我們可能還需要在它之上更復雜的東西。
**比爾·蓋茨:**你和我都參加過一個參議院的教育會議,我很高興有大約30名參議員參加了那次會議,並幫助他們快速跟上進展,因為這是一個重大的變革推動者。我不認為我們為了吸引政客已經做得過多。然而,當他們説,“哦,我們在社交媒體上搞砸了,我們應該做得更好”——這是一個巨大的挑戰,在兩極分化方面有非常負面的因素。即使是現在,我也不確定我們該如何應對。
**薩姆·奧爾特曼:**我不明白為什麼政府在社交媒體方面不能更有效,但這似乎值得作為一個研究案例去理解,因為他們現在將要面臨的是與AI相關的挑戰。
**比爾·蓋茨:**這是一個很好的研究案例,那麼當你談論監管時,你是否清楚該構建哪種類型的監管?
**薩姆·奧爾特曼:**我認為我們開始弄清楚了。在這個領域進行過度監管是非常容易的,你也可以看到過去許多此類事情的發生。但同樣地,如果最後我們是對的,這項技術發展到我們認為它會達到的程度,它將影響社會,影響地緣政治力量的平衡,以及其他許多事物。對於這些仍然是假設性的,但未來極其強大的系統——不是説GPT-4,而是針對計算能力是其10萬倍或100萬倍的系統,**我們已經接受了一個全球監管機構的想法,這個機構將緊盯這些超級強大的系統,因為它們確實會產生如此大的全球影響。我們談到的一個模式就是類似國際原子能機構的模式。**對於核能,我們的決定也是如此。由於其潛在的全球影響,它需要一個全球性的機構,我認為這是合理的。會有很多短期問題,比如這些模式可以説什麼,不可以説什麼?我們如何看待版權問題?不同的國家會有不同的考慮,這沒問題。
**比爾·蓋茨:**有些人認為,如果一些模型非常強大,我們就會對它們感到害怕——全球核監管之所以行之有效,基本上是因為至少在民用方面,每個人都希望共享安全實踐,而且這一點做得非常好。當你涉及核武器方面時,就沒有這種情況了。如果關鍵在於阻止整個世界做危險的事情,你會希望有一個全球政府,但今天對於許多問題,如氣候問題、恐怖主義,可以看到我們很難合作。人們甚至援引中美競爭來解釋為什麼任何放緩的想法都是不恰當的。難道任何放慢腳步的想法,或者説放慢腳步到足夠謹慎的程度,都難以實施嗎?
**薩姆·奧爾特曼:**是的,我認為要求其放慢速度是非常困難的。如果改成“做你想做的事,但任何計算集羣(compute cluster)**都不能超過一個特定的、極高的功率門檻”——鑑於這裏的成本,我們可能只會看到五個這樣的集羣——像這樣的任何集羣都必須接受類似國際武器檢查員的審查。那裏的模型必須接受安全審計,通過訓練期間的一些測試,並在部署前通過審計和測試。對我來説,這似乎是可能的。**我之前不太確定,但今年我進行了一次環球之旅,與需要參與這一計劃的許多國家的元首進行了交談,他們幾乎都表示了支持。這不會讓我們免於所有事情,仍然會有一些問題出現在規模較小的系統上,有些情況可能會出現相當嚴重的錯誤,但我認為這可以幫助我們應對最高層面的風險。
**比爾·蓋茨:**我確實認為,在最好的情況下,人工智能可以幫助我們解決一些難題。包括兩極分化的問題,因為它可能會破壞民主,而那將是一個極其糟糕的事情。現在,我們看到人工智能帶來了很多生產力的提升,這是非常好的事情。你最興奮的領域是哪些?
薩姆·奧爾特曼**:首先,我始終認為值得記住的是,我們正處在這一長期、連續的曲線上。現在,我們有能夠完成任務的人工智能系統。它們當然不能完成一個完整的工作(jobs),但它們可以做些任務**(tasks)**,並且在那裏有生產力的提升。**最終,它們將能夠做更多類似今天人類工作的事情,我們人類當然也會找到新的、更好的工作。**我完全相信,如果你給人們更強大的工具,他們不僅僅可以工作得更快,還可以做一些本質上不同的事情。**現在,我們或許可以將程序員的工作速度提高三倍。這就是我們所看到的,也是我們最興奮的領域之一,它運行得非常好。**但是,如果你能讓程序員的效率提高三倍,那就不僅僅是他們能做的事情多了三倍,而是他們能在更高的抽象層次上、使用更多的腦力去思考完全不同的事情。這就好比從打孔卡到更高級的語言,不僅僅是讓我們的編程速度快了一點,而是讓我們得到了質的提升。**我們確實看到了這一點。
當我們看向這些能夠完成更完整任務的下一代人工智能時,你可以將它想象成一個小代理,你可以對它説:“幫我寫這整個程序,我會在過程中問你幾個問題,但它不僅僅是一次只寫幾個函數”,這樣就會有很多新生事物出現。然後,它還能做更復雜的事情。有一天,也許會有一個人工智能,你可以對它説:“幫我建立並運營這家公司”。然後有一天,也許會有一個人工智能,你可以對它説:“去發現新的物理學”。我們現在看到的東西既令人興奮又美妙,但我認為把它放在這項技術的背景下是值得的,至少在未來的五年或十年內,這項技術將處於一個非常陡峭的成長曲線上。現有這些模型都將變成最愚蠢的模型。
編程可能是我們今天感到最興奮的一個提高生產力的領域。目前,它已經被大規模部署和使用。醫療保健和教育也是另外兩個我們非常期待的快速發展的領域。
**比爾·蓋茨:**有點令人生畏的是,與以往的技術改進不同,這項技術的改進速度非常快,而且沒有上限。它可以在很多工作領域達到人類的水平,即使做不出獨特的科學研究,它也可以打客服電話和銷售電話。我想你和我確實有一些擔憂,儘管這是一件好事,但它將迫使我們比以往任何時候都要更快地適應。
**薩姆·奧爾特曼:**這才是可怕的地方。這並不是説我們必須適應,並不是説人類沒有超強的適應能力。我們已經經歷過這些大規模的技術變革,人們所從事的大量工作可能在幾代人的時間裏發生變化,而在幾代人的時間裏,我們似乎可以很好地吸收這些變化。**在過去那些偉大的技術革命中,我們已經看到了這一點。每一次技術革命都會變得更快,而這次將是迄今為止最快的一次。**這就是我覺得有點可怕的地方,我們的社會需要以何種速度去適應它的發展,以及勞動力市場將發生的變化。
**比爾·蓋茨:**人工智能的一個方面是機器人技術(robotics),或者説藍領工作,當你得到具有人類水平能力的手和腳時。ChatGPT令人難以置信的突破是讓我們開始關注白領工作,這完全沒問題,但我擔心人們會失去對藍領工作的關注。你如何看待機器人技術?
**薩姆·奧爾特曼:**我對此非常興奮。我們太早開始研究機器人了,所以不得不擱置那個項目。它也因為錯誤的原因而變得困難,無助於我們在機器學習研究的困難部分取得進展。我們一直在處理糟糕的模擬器和肌腱斷裂之類的問題。**隨着時間的推移,我們也越來越意識到,我們首先需要的是智能和認知,然後才能想辦法讓它適應物理特性。**從我們構建這些語言模型的方式來看,從那開始更容易。但我們一直計劃回到這個問題上來。
我們已經開始對一些機器人公司進行投資。在物理硬件方面,我終於第一次看到了真正令人興奮的新平台被建立起來。到時候,我們就能利用我們的模型,就像你剛才説的,利用它們的語言理解能力和未來的視頻理解能力,説:“好吧,讓我們用機器人做一些了不起的事情吧。”
**比爾·蓋茨:**如果那些已經把腿部做得很好的硬件人員真的把手臂、手掌和手指做出來,然後我們再把它們組合起來,而且價格也不會貴得離譜,那麼這將會迅速改變很多藍領類工作的就業市場。
**薩姆·奧爾特曼:**是的。當然,如果我們回溯七到十年,共識性的預測是其影響的首先是藍領工作,其次是白領工作,創造力可能永遠不會,起碼是最後一個,因為那是魔法和人類的強項。
**顯然,現在的情況正好相反。**我認為這其中有很多有趣的原因能夠解釋它為什麼會發生。創造性工作,GPT模型的幻覺是一個特性,而不是缺陷,它能讓你發現一些新事物。而如果你要讓機器人移動重型機械,你最好能做到非常精確。我認為這只是一個你必須跟隨技術發展的案例。你可能有一些先入為主的觀念,但有時科學並不往那個方向發展。
**比爾·蓋茨:**現在,對我來説,如果你真的藉助人工智能達到了令人難以置信的能力,AGI(通用人工智能),AGI+(超級通用人工智能),我擔心的有三件事:一是壞人控制了系統,如果我們有好人擁有同樣強大的系統,這有希望能最小化那個問題;二是系統控制一切的可能性,出於某些原因,我不太擔心這個問題,但我很高興其他人關注這個問題;最讓我感到困惑的是人類的目的,我對這點感到非常興奮,我很擅長研究瘧疾和根除瘧疾,也很擅長召集聰明人併為此投入資源。當機器人對我説:“比爾,去打匹克球(pickleball)**吧,我能根除瘧疾。你只是個思維遲鈍的人。”那時它就是一個哲學上令人困惑的事情。**我們如何組織社會?是的,我們要改善教育,但教育要做什麼,如果你走向極端,我們仍然有很大的不確定性。第一次,這種情況可能在未來20年內發生的機會不為零。
**薩姆·奧爾特曼:**從事技術工作有很多心理上的困難,但你説的這些對我來説是最困難的,因為我也從中獲得了很多滿足感。
**比爾·蓋茨:**你確實帶來了價值。
**薩姆·奧爾特曼:**從某種意義上來説,這可能是我做的最後一件難事。
**比爾·蓋茨:****我們的思維如此依賴於稀缺性,教師、醫生和好的想法的稀缺,部分原因是,我確實在想,如果一代人在沒有這種稀缺的情況下成長,他們會對如何組織社會以及要做什麼這個哲學概念會產生什麼看法,**也許他們會想出一個解決方案。我擔心我的思維如此受到稀缺性的影響,以至於我甚至很難思考這個問題。
**薩姆·奧爾特曼:這也是我告訴自己的,而且我真心相信,雖然我們在某種意義上放棄了一些東西,但我們將會擁有比我們人類更聰明的東西。如果我們能進入這個“後稀缺”世界,我們將會找到新的事情去做。它們會感覺非常不同。也許你不是在解決瘧疾問題,而是在決定你喜歡哪個星系,以及你打算如何處理它。我相信我們永遠不會缺少問題,不會缺少獲得滿足感和為彼此做事的方式,不會缺少對我們如何為其他人玩人類遊戲的方式的理解(understand how we play our human games for other humans),這將仍然非常重要。這肯定會有所不同,但我認為唯一的出路就是走下去。我們必須去做這件事,它必將會發生,且現在已經是一個不可阻擋的技術進程,**因為其價值太大了。我非常非常有信心,我們會成功的,但那確實會很不一樣。
**比爾·蓋茨:**將這項技術應用於某些當前問題,比如為孩子們提供家教,幫助激發他們的動力,或發現治療阿爾茨海默症的藥物,我認為如何做是非常清楚的。無論人工智能能否幫助我們減少戰爭,減少分化。你會認為隨着智能的提升,不分化是常識,不發動戰爭也是常識,但我確實認為很多人會持懷疑態度。我很願意讓人們致力於解決最困難的人類問題,比如我們是否能和睦相處。如果我們認為人工智能可以幫助人類更好地相處,我認為那將是非常積極的。
**薩姆·奧爾特曼:**我相信它會在這方面給我們帶來意外的驚喜。這項技術會讓我們驚訝於它能做的事情有多麼多。我們還得拭目以待,但我非常樂觀。我同意你的看法,這將是非常大的貢獻。
**比爾·蓋茨:**就公平性而言,技術通常很昂貴,比如個人電腦或互聯網連接,而降低成本需要時間。我想,運行這些人工智能系統的成本看起來很不錯,每次評估的成本會降低很多嗎?
**薩姆·奧爾特曼:**它已經降低了很多。GPT-3是我們推出時間最長、優化最久的模型,在它推出的三年多時間裏,我們已經將成本降低了40倍。對於三年的時間來説,這是一個很好的開始。至於GPT-3.5版,我敢打賭,目前我們已經將其成本降低了近10倍。GPT-4是新產品,所以我們還沒有那麼多時間來降低成本,但我們會繼續。**我認為,在我所知道的所有技術中,我們的成本下降曲線是最陡峭的,優於摩爾定律。**這不僅是因為我們想出瞭如何讓模型更高效的方法,還因為我們對研究有了更好的理解,我們可以在更小的模型中獲得更多的知識和能力。我認為,我們將把智能的成本降低到接近於零的程度,這對社會來説將是一個改頭換面的轉變。
**現在,我的世界基本模型由智能成本和能源成本組成。**這是影響生活質量的兩個最大因素,尤其是對窮人而言,但總體來看也是如此。**如果你能同時降低這兩方面的成本,你能擁有的東西就會更多,你能為人們帶來的改善就會更大。**我們正走在一條曲線上,至少在智能方面,我們將真正實現這一承諾。