OpenAI、谷歌和Anthropic正在努力構建更先進的人工智能 - 彭博社

ChatGPT虛擬助手的標誌。

攝影師：安德烈·魯達科夫/彭博社OpenAI正處於一個里程碑的邊緣。這家初創公司在九月份完成了一輪針對一個巨大的新人工智能模型的初步訓練，他們希望這個模型能夠顯著超越之前版本的技術，並更接近於其超越人類的強大人工智能目標。

但是，這個在內部被稱為“獵户座”的模型並沒有達到公司的期望表現，根據兩位熟悉此事的人士透露，他們在討論公司事務時要求匿名。例如，截至夏末，獵户座在嘗試回答未經過訓練的編碼問題時表現不佳，這些人表示。總體而言，獵户座目前並不被認為是OpenAI現有模型的重大進步，GPT-4與GPT-3.5之間的差距也不大，後者是最初驅動公司旗艦聊天機器人的系統。

OpenAI並不是唯一最近遇到障礙的公司。在經歷了數年以驚人的速度推出越來越複雜的人工智能產品後，三家領先的人工智能公司現在在構建新模型的昂貴努力中看到回報減少。根據三位知情人士的説法，谷歌即將推出的Gemini軟件版本未能達到內部預期。與此同時，Anthropic的長期期待的Claude模型的發佈時間表也出現了延遲，名為3.5 Opus。

這些公司面臨着幾個挑戰。尋找新的、未開發的高質量人造訓練數據源變得越來越困難，這些數據可以用來構建更先進的人工智能系統。兩位人士表示，Orion的不理想編碼表現部分是由於缺乏足夠的編碼數據進行訓練。同時，即使是適度的改進也可能不足以證明構建和運營新模型所需的巨大成本是合理的，或者能夠滿足將產品品牌化為重大升級所帶來的期望。

有很多潛力可以使這些模型變得更好。根據其中一位人士的説法，OpenAI已經讓Orion經歷了一個持續數月的過程，通常被稱為後訓練。這個程序是在公司公開發布新的人工智能軟件之前的常規步驟，包括納入人類反饋以改善響應，並細化模型與用户互動的語氣等。但Orion仍未達到OpenAI希望的水平，以便向用户發佈，而該公司不太可能在明年初之前推出該系統，一位人士表示。

這些問題挑戰了近年來在硅谷盛行的信條，特別是在OpenAI發佈ChatGPT兩年前。科技行業的許多人押注於所謂的規模法則，認為更多的計算能力、數據和更大的模型將不可避免地為人工智能的更大飛躍鋪平道路。最近的挫折也引發了對人工智能重投資的懷疑，以及這些公司積極追求的一個總體目標的可行性：人工通用智能。這個術語通常指的是假設的人工智能系統，這些系統在許多智力任務上能夠匹配或超越人類。OpenAI和Anthropic的首席執行官之前曾表示，AGI可能只需幾年時間。

“AGI泡沫正在稍微破裂，”AI初創公司Hugging Face的首席倫理科學家瑪格麗特·米切爾説。她表示，“不同的訓練方法”可能是讓AI模型在各種任務上真正有效所需的——這一觀點得到了多位人工智能專家對彭博新聞的呼應。

Hugging Face的首席倫理科學家瑪格麗特·米切爾表示“AGI泡沫正在破裂。”攝影師：Chona Kasinger/Bloomberg在一份聲明中，谷歌DeepMind的發言人表示，公司對Gemini的進展“感到滿意，我們會在準備好時分享更多信息。”OpenAI拒絕發表評論。Anthropic拒絕發表評論，但將彭博新聞引導至週一發佈的首席執行官達里奧·阿莫代伊的五小時播客。

“人們稱之為擴展法則。這是一個誤稱，”他在播客中説。“它們不是宇宙法則。它們是經驗規律。我會押注於它們的持續，但我對此並不確定。”

阿莫代伊表示，在未來幾年內，有“很多事情”可能會“ derail”實現更強大AI的過程，包括“我們可能會數據耗盡”的可能性。但阿莫代伊表示，他對AI公司能夠克服任何障礙持樂觀態度。

性能停滯

支撐ChatGPT和一波競爭AI聊天機器人的技術是建立在大量社交媒體帖子、在線評論、書籍和其他從網絡上自由抓取的數據之上的。這足以創造出能夠輸出聰明的論文和詩歌的產品，但構建比諾貝爾獎得主更聰明的AI系統——正如一些公司希望做到的——可能需要除維基百科帖子和YouTube字幕之外的數據來源。

OpenAI，特別是，已經與出版商簽署協議，以滿足對高質量數據的需求，並適應來自出版商和藝術家對用於構建生成性人工智能產品的數據日益增長的法律壓力。一些科技公司也在招聘具有研究生學位的人，以標記與他們自己專業相關的數據，例如數學和編碼。目標是使這些系統在回應特定主題的查詢時表現得更好。閲讀更多：瞭解你的AGI與GPT的區別？人工智能詞彙表

這些努力的進展比簡單地抓取網絡要慢且成本更高。科技公司也在轉向合成數據，例如計算機生成的圖像或文本，旨在模仿真實人類創作的內容。但在這裏也存在限制。“這與數量關係不大，而是與數據的質量和多樣性有關，”新企業協會的人工智能戰略負責人Lila Tretikov説，她曾是微軟的副首席技術官。“我們可以合成生成數量，但在沒有人類指導的情況下，尤其是在語言方面，我們很難獲得獨特的高質量數據集。”

關鍵模型發佈的日期

來源：彭博社

儘管如此，人工智能公司仍在追求更多即更好的策略。在他們努力構建接近人類智能水平的產品的過程中，科技公司正在增加用於訓練新模型的計算能力、數據和時間——並在此過程中推高成本。Amodei表示，今年公司將花費1億美元來訓練一個前沿模型，而這個數字將在未來幾年 達到1000億美元。

隨着成本上升，每個正在開發的新模型的風險和期望也隨之增加。馬薩諸塞州沃爾瑟姆的本特利大學數學副教授諾亞·吉安西拉庫薩表示，人工智能模型將不斷改進，但這種改進的速度是值得懷疑的。

“我們曾對短暫的快速進展感到非常興奮，”他説。“這根本無法持續。”

硅谷的難題

這個難題在最近幾個月在硅谷變得更加明顯。今年三月，Anthropic發佈了一組三個新模型，並表示最強大的選項Claude Opus在關鍵基準測試中超越了OpenAI的GPT-4和谷歌的Gemini系統，例如研究生級別的推理和編碼。

在接下來的幾個月裏，Anthropic對另外兩個Claude模型進行了更新——但沒有對Opus進行更新。“那是大家都很興奮的一個，”獨立人工智能研究員西蒙·威利森説。到十月，威利森和其他行業觀察者注意到與3.5 Opus相關的措辭，包括指示其將在“今年晚些時候”到來和“即將推出”的信息，從一些 頁面上被刪除了。

根據兩位熟悉此事的人士的説法，Anthropic與其競爭對手一樣，在幕後面臨開發3.5 Opus的挑戰。經過訓練，Anthropic發現3.5 Opus在評估中的表現優於舊版本，但並沒有達到應有的水平，考慮到模型的大小以及構建和運行的成本，其中一位人士表示。

一位Anthropic發言人表示，關於Opus的語言已從網站上刪除，這是出於只展示可用和經過基準測試模型的市場決策。被問及Opus 3.5是否仍會在今年發佈時，發言人指向了Amodei的播客言論。在採訪中，首席執行官表示Anthropic仍計劃發佈該模型，但多次拒絕承諾時間表。

Anthropic首席執行官Dario Amodei表示，在未來幾年內，有“很多事情”可能會“ derail”實現更強大AI的進程。“我們可能會耗盡數據，”他説。攝影師：Benjamin Girette/Bloomberg科技公司也開始考慮是否繼續提供他們的舊AI模型，也許會進行一些額外的改進，或者承擔支持昂貴的新版本的成本，而這些新版本的表現可能並沒有太大改善。

谷歌已發佈其旗艦AI模型Gemini的更新，以使其更有用，包括恢復生成人物圖像的能力，但在基礎模型的質量上幾乎沒有引入重大突破。與此同時，OpenAI則專注於今年的一些相對漸進的更新，例如新的語音助手功能，使用户能夠與ChatGPT進行更流暢的口語對話。

最近，OpenAI推出了一個名為o1的模型的預覽版本，該模型在回應查詢之前花費額外時間計算答案，這一過程公司稱之為推理。谷歌正在研究類似的方法，目標是處理更復雜的查詢，並隨着時間的推移產生更好的響應。

科技公司在將過多珍貴的計算資源用於開發和運行可能並沒有顯著改善的大型模型時，也面臨着重要的權衡。

“所有這些模型變得相當複雜，我們無法像希望的那樣並行發佈這麼多東西，”OpenAI首席執行官山姆·阿爾特曼在最近的問我任何事會議上回應一個問題時寫道。關於如何決定如何使用其可用的計算能力，他表示，ChatGPT的製造商面臨着“許多限制和艱難的決定”。

阿爾特曼表示，OpenAI將在今年晚些時候推出一些“非常好的版本”，但該列表不會包括GPT-5——許多AI行業人士預計該公司會在GPT-4之後使用這個名稱，而GPT-4是在18個月前推出的。

與谷歌和Anthropic一樣，OpenAI現在將注意力從這些模型的規模轉向更新的用例，包括一類名為代理的AI工具，可以代表用户預訂航班或發送電子郵件。“我們將擁有越來越好的模型，”阿爾特曼在Reddit上寫道。“但我認為，感覺像下一個巨大突破的事情將是代理。”