Sam Altman：巨型AI模型時代已結束， GPT-4是OpenAI最後成果_風聞

編輯宇婷

根據 外媒報道，OpenAI首席執行官薩姆·奧特曼(Sam Altman)上週發出了警告，催生ChatGPT的研究策略已經“過時”。目前還不清楚未來的進步將來自哪裏。

這是什麼意思呢？

Altman的表明，GPT-4可能是OpenAI讓模型變得更大、提供更多數據的策略中出現的最後一個重大進展。他沒有説未來將採用什麼樣的研究策略或技術來代替它。在描述GPT-4的論文中，OpenAI表示，它的估計表明模型大小的擴大會帶來遞減的回報。Altman表示，公司可以建造的數據中心數量以及它們可以建造的速度也有物理限制。

Sam Altman表示，進一步的進展不會來自於讓模型變得更大。“我認為我們已經到了這個時代的盡頭，它不會再是這樣的巨大模型，”

他在上週晚些時候在麻省理工學院舉行的一次活動上告訴觀眾。“我們將從其他方面使它們變得更好。”

上週晚些時候，OpenAI的CEO警告説，孕育出這個機器人的研究策略已經到了盡頭。未來的進展尚不明確。

自從OpenAI在11月推出ChatGPT以來，微軟已經使用了相關技術，為Bing搜索引擎添加了聊天機器人，而Google也推出了競爭對手Bard聊天機器人。許多人都急於嘗試使用這種新型聊天機器人來幫助工作或個人任務。

包括Anthropic、AI21、Cohere和Character.AI在內的許多資金充裕的初創公司正在投入巨大的資源，努力追趕OpenAI的技術。ChatGPT的初始版本基於GPT-3的稍加升級版本，但現在用户也可以訪問由更強大的GPT-4驅動的版本。

之前在谷歌從事AI工作的Cohere的聯合創始人Nick Frosst表示，Altman的觀點認為，無限制地增加模型大小不會一直奏效。他也認為Transformers 的進展，這種機器學習模型是GPT-4及其競爭對手的核心，超越了擴展。

“有許多方法可以使轉換器變得更好、更有用，其中很多不涉及向模型添加參數，”他説。Frosst説，許多研究人員已經在探索新的AI模型設計或架構以及基於人類反饋的進一步調整的有前途的方向。

OpenAI的有影響力的語言算法家族的每個版本都包括一個人工神經網絡，這是一種鬆散地受到神經元合作方式啓發的軟件，它被訓練以預測應該跟隨給定文本串的詞語。

這些語言模型中的第一個GPT-2是在2019年宣佈的。在最大的形式下，它有15億個參數，這是調整其粗略人工神經元的連接數的數量度量。當時，由於OpenAI的研究人員發現擴大規模可以使模型更加連貫，這是相對於以前的系統非常大的。該公司推出的GPT-2的繼任者GPT-3在2020年宣佈，規模更大，有1750億個參數。該系統廣泛的生成詩歌、電子郵件和其他文本的能力，幫助説服了其他公司和研究機構將其自己的AI模型推向類似和更大的規模。

ChatGPT在11月首次亮相後，模因製造者和技術評論員猜測，當GPT-4推出時，它將是一個令人眼花繚亂的大小和複雜性的模型。然而，當OpenAI最終宣佈這個新的人工智能模型時，公司並沒有透露它有多大，也許是因為大小不再是唯一要緊的。

在麻省理工學院的活動上，Altman被問及訓練GPT-4的成本是否為1億美元；他回答説，“那還不止。”

儘管OpenAI正在保密GPT-4的大小和內部工作方式，但很可能它的一些智能已經超越了規模。其中一個可能是使用了強化學習和人類反饋的方法，這種方法被用來增強ChatGPT。它包括讓人類評判模型的答案質量，以引導它提供更有可能被評為高質量的回答。

GPT-4的顯著功能已經震驚了一些專家，並引發了有關AI改變經濟的潛力以及傳播錯誤信息和消滅就業機會的爭論。一些AI專家、技術企業家（包括Elon Musk）和科學家最近寫了一封公開信，呼籲對開發任何比GPT-4更強大的東西進行六個月的暫停。

在上週的麻省理工學院活動上，Altman確認他的公司目前沒有開發GPT-5。“信的早期版本聲稱OpenAI正在訓練GPT-5，”他説。“我們現在沒有，也不會有。”

這到底是商業上對對手的迷障還是對技術的先知？OpenAI的CEO表示，巨型AI模型的時代已經結束。