“狂飆”兩年，大語言模型已至拐點？

【今日視點】

◎本報記者 劉 霞

自兩年前聊天生成預訓練轉換器（ChatGPT）面世以來，生成式人工智能（AI）技術的擁躉們就一直堅信：隨着科技巨頭不斷用海量數據“餵食”AI模型，再加上計算能力飛速提升，生成式AI改進的步伐將呈指數級增長，接近人類智能的通用AI的出現也指日可待。

然而，在AI快速發展如“烈火烹油”的表面之下，一些專家的隱憂和疑慮也悄然而生。據美國技術雷達網站12月9日報道，谷歌首席執行官桑達爾·皮查伊預測，2025年，AI發展勢頭將放緩。物理學家組織網稍早時間一篇報道也認為，AI智能的提升速度有所減緩，目前新款大型語言模型的研發似乎已經到了拐點。

AI模型日益膨脹

開放人工智能研究中心（OpenAI）的ChatGPT，可以説點燃了科技公司研發大型語言模型的熱情。谷歌、亞馬遜、元宇宙平台公司，以及OpenAI主要投資者微軟公司等，都砸下數十億美元巨資，紛紛推出各自的生成式AI應用工具。這些大型語言模型各有千秋，能夠輕鬆生成高質量文本、圖像和視頻，如今也實現了語音對話功能。

生成式AI的“狂飆”也讓OpenAI等公司聲名鵲起，賺得盆滿缽滿。今年10月初，OpenAI公司再次成功融資66億美元，使其估值達到了驚人的1570億美元。

對此，AI行業專家、美國紐約大學神經科學教授加里·馬庫斯表示，OpenAI之所以獲得如此高的估值，很大程度上源於很多業界人士內心深處的一種信念：只要不斷給AI模型“餵食”更多數據，提升其計算能力，模型就能變得愈發強大。按照這樣的發展趨勢，可能很快會出現OpenAI負責人薩姆·奧爾特曼所説的智能可與人類匹敵的“通用AI”。

智能水平提速放緩

然而，生成式AI發展的步伐，真會按照人們暢想的“劇本”進行嗎？

馬庫斯直言，“這只是一個美好的幻象”。美國消費者新聞與商業頻道（CNBC）網站也在11月初的報道中指出，谷歌、Anthropic公司和OpenAI等公司研發新大型語言模型似乎已經碰到天花板。

風險投資企業安德烈森-霍羅威茨公司是OpenAI股東之一。該公司聯合創始人本·霍羅威茨最近坦承，儘管他們一直在按照節奏提升算力，但AI模型的智能水平並未因此得到顯著提升。

OpenAI聯合創始人伊爾亞·蘇茨克維11月15日接受媒體採訪時表示，使用大量未標記數據來訓練AI模型，以理解語言模式和結構的階段已經趨於穩定。

專家們指出，一個根本挑戰在於，可用於AI訓練的數據目前幾乎已被AI模型“蠶食殆盡”。

專門針對法律事務的生成式AI公司Spellbook也是OpenAI合作商之一。該公司首席執行官斯科特·史蒂文森表示，一些實驗室過於注重用更多文本數據“餵食”AI模型，但僅依靠文本數據對AI進行擴展註定會遇到困難。目前很多企業已經缺乏新東西來“餵養”AI模型。因此，這並非知識儲量的問題，而是機器要能夠理解句子或畫面的含義。

初創公司“抱抱臉”研究員兼AI負責人莎拉·盧喬尼也強調，AI模型開發“以大為美”的路線，最終必然會觸碰到其極限。

亟需一場深刻變革

薩姆·奧爾特曼11月14日在其社交平台X上發佈信息：沒有死衚衕！不過，現實情況是，OpenAI選擇延遲推出GPT-4的接棒模型，因為GPT-4性能的改進程度未達預期。

作為研發戰略轉型的一次嘗試，今年9月，OpenAI推出了o1模型。這款模型專注於回答複雜問題，尤其是數學問題。它旨在通過提升推理能力，而非單純增加訓練數據量，來提供更準確的答案。史蒂文森認為，OpenAI引導其模型“花更多時間思考而非響應”，這或將引領AI模型研發領域出現一場“深刻變革”。

AI服務網站Quantilus.com在11月25日的報道中指出，OpenAI、“深度思維”等公司正在探索“高效擴展”技術。該技術旨在讓大型語言模型複製類似人類的思維方式，而不僅僅是依賴“蠻力”，即大量消耗計算資源。這些方法的重點在於提高訓練數據的質量，並結合來自人類反饋的強化學習。

史蒂文森將AI技術的發展與火的出現作比較。他表示，業界不應該再通過給AI提供更多數據、提升算力來促進其發展，而是應該打造類似蒸汽機那樣的、具有變革性的事物。

美國斯坦福大學教授沃爾特·德·布勞沃則將先進大型語言模型比作從高中過渡到大學的學生。他表示，目前的AI就像是能做即興表演的聊天機器人，很容易出錯，具有跳躍思維能力的機器即將到來。