AI支出熱潮從訓練模型轉向運行模型 - 彭博社
Dina Bass
弗吉尼亞州的一座數據中心。
攝影師:Nathan Howard/Bloomberg大型雲計算公司正在重新思考如何投資人工智能開發。但首先…
需要了解的三件事:
• OpenAI將收購谷歌Chrome瀏覽器,ChatGPT負責人表示• 馬斯克的DOGE大幅削減資金以對抗深度偽造和虛假信息• 特朗普簽署行政命令加強AI教育和勞動力培訓
減少對AI訓練的專注
過去兩年的大部分時間裏,科技公司高管們一直誇耀他們囤積了多少頂級Nvidia芯片來構建AI系統,就像一些億萬富翁炫耀他們的遊艇和火箭的規模一樣。
例如,去年10月,Meta首席執行官馬克·扎克伯格表示,公司下一代Llama AI模型將在超過10萬塊Nvidia H100圖形處理單元(GPU)的集羣上進行訓練,“規模比我見過的任何其他公司報告的都要大。”次月,埃隆·馬斯克稱他的AI初創公司很快將在一棟建築內擁有“20萬塊H100/H200訓練集羣”。
如今,該行業的焦點正開始轉變。儘管頂尖科技公司仍在投入巨資,基於海量網絡數據構建更龐大的人工智能模型,但它們正將更多資源轉向推理環節——即AI系統訓練完成後的運行過程。這一轉變可能重塑AI生態系統及其背後龐大的數據中心與芯片支撐網絡。
深度求索加速了這一進程。這家中國新鋭企業今年1月震撼硅谷,在未獲得大量先進芯片的情況下發布了性能卓越的AI推理模型,證明競爭未必需要最龐大的訓練超級計算機。但這一趨勢其實早有端倪。
OpenAI和谷歌等美國領先開發商數月來持續推進能模擬人類推理過程的AI模型,更多企業正紛紛效仿。與早期生成式AI相比,推理系統更依賴推斷環節,因為它們需花費更多時間計算複雜用户查詢的響應。這種方式讓AI企業能將更多成本從開發階段轉移到模型部署後,從而減輕初期投資壓力。
彭博行業研究3月指出,預計AI模型製造商將大幅放緩訓練成本支出。“與之相反,隨着大語言模型提供商轉向推理和AI智能體開發,推理計算增長可能加速”,分析師曼迪普·辛格在報告中寫道。
微軟預測,其資本支出(大部分用於數據中心建設)將在始於7月1日的新財年放緩。在一月份財報電話會議上被問及未來幾年投資計劃時,首席財務官艾米·胡德表示,公司希望數據中心容量具備"可替代性"以滿足其他需求,但將推理視為主要用途。與此同時,亞馬遜雲服務CEO馬特·加曼將推理稱為這家雲巨頭的下一個關鍵構建模塊。
彭博行業研究數據顯示,目前訓練環節佔頂級雲計算公司數據中心成本的60%。分析師預計到2032年,這一比例將逐漸降至20%。所有AI開發者最終都需要通過推理來處理用户請求,無論是通過聊天機器人、副駕駛還是AI代理。隨着AI應用持續擴大,推理需求也將同步增長。相比之下,大多數企業並不需要扎克伯格和馬斯克吹噓的那種用於構建大型語言模型的訓練專用庫存芯片。
數據中心公司Equinix首席商務官喬納森·林表示:“最終需要數千GPU核心訓練環境的企業數量微乎其微。”
對推理的日益重視可能引發AI基礎設施的重大變革。當前雲服務商可以將大型訓練超級計算機部署在任何土地廉價、電力供應充足且具備水冷條件的地方。但推理的核心在於速度——客户從AI模型獲取答案或研究報告的響應時間。這意味着雲服務需要廣泛分佈在靠近客户的區域,就像早期支持互聯網服務的數據中心佈局模式。
數據中心內部也可能配備不同的計算芯片。雖然英偉達在訓練芯片市場佔據主導地位,但爭論點在於推理工作負載可以通過更多樣化的芯片模型來處理。越來越多的初創企業及大型科技公司,包括亞馬遜、谷歌和OpenAI,正在開發專用於推理的芯片,這可能會削弱英偉達對市場的控制。
儘管如此,英偉達也在關注推理領域的機遇,不會輕易放棄其領先地位。英偉達首席執行官黃仁勳在2月告訴投資者,推理實際上"佔據了我們當前計算任務的絕大部分",並且還在增長。
“我們正處於推理型AI和推理時間擴展的起步階段,“他説,“我們才剛剛進入AI時代。” ——迪娜·巴斯
本週人類語錄
“問題的核心在於擬議的重組是推進還是威脅了OpenAI的慈善宗旨。”
前OpenAI員工
包括AI"教父"傑弗裏·辛頓在內的一羣OpenAI前員工和學者聯署了公開信,反對這家ChatGPT製造商轉型為營利性公司的計劃。該信件已遞交給正在審查此項企業重組方案的加州和特拉華州總檢察長。### 值得關注
人工智能電力需求或將很快衝擊全球供應
深度解析
- 加拿大選舉前,AI生成大量奇怪政治書籍湧入亞馬遜平台
- 山姆·奧特曼將卸任核能開發商Oklo董事長職務
- 藉助AI技術,修復老化計算機系統的競賽愈演愈烈
- 台積電警告其AI芯片流入中國的管控能力存在侷限
- 據證人稱,谷歌阻止摩托羅拉使用Perplexity AI技術
更多彭博資訊
訂閲《科技內參》及更多彭博科技簡報:
- 《網絡公報》——揭秘黑客與網絡間諜的暗黑世界
- 《遊戲進行時》——深入電子遊戲產業內幕
- 《開機啓動》——獲取蘋果獨家消息、消費科技新聞等
- 《銀幕時間》——直擊好萊塢與硅谷的碰撞現場
- 《聲音片段》——追蹤播客、音樂產業及音頻趨勢