小鵬汽車啓動720億參數自駕基模研發 推動自動駕駛走向L3、L4

【環球網科技綜合報道】4月15日消息，小鵬汽車在AI分享會上首次對外披露正在研發720億參數的超大規模自動駕駛大模型，即“小鵬世界基座模型”。未來，小鵬將通過雲端蒸餾小模型的方式將基模部署到車端，給“AI汽車”配備全新的大腦。這款模型同時也將賦能小鵬的AI機器人、飛行汽車等。

小鵬汽車自動駕駛負責人李力耘介紹，小鵬基模是一個以大語言模型為骨幹網絡，使用海量優質駕駛數據訓練的多模態大模型，具備視覺理解能力、鏈式推理能力和動作生成能力。通過強大的強化學習訓練，基座模型不斷自我進化，將逐步發展出媲美甚至超越人類的自動駕駛技術。

李力耘透露，為了研發基模，小鵬汽車早在去年就開始佈局AI基礎設施，現已建成國內汽車行業首個萬卡智算集羣，用以支持基座模型的預訓練、後訓練、模型蒸餾、車端模型訓練等任務，小鵬汽車將這套從雲到端的生產流程稱之為“雲端模型工廠”。目前，小鵬“雲端模型工廠”擁有10 EFLOPS的算力，集羣運行效率常年保持在90%以上，從雲到端的全鏈路迭代週期可達平均5天一次。

早在2024年下半年，小鵬汽車已開始面向L4級別的自動駕駛研發全新的“AI大腦”，即小鵬世界基座模型。

小鵬研發團隊利用優質自動駕駛訓練數據，先後開發了多個尺寸的基座模型，目前已經着手推進72B（72 Billion，即720億）超大規模參數世界基座模型的研發，參數量是主流 VLA 模型的35 倍左右。

小鵬世界基座模型的一大優勢是具備鏈式推理能力（CoT），在充分理解現實世界的基礎上，能夠像人類一樣進行復雜的常識推理，並將推理結果轉化為行動，例如輸出方向盤、剎車等控制信號，實現和物理世界的交互。

從設計之初，小鵬汽車就將基模定位為一個可以泛化到多種具身終端的基座模型。李力耘表示：“小鵬世界基座模型是小鵬自動駕駛真正走向L3、L4的基礎，也會是未來小鵬所有物理AI終端的通用模型。”後續，小鵬世界基座模型將全面賦能小鵬AI體系全圖譜，應用到小鵬汽車的AI汽車、AI機器人、飛行汽車上。

為了開發小鵬世界基座模型，小鵬汽車打造了一座“雲端模型工廠”，工廠“車間”涵蓋基座模型預訓練和後訓練（強化學習訓練）、模型蒸餾、車端模型預訓練到部署上車的完整生產鏈路。“雲端模型工廠”採用強化學習、模型蒸餾的技術路線，能夠高效生產“小身材、大智商”的端側模型，甚至為不同需求的汽車定製不同的“大腦”，讓“千人千面”的模型研發成為可能。

小鵬世界基座模型負責人劉博士介紹，多模態模型訓練的主要瓶頸不僅是 GPU，也需要解決數據訪問的效率問題。小鵬汽車自主開發了底層的數據基礎設施（Data Infra），使數據上傳規模提升22倍、訓練中的數據帶寬提升15倍；通過聯合優化 GPU / CPU 以及網絡 I/O，最終使模型訓練速度提升了 5 倍。目前，小鵬汽車用於訓練基座模型的視頻數據量高達2000萬clips，這一數字今年將增加到2億clips。

小鵬團隊首次驗證了規模法則在自動駕駛領域持續生效，劉博士表示：“過去一年，我們做了大量實驗，在10億、30億、70億、720億參數的模型上都看到了明顯的規模法則效應：參數規模越大，模型的能力越強。同樣的模型大小，訓練數據量越大，模型的能力也會越強。”

同時，小鵬汽車已經着手開發世界模型(World Model），作為“雲端模型工廠”的重要一環，支持基座模型的性能優化。劉博士介紹，小鵬的世界模型是一種即時建模和反饋系統，能夠基於動作信號模擬出真實環境狀態，渲染場景，並生成場景內其他智能體（也即交通參與者）的響應，從而構建一個閉環的反饋網絡，幫助基座模型不斷進化，逐漸突破過去“模仿學習”的天花板。

據瞭解，關於小鵬世界基座模型研發和訓練成果更多的細節，今年6月小鵬汽車將會在計算機視覺國際頂會CVPR上進一步分享。（青山）