商湯絕影升級世界模型“開悟”,端到端智駕預計明年底量產
guancha

11月27日,2024“絕影實力AI DAY”舉辦,商湯絕影全面展示了“駕-艙-雲”三位一體的通用人工智能(AGI)產品體系與戰略佈局,發佈智能座艙交互革新、端到端智能駕駛等前沿領域的創新成就。
在本屆“絕影實力AI DAY”上,商湯絕影行業首發智能座艙大模型創新產品“A New Member For U”(你的家庭新成員)。面向智能駕駛,商湯絕影構建了“車雲一體”的產品矩陣,發佈涵蓋高速、城區以及泊車等全場景的高階智駕、端到端智駕等絕影量產智駕產品體系,同時全新升級行業標杆級別的“開悟”世界模型。
商湯絕影CEO、商湯科技聯合創始人、首席科學家王曉剛表示:“我們已經站在AGI時代的門口。作為加速智能汽車駛入AGI時代的戰略合作伙伴,商湯絕影將牢牢把握住新一輪智能汽車變革的時間窗口,與車企夥伴進行全方位深度合作,共享大算力與大模型,共建數據基礎設施,共同打造智能汽車大模型創新應用,才能攜手共贏,領航未來。”

商湯絕影CEO、商湯科技聯合創始人、首席科學家 王曉剛
讓智能汽車擁有“有趣的靈魂”
大模型上車伊始,它們主要扮演着工具的角色,為用户提供基礎的對話、信息查詢和問題解答服務。隨着技術的不斷進步,具備邏輯思考和通用任務處理能力的AI Agent出現了,能夠根據用户的指令,完成複雜的連續性任務,成為能幹的助理。不過,這類車機都只是聽話和服從的“被動智能”。
在2024“絕影實力AI DAY”上,商湯絕影重新定義座艙,未來它不再只是冰冷的工具或者機械式的助理,而是“A New Member For U”,成為會察言觀色、無時不在且與你心有靈犀的“家庭新成員”。這位“家庭新成員”能夠感知和理解用户需求,提供有温度、有情感的主動關懷。可以暢想這麼一個場景:在駕駛旅途中,“家庭新成員‘注意到坐在後排的孩子睡着了,就會主動把空調温度升高、音樂的聲量調低,底盤和駕駛模式都調整為舒適模式,給小朋友一個舒適安心的睡眠環境。
依託原生流式多模態大模型、車載類人記憶框架和持續運行框架等前沿AI大模型技術,商湯絕影正在引領座艙交互體驗的革新,讓智能汽車擁有“有趣的靈魂”。
New Member“新成員”能夠察言觀色,離不開商湯絕影強大的原生流式多模態大模型,以此為基礎,“家庭新成員”能全面感知用户的語音、表情、手勢、以及環境數據,並進行深度理解和推理思考,具備理解世界、理解人類的能力。
如果要讓汽車與用户心有靈犀,它還必須有擁有“記憶”,為此商湯絕影打造了國內首個“車載類人記憶框架”,讓系統實現類人的記憶能力。

合格的“家庭新成員”還要無時不在時刻準備為你服務,絕影打造了能夠持續推理的Always-on運行框架,將多模態感知到的信息與各種記憶相結合,依託端雲協同架構,數據延遲控制在1毫秒以下,首包延時最快只需60毫秒,推理速度達40 Tokens/秒,對數據進行高效處理和反饋,時刻感知需求,主動為用户服務。
在追求智能和情感化的同時,商湯絕影始終堅持將用户隱私與安全放在首位,通過全方位的隱私保護與數據安全體系,做到“數據跟人走”、“隱私數據不出車”、“不該説的不説”,確保系統在安全合規的前提下提供極致體驗,為每一位用户打造專屬的安全空間。
端到端量產在即,“開悟”全新升級
今年年初,城區無圖NOA是智能駕駛領域的核心話題。之後,端到端智駕技術為行業帶來了範式革新,逐漸取代模塊化的規則,成為智駕技術的進化方向。從北京車展開始,商湯絕影等多家公司陸續發佈端到端智駕方案,智駕正在邁向端到端時代。
在本屆“絕影實力AI DAY”上,商湯絕影全面展示了基於J6E、J6M、Orin等不同算力平台打造的全場景高階智駕、端到端智駕等絕影量產智駕產品體系。商湯絕影的智駕量產交付也在穩步推進,基於J6平台的智駕方案預計2025年第二季度將量產交付,而量產端到端智駕方案則預計會在明年年底量產落地。
在推進量產的同時,行業也發現,研發範式從規則驅動轉變為數據驅動,端到端智駕模型對於高質量數據的需求呈指數級的增長。然而受限於高階智駕的量產規模、算力資源,目前大多數車企和智駕公司都面臨相同的問題,即高質量駕駛數據的獲取難度大、效率低、成本高。
商湯絕影探索出一條新的道路,通過實車採集和仿真生成“雙輪驅動”的數據閉環,構建量產智駕產品體系和世界模型深度融合的“車雲一體”智駕新範式。
在2024“絕影實力AI DAY”上,王曉剛表示:“智駕高端局的競爭不止是車端模型的比拼,端到端的決戰,戰場在雲端。”為此,商湯絕影全新升級併發布行業標杆級別的世界模型——“開悟”世界模型。
世界模型最基礎也是最核心的能力是生成高質量視頻數據,高質量數據的關鍵在於“真實”。基於多模態大模型打造的絕影世界模型,能夠理解真實世界的物理規則、交通規則,生成的視頻數據也更加逼真。現場展示的“開悟”生成視頻案例中,晴朗天氣下,汽車、路燈都是有影子的,右轉車輛會主動讓行優先級更高的直行車輛。
在真實的基礎上,“開悟”生成的場景視頻,時間最長為150秒、分辨率可達1080P、視角可以實現11V,是行業首個同時完成上述指標的智駕世界模型。

基於行人車輛3D框和時空軌跡的信號輸入,「開悟」生成的11V時空一致視頻
根據公開數據,“開悟”生成效果的各項指標開源均達SOTA,優於包括GAIA-1、DriveDreamer在內的國內外主流世界模型。此外,從2023年開始,在全球知名的自動駕駛仿真模擬任務競賽Waymo Sim Agents的比拼中,“開悟”連續兩年獲得第一名,是當之無愧的行業標杆。
更重要的是,通過多模態大模型,“開悟”世界模型可以支持多樣化的自動駕駛場景及Corner case的可控生成。目前商湯絕影基於1024類場景,能夠泛化出更多的平行世界,打造了千萬級的生成場景庫,預計2025年對行業開放。
商湯絕影的技術和產品持續創新,商業化落地也全面開花,量產交付穩步推進。智駕方案已量產交付廣汽埃安、一汽紅旗等3家車企6款車型。第三方調研數據顯示,商湯絕影在座艙視覺AI軟件市場的份額連續五年蟬聯第一。此外座艙AI大模型產品已上車小米SU7、智己、LEVC L380等車型。
值得關注的是,商湯絕影面向海外市場升級了座艙視覺AI產品矩陣,助力極氪X的DMS系統斬獲ENCAP歷史最高分,並在“絕影實力AI DAY”首發ENCAP2026 OOP離位檢測、身材檢測功能。
如今,商湯絕影已與超30家國內外車企達成合作,覆蓋100餘款車型,預計至2024年底,量產交付累計將突破350萬輛。
單打獨鬥難以在AGI時代脱穎而出,主機廠和AI公司必須以全新的方式進行深度戰略合作才有可能形成行業競爭力。目前,商湯絕影已和大卓智能、東風汽車等合作伙伴簽訂戰略合作協議,在高階智駕量產、端到端量產、AI雲服務、AI大模型等領域開展全方位的深度合作,加速自動駕駛的落地與進化。
本文系觀察者網獨家稿件,未經授權,不得轉載。