商湯絕影升級世界模型“開悟”，端到端智駕預計明年底量產

11月27日，2024“絕影實力AI DAY”舉辦，商湯絕影全面展示了“駕-艙-雲”三位一體的通用人工智能（AGI）產品體系與戰略佈局，發佈智能座艙交互革新、端到端智能駕駛等前沿領域的創新成就。

在本屆“絕影實力AI DAY”上，商湯絕影行業首發智能座艙大模型創新產品“A New Member For U”（你的家庭新成員）。面向智能駕駛，商湯絕影構建了“車雲一體”的產品矩陣，發佈涵蓋高速、城區以及泊車等全場景的高階智駕、端到端智駕等絕影量產智駕產品體系，同時全新升級行業標杆級別的“開悟”世界模型。

商湯絕影CEO、商湯科技聯合創始人、首席科學家王曉剛表示：“我們已經站在AGI時代的門口。作為加速智能汽車駛入AGI時代的戰略合作伙伴，商湯絕影將牢牢把握住新一輪智能汽車變革的時間窗口，與車企夥伴進行全方位深度合作，共享大算力與大模型，共建數據基礎設施，共同打造智能汽車大模型創新應用，才能攜手共贏，領航未來。”

商湯絕影CEO、商湯科技聯合創始人、首席科學家  王曉剛

讓智能汽車擁有“有趣的靈魂”

大模型上車伊始，它們主要扮演着工具的角色，為用户提供基礎的對話、信息查詢和問題解答服務。隨着技術的不斷進步，具備邏輯思考和通用任務處理能力的AI Agent出現了，能夠根據用户的指令，完成複雜的連續性任務，成為能幹的助理。不過，這類車機都只是聽話和服從的“被動智能”。

在2024“絕影實力AI DAY”上，商湯絕影重新定義座艙，未來它不再只是冰冷的工具或者機械式的助理，而是“A New Member For U”，成為會察言觀色、無時不在且與你心有靈犀的“家庭新成員”。這位“家庭新成員”能夠感知和理解用户需求，提供有温度、有情感的主動關懷。可以暢想這麼一個場景：在駕駛旅途中，“家庭新成員‘注意到坐在後排的孩子睡着了，就會主動把空調温度升高、音樂的聲量調低，底盤和駕駛模式都調整為舒適模式，給小朋友一個舒適安心的睡眠環境。

依託原生流式多模態大模型、車載類人記憶框架和持續運行框架等前沿AI大模型技術，商湯絕影正在引領座艙交互體驗的革新，讓智能汽車擁有“有趣的靈魂”。

New Member“新成員”能夠察言觀色，離不開商湯絕影強大的原生流式多模態大模型，以此為基礎，“家庭新成員”能全面感知用户的語音、表情、手勢、以及環境數據，並進行深度理解和推理思考，具備理解世界、理解人類的能力。

如果要讓汽車與用户心有靈犀，它還必須有擁有“記憶”，為此商湯絕影打造了國內首個“車載類人記憶框架”，讓系統實現類人的記憶能力。

合格的“家庭新成員”還要無時不在時刻準備為你服務，絕影打造了能夠持續推理的Always-on運行框架，將多模態感知到的信息與各種記憶相結合，依託端雲協同架構，數據延遲控制在1毫秒以下，首包延時最快只需60毫秒，推理速度達40 Tokens/秒，對數據進行高效處理和反饋，時刻感知需求，主動為用户服務。

在追求智能和情感化的同時，商湯絕影始終堅持將用户隱私與安全放在首位，通過全方位的隱私保護與數據安全體系，做到“數據跟人走”、“隱私數據不出車”、“不該説的不説”，確保系統在安全合規的前提下提供極致體驗，為每一位用户打造專屬的安全空間。

端到端量產在即，“開悟”全新升級

今年年初，城區無圖NOA是智能駕駛領域的核心話題。之後，端到端智駕技術為行業帶來了範式革新，逐漸取代模塊化的規則，成為智駕技術的進化方向。從北京車展開始，商湯絕影等多家公司陸續發佈端到端智駕方案，智駕正在邁向端到端時代。

在本屆“絕影實力AI DAY”上，商湯絕影全面展示了基於J6E、J6M、Orin等不同算力平台打造的全場景高階智駕、端到端智駕等絕影量產智駕產品體系。商湯絕影的智駕量產交付也在穩步推進，基於J6平台的智駕方案預計2025年第二季度將量產交付，而量產端到端智駕方案則預計會在明年年底量產落地。

在推進量產的同時，行業也發現，研發範式從規則驅動轉變為數據驅動，端到端智駕模型對於高質量數據的需求呈指數級的增長。然而受限於高階智駕的量產規模、算力資源，目前大多數車企和智駕公司都面臨相同的問題，即高質量駕駛數據的獲取難度大、效率低、成本高。

商湯絕影探索出一條新的道路，通過實車採集和仿真生成“雙輪驅動”的數據閉環，構建量產智駕產品體系和世界模型深度融合的“車雲一體”智駕新範式。

在2024“絕影實力AI DAY”上，王曉剛表示：“智駕高端局的競爭不止是車端模型的比拼，端到端的決戰，戰場在雲端。”為此，商湯絕影全新升級併發布行業標杆級別的世界模型——“開悟”世界模型。

世界模型最基礎也是最核心的能力是生成高質量視頻數據，高質量數據的關鍵在於“真實”。基於多模態大模型打造的絕影世界模型，能夠理解真實世界的物理規則、交通規則，生成的視頻數據也更加逼真。現場展示的“開悟”生成視頻案例中，晴朗天氣下，汽車、路燈都是有影子的，右轉車輛會主動讓行優先級更高的直行車輛。

在真實的基礎上，“開悟”生成的場景視頻，時間最長為150秒、分辨率可達1080P、視角可以實現11V，是行業首個同時完成上述指標的智駕世界模型。

基於行人車輛3D框和時空軌跡的信號輸入，「開悟」生成的11V時空一致視頻

根據公開數據，“開悟”生成效果的各項指標開源均達SOTA，優於包括GAIA-1、DriveDreamer在內的國內外主流世界模型。此外，從2023年開始，在全球知名的自動駕駛仿真模擬任務競賽Waymo Sim Agents的比拼中，“開悟”連續兩年獲得第一名，是當之無愧的行業標杆。

更重要的是，通過多模態大模型，“開悟”世界模型可以支持多樣化的自動駕駛場景及Corner case的可控生成。目前商湯絕影基於1024類場景，能夠泛化出更多的平行世界，打造了千萬級的生成場景庫，預計2025年對行業開放。

商湯絕影的技術和產品持續創新，商業化落地也全面開花，量產交付穩步推進。智駕方案已量產交付廣汽埃安、一汽紅旗等3家車企6款車型。第三方調研數據顯示，商湯絕影在座艙視覺AI軟件市場的份額連續五年蟬聯第一。此外座艙AI大模型產品已上車小米SU7、智己、LEVC L380等車型。

值得關注的是，商湯絕影面向海外市場升級了座艙視覺AI產品矩陣，助力極氪X的DMS系統斬獲ENCAP歷史最高分，並在“絕影實力AI DAY”首發ENCAP2026 OOP離位檢測、身材檢測功能。

如今，商湯絕影已與超30家國內外車企達成合作，覆蓋100餘款車型，預計至2024年底，量產交付累計將突破350萬輛。

單打獨鬥難以在AGI時代脱穎而出，主機廠和AI公司必須以全新的方式進行深度戰略合作才有可能形成行業競爭力。目前，商湯絕影已和大卓智能、東風汽車等合作伙伴簽訂戰略合作協議，在高階智駕量產、端到端量產、AI雲服務、AI大模型等領域開展全方位的深度合作，加速自動駕駛的落地與進化。

本文系觀察者網獨家稿件，未經授權，不得轉載。