自動駕駛的“iPhone 4”時刻：理想MindVLA到底變革了什麼？_風聞

文/陳鋒

編輯/子夜

AI對於理想汽車意味着什麼？

幾個月前的“2024理想AI Talk”上，理想汽車董事長兼CEO李想的回答是：（在願景上）意味着未來的全部。

“電動化是上半場，智能化是下半場，但我認為，這個智能化講的不是傳統的軟件智能，而是真正的人工智能，這是造車往下延續的一個必經之路。汽車將從工業時代的交通工具，進化成為人工智能時代的空間機器人。”李想這麼説道。

在當下的新能源汽車市場中，理想也是在AI戰略上佈局更早、投入更堅決的車企之一。

從2022年9月在內部將發展AI定為戰略核心，到2023年初正式將這一戰略對外，再到去年底“2024理想AI Talk”分享了對人工智能的最新思考和戰略成果，理想已經跑出了更快的AI“加速度”。

近期，圍繞AI戰略佈局，以及AI在智能駕駛上的落地，理想汽車又迎來了一個關鍵里程碑，發佈了理想汽車自動駕駛架構——MindVLA。

圖源理想汽車官方微信公眾號

理想汽車自動駕駛技術研發負責人賈鵬表示：“就像iPhone 4重新定義了手機，MindVLA也將重新定義自動駕駛”。在理想汽車2024年第四季度及全年財報業績會上，李想表示今年計劃將MindVLA和首款純電SUV車型理想i8同時發佈。

1、MindVLA，一個司機Agent究竟能做什麼？

MindVLA到底是什麼？

**它是視覺-語言-行為大模型，是機器人大模型的新範式，非簡單的將端到端模型和VLM模型結合在一起。**它所有的模塊都是全新設計的，將空間智能、語言智能和行為智能統一在了同一個模型裏。

具體來看，3D空間編碼器通過語言模型，和邏輯推理結合在一起後，給出合理的駕駛決策，並輸出一組Action Token（動作詞元），Action Token指的是對周圍環境和自車駕駛行為的編碼，並通過Difusion(擴散模型)進一步優化出最佳的駕駛軌跡，整個推理過程都要發生在車端，並且要做到即時運行。

理想汽車在VLA上的率先佈局，源於其對自動駕駛以及大模型前沿技術的敏鋭洞察，也源於更早、更堅定的AI戰略。

**“我們認為，基座模型到一定時刻，一定會變成VLA。”**此前，李想如此表示。在他看來，語言模型也要看三維世界，也要通過語言、認知理解三維世界，同時自動駕駛走向L4，也要有極強的認知能力。

圖源理想汽車官方微信公眾號

這意味着，未來在MindVLA模型加持下的理想汽車，能更好地感知、思考和適應環境，成為一個能聽懂用户説話、看懂用户需求、幫用户解決問題的“專職司機”。具體來説：

一來，用户可以通過語音指令來改變車輛的路線和行為。

比如你正在陌生園區尋找超市，這時你只需要通過理想同學對車輛説“帶我去超市”，車輛將在沒有導航信息的情況下，自主漫遊找到目的地；車輛在行駛的過程中，你還可以跟理想同學説“開太快了”“應該走左邊這條路”，MindVLA都能理解並執行這些指令。

二來，基於強大的通識能力，MindVLA能更好地識別周圍環境。

比如MindVLA能認識星巴克、肯德基等不同的商店招牌，當你在陌生地點找不到車輛時，可以拍一張附近環境的照片發送給車輛，擁有MindVLA賦能的車輛能夠搜尋照片中的位置，並自動找到你。

第三，基於空間理解和邏輯推理能力，搭載了MindVLA的車輛，“找得到”的能力也提升了。

搭載MindVLA的車型可以自主地在地庫、園區和公共道路上漫遊。典型的場景是“找車位”。比如用户在商場地庫找不到車位時，用户只需要對着車輛説“去找個車位停好”，車輛無需依賴地圖或導航信息，並實現自主尋找合適的車位停下。

總結來看，在有了MindVLA賦能後，每一輛車其實都不再是單純的駕駛工具了，而是真正成了能與用户溝通、理解用户意圖的智能體。

2、MindVLA賦能的車輛，為何能成為“專職司機”？

MindVLA能成為一名聽得懂、看得見、找得到的專職司機，強大的功能背後在於MindVLA六大關鍵技術賦能。

MindVLA打破了自動駕駛技術框架設計的傳統模式，使用了能夠承載豐富語義，且具備出色多粒度、多尺度3D幾何表達能力的3D高斯這一中間表徵，能幫系統更高效地感知、理解周圍環境，同時充分利用海量數據進行自監督訓練，進而極大提升了下游任務性能。

圖源理想汽車官方微信公眾號

理想從0開始設計和訓練了適合MindVLA的LLM基座模型，採用MoE混合專家架構，引入Sparse Attention（稀疏注意力），實現模型稀疏化，保證模型規模增長的同時，不降低端側的推理效率。

**基座模型訓練過程中，理想加入大量3D數據，使模型具備3D空間理解和推理能力。**為了進一步激發模型的空間智能，理想加入了未來幀的預測生成和稠密深度的預測等訓練任務。

LLM基座模型獲得3D空間智能的同時，還需要進一步提升邏輯推理能力。理想訓練LLM基座模型學習人類的思考過程，讓快慢思考有機結合到同一模型中，並可以實現自主切換快思考和慢思考。

為了把NVIDIA Drive AGX的性能發揮到極致，MindVLA採取小詞表結合投機推理，以及創新性地應用並行解碼技術，進一步提升了即時推理的速度。至此，MindVLA實現了模型參數規模與即時推理性能之間的平衡。

MindVLA利用Diffusion將Action Token解碼成優化的軌跡，並通過自車行為生成和他車軌跡預測的聯合建模，提升在複雜交通環境中的博弈能力。同時Diffusion可以根據外部條件，例如風格指令，動態調整生成結果。為了解決Diffusion模型效率低的問題，MindVLA採用Ordinary Differential Equation（常微分方程）採樣器，實現了2-3步就能完成高質量軌跡的生成。

面對部分長尾場景，理想建立起人類偏好數據集，並且創新性地應用RLHF（基於人類反饋的強化學習）微調模型的採樣過程，最終使MindVLA能夠學習和對齊人類駕駛行為，顯著提升安全下限。

與此同時，基於理想自研的重建+生成雲端統一世界模型，MindVLA深度融合了模型的三維場景還原能力與生成模型的新視角補全，以及未見視角的預測能力，構建了接近真實的仿真環境。

源於理想在世界模型上的技術積累與充足計算資源的支撐，MindVLA也實現了基於仿真環境的大規模強化學習，即真正意義上的從“錯誤中學習”。

我們瞭解到，過去一年裏，理想自動駕駛團隊完成了世界模型大量的工程優化，顯著提升了場景重建與生成的質量和效率，其中一項工作，是將3D GS的訓練速度提升了7倍以上。

理想通過創新性的預訓練和後訓練方法，讓MindVLA的泛化能力和湧現特性，都更明顯了。其不僅在駕駛場景下表現優異，在室內環境也展示出了一定的適應性和延展性。

3、自動駕駛，將被MindVLA重新定義？

從OpenAI到DeepSeek，大模型推理能力不斷更新與進化下，VLA將成為車企探索智駕能力上限的新出口。

“端到端+VLM可以解決L3，比如實現500公里到1000公里一次接管，讓你在車上相對輕鬆。但僅靠端到端實現不了L4。”李想如此説道。

他還提到，自動駕駛實現L4，必須使用VLA。

李想的這一判斷，正加速成為車企共識——2025年以來，VLA所呈現出來的強大感知、思考和適應環境的能力，正重新定義自動駕駛，也將成為車企競逐自動駕駛的新錨點。

“VLA模型極有可能在未來兩年內改寫智能駕駛市場的競爭格局。”最近，中國自動駕駛產業創新聯盟調研員高超如此表示。

他提到，預計2025年VLA模型的量產落地，將推動城區NOA滲透率提升。

高盛發佈的一則自動駕駛報告也提到，到2030年，VLA模型主導的端到端方案，或將佔據L4級自動駕駛市場60%的份額。

連線Insight也注意到，理想汽車之外，元戎啓行、小鵬、華為等玩家已經在加速佈局。市場上也有聲音認為，2025年將是“VLA上車元年”。

基於上述背景討論MindVLA，其不僅是理想在通向L4級別自動駕駛路上的一次率先搶跑，也是AI推動自動駕駛能力持續上探的一個範本。

**從最核心的用户體驗來看，MindVLA加持之下，傳統的駕乘關係，正加速迎來新一輪變革。**過往的智駕體驗中，主駕必須監管、監督車輛行為，但當加持了MindVLA的車能夠真正“看得見”“聽得懂”“找得到”，疊加車本身的智駕能力不斷上探，這帶來的是人與車更絲滑的交互體驗、更舒適的駕乘生活，乃至更便捷的出行方式。

圖源理想汽車官網

某種程度上，這與早些年智能手機領域的“iPhone 4時刻”有一定相似之處——同樣是最大限度變革了人與“機器”的交互方式和交互體驗。

由此，如果説“iPhone 4”的推出重新定義了手機行業，那如今MindVLA的推出，以及後續陸續上車，實際上已經在“重新定義自動駕駛”。

從更長遠視角來看，MindVLA所呈現出來的對物理世界和數字世界結合範式的探索，也有望賦予更多行業協同發展。

(本文頭圖來源於理想汽車官網。）