VLA，是不是自動駕駛的下一站？_風聞

作者 | 肖恩

編輯 | 德新

中國農曆新年結束沒多久，馬斯克就給中國的特斯拉車主送上一份大禮——2月26日，在毫無徵兆的情況下特斯拉向中國區購買了FSD的HW4.0車主開啓了功能推送。

此前一度傳言FSD因為數據問題入華時間將推遲，而且這次推送的是和美國相同的V13版本，對於它在中國的表現大家非常好奇，隨後各大媒體和大V都對FSD進行了詳細的測試。

從媒體的測試結果來看，FSD的表現無疑是不及格的，認錯路和違反交規是常規操作，甚至用接管次數這個指標已經無法評價它的表現了，要用違章次數才能體現出FSD在中國的拉跨，中國智駕遙遙領先的的聲音更響亮了。

但是FSD的表現真的如此不堪嗎？

端到端架構：

特斯拉智駕指明的方向

作為智駕從業者，我也體驗了FSD在城區的表現。

如果以接管次數為評價指標，FSD和國內第一梯隊的方案相比，確實是不合格的，但是幾乎所有的接管都是和交通規則和道路相關。這也側面印證了馬斯克的説法，現階段由於數據問題特斯拉只能通過互聯網的視頻來訓練FSD，無法很好地理解和適應中國的交通環境。

除此之外，FSD的基礎能力堪稱驚豔，異常流暢的控制、行雲流水的繞行、果斷的超車和變道，給人的體驗就像是經驗豐富的專車司機，在遇到擁堵情況時決策毫不拖泥帶水。

從我個人的體驗來看，FSD如果適應了中國的交規和道路，它的表現將超過國內現階段的智駕方案。

特斯拉從V12開始全面轉向端到端架構，和之前的版本相比FSD的表現有了巨大的提升，從BEV、Transformer到佔用格柵網絡。在傳統的感知-規劃-控制的架構下，特斯拉給智駕行業帶來了非常多的啓示，為了實現無人駕駛的目標，特斯拉跳出傳統的思維框架，第一次在量產車上引入了端到端的架構，為智駕行業指出了新的技術方向。

也許是怕中國學生學得太快，特斯拉並沒有公佈自己端到端架構的細節。

國內智駕行業開始自己探索端到端這條技術路徑，其中最典型和成功的案例，無疑是理想的端到端+VLM雙系統架構。這個方案將理想從原來智駕第三梯隊的位置快速提升至第一梯隊，在部分場景的表現甚至超過華為的ADS。

理想的這套系統結合了快慢系統的理論。

系統1是一段式的端到端模型，可以處理95%以上的常規駕駛場景；同時為了提升長尾場景的處理能力，引入了VLM視覺語言模型作為系統2輔助決策，系統2能夠對場景進行描述和分析，給系統1提出決策建議。

其中VLM的核心是一個LLM模型，也就是類似chatGPT的大語言模型。它有非常強的理解和邏輯推理能力，由大規模海量互聯網數據預訓練的LLM具備一定的通識認知，能夠利用符合邏輯的推理能力獲得複雜場景和從未見過的長尾場景的處理能力。

理想在LLM的基礎上，使用了車輛的傳感器數據和場景描述信息對模型進行了訓練，最終讓VLM模型能夠對場景完成思維鏈推理，從場景描述到場景分析，最終完成層級規劃並輸出軌跡。

從實際的體驗來看，這套系統「端味十足」，對車輛的控制非常線性，駕駛行為接近人類的習慣，VLM的加入讓系統在特殊場景下的表現也可圈可點，是當前技術條件下非常好的思路。

但是，這套系統仍然有一些問題要解決。

第一個問題就是VLM系統的延時太高。

由於LLM模型的參數量非常大，對於計算量的需求很高。現在車端算力最大的智駕芯片OrinX也只有254Tops，雖然經過非常多的優化，最終VLM在車端能實現的頻率也只有5Hz左右，無法滿足即時性的要求，導致VLM的決策軌跡只能作為決策建議，並不能直接輸出給車輛控制，在一定程度上限制了VLM的能力。

第二，理想的VLM基座模型是千問。

它是阿里的開源大語言模型，這一類模型基於網絡上大量的文本訓練而成，特點是通用性好，有很強的對語義理解能力和對話能力，但並不是專為駕駛場景設計。對於駕駛行為的理解能力有限，也沒有很好的3D空間理解能力，即使經過了訓練，但是上限不夠。

第三，端到端和VLM是兩個獨立的模型，使用的訓練數據也不相同，而且運行的頻率不一樣，對兩個模型聯合訓練和優化非常困難。

為了解決這些問題，理想給出的答案是VLA。

什麼是VLA？

VLA代表Vision-Language-Action，最早出現在具身機器人領域。

谷歌DeepMind在2023年7月發佈了全球首個可以控制機器人的VLA模型：RT-2，這個模型以大語言模型為基礎，模型接收攝像頭的原始數據和語言指令後，可以直接輸出控制信號，完成各種複雜的操作。

RT-2的結構非常簡單，圖像信息經過VIT編碼後和語言信息的token一起輸入到LLM中，谷歌在這裏使用了自家的Gemini，模型輸出一系列的Action token，解碼後轉化為機械臂的控制信號。

和以前的模型相比，RT-2在交互能力、任務能力和泛化能力上都有非常大的提升。

傳統的機器人模型只能支持少數的特定指令，藉助於大語言模型強大的語言理解能力，RT-2可以直接和用户進行語言交互，能夠理解複雜和模糊的指令，完成各種類型的任務。

大語言模型最強大的地方在於它的泛化能力，基於互聯網海量信息的訓練，大模型會湧現出強大的通識能力，這就是我們常説的Scaling Law，這種能力可以遷移到VLA模型中，能夠讓模型理解訓練數據以外的物體和場景。

VLA在機器人領域的成功，很快也應用在了自動駕駛上。

不論是傳統的規則模型還是數據驅動的端到端模型，都無法解決一個問題。如果某個場景在模型的訓練數據之外，系統的表現會非常不穩定，只能不斷修補，但是現實中駕駛場景太複雜，沒有辦法在數據中窮舉所有的可能。因此長尾場景一直是自動駕駛最大的挑戰。

自從大語言模型出現後，它表現出接近於人類水平的理解能力，給工程師看到一種可能，利用大模型來解決長尾場景，VLM和VLA都是這個方向的探索。

繼RT-2之後，24年11月一直專注於L4方案的Waymo發佈了用於自動駕駛的多模態大語言模型（Multimodal Large Language Models）EMMA，雖然Waymo沒有將其定義為VLA，但是從模型的結構看，可以看作是VLA的一種形態。

EMMA有三個輸入，分別是

攝像頭的原始圖像；

導航的路徑信息；

歷史信息和自車狀態。

中間的大語言模型和RT-2一樣，基於谷歌的Gemini，通過CoT思維鏈的推理，EMMA能輸出以下信息：

自車未來的軌跡；

感知結果；

道路元素；

對場景的理解。

在nuScenes數據集的Planning Benchmark上，EMMA的表現經驗，超過了傳統端到端模型，如UniAD以及許多VLM模型，側面證明了VLA在自動駕駛領域的潛力。

雖然EMMA也有一些問題，例如對於3D空間的推理能力較弱、計算量大等，但是為自動駕駛帶來的新的方向。

VLA上車難，難在哪裏？

雖然EMMA和DriveGPT4等VLA模型在學術領域都取得了不錯的進展，但是至今還沒有一個可量產的方案出現，這裏有幾個問題要解決。

算力問題

不論哪種VLA都是基於大語言模型來實現，而大語言模型的特點除了參數量大之外，對算力的要求非常高，通常都是部署在服務器端。

目前車端的自動駕駛芯片算力非常有限，量產算力最高的自動駕駛芯片OrinX也只有254Tops，這限制了車端能部署的模型規模以及運行的頻率。

從理想VLM的經驗來看，雖然經過了非常多工程上的優化，最終的運行效率仍然達不到10Hz，需要更強大的芯片來支持。英偉達下一代的Thor U芯片將超過700 Tops，對於VLA上車來説會是非常重要的一環。

數據閉環

另一個對VLA非常重要的挑戰是數據。

雖然大語言模型已經基於海量的互聯網數據進行訓練，對於語言和文本已經有了非常強的分析能力，但對於駕駛相關的視頻數據、激光雷達點雲和車輛狀態等數據，並沒有公開的海量數據可用。

而且VLA的關鍵能力CoT思維鏈，需要根據設計的邏輯和問題建立定製化的數據，需要車企有非常強的數據閉環能力。

在現在全民智駕的背景下，很多OEM喜歡用汽車的保有量來宣稱自己有海量的數據，能夠快速迭代智駕算法，實際上這只是面向普通消費者的宣傳術語。

即使是軟件和硬件架構高度統一的特斯拉，前幾代產品產生的數據也很難對現在的算法有幫助，更別説國內的OEM早期的車輛基本只有一顆前視攝像頭，而且方案還五花八門，這種數據對於高階智駕的算法，特別是VLA而言就是毫無用處。

進入端到端和VLA的時代，數據閉環不僅僅是收集數據，收集什麼樣的數據，如何從海量的量產數據中挖掘有用的場景，如何把這些場景用在算法的優化上；誰能更早把這些問題想清楚，誰就能在數據為王的時代佔得先機。

可解釋性差

這幾乎是所有大語言模型的通病。雖然大模型能夠湧現出強大的能力，但是它似乎是一個大的黑盒子，到現在也沒有人能很好地解釋為什麼大模型會有Scaling Law，以及它是如何思考的。也許對於語言類的大模型而言，邏輯上的錯誤並不致命，但是對於自動駕駛來説，一個小小的錯誤有可能就會產生嚴重的後果。

因此可解釋性對於自動駕駛而言是非常重要的特性，特別是在量產車上，遇到有問題的場景，需要找到根源問題root cause才能快速地優化。

雖然在VLA中增加了對於決策過程的解釋，但是無法像傳統算法那樣定位到問題代碼，如何快速解bug，這會是VLA上車之後的一大挑戰。

辦法總比困難多，雖然VLA上車有種種挑戰，但是總用不怕困難的廠商率先嚐試，這一次還是理想走在了前面。

打響VLA上車的第一槍

作為首發VLM上車的車企，理想無疑是去年智駕行業最耀眼的明星。

不到一年的時間，理想再次領先一步，3月18日理想正式發佈了下一代自動駕駛架構MindVLA，這是一個融合了視覺、語言和行為智能的大模型，賦予了自動駕駛強大的3D空間理解能力、邏輯推理能力和行為生成能力，讓自動駕駛能夠感知、思考和適應環境，更重要的是通過3D高斯、MoE混合專家架構的LLM基座模型和diffusion模型等技術，讓VLA第一次應用在量產車。

理想也公開了非常多的細節，從架構上看MindVLA和學術領域的VLA架構有很多的不同點。

之前的VLA架構非常簡單，輸入是傳感器數據和語言信息，輸出軌跡，中間是一個大的基座模型，而MindVLA除了有基座大模型之外，還增加了其它的模塊，這其中有幾個關鍵的技術，代表了理想從工程端對VLA的理解。

V - Spatial Intelligence空間智能

在MindVLA的架構中傳感器數據沒有直接輸入到基座大模型中，而是先經過了一個V-Spatial Intelligence的模塊，這個模塊能根據傳感器的原始輸入形成對3D物理世界的理解，和大語言模型相比，有更強的空間感知能力，這其中關鍵的技術是使用了3D高斯表徵。

3D高斯最早起源於圖像渲染和三維場景重建領域，可以通過二維的圖像還原3D的場景，此前該領域廣泛應用的是神經輻射場算法-NeRF，這是一種基於輻射場和光纖可逆原理還原3D物體的神經網絡算法，圖像質量高但是訓練時間長、渲染速度慢，不適合即時場景，廣泛用於電影特效和遊戲開發領域。

而3D高斯則是利用3D高斯分佈的點對圖像進行建模，每個高斯點包含位置、方向、顏色和透明度等信息，渲染時這些高斯分佈點會被投影出來，通過光柵化技術合成，類似於在圖層上潑灑高斯點，每個點貢獻一個像素或片段的顏色和透明圖，最終還原整個物體。

3D高斯最大的特點是建模速度非常快並且可以通過原圖的RGB信息進行自監督學習。

如果用畫畫來比喻，NeRF就像一個畫功很好的畫家，根據原圖中的光影和細節一筆一畫的還原出來，而3D高斯則是前衞的「潑墨」藝術家，同時將不同顏色和透明度的斑點打在畫布上，層層疊加形成圖像。

理想的團隊將3D高斯首次應在自動駕駛領域，並且在路徑規劃、佔用格柵網絡和障礙物檢測等任務上都有很好的表現，MindVLA中使用3D高斯作為感知模塊，和自車位置和導航信息等一同編碼輸入到基座大模型中。

MindGPT大模型

這次的MindVLA中，理想沒有再使用開源的千問模型，而是從0開始搭建了一個LLM基座模型MindGPT。

從名字來看這似乎是和理想座艙共用的大模型，而且李想今年也公開表示成為一家AI公司的長期願景，所以根據自身的需求搭建一個大模型是非常必要的戰略方向。

為了降低大模型在車端的計算需求，MindVLA採用了MoE混合專家架構和Sparse Attention（稀疏注意力）。

MoE模型是一種分而治之策略的神經網絡架構，它將複雜的問題分解為多個子問題，每個子問題由一個獨立的模型（稱為專家）進行處理，與稠密模型相比，參數更少，預訓練速度更快，同時由於少數專家模型被同時激活，與相同參數數量的模型相比，MoE架構可以大幅減少計算開銷。

稀疏注意力機制是一種改進的注意力機制，旨在解決傳統的Transformer注意力機制在高維輸入或長序列數據上的計算複雜度過高的問題。通過減少注意力計算中需要處理的元素數量，稀疏注意力機制能夠顯著降低計算和內存開銷，同時保持較高的模型性能。

理想也把當前端到端+VLM的快慢思考模式引入到MindVLA中，訓練MindGPT學習這個思考模式，可以自主切換快思考和慢思考，同時MindVLA採取小詞表結合投機推理，以及並行解碼技術，實現了模型參數規模與即時推理性能之間的平衡。

擴散模型（Diffusion Model）

LLM大模型雖然可以直接輸出控制軌跡，但是準確度不穩定，MindVLA中沒有讓基座大模型直接生成軌跡，而是輸出Action token，然後使用了一個擴散模型解碼成駕駛軌跡。

擴散模型不僅生成自車的軌跡，同時預測其它車輛和行人的軌跡，此外擴散模型還可以根據外部的條件輸入改變生成的結果，通過這種特性可以根據用户的指令改變自動駕駛系統的風格。

為了解決擴散模型生成效率低的問題，MindVLA使用了基於常微分方程的ODE採樣器來加速生成過程，在2~3步內就可以生成穩定的軌跡。

雲端世界模型

通過高質量的數據進行訓練，MindVLA大模型能夠達到專業司機的駕駛水平，但是要讓系統有機會超越人類，需要在雲端模型場景對系統進行訓練，但是傳統的雲端模擬都是基於遊戲引擎，會出現不符合物理規律的幻覺，無法滿足自動駕駛對真實性的要求。

理想的做法是結合真實場景進行重建和生成，同時在不同的視角下添加噪音來訓練生成模型，讓模型具備多視角的生成能力，更接近真實世界的3D環境。

理想通過創新的架構和工程上的優化，讓VLA率先應用在了量產車上，而且根據理想公佈的計劃，MindVLA不僅會應用在Thor方案上，當前OrinX的方案也會搭載MindVLA，雖然在模型的參數規模上可能有些裁剪，但是表現同樣讓人期待。

VLA，是不是唯一路徑？

除了理想之外，元戎也一直是VLA方案的推崇者，從去年開始元戎就在多個場合提出VLM並不是自動駕駛方案的最優解。

在前不久GTC上，元戎CEO周光也提到將用VLA打通空間智能、語言智能和行為智能，實現自動駕駛並應用在其它AI場景。

但VLA是實現自動駕駛的唯一解嗎？

特斯拉並沒有公開表示自己的端到端是以大語言模型為基座，但是它的表現依然驚豔。

「AI教母」李飛飛的第一個創業項目沒有選擇大語言模型，而是轉向空間智能，通過二維圖片來還原3D世界，類似的想法還有蔚來的世界模型；這些都代表了AI行業對下一代技術方向的思考，VLA是不是最優解還需要實際表現來證明。

VLA在自動駕駛領域才剛剛起步，還有很大的想象空間，今年7月份理想會開啓MindVLA的推送，元戎也預計搭載其VLA模型的車型今年將投入消費者市場。

非常期待它們的表現。