激光雷達是我們走的一段彎路嗎？_風聞

很不幸，馬斯克可能是對的。

LiDAR Is a Crutch (Sort of.) 

激光雷達有點像根枴杖

我回想起2020年，何小鵬先生向大洋彼岸的馬斯克先生喊話：“要做好被我們打得找不到東的準備。” 

那時候的我天真地以為，我們有着最成熟的激光雷達（Lidar）產業鏈，能夠將激光雷達的成本降低到可以量產上車的水平，還能保證產出點雲的質量，所以國內廠商能夠有天然的硬件優勢，保證感知結果的精確。我也以為何小鵬先生的底氣來自於此。

到了2023年，小鵬G6靠着幾乎獨一份的智駕體驗和800V 電池，收穫大量定單，隱隱有爆款態勢。

對面特斯拉FSD對於國內的客户依然是一個巨大的餅，一個連時間表都無法給出的餅。

從這個角度來看，何小鵬先生兑現了他的諾言。

但是，很遺憾的是，這似乎與激光雷達（Lidar）關係不大。

無獨有偶，據稱蔚來子品牌阿爾卑斯的首款車將不再配備激光雷達。

同時，理想汽車不久前的家庭科技日上，大篇幅講了自研智能駕駛的進步，而對激光雷達幾乎隻字未提。所以，激光雷達是我們走的一段彎路嗎？

01激光雷達不是城市導航輔助駕駛的必要條件

激光雷達點雲沒有進入XNet進行訓練

根據小鵬智能駕駛感知負責人Patrick Liuhttps://link.medium.com/6OLZCRHdcCb在CVPR 發表的演講，為小鵬城市輔助駕駛打下強悍基礎的XNet，幾乎沒有用到Lidar的信息。Lidar只是在XNet給出感知結果之後，進行識別距離的二次確認。在 Patrick Liu 在CVPR的演講結束之後，有個觀眾問了一個問題：“整體並沒有提到激光雷達，為什麼？”Patrick Liu 的回答非常耐人尋味：

目前我們還是Vision Centric System，Lidar 沒有進入前融合，實際上激光雷達還是用於一些通用障礙物的識別（例如一些從沒有見過的物體，感知識別不到，但是可能空間中會有一部分點雲）XNet 中並沒有使用Lidar點雲，實際上Lidar傳感器尚處在一個還在不斷變化的時候，並沒有穩定下來。

也就是説Lidar 目前對於整個感知系統處於一個不是很重要的狀態，沒有進入BEV網絡進行訓練。

從這個角度來看，激光雷達在感知的權重幾乎降低到了自適應巡航毫米波雷達的程度。而根據此前吳新宙的採訪

我們用激光雷達一直非常收斂。

這也證明了激光雷達在目前的技術棧中被依賴的程度並不高。從這個角度看，實際上小鵬的路線與特斯拉是非常類似的，只是多了激光雷達的傳感器冗餘，加快了落地速度。

特斯拉從未在量產車上使用過激光雷達

特斯拉的量產車上從來沒有出現過激光雷達，但從來不妨礙業內從業者對特斯拉自動駕駛團隊的尊重。到目前為止，稱為量產綜合最強其實並不為過。

面對純視覺系統處理不好的大霧和暗光環境，許多工程師認為這是視覺天然缺陷，但是特斯拉認為這是數據不足。

只要對應數據足夠多，感知系統的潛力就能被挖掘出來。

一切能力不足，都可以歸因成數據不足。

純視覺高階輔助駕駛核心能力，在於優秀的數據迴環系統和自動標註系統。

邏輯其實非常清楚，既然純視覺如果可以完成Lidar的測距任務，那Lidar就沒有必要存在了。用同樣的邏輯，特斯拉也將原有的毫米波雷達去除了。

當然，我承認在一些極其惡劣的條件，純視覺的能力一定有着很大的限制，但是這絕對不成為高成本激光雷達的上車必要條件。

最後的一點距離確認的任務，不足以支撐如此高的成本。

即純視覺方案能做到90分，激光雷達方案只能做到91 分，但是為此付出的成本卻非常大，這很明顯價值不高。-----  某頭部智能駕駛感知方案負責人如是説

特斯拉可能會選擇將這一點任務交給成本更低的4D毫米波雷達，這是後話。

目前生產的HW4.0，Model Y，Model 3 並沒有毫米波雷達，而Model S X上配備了，從某種程度上可以認為，這只是安全冗餘或者是目前的影子模式數據收集用，而不是核心器件。

目前量產智能駕駛的兩個頭部玩家都對激光雷達持相對否定的態度，為何？

02BEV算法和佔用網格正讓激光雷達的作用降低

激光雷達最重要的兩個特質： 測距精度和通用障礙物的識別，效用在不斷降低。

在早期L2 級別的自動駕駛中，攝像頭給出識別結果，然後再根據毫米波雷達的距離結果，二者進行信息的互相補充，進而得出最後感知結果，用於常規的自適應巡航（ACC）和緊急剎車系統（AEB）等。

但是實際上由於毫米波雷達的誤檢測比較多，地面也會被識別成前方物體。

因此，一些廠商會直接將靜態目標直接過濾掉，只使用動態目標的結果。這就造成毫米波雷達實際效用大大被降低，在整個感知技術棧中變得可有可無，尤其是當純視覺感知到了足夠的精度時，毫米波雷達的結果會被毫不猶豫地被拋棄。

激光雷達幾乎走在毫米波雷達的老路上。

目前頭部的純視覺BEV的檢測距離精度，大部分時候已經到了不需要激光雷達的程度。 某頭部智駕感知工程師表示。按照目前視覺方案的精度，激光雷達精確測距的優點已經越來越雞肋。另一個非常明顯的轉變是，特斯拉已經可以靠純視覺佔用網格（後文有相關解釋）完成泊車測距顯示，也就是説，其靜態感知的測距精度已經到了釐米級別。

由於極高的成本，並且波段基本接近可見光。極大部分內容攝像頭也可以看見，常見的視覺受限場景，雨天和霧天場景，雨水和霧氣產生的干擾點讓激光雷達根本沒有優勢。

激光雷達的危險程度甚至更高。 

03如何去除激光雷達

數據迴環與標註系統

與tesla 2021 AIDday 非常類似，Patrick 的演講過程中大篇幅提到了小鵬的數據迴環和標註系統。

一個離線的識別模型，少了車上算力的限制，可以將模型變得更大；同時多了多幀的信息，例如某一幀的自動標註可以使用前一幀和後一幀的信息來對齊，保證位置的準確性。

同時，有意思的是，自動標註系統中大部分都會使用點雲的信息，由於激光雷達點雲的精確性更好，可以用於更精確的標註。

這樣出來的標註質量可能會比特斯拉的要好，也就更有機會訓練出更加優秀的感知系統。

而目前頭部車企的不斷迴環的帶點雲的數據，是一座巨大的容易被標註的數據金庫。實際上，迴環系統，各家全棧自研車企都建設完成或者在建設途中了。這種背景，可能會讓去除激光雷達的路走得更快。

純視覺佔用網格 

深度學習來做自動駕駛感知，有一個天然的缺陷。幾乎所有的能識別出來的物體都需要在訓練集中出現過，如果沒有的話，識別失敗是很容易預知到的結果。

但是道路上的物體無窮無盡，根本無法窮舉。

同時，很多算法團隊也在試圖讓自家的算法擁有Zero-Shot的能力，即沒見過也可以識別，但是穩定性難以保障。

如果使用激光雷達，可以根據點雲給出通用障礙物。即不在乎是什麼了，只在乎是不是一個影響駕駛的物體。這是激光雷達最重要的優點。

沒有識別到的物體，如果有置信度足夠高的點雲集合，即使視覺系統沒有識別到，那麼實際上也可以將其直接作為障礙物給出識別結果。

當然，特斯拉也給了回答，視覺佔用網絡。

沒有激光雷達，特斯拉純視覺算法將所有的物體分割成了佔用空間，即不再關心非常具體的類別，只關心佔用的3D空間和速度相關信息。這樣就規避了窮盡類別的問題。

當然這也建立在視覺算法能夠完全恢復3D空間距離的基礎上。Lidar能夠提供足夠好的距離結果，為標註距離後訓練佔用網絡提供了非常好的基礎，但是由於目前量產的激光雷達囿於成本，整體點雲的密度並不足以提供極為稠密的深度信息，也需要標註團隊的努力。

合成數據的精確標籤

合成數據：顧名思義，非真實數據，而是人工合成的數據，可以用於算法的訓練早在2021年特斯拉就提出他們使用了合成數據進行算法的訓練，例如高速上奔跑的行人；2022 年提出使用自動化仿真環境構建為算法提供訓練和測試。這些都為特斯拉的算法提供了非真實的數據來源。

我相信在特斯拉進行佔用網絡的開發過程中，也有非常多合成數據的參與。在這裏，合成數據有着一個無法比擬的優勢。極其精確的3D真值相較於自動化標註給出的似是而非的真值，開發團隊為了降低成本，不得不忍受；

合成數據由於其生產過程是高度人為可控的，數據的真值是非常精確的。

與此同時，某個佔用空間的速度，加速度，類別也是高度已知的，即使是完全人類標註，所生產的標籤也無法比擬。這種高度精確的數據為算法提供了非常廣闊的應用空間，也在一定程度上提高了算法的上限。

04激光雷達的危機來源

在純視覺方案不夠精確時，智駕工程師們會用更多的數據和更精妙的算法來榨乾視覺方案的價值，來提高數據的利用率。到了激光雷達這裏，似乎工程師們的態度發生了變化。

為何？

激光雷達依然在不斷變化，除去老生常談的905和1550波長之爭，安裝位置的區別；激光雷達點雲抗干擾的能力依然是激光雷達廠商們不斷努力的方向，這些都是變數。這些變數讓激光雷達的下游，對未來產生懷疑。

尚未穩定的技術帶來的沉沒成本 

攝像頭經過多年的發展，已經有了一套非常穩定的數據處理方案，一切都有律可循。

學術界業界使用的傳感器都趨於一致，即使使用的感光元器件，圖像信號處理模塊稍有區別，但是整體輸出的結果都有一個規則：趨近人類眼睛的感受。

而BEV的引入，也在一定程度上降低了對外參的依賴，因為BEV需要將圖像全部轉換到俯視視角，這種相對解耦讓之後車型的適配也相對靈活所以攝像頭的變化會在一個相對合理並且可以被接受的區間內，即使是內外參有一些區別，並不會讓適配工作變得極為複雜。

而激光雷達，業界形成的共識大概只有，點雲需要更密，遠處的分辨率要足夠高。

更不要説，激光雷達目前的安裝位置也沒有形成共識，這種點雲一旦被強依賴開發，之後的車型勢必都需要按照相同的方案進行開發。否則數據的複用會帶來極大的工作量。

所以一些公司將激光雷達直接轉換成佔用空間（Occupancy Grid）， 與特斯拉佔用網絡的結果趨於一致。但是激光雷達點雲又不提供速度信息，佔用網絡速度標註又是一個不容易被解決的問題，只有視覺能解決這個問題。

成本倒逼的兩套技術方案

對於輔助駕駛，目前大部分車企都有兩套技術方案，一套帶激光雷達，用於更加高階的技術方案，一套不帶激光雷達，用於更低成本車型，降低入門車型的價格。

這就帶來一件非常有趣的現象，純視覺方案做基礎，激光雷達方案做高階。

所以在一些基礎必備的功能，例如AEB，假設一個車企有兩套自研硬件方案，那麼這套方案一定是視覺為主，激光雷達後期作為可有可無的補充的。

否則開發完全不一致的方案，會讓已經非常內卷的功能團隊再次精力被分散。而高階輔助駕駛，在目前的降本需求下，也在被純視覺方案侵蝕空間。

大部分智能駕駛方案團隊，都使用純視覺方案做到了高速領航輔助駕駛，這種向上的壓力面前也讓激光雷達方案的空間進一步被壓縮。

那麼激光雷達剩下的空間就只有城市導航輔助駕駛了，而Tesla，早已證明沒有激光雷達也可以完成。而4D毫米波雷達的虎視眈眈，也在進一步侵蝕激光雷達的生存空間。效用與價格的錯配，正在拷問所有的智駕團隊。而現在的激光雷達上車價格，已經是廠商們用盡全力，完全沒有利潤的結果了。  

05激光雷達的機會

如果激光雷達一直無法進入前融合，而成本倒逼也讓空間進一步被縮小，未來會在何方？我們回想一下毫米波雷達的使用，事實上沒有廠商會直接使用毫米波雷達出來的點雲結果，而是大部分使用毫米波模組直接出來的物體探測結果。例如博世毫米波雷達模組能直接給出目標的感知結果，比如物體的距離，長寬高等，雖然這些結果的置信度不高，但是有着相對穩定的可用空間，整體集成難度也相對較小。

那麼激光雷達是否也可以複製毫米波雷達的發展方向？

激光雷達模組輸出更加稠密的佔用網格，而不是點雲原始結果，在某種程度上直接給出穩定的整體世界的描述。AEB等固定模塊的參考信號，例如Mobileye 的模組可以直接給出非常穩定的AEB結果。理論上點雲的距離質量會讓AEB信號的開發難度會更低。進一步降低成本，直到可被接受

 

馬斯克宣佈過特斯拉使用的是攝像頭的原始數據進行後面的開發，也省去了圖像信號處理模塊帶來的干擾，而對於激光雷達廠商來説，更加熟悉底層，能夠獲取更加原始的數據，也能夠獲得更好的結果。當然，這是我個人觀點，並不代表未來的發展方向。 

寫在最後

這兩年激光雷達上車的火熱，到目前的冷卻，行業態勢瞬息萬變。激光雷達最重要的兩個優點，距離精度和通用障礙物識別，被純視覺BEV算法和佔據網格算法一步步侵蝕空間。國內智能駕駛產業鏈強行將激光雷達催熟，現在某些車企還無法正確使用，大量點雲只用於AEB系統，但是AEB的表現卻很難與所有人都想顛覆的Mobileye抗衡。

幸運的是，我看到激光雷達對自動化標註帶來的捷徑，讓之後去除激光雷達過程變得更加容易。

激光雷達兩年前的激進上車，或許就是為了不久之後的下車。

也許某一天，證明擁有激光雷達的車在AEB的表現普遍更好，佔用網格可以更精確，激光雷達退化成類似安全氣囊的高端配置以後，激光雷達的春天才真的會到來。

高階輔助駕駛的兩副枴杖，一副是高精地圖，許多團隊正在扔掉的路上；另一幅是激光雷達，我相信離扔掉應該也不遠了。

但是有了這兩副枴杖，讓我們更快體驗到了高階輔助駕駛的魅力，也能更好迎接低成本方案的到來。

或許，很幸運，馬斯克是對的。

來源：本諾__