毫末智行發佈生成式大模型“雪湖·海若”，自動駕駛也需要GPT嗎？_風聞

撰文 | 小不董

編輯 | 李信馬

題圖 | 毫末智行

自動駕駛也安排上“GPT”了。

4月11日，毫末智行正式官宣首個應用GPT模型和技術邏輯的自動駕駛算法模型，中文名“雪湖·海若”。

微軟CEO納德拉曾説：“深度學習在過去20年或10年取得了巨大進展，大模型將是下一個大事件。”當下國內外人工智能技術大爆發，大模型正在迅速向我們的生活中拓展延伸，相對來説，國外科技巨頭的步伐更快一步，但在自動駕駛領域，毫末智行所發佈的DriveGPT，卻是全球首個自動駕駛生成式大模型，這在讓人欣喜的同時，也不禁產生疑問：自動駕駛也需要GPT嗎？DriveGPT是真的“為天下先”，還是噱頭居多？

I、何為“雪湖·海若”？

海若，出自《莊子·秋水》，河伯請教北海若，何謂大小之分，北海若教導，不因天地而覺大，不因毫末而覺小。因此，毫末把DriveGPT中文名命名為“雪湖·海若”，寓意智慧包容、海納百川。

要回答上面兩個問題，首先要回答，雪湖·海若是不是“GPT”？

GPT，全稱Generative Pre-trained Transformer，即生成式預訓練大模型，本質上是在求解下一個詞出現的概率，這是它的數學原理，每一次調用都是從概率分佈中抽樣並生成一個詞，這樣不斷地循環，就能生成一連串的字符，用於各種下游任務。

其實在ChatGPT大火之前，GPT就已經用在了其他領域，比如2021年7月的CodeX，也就是CodeGPT，可以用於代碼生成，提升寫代碼的效率，還有2021年12月發佈的WebGPT，可以讓GPT利用搜索引擎，主動搜索結果並彙總整理出答案，也就是近期微軟發佈的New Bing搜索。所以，GPT本身是一種非常通用的建模範式，能應用的領域非常之多。

DriveGPT整體的訓練邏輯和使用的算法，與ChatGPT大體相似，不過由於領域不同，所以只在自己的特定條件下實行，性質不完全相同，但仍是“GPT”。

自動駕駛也需要GPT嗎？

這個問題其實在數年前就有企業進行了探索。當前，全球範圍內有機會衝擊1億公里級運營里程俱樂部的有兩家企業：一個是特斯拉，基於百萬級車主的參與，其FSD累積行駛里程將衝向1億英里；另一個就是毫末智行。

2019年，時任特斯拉AI總負責人安德魯·卡帕西（Andrej Karpathy）提出，特斯拉自動駕駛要像人一樣開車，要在2021年取消激光雷達，並引入“大模型”對特斯拉的自動駕駛系統進行訓練，同年發佈了Dojo超級計算系統（Dojo是特斯拉自研的超級計算機系統，能夠利用海量視頻數據，完成“無人監管”的標註和訓練）。

2020年，特斯拉宣佈將基於深度神經網絡的大模型引入其自動駕駛之中，到現在已實現了純視覺FSD Beta的大規模公測。特斯拉FSD系統即全自動駕駛系統，包括了自動駕駛導航、自動變道、自動泊車、召喚和交通燈以及停車標誌控制等功能。截止到2022AI DAY，特斯拉已在超過16萬輛車上進行了FSD Beta版系統測試，僅一年內就訓練了7.5萬個神經網絡模型。

在國內，毫末智行率先引入了Transformer的技術，之後也是最早建立自己超算中心的自動駕駛企業。2021年，毫末智行在推出數據智能體系MANA的同時，也宣佈要藉助大模型提升數據處理能力，從而加速HPilot智能輔助駕駛產品的進化。

今年1月5日，毫末智行舉辦AI DAY，在自動駕駛數據智能體系MANA（雪湖）的基礎上，推出了新的智算中心MANA OASIS（雪湖·綠洲）。毫末智行董事長張凱在現場説到：“隨着自動駕駛企業向3.0時代邁進，大模型+大數據的數據驅動模式，成為自動駕駛技術進化的關鍵，而驅動大模型和海量數據訓練的超算中心將成為自動駕駛企業的入門配置。”

2、加速進入自動駕駛3.0時代

如果將自動駕駛的發展分為三個階段，那麼在自動駕駛3.0時代，DriveGPT可以説是應運而生。

1.0時代是硬件驅動的，從谷歌等科技巨頭的初代無人車開始的自動駕駛1.0時代，這一階段硬件就是自動駕駛的能力上限，特別是雷達傳感器，其數量越多、性能越強，對應的自動駕駛智能化程度就越高。其明顯問題就是，整車成本居高不下，改造成本動輒上百萬；以及智能化程度較低，行駛里程較短，在100萬公里內。

2.0時代是軟件驅動的，自2016年AlphaGo戰勝李世石後，掀起了一陣以深度學習為基礎的AI技術潮，大幅降低了單車成本的同時，自動駕駛里程逐漸增加至上千萬公里。

圖片來源：IC Photo

而3.0時代是數據驅動的，AI依然是核心技術，不同就在於AI對數據的要求發生了質變，“大模型”成為新的技術基石。

工信部數據顯示，2022上半年L2 級輔助駕駛乘用車新車市場滲透率達到 30%，同比增加 12.7%。中國自動駕駛在多方也取得了突破，來自2022世界智能網聯汽車大會的消息顯示，全國開放各級測試公路超過7000公里，實際道路測試里程超過1500萬公里，自動駕駛出租車、無人巴士、自主代客泊車、幹線物流以及無人配送等多場景示範應用有序開展。

技術方面呈現了一個新的趨勢：不再是硬件或者軟件驅動，不再是測試道路下的數據驅動，而是以真實道路行駛場景為核心的數據驅動，這便是自動駕駛3.0。

隨着用户更高頻地開啓輔助駕駛功能，智駕行駛的行駛里程和使用頻率呈現指數級提升，足夠規模和多樣化的數據帶來數據積累的優勢，可以更好驅動自動駕駛技術的快速迭代升級。生成式大模型已成為自動駕駛系統進化的關鍵，基於Transformer大模型訓練的感知、認知算法，將逐步在車端進行落地部署。基於自動駕駛數據的大規模增長，以及大模型的深入應用，也讓智算中心成為自動駕駛行業的“新基建”。

3、DriveGPT是怎樣煉成的？

DriveGPT自動駕駛認知大模型也採用了RLHF（人類反饋強化技術）算法，通過不斷輸入真實人駕接管數據，持續優化自動駕駛決策模型，簡單來説就是它會借鑑海量真實駕駛數據，從而做出自己的最優解。

不同路況、天氣和變量下，自動駕駛如何應變？這就需要一個強大的模擬人類思維的模型，GPT相關的AI軟件就是為此而生。

首先，把感知和認知相關大模型能力統一整合到DriveGPT——也就是自動駕駛生成式大模型中；其次，計算基礎服務針對大模型訓練在參數規模、穩定性和效率方面做了專項優化，並集成到OASIS當中。增加了使用NeRF技術的數據合成服務，降低Corner Case數據的獲取成本；另外，毫末智行還針對多種芯片和多種車型的快速交付難題，優化了異構部署工具和車型適配工具。

自動駕駛中不可或缺的視覺感知上，其核心目的就是恢復真實世界的動靜態信息和紋理分佈，毫末智行對視覺自監督大模型做了一次架構升級，將預測環境的三維結構，速度場和紋理分佈融合到一個訓練目標裏面，強迫模型練好內功，之後面對各種具體任務都能“胸有成竹”。

據現場演講介紹，DriveGPT雪湖·海若具有三個能力：

可以按概率生成多個場景序列，每個場景都是一個全局的場景，都是未來有可能發生的一種實際情況。能把場景中用户最關注的自車行為軌跡量化，也就是生成場景的同時，便會產生自車未來的軌跡信息。DriveGPT雪湖·海若也很好地繼承了這種特性，在生成場景序列、軌跡的同時，也會把整個決策邏輯鏈給輸出。

DriveGPT雪湖·海若的一個關鍵設計，就是場景的Token化表達，毫末智行把這種方式叫做Drive Language。

目前毫末智行Token的詞表空間是50萬個左右，DriveGPT雪湖·海若就像一部推理機器，你告訴它過去發生了什麼，它按概率推理出未來多個可能。通過對於不同場景“優勝劣汰”，DriveGPT最後把參數更新到一個備份模型（Active Model）中，通過強化學習的方式，生成的效果就會有一個明顯地提升。

圖片來源：毫末智行

相比特斯拉FSD的百萬+量產車下線，中國企業與之的距離相去甚遠。要突破自動駕駛的長尾效應，就要不斷擴大道路行駛場景。毫末智行CEO顧維灝在現場説到：“DriveGPT雪湖·海若可以逐步應用到城市NOH、捷徑推薦、智能陪練以及脱困場景中。有了DriveGPT的加持，車輛行駛會更安全；動作更人性、更絲滑，並有合理的邏輯告訴駕駛者，車輛為何選擇這樣的決策動作。對於普通用户來説，車輛越來越像老司機。”

4、大考之年，枕戈待旦

2022年，中國市場乘用車高級別輔助駕駛前裝搭載率升至29.40%，前裝標配交付585.99萬輛。毫末智行曾在去年預估，到2025年高級別輔助駕駛搭載率超過70%。這意味着從今年開始，智駕產品進入一個快速增長的全線爆發期。

這也説明，城市導航輔助駕駛產品在2023年將圍繞量產交付發力，幾個主要玩家的城市導航輔助駕駛產品將會進入到真實用户交付和多城市並行落地的比拼中。其次，行泊一體和無人車的商業化將成為自動駕駛公司深耕的重點。搭載低成本行泊一體功能的智駕產品將迎來一個前裝量產的高潮，高速導航輔助駕駛、自主泊車等產品的體驗也會迎來全面升級，車主的使用頻率和滿意度將成為產品競爭力的主要衡量標準。

在這些趨勢之下，毫末智行迎來了它的衝刺大考之年。

圖片來源：毫末智行

據瞭解，毫末智行DriveGPT雪湖·海若大模型的成果將首發落地在搭載毫末智行HPilot3.0的新摩卡DHT-PHEV上，此款車型上市後，我們就能看到，DriveGPT是否真的能提供優秀的駕駛體驗。

圖片來源：毫末智行

“很多人問我，為什麼毫末智行要探討雪湖·海若？背後是毫末智行踏踏實實的在做技術，踏踏實實的實現未來。毫末智行成立到現在接近三年半時間。這三年多時間，很多事物都發生了變化，但是毫末智行對技術的堅定投入始終未變。我們始終熱愛技術，枕戈待旦，全力衝刺。再難，我們都不會放棄。”顧維灝總結道。