毫末智行&清華AIR自動駕駛公開課 潘興博士現場揭秘毫末的自動駕駛AI實踐之路_風聞

​

隨着AI大模型從深度學習算法中脱穎而出，正在成為當前AI領域最為炙手可熱的新技術範式。自動駕駛技術也因為大模型技術的引入，具備了從模塊化階段向端到端自動駕駛進化的可能。AI大模型正在重塑自動駕駛技術路線。

9月27日，毫末智行聯合清華大學智能產業研究院（AIR）聯合舉辦的自動駕駛精品公開課圓滿結束。本場公開課聚焦自動駕駛當前最領先的AI算法，並結合毫末的具體實踐，給自動駕駛從業者、行業夥伴和媒體朋友們帶來了一場端到端自動駕駛的技術盛宴。

本期課程是自動駕駛系列公開課程的第三期，此前第一期和第二期課程分別從宏觀行業和技術原理上對自動駕駛知識體系進行基本介紹。而第三期，清華AIR助理研究員/助理教授詹仙園博士從決策優化視角下解釋了端到端自動駕駛AI算法的特點和當前進展，而毫末智行技術總監潘興博士從數據閉環系統上完整解釋了AI大模型算法是如何在海量數據中學習和優化，並在實踐中如何呈現它驚人的能力。

在題為《決策優化視角下的端到端自動駕駛》的分享中，詹仙園博士從端到端的概念入手，結合自動駕駛行業30年的發展歷程，為大家講述了端到端自動駕駛中的策略學習方法，並結合清華AIR和毫末的科研合作實踐，透過Al算法，洞悉行業發展脈絡，對行業發展做出總結和趨勢判斷。

詹仙園博士指出，端到端，簡單來説就是把所有架構、不同模塊融成一個完整的整體，直接從輸入到輸出做訓練，學習信號從決策處向前傳遞。原有的模塊化，其好處在於每個模塊拆解地非常乾淨，每個模塊建模目標非常明確，可解釋性非常好。但模塊化架構下，每個模塊的設計和優化都有自己的一套體系，把多個模塊組合到一塊勢必會出現誤差累積。而端到端的優點在於以下三點。首先，可以把整個端到端模型看成單一的超大模型，所以結構非常簡單，所有的目標都是圍繞着決策的最終目的做優化和學習，在優化層面上目標是統一的。其次，從輸入到最終決策輸出是端到端的學習，可以很方便地實現依賴海量數據的純數據驅動學習。第三，因為端到端是很多模型在同一個體系下訓練，所以可以共享不同模塊模型的主幹，從而可以降低計算上的開銷。

詹仙園博士介紹，所有端到端的駕駛模型可以看成一個很大的決策模型，把這樣的模型訓出來需要用到決策優化的算法。這就涉及模仿學習和強化學習，模仿學習即用監督學習的方法直接從數據裏訓出來的映射；強化學習則不是簡單的模仿數據，它提供了超越數據本身的可能，可以通過不斷學習優化去找到一個比現有數據更好的決策模式。

在詹仙園博士看來，早期的端到端自動駕駛都是一些很小的決策模型，但到了今天，產業落地的端到端系統都是巨大無比的模型，端到端自動駕駛從早期的在線交互範式，慢慢已經延伸到完全離線的學習。隨着模型變得越來越強、越來越好，安全性也變得越來越好，而且泛化性層面也慢慢有一些改進和過渡。此外，詹仙園博士還就清華AIR和毫末在模仿學習和離線強化學習上的合作進行了詳細的介紹，並表示這些算法會逐步應用到毫末的自動駕駛場景實踐當中。

詹仙園博士分享結束後，潘興博士以《毫末的自動駕駛AI之路》為主題，通過毫末的具體實踐，從工業角度闡述了AI算法的重要性。潘興博士表示，作為一家致力於自動駕駛的人工智能技術公司，毫末用户輔助駕駛行駛里程已經超過8000萬公里，城市NOH也在泛化迭代過程中，預計明年將實現搭載量產。

潘興表示，隨着數據規模的增加、算法能力提升，在大模型、大數據、大算力趨勢下，應用，當前行業即將進入以數據驅動為主的自動駕駛3.0時代。隨着自動駕駛產品正在從高速場景走進城市場景，自動駕駛數據智能體系的建設最核心的基礎設施。為了實現數據閉環，諸如特斯拉、毫末和國內很多友商，也都在搭建自己的雲端AI能力和超算中心，通過更大的算力，更大規模的數據處理能力，來實現更好的自動駕駛能力。

目前，毫末構建了自己的數據智能體系MANA，並在今年年初搭建起中國自動駕駛行業最大智算中心——MANA OASIS雪湖•綠洲。基於MANA OASIS，毫末在今年四月發佈了業內首個自動駕駛生成式大模型DriveGPT雪湖·海若。“作為一個基礎大模型，毫末使用DriveGPT構建了進一步的AI能力，包括數據管理檢索、自動標註、AIGC仿真數據合成等等，基於這些數據能力和服務，我們進一步來提升車端各個模塊和算法的能力，最終實現一個更優秀的自動駕駛產品。”

潘興博士指出，數據智能是整個自動駕駛迭代的核心，這個過程中要積累海量的數據資產，通過AI大模型，可以更好地去管理這些數據資產。同時，有了數據之後不可避免地需要算力，智算中心的穩定持續運行，也為大模型的迭代和自動駕駛的提升提供了源源不斷的動力。

潘興博士介紹，“有了數據和算力之後，目前車雲聯動、共同訓練的方法可以通過大模型有效地提高車端算法的效果。”比如，通過使用DriveGPT，在工具鏈裏面可以非常有效地降低整個標註的成本，提高標註的效率。同時，DriveGPT還可以使用大模型直接支持車端小模型能力的提升，把雲端的大模型能力更好地傳遞到車端的模型上。

潘興博士還表示，“如何高效獲得更真實的仿真數據，其大模型可以發揮非常重要的作用。”通過大模型的使用，可以非常有效地學習紋理、深度、語義等信息。通過大模型的有效表徵，可以使數據具備可被編輯能力，比如，在原始的視頻上沒有的車輛障礙物，通過DriveGPT可以將對它們進行粘貼、剪輯、隨意旋轉，放進視頻當中，從而獲得新的仿真合成數據。除了感知領域的應用，在智能駕駛決策和規劃上，大模型在應用中也發揮了很大的價值和作用，DriveGPT使用人駕的用户數據，持續地迭代和學習，更好的駕駛行為和決策。

與此同時，毫末DriveGPT不僅可以幫助完成軌跡預測、圖片合成，還具備智能決策的能力。“DriveGPT具備輸入一段視頻可以去預測未來軌跡以及回答駕駛決策過程中問題的能力，可以給出可解釋性的決策。”這些能力讓毫末認為隨着端到端自動駕駛的來臨，將宏觀決策和微觀行為，通過模型一起進行學習和理解會成為比較有效的手段。潘興博士透露，接下來，毫末會更深度地將感知和認知兩個模型進行端到端的打通，讓它們能夠合二為一。

毫末智行聯合清華大學智能產業研究院（AIR）舉辦的自動駕駛精品公開課共分4期，本期課程是第三期。在此前舉辦的兩期課程裏，來自清華AIR和毫末智行的講師已經為近百名業內媒體人介紹了單車智能自動駕駛、車路協同自動駕駛和高等級智能道路建設等自動駕駛技術發展，並向大家講解了自動駕駛AI技術基礎原理，以及當前大模型在自動駕駛的應用趨勢。本期自動駕駛精品公開課，毫末與清華AIR一同向自動駕駛行業觀察者們分享了更為深入的AI算法和自動駕駛AI系統的原理，並得到線上線下嘉賓的積極提問和交流。

面向自動駕駛星辰大海，唯有行動才會真正抵達未來的目標。通過自動駕駛精品公開課，毫末與清華AIR攜手業內資深媒體人一起收穫關於自動駕駛A算法的最新研究成果和實踐經驗，攜手跨越山海，共同分享AI知識的智慧火花，為自動駕駛行業貢獻一份珍貴的技術共識和知識沉澱。