特斯拉 Autopilot 正在改變世界_風聞

特斯拉 Autopilot 已經很久沒有更新了。 

隨着 2018 年 10 月 27 日特斯拉 2018.42.2 版本的大規模推送，Autopilot 軟件團隊的精鋭力量全部聚焦到了增強召喚（Enhanced Summon）功能的研發上。

9 個月過去了，敢想敢幹、效率至上的 Autopilot 團隊至今沒能搞定「增強召喚」。 

2019 年 4 月 6 日，Elon Musk 在 Twitter 預告「增強召喚」將於一週後大規模推送。但隨後 Autopilot 的實際表現證明，那個版本的「增強召喚」完全沒有 Elon 説得那麼效果拔羣。

在 4 月 23 日的特斯拉投資者日上，Elon 無意中透露最新版本的「增強召喚」仍在內測中，而它目前還不適合大規模推送給用户。 

也就是説，效果理想的「增強召喚」，至今仍沒有研發落地。而特斯拉最新公佈的推送日期，定在「8 月 16 號前後」。 

特斯拉 Autopilot 怎麼了？今天，我會嘗試從組織架構、AI & 軟件、硬件三個方面嘗試説明，為什麼 Autopilot 走到了拐點，為什麼説 Elon Musk 正在推進 Autopilot 的終局戰爭。

 5 個月實現自動駕駛 

從 LA Brentwood 的家到 Hawthorne 的特斯拉設計中心，Elon 經常會選擇開特斯拉前往，他有一輛 Model S 一輛 Model 3。兩輛車的相同之處在於都搭載了開發者版本的 Autopilot，區別之處在於這是兩個不同的版本分支：一個支持「增強召喚」功能，另一個支持自動駕駛（Full Self Driving）功能。 

在每天上下班通勤的路上，他會開啓上述功能進行測試，並將問題直接反饋給 Autopilot 團隊。 

8 個月後，Elon 重新開始談論 Autopilot。 

**擁有複雜交通燈的交叉路口和購物中心停車場的交叉口是兩個最大的軟件挑戰。**開發團隊分支的大部分精力都投入在這些場景中，但要達到 99.9999% 的安全性還需要付出大量的努力。

**停車場（增強召喚）是個非常棘手的問題。**今天晚些時候會對「增強召喚」進行深入的工程審查。

三天後答另一位網友的問題時，Elon 透露「增強召喚」將於 8 月 16 日前後進行大規模推送。Autopilot 團隊攻克了大量複雜的挑戰。對於新版增強召喚，Elon 的評價是 Magical。 

「增強召喚」的定義，是從停車場的任意車位響應駕駛員的手機 App 召喚，自動駕駛至駕駛員所在位置。聽起來似乎沒有那麼困難，但為什麼讓 Autopilot 的開發進度一度陷入停滯？ 

「最大的軟件挑戰」是一個籠統的説法，更具體地説，是感知？決策？還是控制存在挑戰？ 

從 2015 年 10 月起，Elon 就開始親自面試並直接領導 Autopilot 團隊。發展到今天，特斯拉 Autopilot 團隊一共有 200 人左右。

Autopilot 硬件副總裁 Pete Bannon 領導着大約 70 人的硬件團隊，負責特斯拉 AI 芯片以及毫米波雷達的自主研發工作。

 

Pete Bannon

Autopilot 工程副總裁 Stuart Bowers 領導着 Autopilot 最大的一支團隊，人數達到 100 人左右，負責地圖、質量控制、模擬和固件更新業務的推進。

 Stuart Bowers 

Autopilot Vision & 特斯拉 AI 高級總監 Andrej Karpathy 領導着最小但最核心的一支團隊，負責特斯拉計算機視覺和人工智能技術邊界的探索。這支大約 35 人的團隊涉及的技術包括自我監督學習、模仿學習和強化學習，是硅谷乃至全球最頂級的人工智能應用研究團隊之一。

 

Andrej Karpathy

Pete、Stuart 和 Karpathy 鐵三角向 Elon 直接彙報的穩定關係已經持續了接近 1 年（這在特斯拉非常少見），直到 4 月 23 日特斯拉投資者日後，事情開始起變化。

在特斯拉投資者日上，Elon 放出了一張特斯拉的十年 To-do List，左邊是已經達成的里程碑，右邊明確寫着 2019 年，也就是未來 5 個月內，特斯拉將實現自動駕駛功能完成（Feature complete）。 

這一次，沒有 Mobileye 不開放的視覺感知限制，也沒有 Autopilot 2.+ 的算力桎梏，**在過去的三年裏，Elon Musk 兵不血刃掃清了通往自動駕駛道路上的所有物理限制。**現在輪到 Autopilot 團隊上場了。 

5 個月實現自動駕駛，這是一個苛刻到殘酷的時間表，但研發已經開始推進。媒體的報道中説 Elon 和 Autopilot 團隊爆發了激烈的衝突。其實沒有什麼「激烈的衝突」，有的只是兩個選擇：**5 個月實現自動駕駛；**走人。 

5 月 10 日，Stuart 治下的軟件工程團隊最先被動刀，先後有五位工程師離職。 

「增強召喚」技術 Lead Nenad Uzunovic

感知 Lead Zeljko Popovic

首席感知工程師 Drew Steedly

控制和路徑規劃高級工程師 Frank Havlak

模擬團隊高級工程師 Ben Goldstein 

在 Autopilot 內部，一場更大的風暴正在來臨。Stuart 被降職，Ashok Elluswamy 被提拔為感知 & 計算機視覺團隊負責人、CJ Moore 出任 Autopilot 模擬、質量控制負責人，路徑規劃負責人變成了 Drew Baglino，上述三人改為直接向 Elon 彙報。 

也就是説，在核心五人組（CEO、CFO、CTO、首席設計師、汽車業務總裁）之外，**向 Elon 彙報的除了遍佈全球的 22 位副總裁，新增 3 位 Autopilot 團隊執行負責人。**新的組織結構如下。 

Autopilot 硬件 VP Pete Bannon

Autopilot 工程 VP Stuart Bowers

Autopilot Vision 高級總監 Andrej Karpathy

Autopilot 感知 & CV 負責人 Ashok Elluswamy

Autopilot 路徑規劃負責人 Drew Baglino

Autopilot 模擬負責人 CJ Moore 

如上所述，截至目前，Autopilot 部門向 Elon 直接彙報的高管達到了六位之多，在特斯拉所有業務中排名第一。 

在上面離職的高管中，不乏任職五年以上的 Autopilot 創始成員。在過去的五年裏，他們經歷了 Autopilot 1.0 到 3.0 的迭代，經歷了「鐵打的 Elon，流水的軟件副總裁」，為什麼在今天離職？ 

過去的時間表無論多麼苛刻，Elon 的任務無非是「6 個月自研視覺工具取代 Mobileye」、「3 個月完成自動變道的研發測試推送」。儘管這些任務也都是世界級難題，但全力以赴 + 跳票帶來的時間寬限，終歸是可以解決的。 

今天，他們接到的任務是「5 個月實現自動駕駛」。 

自 2009 年以來 Google X 實驗室研發自動駕駛汽車以來，自動駕駛領域前仆後繼地砸進了數百億美金，數不盡巨頭、高校、科研機構投入了大量的人才研發。但直到今天，自動駕駛仍然是一片荒原，是廣袤無垠的技術無人區。 

在過去的 5 年裏，特斯拉一直面臨供應商、車規、算力等各種各樣的物理限制，不具備進軍自動駕駛的現實條件。今天，Elon Musk 開始強力推進自動駕駛的研發。 

特斯拉 Autopilot 走到了一個拐點。 

Autopilot Vision 是怎樣煉成的 

2016 年 7 月，Andrej Karpathy 加入特斯拉出任 Autopilot Vision & AI 總監。在Autopilot 部門劇烈人事變動的同時，35 人的 AI 部門穩如泰山，Karpathy 的工作功不可沒。 

在加入特斯拉之前，Karpathy 先後在斯坦福大學 AI 實驗室、Google 和 Open AI 從事 AI 領域的研究。特斯拉 Autopilot 應用到的 AI 技術包括自我監督學習、模仿學習和強化學習。 

在特斯拉官網，我們看到「Tesla Vison 基於深度神經網絡，能夠對行車環境進行專業的解構分析，相比傳統的視覺處理技術可靠性更高」。 

但特斯拉到底是如何應用 AI 驅動 Autopilot 向自動駕駛的道路邁進的？我們需要更多信息。 

首先我們先要明白的是，所謂 Tesla Vision，一個端到端的深度神經網絡（Deep Neural Networks），Ta 不是一個深度神經網絡，而是多個深度神經網絡各司其職的組合體。 

首先是**「物體的檢測與分類」，包括障礙物、交通信號燈和路標的檢測與識別。** 

DriveNet：感知道路上的其他車輛、行人、交通燈（不分辨狀態）和路標

LightNet：對交通燈的狀態進行分類：紅色、黃色或綠色

SignNet：識別路標類型，停車/限速/單行道等等

WaitNet：檢測識別車輛必須停車和等待的情況，例如交叉路口/大型停車場 

在「物體的檢測與分類」部分，Karpathy 推崇通過「自我監督學習」來快速提升 Tesla Vision 的能力。 

​自我監督學習是深度學習領域非常熱門的一個細分方向，4 月 30 日，三大 AI 教父之一、Facebook 首席 AI 科學家 Yann LeCun 專門發文談了自我監督學習領域的現狀。自我監督學習在自然語言處理領域取得了巨大的成功，但在圖像或視頻領域還不能很好的工作，在他看來，這將是未來幾年 AI 領域最棘手的挑戰（the greatest challenge in ML and AI of the next few years）。 

將自我監督學習應用於圖像或視頻領域，這就是 Karpathy 所做的工作，只不過時間寬度「未來幾年」變成了 5 個月。 

什麼是自我監督學習呢？自我監督學習通過設計輔助任務來學習可區別性的視覺特徵，這樣一來，目標標籤能夠直接從訓練數據或圖像中獲得，併為計算機視覺模型的訓練提供監督信息。 

自我監督學習最大的優勢就是消除了監督學習要求人類進行數據標註的先決條件，通過提取並使用自然場景前後的相關元數據作為監督信號。 

以自動駕駛為例，截至 7 月 5 日，特斯拉 Autopilot 全球累計里程已經超過了 15.5 億英里，對於這樣一個天文數字規模的數據集進行清洗、手動標註、訓練和完善深度神經網絡，這在短期內是不可能完成的。

而自我監督學習很好地解決了這個問題，某種程度上，它讓深度神經網絡走上了自我完善的道路，你要做的是利用全球 50 萬輛規模的車隊收集數據並用於訓練它，它就會變得越來越強大。 

初步的感知完成後，接下來是路徑規劃。在路徑規劃層面，同樣需要多層深度神經網絡來完成對環境的感知。以完成車輛前方道路的規劃。 

OpenRoadNet：識別車輛周圍的所有可駕駛空間，包括所在車道和相鄰車道

PathNet：在沒有車道線的情況下突出顯示車輛的可行路徑

LaneNet：檢測車道線和定義行車路徑的其他標記

MapNet：識別可用於創建和更新高精地圖的車道和地標 

路徑規劃也存在一些超級複雜的挑戰。比如説車道線不清晰甚至沒有車道線的路況（當然，你可能注意到了上面的 PathNet），這些問題該如何解決呢？Karpathy 的解決方案是：人類是怎麼做的，Autopilot 就怎麼做。 

模仿學習（imitation learning）是深度學習領域一種相當流行的研究方法。2019 年 2 月 ，Waymo 首席科學家 Drago Anguelov 在 MIT 發表演講。Drago 披露藉助「模仿學習」，Waymo 自動駕駛汽車正在通過學習人類駕駛的行為，來提升系統的駕駛能力。 

特斯拉使用的方案叫做行為克隆（Behaviour Cloning，模仿學習的一種）。行為克隆是什麼意思呢？這個相對好理解得多，我們人類學習新技能就是通過觀察別人怎麼做從而完成學習。 

So we just source a lot of this from the fleet, we train a neural network on those trajectories, and then the neural network predicts paths just from that data. So, really what this is referred to typically is called imitation learning. 

We’re taking human trajectories from the real world and we’re just trying to imitate how people drive in real worlds.

前面説了，**擁有複雜交通燈的交叉路口對自動駕駛汽車來説最具挑戰的一種場景。**這個時候系統該怎麼決策呢？ 

每一輛特斯拉汽車經過（無論 Auopilot 啓用與否）該路口，8 顆攝像頭都會生成一個圖像數據。當圖像數據足夠多的時候，深度神經網絡就會提取人類駕駛員在此路口採取的駕駛決策（包括車輛所在位置、車速、轉向角度、剎車力度等等）中相同元素的最高部分來進行學習。 

在另一輛特斯拉在 Autopilot 啓用狀態下經過該路口時，Autopilot 就會模仿人類駕駛員的安全駕駛行為去進行決策。 

不僅如此，在同城的其他區、其他城市乃至其他國家，遇到類似情形的路口時，深度神經網絡會調取駕駛員的安全駕駛行為去匹配遇到的情形，完成學習能力的遷移。 

我們談了自我監督學習、模仿學習，但要讓跑在全球各地的特斯拉具備自動駕駛能力，還有太多棘手的挑戰。什麼才是最大的挑戰？ 

前 Waymo CTO Chris Urmson、阿里巴巴自動駕駛首席科學家王剛、前 Uber 自動駕駛副總裁 Anthony Levandowski……越來越多的頂級人才公開表示，理解****人類意圖（Human intent）才是自動駕駛汽車最根本的挑戰。

特斯拉的「增強召喚」已經做了 9 個月之久，按照我們上面提到的，只要應用模仿學習，不斷模仿人類駕駛員的行為，特斯拉就可以自動駛出停車場，來到駕駛員身邊。那這個功能為什麼遲遲無法落地？ 

因為車輛每一次從駛出停車位到駛出停車場，面臨的路況、其他車輛、行人的行駛方向和意圖都存在太多不確定性。 

這個時候，Karpathy 在強化學習領域的專業知識就派上了用場。 

強化學習使用更宏觀的全局思維來看待自動駕駛，以解決其中的問題。 

所謂強化學習，指的是使用未標記的數據（類似自我監督學習），但是可以通過某種方法知道你是離自動駕駛越來越近還是越來越遠（即獎懲函數）。可以把獎懲函數想象成自動駕駛的一個延遲的、稀疏的形式。 

在自我監督學習中，能直接得到每個輸入的對應的輸出。但在強化學習中，深度神經網絡需要訓練一段時間後，才能得到一個延遲的反饋，並且只有一點提示説明你是離自動駕駛越來越遠還是越來越近。 

這裏我想引用自動駕駛之外的案例來説明問題。2019 年 1 月，DeepMind 耗時兩年研發的 AlphaStar，以 5:0 的絕對優勢，打敗了全球最強大的職業星際爭霸玩家之一 Dario Wünsch 和 MaNa 戰隊，攻克了人類創造的複雜度最高的遊戲。 

星際爭霸遊戲有如下五個特性： 

沒有最佳策略（遊戲過程千變萬化）

不完整信息（無法看到全局信息）

長期規劃（因果關係不是瞬間產生）

實時（必須隨時間推移不斷感知、決策、執行）

大型活動空間（數百個不同的單元和建築）

眼熟嗎？上述五個特性和自動駕駛汽車面臨的挑戰高度吻合。 

AlphaStar 的深度神經網絡，正是由星際爭霸原始遊戲數據基於監督學習和強化學習訓練而來的。 

同樣的，AlphaStar 和 Autopilot 的相同之處在於，他們基本 AI 實現路徑是一致的，面對的場景和解決的問題也有着很高的相似度。但區別在於，AlphaStar 的任務是打敗人類，Autopilot 不僅要打敗人類，它需要將安全性提升至 99.9999%。 

美好的明天 

這樣一個由 AI 驅動的複雜系統，毋庸置疑是人工智能在汽車工業這個垂直領域最激動人心的應用。那麼，特斯拉 Autopilot 會成嗎？

我想先談談 Elon 之於其他汽車企業家的差異化優勢。 

早在 2015 年，Elon 就聯合 Sam Altman 出資 10 億美元創辦了世界頂級的非盈利人工智能研究機構 Open AI。雖然 Elon 早已退出了 Open AI 董事會，但 Open AI CTO、首席科學家都是 Elon 的好友。此外，Deepmind CEO Demis Hassabis 及多位技術高管也與 Elon 相熟。 

Elon 的 AI 朋友圈

2017 年 6 月，阿西洛馬 AI 大會（Asilomar Conference）召開了一次座談。台上 10 位嘉賓中有 9 位是來自伯克利、紐約、康奈爾等高效或研究機構的 AI 科學家，只有一位是企業家，他就是 Elon。 

我的意思是，Elon 是唯一一個真正懂 AI，憑藉專業的知識混進了一線 AI 圈的汽車企業家。這種近水樓台的優勢在特斯拉延攬 AI 人才方面是無出其右的。 

這只是特斯拉 Autopilot 的冰山一角。特斯拉在芯片、感知、決策、控制的自主能力、全球車隊垂直整合和 AI 方面，獨特又巨大的優勢已經開始顯現。 

在大眾和福特聯手，奔馳和寶馬聯手，自動駕駛領域為什麼快速走向了聯盟分治時代？上述四家公司的 CEO 加起來，也沒有 Elon 一個人對人才的吸引力強。 

這是一個現實的問題。就好像你從斯坦福畢業，到底要去蔚來北美自動駕駛研發中心，還是去北汽做供應商輔助駕駛系統的集成？ 

Elon 敢喊出「我沒有過於自信，但任何車企都不是特斯拉（Autopilot）的對手」不是沒有理由的。 

我們應該對特斯拉 Autopilot 抱有期待的第二點原因在於特斯拉的極度激進。 

在自動駕駛投資者日上，面對台下的幾十位股東， Stuart 説了這麼一句話。 

When we initially have some algorithms we want to try out, we can put them on the fleet, and we can see what they would have done in a real world scenario…

當我們有一些算法想要嘗試的時候，我們就會把它們推送到車隊上，我們就能看看它們在現實世界中運行會發生什麼……

NoA 以 100 km/h 的高速衝出匝道口，某個版本的 Autopilot 自動變道突然猶豫不決…都是算法驗證的產物。 

極度激進的背後的結果是快速試錯、快速改進。沒有一家車企會以全球車主眾包驗證的形式來提升系統能力。 

你可能會説，既然特斯拉這麼厲害，為什麼一個「增強召喚」都要跳票這麼久呢？除了「增強召喚」本來就是自動駕駛落地過程中最複雜的場景之一外，Elon 這段話是很好的答案。 

When we release something,we’re releasing it to 500,000 cars and all over the world. And so it has to be a general solution. So our progress may appear slower than it actually is relative to others that are developing self-driving technology. But in fact,it is quite a lot more advanced because any element that we release is a general solution.

當我們推送一些更新時，我們會將它推送到世界各地的 50 萬輛汽車上。所以它必須是一個通用的解決方案。因此，相比正在開發自動駕駛技術的競爭對手而言，我們的進展可能看起來比實際上慢。

但事實上，它是非常先進的。因為我們發佈的任何元素都是全球通用解決方案。

這就是為什麼，「我沒有過於自信，但任何車企都不是特斯拉的對手。」