自動駕駛爆雷！美專家4小時發現百度Apollo英偉達DriveAV的561個故障

本文經授權轉自新智元（ID：AI_era）。

馬斯克曾説：“自動駕駛永遠不會完美，但比人類駕駛安全10倍！”真是這樣嗎？伊利諾伊大學香檳分校的研究人員開發了一種故障評估技術，在對百度Apollo 3.0和英偉達專有自動駕駛系統DriveAV的測試中，4小時發現了561個關鍵安全故障。

特斯拉CEO馬斯克曾經放話：“自動駕駛永遠不會完美，但比人類駕駛安全10倍！”

然而，真是這樣嗎？

伊利諾伊大學香檳分校的一個研究團隊在分析了自動駕駛公司2014年至2017年提交的所有安全報告(涵蓋144輛自動駕駛汽車，累計行駛1116605英里)後，得出一個截然相反的結論：

在行駛相同里程的情況下，自動駕駛汽車發生事故的可能性是人類駕駛汽車的4000倍。

而就在最近，這個研究團隊開發的一種針對自動駕駛的故障評估技術，在對百度Apollo 3.0和英偉達專有自動駕駛系統DriveAV的測試中，短短4小時就發現了561個關鍵安全故障！

這個研究團隊致力於使用人工智能和機器學習，通過軟件和硬件的改進來提高自動駕駛技術的安全性。

“由於車輛電氣和機械組件的複雜性，以及天氣、路況、地形、交通模式和照明等外部條件的變化，使用AI來改進自動駕駛車輛非常困難。”伊利諾伊大學CSL實驗室教授Ravishankar K. Iyer説，“目前我們正在取得進展，但安全仍是一個重大問題。”

Ravi Iyer

研究小組目前正在開發技術和工具，從而找到影響自動駕駛車輛安全的駕駛條件和問題。使用他們的技術，可以找到大量的至關安全的場景，在這些場景中，一個小小的錯誤就可能釀成大禍。如此一來節省了大量的時間和金錢。

在對百度Apollo 3.0和英偉達DriveAV的測試中，該團隊所開發的故障注入引擎DriveFI在4小時內發現了500多個該軟問題。

示例場景：(1)目標FI導致危險狀態；(2)特斯拉自動駕駛儀的真實例子與注入故障類似

這樣的發現讓這個團隊的工作得到了業內的關注。該團隊正在為他們的測試技術申請專利，並計劃很快進行部署。理想情況下，研究人員希望公司使用這項新技術來模擬已發現的問題，並在部署汽車之前解決問題。

自動駕駛事故可能性比人駕駛高4000倍，安全評估面臨挑戰

“我們團隊正在應對一些挑戰，”領導該項目的計算機科學博士生Saurabh Jha説。“解決這一挑戰需要跨越科學、技術和製造的多學科努力。”

為什麼這項工作挑戰性很大？因為自動駕駛是使用AI和機器學習來集成機械、電子和計算技術以做出實時駕駛決策的複雜系統。典型的自動駕駛系統就像放在輪子上的微型超級計算機；擁有50多個處理器和加速器，運行着超過1億行代碼，來支持計算機視覺、規劃和其他機器學習任務。

這些車輛的傳感器和自動駕駛堆棧(計算軟件和硬件)有可能存在問題。當一輛汽車以每小時70英里的速度在高速公路上行駛時，故障對司機來説可能是一個重大的安全隱患。

“如果一輛普通汽車的駕駛員感覺到諸如車輛漂移或拉力之類的問題，他/她可以調整自己的行為並將車輛引導到一個安全的停車點。”Jha解釋説：“然而，在這種情況下，除非自動駕駛汽車針對這些問題進行了訓練，否則自動駕駛汽車會如何應對是不可預測的。在現實世界中，這樣的例子數不勝數。”

多數人在電腦或智能手機上遇到軟件問題時，最常見的反應是關機重啓。然而，此方法不建議用於自動駕駛汽車，因為耽誤的每一毫秒都會影響結果，而響應稍慢一點就可能會導致死亡。在過去的幾年裏，由於自動駕駛引發的各種事故，人們對這種基於人工智能的系統的安全擔憂不斷增加。

“現行法規要求Uber和Waymo等在公共道路上測試無人車的公司，每年要向加州車輛管理局(DMV)彙報其車輛的安全性，”CSL和計算機科學專業的研究生Subho Banerjee説。“我們想了解常見的安全問題有哪些，汽車的性能如何，以及理想的安全標準是什麼，以瞭解自動駕駛系統的設計是否足夠好。”

該團隊分析了2014年至2017年提交的所有安全報告，涵蓋144輛自動駕駛汽車，累計行駛1116605英里。他們發現，在行駛相同里程的情況下，自動駕駛汽車發生事故的可能性是人類駕駛汽車的4000倍。這意味着，自動駕駛技術不能妥善處理情況的概率之高非常驚人，往往要依靠人類駕駛員來接管。

研究人員和公司在試圖改善這種情況時遇到的一大挑戰是，在自動駕駛汽車系統出現特定的問題之前，很難訓練軟件來克服它。

此外，軟件和硬件堆棧中的錯誤僅在某些駕駛場景下才表現為安全關鍵問題。換句話説，在高速公路或空曠/不太擁擠的道路上進行的自動駕駛汽車測試可能是不夠的，因為這種情況下即使發生軟件/硬件故障也很少導致安全問題。

車輛模擬

真的發生故障時，往往是在汽車已經行駛了數十萬英里之後。為了測試這些自動駕駛汽車，需要花費大量的時間、金錢和精力，這使得測試過程非常低效。因此，研究團隊決定使用計算機仿真環境和人工智能來加速這一過程。

“我們將自動駕駛汽車的軟件和硬件堆棧中的錯誤注入到計算機仿真環境中，然後收集自動駕駛汽車對這些問題的響應數據，”Jha説。“與人類不同，當今的AI技術無法推理出不同駕駛場景中可能出現的錯誤。因此，需要大量的數據來教會軟件在面對軟件或硬件故障時採取正確的行動。”

DriveFI：4小時發現百度Apollo、英偉達DriveAV 561個故障

研究人員在論文“ML-based Fault Injection for Autonomous Vehicles: A Case for Bayesian Fault Injection”中，介紹了一種基於機器學習的故障注入引擎DriveFI，它能挖掘最大程度地影響自動駕駛安全性的情況和故障，這在兩個工業級自動駕駛系統(來自NVIDIA和百度)上得到了證明。

論文地址：

https://arxiv.org/pdf/1907.01051.pdf

例如，DriveFI在不到4小時的時間裏發現了561個安全關鍵故障。相比之下，花了數週進行的隨機注入實驗沒有發現任何安全關鍵故障。

故障注入實驗

自動駕駛汽車(Autonomous vehicles, AVs)是一個複雜的系統，它使用人工智能和機器學習來集成機械、電子和計算技術以做出實時駕駛決策。AI使自動駕駛汽車能夠在複雜的環境中導航，同時保持安全範圍，該安全範圍由機載傳感器(如相機、激光雷達、雷達)不斷地測量和量化。因此，迫切需要對自動駕駛技術進行全面評估。

ADS的架構

然而，在實際的駕駛環境中對這些系統進行評估一直具有挑戰性，特別是由於隨機故障的出現。故障注入(Fault injection，FI)是用於測試計算和網絡物理系統在故障下的彈性和錯誤處理能力的一種成熟方法。基於FI的自動駕駛評估提出了一個獨特的挑戰，不僅因為自動駕駛的複雜性，也因為AI在這樣一個自由流動的操作環境中的中心地位。此外，自動駕駛系統代表了軟件和硬件技術的複雜集成，這些技術已經被證明容易出現硬件和軟件錯誤。未來，代碼複雜性的增加只會加劇這個問題。

DriveFI架構

DriveFI是一種用於自動駕駛的智能FI框架，它通過識別可能導致碰撞和事故的危險情況來應對上述挑戰。

DriveFI包括(a)一個FI引擎，可以修改自動駕駛系統(ADS)的軟件和硬件狀態以模擬故障的發生；和(b) 基於ML的故障選擇引擎，我們稱之為貝葉斯故障注入(Bayesian fault injection)，可以找到最有可能導致違反安全條件的情況和故障。相比之下，傳統的FI技術往往不關注安全違規，在實踐中表現率較低，並需要大量的測試時間。請注意，在給定一個故障模型的情況下，DriveFI也可以執行隨機FI來獲得基線性能。

本研究的貢獻

DriveFI的Bayesian FI框架能夠通過對ADS在故障下的行為進行因果推理和反事實推理，從而發現關鍵安全情況和故障。

它通過(a)以車輛運動學和AV架構的形式整合領域知識，(b)基於橫向和縱向停車距離的安全建模，(c)使用真實的故障模型來模擬軟件錯誤，從而做到這一點。(a)、(b)和(c)被集成到一個貝葉斯網絡(BN)中。

BN提供了一種有利的形式化方法，即用可解釋的模型來對故障在AV系統組件之間的傳播進行建模。該模型與故障注入結果可用於設計和評估AV的安全性。

此外，BN支持快速概率推理，這使得DriveFI能夠快速找到對安全關鍵的故障。

Bayesian FI框架可以擴展到其他安全關鍵系統(如手術機器人)。該框架要求對安全約束條件和系統軟件架構進行規範，以建模系統子組件之間的因果關係。

自動駕駛汽車的自主系統和機械系統，及其與DriveFI的交互作用。

研究小組在兩個工業級的4級ADS上演示了這種方法的能力和通用性，分別是DriveAV(NVIDIA的專有ADS)和Apollo 3.0(百度的開源ADS)。

結果

研究團隊使用三種故障模型：(a)非ECC保護的處理器結構中的隨機故障和一致故障；(b) ADS軟件模塊輸出中的隨機故障和一致故障；(c) ADS模塊輸出中被Bayesian FI損壞的故障。

主要結果包括：

使用錯誤模型(b)，我們編制了一個包含98,400個錯誤的列表。在模擬的駕駛場景中，如果要對所有98,400個故障進行徹底的評估需要615天。相比之下，Bayesian FI能夠在不到4小時的時間內找到561個對AV安全性影響最大的故障。也就是説，Bayesian FI比傳統方法快了3690倍。

Bayesian FI能夠發現導致安全隱患的關鍵故障和場景。(a)在561個已確定的故障中，460個顯示為安全隱患。(b)這460個故障與68個安全關鍵場景有關(總共7200個場景)。

通過對挖掘出的關鍵故障進行檢測，發現最容易發生車輛碰撞事故的ADS模塊輸出前3位分別是節氣門值(561個關鍵故障中的24%)、PID控制器輸入(18%)和傳感器融合障礙類值(15%)。Bayesian FI用於創建違反車道的目標的ADS模塊輸出是：(a)車道類型值(2%)、(b)油門(1.4%)、(c)轉向(1.4%)。56%的故障類型從未被Bayesian FI使用過；例如Bayesian FI從未注入到相機傳感器對象分類模塊的輸出中。

使用FI 獲得的故障/錯誤影響表徵

相比之下，在5000次random FI試驗的幾周內，沒有發現一個安全隱患。只有1.93%的單比特注入導致了靜態數據損壞(SDC)，從而導致啓動錯誤。ADS從所有這些錯誤中恢復了，沒有任何安全違規。在7.35%的FIs中，發生了內核恐慌和死機。預期可以通過AV中現有的備份/冗餘系統從這些故障中恢復。

作者表示，Bayesian FI方法挖掘關鍵情況將具有比故障注入法更廣泛的適用性。結合一系列故障注入實驗的結果來創建一個情況庫，將有助於製造商制定AV測試和安全駕駛的規則和條件。

自動駕駛問題多，離真正上路還有多遠？

這項新研究表明，即使像百度、英偉達這些大廠的自動駕駛技術也存在不少問題，而且自動駕駛技術還有很多不能妥善處理情況，往往要依靠人類駕駛員來接管。

對於自動駕駛這一新生事物，安全性是最受關注的，以至於一旦無人車發生事故立刻就會成爆炸新聞。自2016年初以來，加州共報告了111起涉及自動駕駛汽車的撞車事故（這還不包括可能造成的事故風險）。根據對DMV報告的分析，其中71起事故發生時，車輛處於自動駕駛模式。其中，有接近70%涉及自動駕駛車輛被追尾事故。

最典型的是Uber去年3月的“全球首起無人駕駛致死”事故：一輛處於自動駕駛模式的Uber無人車在道路測試時發生致死車禍。

事件發生於鳳凰城以東11英里的Tempe鎮。當時，Uber無人車正在向北行駛，一名女子在人行橫道外穿，被車輛撞倒，被送往醫院後，由於傷勢過重死亡。

儘管經過近一年的調查後證明，Uber在這起事故中不擔刑責，但事故直接導致Uber自動駕駛業務元氣大傷。

對自動駕駛技術頗為激進的特斯拉，其Autopilot自動駕駛儀也頻頻發生事故，包括一起“一輛Model X在自動駕駛模式下撞上高速公路護欄”的致死事故，裝上卡車、追尾消防車等等，每一起事故都衝擊着大眾對自動駕駛的信任度。

特斯拉自動駕駛致死車禍

這樣看來，在無人車上路前就檢測到可能存在的自動駕駛系統的故障顯得尤為重要。對於伊利諾伊大學香檳分校的研究團隊在4小時內發現了百度Apollo 3.0、英偉達DriveAV系統存在561個故障，你怎麼看？你覺得自動駕駛什麼時候才能真正上路呢？

參考鏈接：

https://www.sciencedaily.com/releases/2019/10/191025170813.htm

https://arxiv.org/pdf/1907.01051.pdf