特斯拉的自動駕駛可能拯救數百萬人的生命，但它首先會導致一些人死亡 - 彭博社

2018年5月，在加利福尼亞州拉古納海灘發生了一起非致命的事故，涉及一輛處於自動駕駛模式的特斯拉和一輛無人駕駛的警車。

來源：拉古納海灘警察局/AP在他生命的最後一天，傑里米·班納在黎明前醒來，準備早上的通勤。他爬進他的紅色特斯拉Model 3，沿着佛羅里達大沼澤地的邊緣向南行駛。沼澤和農田在綠色的模糊中飛速掠過。

班納在方向柱上輕輕按下一個槓桿，響起了柔和的鈴聲。他激活了市場上最複雜和有爭議的自動安全功能：特斯拉自動駕駛。它是一個計算機系統，可以在沒有駕駛員輸入的情況下執行正常高速公路駕駛的所有功能。當計算機控制時，汽車可以加速、變換車道、駛出出口，並且——如果它發現前方有障礙物——剎車。

刊登於 彭博商業週刊，2019年10月14日。立即訂閲。照片插圖：731：照片：美聯社照片特斯拉公司旨在通過製造世界上第一輛自動駕駛汽車來主導全球汽車市場，並認為自動駕駛是關鍵的第一步。客户非常喜愛它。他們在自動駕駛模式下行駛了超過15億英里，常常挑戰軟件的極限。儘管用户手冊警告駕駛員要始終密切監督汽車，但這並沒有阻止一些人閲讀書籍、打盹、彈尤克里裏或發生性行為。大多數時候，汽車能把他們送到目的地。

但在三月的那個早晨，Banner的轎車未能發現前方四車道公路上橫穿的拖車。Banner本人也沒有注意到，顯然他的注意力分散了。他以68英里每小時的速度撞上了拖車的側面，他的車頂像沙丁魚罐頭一樣被削掉。50歲的三位孩子的父親當場死亡。

計算機錯誤與人類錯誤看起來並不相同。自動駕駛有着閃電般的反應能力，注意力從不減弱，但有時卻未能發現路徑中的危險。這種疏忽似乎在自2015年引入自動駕駛以來的五起已知致命事故中發揮了作用。事實上，Banner的事故與一起早期事故驚人相似。去年八月，Banner的遺產根據佛羅里達州的錯誤死亡法起訴特斯拉。遺產的論點是一個簡單的產品責任索賠：特斯拉承諾提供安全的汽車，卻交付了一輛危險缺陷的汽車。

但自動駕駛與歷史上幾乎所有其他消費品不同，這種不同預示着我們在機器人時代到來時將面臨的不安問題。特斯拉的華麗首席執行官埃隆·馬斯克表示，這項技術拯救了生命，眾多特斯拉車主也提供了他們自己發現危險和避免碰撞的證詞。（他們還有YouTube視頻來證明這一點。）可能雙方都是對的，計算機正在殺死一些本可以活下來的司機，但它們也在拯救更多人的生命。在未來幾年，社會——特別是監管機構和法院——將不得不決定這是否是一個可以接受的權衡。

這個問題不再是學術性的。馬斯克決定將自動駕駛技術交給儘可能多的人，這相當於一個巨大的實驗，在全球的高速公路上展開。

當奧馬爾·卡齊在洛杉磯的405號州際公路上向北行駛時，我坐在副駕駛座上，他雙手都離開了方向盤。我們在美國最 繁忙的高速公路上以大約50英里每小時的速度行駛，卡齊的黑色Model 3的方向盤稍微向左轉，保持車輛在緩緩彎曲的車道中居中。“這就像洛杉磯的高峯時段交通，對吧？”26歲的軟件工程師卡齊説。“這簡直完美。”

特斯拉擁有大量忠實粉絲，其中許多人富裕、痴迷科技且為男性。卡齊非常接近這個原型。他的推特賬號 @tesla_truth 是對馬斯克崇拜的無底源泉。在我們八月見面之前，他曾給馬斯克發郵件，提醒他並鼓勵他與我交談。這位億萬富翁首席執行官拒絕接受本故事的採訪，但在同一天回覆了他的粉絲。“你的推特太棒了！”他説，然後加了一句警告：“請小心記者。他們會甜言蜜語，然後用棒球棍打你。”馬斯克在消息中抄送了我。特斯拉也拒絕發表評論。

卡齊在特斯拉洛杉磯辦公室外的充電站與我見面，附近矗立着一枚馬斯克的SpaceX火箭，像一座工業方尖碑。卡齊留着一天的胡茬，穿着藍色的耐克運動鞋。他立即向我展示了實驗性的智能召喚功能，當時僅對一小部分特斯拉的測試者開放。（卡齊是在推特上懇求馬斯克後獲得的；該功能在九月向普通客户推出。）他按下手機上的一個按鈕，他的車從停車位駛出。卡齊看着它穿過停車場，朝他駛來。“這還沒什麼用——還沒有，”他説，露出微笑。但他非常喜歡展示這個技巧，以至於有時會在停車場徘徊，等待觀眾。

智能召喚提供了一個關於馬斯克所承諾的無駕駛未來的微小 glimpse，但對於公路駕駛，自動駕駛是目前最接近的。特斯拉表示，這項技術尚不夠可靠，無法讓人類分心，即使是一秒鐘，因此要求他們保持雙手在方向盤上。由於大多數美國州仍在 figuring out 他們將如何處理無駕駛汽車，這也具有法律目的。對於州監管機構來説，自動駕駛只是一個先進的駕駛輔助程序——基本上是升級版的巡航控制。自動駕駛尚不能處理高速公路以外的功能，例如交通信號燈和停車標誌。但在過去四年的道路上，它逐漸承擔了更復雜的任務：平穩併入、避免切入的車輛，以及從一條高速公路導航到另一條高速公路。

“它不能完美地自己駕駛，但軟件的進步速度就像——每隔幾周你就會得到一次更新，汽車的駕駛變得更像人類。這非常詭異，”Qazi説。幾分鐘後，一輛銀色轎車切入我們的車道，汽車平穩地剎車讓它進來。“看到那個了嗎？”他問。

並不是説人類駕駛員設定了很高的標準。在洛杉磯，我與Qazi見面的那天，一名非法街頭賽車手死亡，當他的馬自達撞上了一輛停放的卡車；一名摩托車手致命撞擊了一輛故障的麪包車；還有一名騎自行車的高中三年級學生在汽車拖行了1500英尺後重傷，然後逃離現場。

事實上，駕駛是大多數成年人所做的最危險的事情之一。去年造成了 40,000 名美國人死亡，全球有 140 萬人 死亡。然而，我們對此卻相當自滿。1974年，以節省燃料為名，美國將高速公路限速設定為每小時55英里。一項研究發現，這一變化在第一年減少了至少3000起高速公路死亡事故。但人們喜歡快速駕駛，國會後來取消了這一限制。幾年前，交通死亡人數開始緩慢上升，專家將這一現象歸因於智能手機的干擾。儘管如此，我們仍然駕駛、發短信並駕駛。

無論它們有什麼缺陷，計算機不會醉酒、疲倦、生氣，或在高速公路上駕駛時感到無法抑制的衝動去查看Instagram。自動駕駛承諾保留我們以汽車為中心的生活方式，但消除估計94%由人為錯誤造成的事故。從這個角度來看，自動駕駛汽車可能是與青黴素和天花疫苗同類的救命工具。

Qazi已經做了計算：他説，自動駕駛汽車將來每天將拯救3000條生命。按照他的邏輯，任何阻礙這一進展的人都沾染了血腥。“想象一下，有人延遲軟件一天，”他説。“你真的會導致很多人死亡。”

在班納致命事故發生不到兩個月後，馬斯克邀請了大約100名投資者和分析師來到特斯拉位於帕洛阿爾託的總部，在一個寬敞的會議廳裏迎接他們。馬斯克出生併成長於南非，在硅谷賺了一大筆財富，然後開展了一系列大膽的項目：商業火箭、高速隧道、腦植入物、電動汽車。他的許多崇拜者認為他是一個改變世界的遠見者；而他的敵人則認為他是一個誇誇其談的偽君子。在那個四月的早晨，馬斯克偶爾打斷與他同台的特斯拉科學家，並自由地思考，討論諸如生活是否可能是計算機模擬等問題。

特斯拉的股票已經下跌了幾個月。儘管交付了全球最暢銷的電動汽車——Model 3，但公司仍遠未盈利，馬斯克很快將被迫從投資者那裏籌集更多資金。在長達2個半小時的演示過程中，馬斯克將投資者的注意力引向一個新的焦點：打造第一款真正的無人駕駛汽車。他表示，今天路上的汽車將在幾個月內能夠在當地道路上使用自動駕駛。到2020年某個時候，它們將不再需要人類監督，並可以在空閒時間開始作為無人駕駛出租車賺錢。

“購買除特斯拉以外的任何東西在財務上都是瘋狂的，”馬斯克説，雙手一攤。“在三年內，這就像擁有一匹馬。”

馬斯克的時間表對任何關注自動駕駛汽車業務的人來説都顯得特別大膽。大約三十家公司，包括通用汽車、戴姆勒和優步，正在競相開發這項技術。許多觀察者認為，最強的競爭者是Waymo LLC，這家谷歌的分拆公司已經在這個問題上工作了十多年。它們都還遠未向公眾銷售無人駕駛汽車。

馬斯克告訴聚集的投資者，特斯拉將超越所有人，這得益於已經在路上行駛的超過500,000輛啓用自動駕駛的特斯拉。儘管他沒有使用這些詞，馬斯克將自動駕駛描述為一種粗略草稿，這種草稿將逐漸變得更加多功能和可靠，直到實現真正的自主駕駛。

現在向客户發佈仍未完成的軟件，並希望在此過程中解決bug並增加功能，當然是硅谷通常推出智能手機應用和視頻遊戲的方式。但這些產品不會致人於死。Waymo、通用汽車和其他公司也有粗略草稿，但它們僅安裝在幾百個測試模型中，部署在全國幾個精心挑選的社區中，並幾乎總是由專業安全駕駛員監督。安全是一個痴迷的話題，尤其是在去年一輛優步測試車撞倒行人之後。通用汽車的原型車在舊金山的丘陵街道上以最高35英里每小時的速度爬行。

另一方面，馬斯克正儘可能快地將他的粗略草稿交到消費者手中。這使得特斯拉工程師能夠從客户那裏收集數TB的數據，並利用這些信息根據現實世界的條件來完善自動駕駛軟件。即使不是在自動駕駛模式下的特斯拉也在貢獻：它們默默地將人類駕駛員的選擇與計算機可能做出的選擇進行比較。每隔幾周，特斯拉就會完成一個新的改進版自動駕駛，並將其上傳到汽車中，讓卡齊和其他粉絲感到高興。

“每個人都在不斷訓練網絡，”馬斯克在帕洛阿爾託説。他稱這種良性循環為“艦隊學習”，將其與谷歌搜索引擎在每年處理的1.2萬億次查詢中不斷改進的方式進行比較。他宣稱，不久的將來，軟件將變得如此優秀，司機們將開始拆卸汽車的方向盤並將其扔掉。

當摩根士丹利的一位分析師向馬斯克詢問自動駕駛的安全記錄時，他迅速轉移話題，談論人類駕駛的危險以及技術解決這一問題的潛力。他將汽車比作由人類操作員控制的老式電梯。“定期，他們會感到疲倦、喝醉或其他什麼，然後在錯誤的時間轉動槓桿，導致某人被切成兩半，”他説。“所以現在你沒有電梯操作員。”

考慮到生死攸關的風險，馬斯克有時將無人駕駛汽車視為一種正義的事業，這並不令人驚訝。他曾説，讓自動駕駛不上市將是“道德上不可接受的”。但他和他的追隨者並不是唯一這樣説的人。第一位在自動駕駛中遇難的美國司機是約書亞·布朗，他是來自俄亥俄州的海軍退伍軍人，像班納一樣，也撞上了一輛正在過路的半掛車。在2016年的事故後，他的家人發表了一份聲明，基本上支持特斯拉的道德計算。“變革總是伴隨着風險，”他們寫道。“我們的家庭為我們的兒子在未來高速公路安全方面產生如此積極的影響而感到安慰和自豪。”布朗實際上已成為馬斯克事業的殉道者。

直到司機像電梯服務員一樣消失，馬斯克表示，自動駕駛是最好的選擇：擁有與人類司機相同的安全性，加上額外的計算機輔助層。但自動化可能有兩面性。當我們將大部分——但不是全部——責任交給計算機時，我們的思維會遊離。我們失去了對計算機應該做什麼的追蹤。我們的技能會生疏。航空史上充滿了因人類過度依賴小寫“a”自動駕駛而導致的錯誤。曾經有兩名西北航空的飛行員完全走神，以至於他們錯過了明尼阿波利斯，偏離了100英里。

“這就是人性，你的注意力會漂移，”前海軍戰鬥機飛行員、杜克大學普拉特工程學院教授的米西·卡明斯説，她希望將自動駕駛從市場上撤下。谷歌的衍生公司Waymo開發了一種類似自動駕駛的系統，但在六年前放棄了。它表示，太多司機在發短信、化妝和打瞌睡。

與此同時，計算機在司機最不期望的時候可能會出錯，因為它們發現最具挑戰性的某些任務對人類來説卻是小菜一碟。任何有知覺的成年人都能區分良性道路特徵（高速公路立交橋、路標、停在路肩的汽車）和危險威脅（阻擋行車道的拖車）。這對一些世界上最先進的機器視覺軟件來説出奇地困難。

特斯拉一直抵制對自動駕駛設置限制，這樣雖然會使其更安全，但也會降低便利性。該公司允許司機將自動駕駛的巡航速度設置在當地限速之上，並允許他們在汽車檢測到車道標記的任何地方啓用自動駕駛，儘管手冊上説其使用應限制在有限通行的高速公路上。

奧馬爾·卡齊攝影師：莉茲·庫巴爾為《彭博商業週刊》拍攝對於那些想要測試汽車極限的人，馬斯克本人提供了調皮的鼓勵。當他在 60分鐘節目中向萊斯利·斯塔爾展示Model 3時，他做了手冊警告的正好相反，開啓了自動駕駛並 放開了方向盤。然後在五月，隨着一段自動駕駛色情視頻的病毒傳播，馬斯克以一條 開玩笑的推文回應：“結果發現使用自動駕駛的方式比我們想象的要多。”卡齊説他和前女友曾在自動駕駛時親吻。他儘量保持一隻眼睛盯着路。

考慮到自動駕駛現在已經有 超過15億英里的行駛記錄，確定其安全性應該很簡單。馬斯克聲稱使用自動駕駛的安全性大約是手動駕駛的兩倍，但到目前為止，他還沒有發佈數據來證明這一説法，也沒有提供給第三方研究人員。特斯拉披露了 季度自動駕駛事故率數據，但安全專家表示，由於缺乏關於這些事故發生條件的更多背景信息，這些數據是無用的。一項保險行業研究對特斯拉事故索賠數據的研究大多沒有結論。

在布朗2016年的事故後，國家公路交通安全管理局調查了自動駕駛系統，並發現沒有召回的理由。它的結論部分基於一個發現，即安裝了自動駕駛系統的特斯拉汽車的事故率比沒有安裝的低40%。但這基於一系列可疑的計算。雖然特斯拉提供了44,000輛汽車的里程和碰撞數據，但除了5,700輛外，其他車輛的關鍵數據缺失或矛盾。就在這小組中，安裝自動駕駛系統的車輛的事故率實際上更高。這些缺陷直到馬里蘭州的獨立統計顧問蘭迪·惠特菲爾德今年指出時才浮出水面。NHTSA表示它支持這一發現。

評估自動駕駛系統或完全自主技術的問題之一在於，社會對安全的容忍程度並不明確。機器人是否應該在上路之前做到完美，還是僅僅比普通人類駕駛員更好？“人類對機器缺陷造成的傷害或死亡幾乎沒有容忍度，”吉爾·普拉特，豐田汽車公司的自主研究負責人，在2017年的一次演講中説。“這需要多年的機器學習，以及比任何人記錄的模擬和現實世界測試更多的里程，才能達到所需的完美。”

但如此高的標準可能會悖論地導致比較低的標準更多的死亡。在一項2017年蘭德公司的研究中，研究人員尼迪·卡爾拉和大衞·格羅夫斯評估了500種不同的假設場景來開發這項技術。在大多數情況下，等待幾乎完美的無人駕駛汽車的成本，與接受那些僅比人類稍微安全的汽車相比，涉及數萬條生命。“那些等待幾乎完美的人應該意識到，這並不是沒有代價的，”卡爾拉説，他是一位機器人專家，曾在國會作證關於無人駕駛汽車政策。

她論點的關鍵在於對汽車學習方式的洞察。我們習慣於將代碼視為人類程序員編寫的一系列指令。這是大多數計算機的工作方式，但特斯拉和其他無人駕駛汽車開發者使用的計算機並非如此。識別自行車並預測它將要去的方向實在太複雜，無法簡化為一系列指令。相反，程序員使用機器學習來訓練他們的軟件。他們可能會向軟件展示成千上萬張不同角度和多種背景下的自行車照片。他們也可能會展示一些摩托車或獨輪車，以便讓它學習區別。隨着時間的推移，機器會自行制定解釋所見事物的規則。

他們的經驗越多，這些機器就變得越聰明。卡爾拉認為，這正是將自動駕駛汽車留在實驗室直到它們完美的一個問題。如果我們真的想最大化拯救的生命總數，她説，我們甚至可能在自動駕駛汽車仍然比人類更危險時就將它們上路，以加快它們的教育。

在社交媒體上，特斯拉司機似乎在打盹的視頻和照片成為一種固定的現象。來源：Reddit即使我們建造了一輛完美的無人駕駛汽車，我們又如何知道它呢？唯一確定的方法就是將其上路。但由於致命事故在統計上是罕見的——在美國，大約每行駛8600萬英里就發生一起——所需的測試量將是令人難以置信的。在另一篇蘭德論文中，卡爾拉估計一輛自動駕駛汽車必須行駛2.75億英里無故障行駛，才能證明其致死率不高於人類司機，這個距離需要100輛測試車在不間斷駕駛超過12年的情況下才能覆蓋。

考慮到這一切，馬斯克同時改進和測試他的粗略草案的計劃，利用真實道路上的常規客户作為志願測試飛行員，聽起來並不那麼瘋狂。事實上，可能沒有辦法在不讓大量司機面臨機器人死亡風險的情況下實現自主駕駛的安全提升。他允許自動駕駛加速並在未經批准的道路上運行的決定也有其邏輯。每當司機從計算機手中奪回控制權以避免事故時，這都是一個潛在的可教時刻——一個讓軟件學習不該做什麼的機會。這是一個經過計算的風險，而聯邦監管機構習慣於監測機械缺陷，可能對此評估準備不足。

美國已經有一個測試可能拯救生命但也可能有致命副作用的產品的模型：分階段的臨牀藥物試驗。卡內基梅隆大學的哲學教授亞歷克斯·倫敦是呼籲汽車監管機構嘗試類似方法的人之一，允許新技術分階段上路，同時密切監測其安全記錄。“即使我的提議不是最好的提議，我也可以告訴你什麼是最糟糕的提議，”他説。“最糟糕的提議是相信設計系統的人的話，尤其是當他們試圖向你推銷它時。”

在我與卡齊的最後一次乘車中，我們驅車前往蘭喬帕洛斯維德斯，穿過起伏的棕色山丘和俯瞰太平洋的懸崖。我們並不在限速公路上，但卡齊再次無視手冊，開啓了自動駕駛。汽車表現得很好，大部分時間。

當道路沿着陡峭的懸崖行駛時，我們遇到了一位朝同一方向騎行的自行車手。特斯拉正確地將他識別為騎自行車的人，並開始超越他。在它並排行駛之前，Qazi 剎車了，讓那個人先駛入更寬的路段，然後我們再經過。他説他希望電腦也能這樣做，但他不願意去驗證。

但 Qazi 似乎已經接受了一個統計上的必然性，即隨着特斯拉在世界道路上的普及，自動駕駛將會有更多的致命事故。“最大的公關噩夢還在前面，”他在我們分別之前告訴我。“通往目標的路只有一條。穿越雷區。” —與 Dana Hull 和 Ryan Beene 合作