谷智軒：用AI殺人，以色列可能遙遙領先了

guancha

2024-05-03

大家好，我是谷智軒。很久沒和大家聊聊巴以局勢了。最近，有外媒曝光了一件嚇人的事：長期以來，以色列都在使用（Lavander）來識別和打擊加沙的目標，造成了大量平民傷亡。經常看我們節目的小夥伴都知道，我們一直在關注人工智能的發展，不只是技術上的進展，還有在法律和倫理上，人類對於AI的各種爭論和探索。我們對於如何利用AI，遠遠沒有形成共識。各國對於AI的立法和管理，還在摸石頭過河。實在是沒想到，竟然有一個國家，跳過了前面的所有環節，直接到了用AI殺人的階段。聯合國秘書長古特雷斯就此發表聲明，表示“深感不安”（deeply troubled）；我只能説，用詞過於委婉了。本期《軒講》，我們就來聊聊以色列用AI殺人這事，究竟有多可怕。

本月初，以色列-巴勒斯坦地區的兩家左翼媒體+972雜誌和Local Call網站，發佈了一份調查報告。他們的記者採訪了六名以色列情報官員。這些人都參與了眼下這場加沙戰爭，而且是親身參與了利用AI生成打擊目標的過程。當然了，他們的名字肯定是不能透露的，以色列軍方也否認了他們的説法。報告裏的事到底有沒有，我沒法評價。我只説兩點：第一，報告邏輯自洽、細節豐富，而且確實解釋了以軍在這場戰爭中的很多行為；第二，有的時候，謊言太離譜，反而可能是真相。

這個報告裏講了個什麼故事呢？我給大家總結一下。首先，以色列軍方多年以前就在開發可以甄別攻擊目標的人工智能。背後的動機簡單直白：確認目標的事情，人也可以做，但效率太低。在過去的戰爭中，要授權擊殺單個人類目標，必須先給目標“定罪”。軍隊肯定不會像法院做得那麼細，也沒那麼講究原則和程序，但交叉核對證據，證明“這個人”確實是“那個人”，還是要的。確定目標後，再收集他的活動軌跡，制定擊殺計劃。如果只想幹掉哈馬斯的高級成員，數量控制在兩位數，定罪和定位都不是難事。但以色列不滿足於此。高級成員要殺，數以萬計的低級成員也要殺。這種五位數以上的擊殺名單，情報人員肯定做不了，交給AI，那就省事多了。

那麼這個AI由誰來開發呢？這裏就要提到以色列著名的8200部隊了。插播一小段背景介紹啊。8200是番號，這支部隊正式的名稱是中央情報蒐集部隊（Central Intelligence Gathering Unit），成立於1952年，可謂戰功赫赫，比如在1967年第三次中東戰爭的開戰首日，截獲了埃及總統納賽爾和約翰國王侯賽因的高保密專線，1985年截獲了巴解領導人阿拉法特和“恐怖分子”的電話，等等等等。除了“戰績”之外，8200的另一個招牌，就是它的成員了。以色列是全民兵役制，不管男女，18歲都得服役。而8200有提前搖人的特權，在不到18歲的所有以色列人裏面，把智商最高、能力最強、最有潛力的五千號人挑出來，然後幹嘛呢？PUA、特訓、搞情報。這裏面還會選出千人左右，專門開發一些用於作戰和情報收集的高科技“小玩意兒”，裏面就包括了戰場內外使用的人工智能。

8200有一個數據科學與人工智能中心，中心負責人在多個場合都提及他們正在開發目標識別AI，而以色列媒體的報告就引用了他的很多説法。比如説，這類AI的訓練流程。把已知的哈馬斯和傑哈德成員名單餵給AI，利用一種叫做正樣本未標註學習（Positive-unlabeled learning）的機器學習算法，讓AI提取他們之間的共同特徵。接下來，AI就可以比對這些特徵，對所有巴勒斯坦人打分，越是符合特徵的，分數越高。最後，情報人員會把樣本按照分數排個序，確定下“及格線”，過線的，就是恐怖分子，可以殺。這位負責人在特拉維夫大學講演的時候，還一再強調，AI只是起到輔助篩選的作用，最後決定殺不殺的，還是有血有肉的人。

可真的到了實踐的時候，就完全不是這麼回事了。

咱們有句老話，叫“兵貴神速”。AI給出一份名單，還要人來核驗，這多浪費時間？去年10月，哈馬斯發動襲擊，殺了以色列1200人，綁架240人。以色列報之以“鐵劍行動”（Operation Iron Swords），軍方火速決定，要把哈馬斯清除乾淨，所有成員——不論他們高低貴賤，有多少軍事價值——一個不留。然後他們問了AI一個問題：薰衣草啊薰衣草，告訴我誰是哈馬斯？

這個名叫薰衣草的AI，生成了一份37000人左右的名單。8200的情報人員花了兩週時間，在名單裏隨機挑了幾百個名字，檢查了一下是不是真的哈馬斯，結論是，薰衣草的正確率達到了90%。軍方很滿意，當即授權，就按照AI的名單來辦。程序上需要人工核驗，判斷是否擊殺？沒事，工作人員花上20秒，核驗一下目標是男是女，男的殺了，女的留下——決定在我。那還有10%的錯誤率怎麼辦？統計誤差嘛。誰讓這些人具有“哈馬斯特徵”呢？誰讓他們是哈馬斯成員的親戚，或者和哈馬斯成員同名同姓、用同一個暱稱，或者使用的二手手機，剛巧是一個哈馬斯成員用過的？再説了，統計學肯定比人更靠譜。要知道，很多以軍士兵都有親朋好友死在哈馬斯手裏，他們很容易做出不理性的事情，手裏的“誤殺”也不在少數。

但問題是，統計學的那些規則、標準，也是人設計出來的。

什麼才叫“哈馬斯成員”呢？領哈馬斯錢的人？還是不拿錢，但幫哈馬斯做事的人？或者是幫了哈馬斯，但沒有實際危險的人？畢竟，哈馬斯在加沙執政多年，手底下有一大幫子公務員，配武器的也不少。還有，以前幫過哈馬斯，現在不幫了，算不算？這些個定義，是可以人為調整的。實際上，8200在訓練AI的時候，使用了一個非常寬泛的定義，餵給AI的數據裏面，至少包括了哈馬斯政府國內安全部的僱員。

前面我們講過，AI會根據一個人的“哈馬斯特徵”來打分，高於“及格線”的才會判定是哈馬斯成員。技術人員就可以通過操控“及格線”，來放寬和收窄“哈馬斯成員”的範圍。根據以色列官員的説法，在戰爭過程中，AI不斷生成名單，以軍照單殺人，但有時候，AI生成名單的速度，還跟不上以軍殺人的速度。以軍需要更多的打擊目標，就會把“及格線”調低。這樣，機器就會把很多新人加到名單上，比如民防人員和警察，他們有武裝，是在幫哈馬斯政府，湊合湊合，也能算是“哈馬斯成員”。3月底的時候，《耶路撒冷郵報》發了篇報道，説哈馬斯好像越打越多了。軍方一直估計有3萬人，但現在，光是已經打死和打傷的人加在一起都不止這個數，一會兒還這裏又出來一堆哈馬斯，那裏又打死一堆哈馬斯，數字根本對不上。我覺得，這裏面估計也有“薰衣草”的鍋，誰讓它速度太慢，還需要靠人手動給名單擴容呢？

這種種的不靠譜，以色列軍方心知肚明，而且毫不在意。一切都掩蓋在了“戰爭”的名義之下。他們辯護説：情報機構人力有限，不值得核查低級武裝分子上浪費時間；咱們是在打仗，沒時間給每個目標“定罪”，你得接受算法有誤差，接受殺錯人的風險。

這話聽着很有道理，和“寧可錯殺一萬，不可放過一個”，有異曲同工之妙。而且好像還要感謝AI，把錯殺率，從萬分之九千九百九十九，降到了百分之十，讓大規模的“定點清除”成為可能。

這個邏輯的問題，我們等會兒再討論。退一萬步講，即使接受了邏輯，還有個程度的問題。“薰衣草”的錯誤率有10%，不代表以色列每炸死10個人，有九個是哈馬斯。很多信源的數據都顯示，死在以色列炮火下的平民，遠超哈馬斯武裝分子的數量。因為確定要殺誰之後，還有個怎麼殺的問題，而這一步，以色列也是大幅仰仗AI的助力。

從目前收集到的信息看，除了“薰衣草”之外，明確在加沙戰場上出現過的AI，至少還有三個。第一個叫“福音”（The Gospel），它是專門和“薰衣草”打配合的。“薰衣草”確定要殺誰，“福音”則把這些人身處的建築物標記出來。第二個叫“爸爸在哪兒”（Where’s Daddy），它負責利用各種監視系統跟蹤目標，在對方進入房間的那一刻發出信號。第三個叫“火力工廠”（Fire Factory），負責計算彈藥裝載量，對數千個目標進行優先級排序，並將其分配給飛機和無人機，再製定出一個空襲時間表。

我們在過去的節目裏面講過，“定點清除”的技術要領，一在信息採集和處理，二在精確和快速的打擊技術。這四個AI相互配合，覆蓋了“定點清除”的全套流程，大幅提高了殺人的效率。它們具體是怎麼做的呢？首先，要確定一個合適的擊殺地點。在哪裏殺人更容易？當然是目標在家裏的時候。對AI來説，它們很容易就能把目標和他的私人住宅關聯起來。實際上，加沙的每個人都被標記了對應的住宅，誰住在什麼地方，全部在以軍的數據庫當中，在此基礎上，追蹤目標歸家、離家的軌跡也不困難。除此之外，在民宅裏面，反偵察、反打擊措施要薄弱許多，目標在家中警戒心也低，簡直是理想的殺人場所。

但問題，這些民宅裏面，往往不是隻有一個人。加沙人習慣一大家子住在一起。爹媽老婆孩子兄弟姐妹，親朋好友、左鄰右舍，一發炮彈下去，就整整齊齊的了。

以軍攻擊民宅的理由有很多，比如哈馬斯就喜歡把窩點藏在民用設施當中，拿平民當擋箭牌，醫院、清真寺、學校、聯合國設施，大概率都有哈馬斯。但這解釋不了一個現象：為什麼以家庭為單位的傷亡，佔比特別高？開戰45天的時候，聯合國機構公佈過一個數據：當時巴勒斯坦方面死亡11078人，有501個家庭，死亡人數大於6人，312個家庭，死亡人數超過10人，至少有6120人，也就是一半以上，屬於825個家庭。

這種以家庭為單位的傷亡模式，確實呼應了以色列情報官員的説法：以軍在有意識地攻擊哈馬斯成員的私宅。當然了，這也不算新聞，2014年以色列對加沙的空襲，也做了同樣的事情。那次襲擊當中，共造成了超過2200名巴勒斯坦人的死亡，其中至少有70次針對私人住宅的襲擊，造成606人死亡，比例是27%。而這次提高到一半以上，估計就是AI的“助攻”了。

“薰衣草”生產名單的速度，那就不用説了。“爸爸在哪兒”可以同時跟蹤數千個目標，效率也是非同一般。再加上“火力工廠”，不但優化了空襲的效率，而且還大幅降低了彈藥的成本。根據美國情報部門的估計，以色列空軍在加沙使用的彈藥裏面，有45%是非制導炸彈，也叫“傻彈”（dumb dombs）。它們比制導炸彈便宜很多，價格要差個幾倍，但命中精確度也低，會造成大量的“附帶損害”。但有了AI的幫助之後，命中的問題就解決了一大半。比如説，如果他們發現目標住的是高層建築，就不打了，因為需要用特殊的精確制導炸彈來打穿樓板。那玩意兒太貴了，不值得浪費在低級成員身上。但如果這些哈馬斯住在平房裏面，那麼只要在他們回家後扔個“傻彈”就行了，直接把房子給你平了，不存在什麼命中問題。幾千美金換一個人頭，哪怕是低級成員，效費比也可以接受。

然而，命中問題“解決”了，“附帶損害”的問題怎麼辦呢？

以軍設計AI的時候，還考慮過這個問題。AI在做空襲規劃的時候，“附帶損害”也是一個參數。它會根據建築物的大小以及登記的居民名單，計算戰前居住在此的平民人數，再根據撤離的居民比例，來估算一個建築物內的即時人數，再做相應的規劃。比如説，一棟房子，名單上顯示戰前住了10個人，根據手機信號測算，小區撤了一半人，那麼AI就認為，房子裏住了5個人。有時候，算出來的人數，甚至不是整數。

我們光聽就知道，這種估算有多不靠譜。戰前和戰時，根本是兩個概念。根據世界銀行的數據，加沙地帶超過60%的房屋和80%的商業設施都已經被摧毀，幾乎全部人口流離失所，這大幅削弱了軍隊數據庫的準確性和AI自動標記住宅的能力。很多時候，戰爭期間居住的，完全就不是戰前的那批人，兩者之間也沒什麼聯繫。有時候，以軍炸了一棟房子，根本不知道房裏是好幾户人家躲在一起的。在以前的戰爭裏面，情報人員會花大量的時間監視房屋、核實人數，事後還有一道炸彈損害評估程序（Bomb Damage Assessment），簡稱BDA，檢查目標是否死亡，以及造成了多少平民死亡。這一次，為了節省時間，事前事後的步驟，全都省略了，一切都交給了AI和統計學。情報人員對於會死多少，死了多少人，裏面包不包括目標，可謂一概不知。他們唯一知道的，就是空軍告訴他們，房子被炸了，然後他們再告訴軍隊，去炸更多的房子。

不過，有一個問題，依然沒交給統計學，就是允許“附帶損害”的大小。軍方會事先給一個授權，殺一個哈馬斯，允許多少平民陪葬，這個數字叫非戰鬥人員傷亡值，簡稱NCV（Non-combatant Casualty Value）。AI在計算殺誰、怎麼殺的時候，就會根據這個標準來。NCV是浮動的，軍事價值越高，NCV越大——這是以軍自己承認的，對高級哈馬斯成員，這個數字可以達到三位數。軍隊有一套大致的標準，一個旅長配多少人，一個營長配多少人，還會考慮到具體的情況。比如説哈馬斯卡桑旅的指揮官艾曼·諾法爾（Ayman Nofal），以軍在擊殺他的時候，得到的位置情報不是很精確，軍方授權的人數是300人。對比一下，當年美軍擊殺本·拉登，授權的NCV“只有”30。

對於低級哈馬斯成員，這個標準還要“彈性”一點。去年10月7日的空襲之後，以軍陷入了歇斯底里的狀態，只要目標是哈馬斯，幾乎任何“附帶損害”都可以得到批准。反正炸就是了，他們只在乎炸的目標夠不夠多。有時候，他們知道目標在一棟裏面，然後就炸平了四棟樓。整個軍隊與其説是在作戰，還不如説是在泄憤。之後，軍隊的行為稍微理性了一些，NCV被控制在了15人左右，也就是殺一個普通的哈馬斯，可以殺15個平民。有段時間降到5人，但軍方發現，這讓空襲沒法進行，因為只要目標的家人都在家，他們就沒法炸屋子，所以又把上限提了上去。再後來，以軍整體上減小了攻擊低級哈馬斯的頻率。這客觀上降低了“附帶損害”，卻不是因為以軍想降低“附帶損害”，而是考慮到彈藥經濟性。以色列正準備在北部地區和黎巴嫩真主黨動手，這開頭幾波消耗的炸彈，委實有點多了。

由此可見，人工智能輔助下的“自動化”殺人，並沒有什麼“理性”的優勢。AI對於人類幹壞事，沒有什麼限制和糾正作用。相反，它只是讓殺戮，變得更有效率。它降低了殺人的經濟和道德成本，幫助人類在有限的資源和可承受的道德壓力下，殺掉儘可能多的目標。“薰衣草”生成名單，“福音”標記住宅，低級別的情報人員象徵性地看一看，複製粘貼到“爸爸在哪兒”，執行目標追蹤，“火力工廠”據此分配彈藥，制定空襲計劃，在目標回家的那一刻，由空軍完成擊殺。除了最後的擊殺外，整個流程，都實現了高度的自動化，而這“最後一步”，可能在不久的將來，也可以由自動化的武器來完成。

我們之前做過一期節目，叫“定點清除”，讓網上一大羣“烏友”破了大防，直到今天還陷在他們的邏輯謬誤中不能自拔，挺可憐的。我們再來複習一下相關專業知識：“定點清除”，Targeted Killing，有時候也叫“斬首行動”，Decapitation Strike，即通過消滅一個組織中的關鍵人物，來對組織造成破壞。現在，“定點清除”和“斬首”之間，不能再劃等號，它有了一個新分支，叫“Broad Hunting”，大範圍獵殺。從戰場表現來看，這種同時針對數萬目標的大規模“定點清除”，已經成為了一種可行的、且經過實踐應用的戰術。

這是好是壞，尚有爭議。

支持的人説：它好過無差別襲擊。這次加沙戰爭持續了六個月，巴勒斯坦方面，傷亡總數超11萬；哈馬斯武裝分子，滿打滿算有三萬多，佔比達到30%。和歷史上的各種“屠城”相比，是不是要好上很多？AI是在降低“錯殺率”啊！

反對的人説：除了“錯殺率”，還有“錯殺數”。“大範圍獵殺”的應用，實際上大幅增加了攻擊次數，推高了平民的傷亡人數。而且，70%的錯殺率，你覺得可以接受嗎？

然後，支持的人又會反駁：如果把技術改進一下，把錯殺率降到一半以下，你還會這麼説嘛？降到10%以下，1%以下呢？百分之0.000001呢？什麼比例，是可以接受的呢？誰能保證不殺錯一個？你説人命無價，殺錯一個都不行？我們是在打仗，國家利益為重，國民的安全為重。算個總賬，“錯殺”帶來的損失，小於“殺對”帶來的利益就可以了。

最後那句話，我直接引用了以色列國防軍對“薰衣草”問題的回覆。

哲學上的論辯，很難有什麼結果。但有一點，我想大家是有共識的：為了剿滅三萬多名哈馬斯，超過2.4萬名巴勒斯坦婦女和兒童死亡，11萬人死傷，110萬人食不果腹，170萬人流離失所，這超過了絕大部分人的道德紅線，但凡是有點良知的人，都無法接受。如果沒有AI，可能傷亡會更大，但即使有了AI，後果依然如此嚴重。

所以説，問題並不出在AI身上，該為此負責的，也並非人工智能。戰爭，是高尚者的墓誌銘，卑鄙者的通行證。戰場之上，以國之名，滔天的罪惡也能戴上正義的光環。如果殺錯人之後，唯一的後果是浪費了彈藥，那麼AI存在的意義，也只能是減少了彈藥的浪費。

從歷史經驗來看，把人工智能技術引入軍事作戰是不可避免的。聯合國主持了10年的談判，希望對AI在戰場的角色做一點限制，讓各國可以更加“負責任”地開發和利用軍用AI，但目前並沒有多少成果。至少還沒有一個國際公約規定，當人工智能判斷錯誤時，誰應該對平民的傷亡和戰爭的意外升級負責，也沒有一個有效機制，防止AI被有心之人濫用，成為排除異己、剝削“他者”的工具。去年2月，第一屆“全球軍事領域負責任的人工智能峯會”在荷蘭舉行，中國和美國等60多個國家參加，並簽署了《關於軍事領域負責任使用人工智能的行動倡議》。以色列是唯一沒有簽署的與會國家。

所以，巴勒斯坦成千上萬條被AI“錯殺”的人命，到底該由誰來負責呢？

大家好，我是谷智軒。很久沒和大家聊聊巴以局勢了。

最近，有外媒曝光了一件嚇人的事：長期以來，以色列都在使用人工智能“薰衣草”（Lavander）識別和打擊加沙的目標，造成了大量平民傷亡。經常看我們節目的小夥伴都知道，我們一直在關注人工智能的發展，不只是技術上的進展，還有在法律和倫理上，人類對於AI的各種爭論和探索。我們對於如何利用AI，遠遠沒有形成共識。各國對於AI的立法和管理，還在摸石頭過河。實在是沒想到，竟然有一個國家，跳過了前面的所有環節，直接到了用AI殺人的階段。聯合國秘書長古特雷斯就此發表聲明，表示“深感不安”（deeply troubled）；我只能説，用詞過於委婉了。本期《軒講》，我們就來聊聊以色列用AI殺人這事，究竟有多可怕。

那麼這個AI由誰來開發呢？這裏就要提到以色列著名的8200部隊了。插播一小段背景介紹啊。8200是番號，這支部隊正式的名稱是中央情報蒐集部隊（Central Intelligence Gathering Unit），成立於1952年，可謂戰功赫赫，比如在1967年第三次中東戰爭的開戰首日，截獲了埃及總統納賽爾和約翰國王侯賽因的高保密專線，1985年截獲了巴解領導人阿拉法特和“恐怖分子”的電話，等等。除了“戰績”之外，8200的另一個招牌，就是它的成員了。以色列是全民兵役制，不管男女，18歲都得服役。而8200有提前搖人的特權，在不到18歲的所有以色列人裏面，把智商最高、能力最強、最有潛力的五千號人挑出來，然後幹嘛呢？PUA、特訓、搞情報。這裏面還會選出千人左右，專門開發一些用於作戰和情報收集的高科技“小玩意兒”，裏面就包括了戰場內外使用的人工智能。