谷智軒:用AI殺人,以色列可能遙遙領先了
guancha
大家好,我是谷智軒。很久沒和大家聊聊巴以局勢了。最近,有外媒曝光了一件嚇人的事:長期以來,以色列都在使用 (Lavander)來識別和打擊加沙的目標,造成了大量平民傷亡。經常看我們節目的小夥伴都知道,我們一直在關注人工智能的發展,不只是技術上的進展,還有在法律和倫理上,人類對於AI的各種爭論和探索。我們對於如何利用AI,遠遠沒有形成共識。各國對於AI的立法和管理,還在摸石頭過河。實在是沒想到,竟然有一個國家,跳過了前面的所有環節,直接到了用AI殺人的階段。聯合國秘書長古特雷斯就此發表聲明,表示“深感不安”(deeply troubled);我只能説,用詞過於委婉了。本期《軒講》,我們就來聊聊以色列用AI殺人這事,究竟有多可怕。
本月初,以色列-巴勒斯坦地區的兩家左翼媒體+972雜誌和Local Call網站,發佈了一份調查報告。他們的記者採訪了六名以色列情報官員。這些人都參與了眼下這場加沙戰爭,而且是親身參與了利用AI生成打擊目標的過程。當然了,他們的名字肯定是不能透露的,以色列軍方也否認了他們的説法。報告裏的事到底有沒有,我沒法評價。我只説兩點:第一,報告邏輯自洽、細節豐富,而且確實解釋了以軍在這場戰爭中的很多行為;第二,有的時候,謊言太離譜,反而可能是真相。
這個報告裏講了個什麼故事呢?我給大家總結一下。首先,以色列軍方多年以前就在開發可以甄別攻擊目標的人工智能。背後的動機簡單直白:確認目標的事情,人也可以做,但效率太低。在過去的戰爭中,要授權擊殺單個人類目標,必須先給目標“定罪”。軍隊肯定不會像法院做得那麼細,也沒那麼講究原則和程序,但交叉核對證據,證明“這個人”確實是“那個人”,還是要的。確定目標後,再收集他的活動軌跡,制定擊殺計劃。如果只想幹掉哈馬斯的高級成員,數量控制在兩位數,定罪和定位都不是難事。但以色列不滿足於此。高級成員要殺,數以萬計的低級成員也要殺。這種五位數以上的擊殺名單,情報人員肯定做不了,交給AI,那就省事多了。
那麼這個AI由誰來開發呢?這裏就要提到以色列著名的8200部隊了。插播一小段背景介紹啊。8200是番號,這支部隊正式的名稱是中央情報蒐集部隊(Central Intelligence Gathering Unit),成立於1952年,可謂戰功赫赫,比如在1967年第三次中東戰爭的開戰首日,截獲了埃及總統納賽爾和約翰國王侯賽因的高保密專線,1985年截獲了巴解領導人阿拉法特和“恐怖分子”的電話,等等等等。除了“戰績”之外,8200的另一個招牌,就是它的成員了。以色列是全民兵役制,不管男女,18歲都得服役。而8200有提前搖人的特權,在不到18歲的所有以色列人裏面,把智商最高、能力最強、最有潛力的五千號人挑出來,然後幹嘛呢?PUA、特訓、搞情報。這裏面還會選出千人左右,專門開發一些用於作戰和情報收集的高科技“小玩意兒”,裏面就包括了戰場內外使用的人工智能。
8200有一個數據科學與人工智能中心,中心負責人在多個場合都提及他們正在開發目標識別AI,而以色列媒體的報告就引用了他的很多説法。比如説,這類AI的訓練流程。把已知的哈馬斯和傑哈德成員名單餵給AI,利用一種叫做正樣本未標註學習(Positive-unlabeled learning)的機器學習算法,讓AI提取他們之間的共同特徵。接下來,AI就可以比對這些特徵,對所有巴勒斯坦人打分,越是符合特徵的,分數越高。最後,情報人員會把樣本按照分數排個序,確定下“及格線”,過線的,就是恐怖分子,可以殺。這位負責人在特拉維夫大學講演的時候,還一再強調,AI只是起到輔助篩選的作用,最後決定殺不殺的,還是有血有肉的人。
可真的到了實踐的時候,就完全不是這麼回事了。
咱們有句老話,叫“兵貴神速”。AI給出一份名單,還要人來核驗,這多浪費時間?去年10月,哈馬斯發動襲擊,殺了以色列1200人,綁架240人。以色列報之以“鐵劍行動”(Operation Iron Swords),軍方火速決定,要把哈馬斯清除乾淨,所有成員——不論他們高低貴賤,有多少軍事價值——一個不留。然後他們問了AI一個問題:薰衣草啊薰衣草,告訴我誰是哈馬斯?
這個名叫薰衣草的AI,生成了一份37000人左右的名單。8200的情報人員花了兩週時間,在名單裏隨機挑了幾百個名字,檢查了一下是不是真的哈馬斯,結論是,薰衣草的正確率達到了90%。軍方很滿意,當即授權,就按照AI的名單來辦。程序上需要人工核驗,判斷是否擊殺?沒事,工作人員花上20秒,核驗一下目標是男是女,男的殺了,女的留下——決定在我。那還有10%的錯誤率怎麼辦?統計誤差嘛。誰讓這些人具有“哈馬斯特徵”呢?誰讓他們是哈馬斯成員的親戚,或者和哈馬斯成員同名同姓、用同一個暱稱,或者使用的二手手機,剛巧是一個哈馬斯成員用過的?再説了,統計學肯定比人更靠譜。要知道,很多以軍士兵都有親朋好友死在哈馬斯手裏,他們很容易做出不理性的事情,手裏的“誤殺”也不在少數。
但問題是,統計學的那些規則、標準,也是人設計出來的。
什麼才叫“哈馬斯成員”呢?領哈馬斯錢的人?還是不拿錢,但幫哈馬斯做事的人?或者是幫了哈馬斯,但沒有實際危險的人?畢竟,哈馬斯在加沙執政多年,手底下有一大幫子公務員,配武器的也不少。還有,以前幫過哈馬斯,現在不幫了,算不算?這些個定義,是可以人為調整的。實際上,8200在訓練AI的時候,使用了一個非常寬泛的定義,餵給AI的數據裏面,至少包括了哈馬斯政府國內安全部的僱員。
前面我們講過,AI會根據一個人的“哈馬斯特徵”來打分,高於“及格線”的才會判定是哈馬斯成員。技術人員就可以通過操控“及格線”,來放寬和收窄“哈馬斯成員”的範圍。根據以色列官員的説法,在戰爭過程中,AI不斷生成名單,以軍照單殺人,但有時候,AI生成名單的速度,還跟不上以軍殺人的速度。以軍需要更多的打擊目標,就會把“及格線”調低。這樣,機器就會把很多新人加到名單上,比如民防人員和警察,他們有武裝,是在幫哈馬斯政府,湊合湊合,也能算是“哈馬斯成員”。3月底的時候,《耶路撒冷郵報》發了篇報道,説哈馬斯好像越打越多了。軍方一直估計有3萬人,但現在,光是已經打死和打傷的人加在一起都不止這個數,一會兒還這裏又出來一堆哈馬斯,那裏又打死一堆哈馬斯,數字根本對不上。我覺得,這裏面估計也有“薰衣草”的鍋,誰讓它速度太慢,還需要靠人手動給名單擴容呢?
這種種的不靠譜,以色列軍方心知肚明,而且毫不在意。一切都掩蓋在了“戰爭”的名義之下。他們辯護説:情報機構人力有限,不值得核查低級武裝分子上浪費時間;咱們是在打仗,沒時間給每個目標“定罪”,你得接受算法有誤差,接受殺錯人的風險。
這話聽着很有道理,和“寧可錯殺一萬,不可放過一個”,有異曲同工之妙。而且好像還要感謝AI,把錯殺率,從萬分之九千九百九十九,降到了百分之十,讓大規模的“定點清除”成為可能。
這個邏輯的問題,我們等會兒再討論。退一萬步講,即使接受了邏輯,還有個程度的問題。“薰衣草”的錯誤率有10%,不代表以色列每炸死10個人,有九個是哈馬斯。很多信源的數據都顯示,死在以色列炮火下的平民,遠超哈馬斯武裝分子的數量。因為確定要殺誰之後,還有個怎麼殺的問題,而這一步,以色列也是大幅仰仗AI的助力。
從目前收集到的信息看,除了“薰衣草”之外,明確在加沙戰場上出現過的AI,至少還有三個。第一個叫“福音”(The Gospel),它是專門和“薰衣草”打配合的。“薰衣草”確定要殺誰,“福音”則把這些人身處的建築物標記出來。第二個叫“爸爸在哪兒”(Where’s Daddy),它負責利用各種監視系統跟蹤目標,在對方進入房間的那一刻發出信號。第三個叫“火力工廠”(Fire Factory),負責計算彈藥裝載量,對數千個目標進行優先級排序,並將其分配給飛機和無人機,再製定出一個空襲時間表。
我們在過去的節目裏面講過,“定點清除”的技術要領,一在信息採集和處理,二在精確和快速的打擊技術。這四個AI相互配合,覆蓋了“定點清除”的全套流程,大幅提高了殺人的效率。它們具體是怎麼做的呢?首先,要確定一個合適的擊殺地點。在哪裏殺人更容易?當然是目標在家裏的時候。對AI來説,它們很容易就能把目標和他的私人住宅關聯起來。實際上,加沙的每個人都被標記了對應的住宅,誰住在什麼地方,全部在以軍的數據庫當中,在此基礎上,追蹤目標歸家、離家的軌跡也不困難。除此之外,在民宅裏面,反偵察、反打擊措施要薄弱許多,目標在家中警戒心也低,簡直是理想的殺人場所。
但問題,這些民宅裏面,往往不是隻有一個人。加沙人習慣一大家子住在一起。爹媽老婆孩子兄弟姐妹,親朋好友、左鄰右舍,一發炮彈下去,就整整齊齊的了。
以軍攻擊民宅的理由有很多,比如哈馬斯就喜歡把窩點藏在民用設施當中,拿平民當擋箭牌,醫院、清真寺、學校、聯合國設施,大概率都有哈馬斯。但這解釋不了一個現象:為什麼以家庭為單位的傷亡,佔比特別高?開戰45天的時候,聯合國機構公佈過一個數據:當時巴勒斯坦方面死亡11078人,有501個家庭,死亡人數大於6人,312個家庭,死亡人數超過10人,至少有6120人,也就是一半以上,屬於825個家庭。
這種以家庭為單位的傷亡模式,確實呼應了以色列情報官員的説法:以軍在有意識地攻擊哈馬斯成員的私宅。當然了,這也不算新聞,2014年以色列對加沙的空襲,也做了同樣的事情。那次襲擊當中,共造成了超過2200名巴勒斯坦人的死亡,其中至少有70次針對私人住宅的襲擊,造成606人死亡,比例是27%。而這次提高到一半以上,估計就是AI的“助攻”了。
“薰衣草”生產名單的速度,那就不用説了。“爸爸在哪兒”可以同時跟蹤數千個目標,效率也是非同一般。再加上“火力工廠”,不但優化了空襲的效率,而且還大幅降低了彈藥的成本。根據美國情報部門的估計,以色列空軍在加沙使用的彈藥裏面,有45%是非制導炸彈,也叫“傻彈”(dumb dombs)。它們比制導炸彈便宜很多,價格要差個幾倍,但命中精確度也低,會造成大量的“附帶損害”。但有了AI的幫助之後,命中的問題就解決了一大半。比如説,如果他們發現目標住的是高層建築,就不打了,因為需要用特殊的精確制導炸彈來打穿樓板。那玩意兒太貴了,不值得浪費在低級成員身上。但如果這些哈馬斯住在平房裏面,那麼只要在他們回家後扔個“傻彈”就行了,直接把房子給你平了,不存在什麼命中問題。幾千美金換一個人頭,哪怕是低級成員,效費比也可以接受。
然而,命中問題“解決”了,“附帶損害”的問題怎麼辦呢?
以軍設計AI的時候,還考慮過這個問題。AI在做空襲規劃的時候,“附帶損害”也是一個參數。它會根據建築物的大小以及登記的居民名單,計算戰前居住在此的平民人數,再根據撤離的居民比例,來估算一個建築物內的即時人數,再做相應的規劃。比如説,一棟房子,名單上顯示戰前住了10個人,根據手機信號測算,小區撤了一半人,那麼AI就認為,房子裏住了5個人。有時候,算出來的人數,甚至不是整數。
我們光聽就知道,這種估算有多不靠譜。戰前和戰時,根本是兩個概念。根據世界銀行的數據,加沙地帶超過60%的房屋和80%的商業設施都已經被摧毀,幾乎全部人口流離失所,這大幅削弱了軍隊數據庫的準確性和AI自動標記住宅的能力。很多時候,戰爭期間居住的,完全就不是戰前的那批人,兩者之間也沒什麼聯繫。有時候,以軍炸了一棟房子,根本不知道房裏是好幾户人家躲在一起的。在以前的戰爭裏面,情報人員會花大量的時間監視房屋、核實人數,事後還有一道炸彈損害評估程序(Bomb Damage Assessment),簡稱BDA,檢查目標是否死亡,以及造成了多少平民死亡。這一次,為了節省時間,事前事後的步驟,全都省略了,一切都交給了AI和統計學。情報人員對於會死多少,死了多少人,裏面包不包括目標,可謂一概不知。他們唯一知道的,就是空軍告訴他們,房子被炸了,然後他們再告訴軍隊,去炸更多的房子。
不過,有一個問題,依然沒交給統計學,就是允許“附帶損害”的大小。軍方會事先給一個授權,殺一個哈馬斯,允許多少平民陪葬,這個數字叫非戰鬥人員傷亡值,簡稱NCV(Non-combatant Casualty Value)。AI在計算殺誰、怎麼殺的時候,就會根據這個標準來。NCV是浮動的,軍事價值越高,NCV越大——這是以軍自己承認的,對高級哈馬斯成員,這個數字可以達到三位數。軍隊有一套大致的標準,一個旅長配多少人,一個營長配多少人,還會考慮到具體的情況。比如説哈馬斯卡桑旅的指揮官艾曼·諾法爾(Ayman Nofal),以軍在擊殺他的時候,得到的位置情報不是很精確,軍方授權的人數是300人。對比一下,當年美軍擊殺本·拉登,授權的NCV“只有”30。
對於低級哈馬斯成員,這個標準還要“彈性”一點。去年10月7日的空襲之後,以軍陷入了歇斯底里的狀態,只要目標是哈馬斯,幾乎任何“附帶損害”都可以得到批准。反正炸就是了,他們只在乎炸的目標夠不夠多。有時候,他們知道目標在一棟裏面,然後就炸平了四棟樓。整個軍隊與其説是在作戰,還不如説是在泄憤。之後,軍隊的行為稍微理性了一些,NCV被控制在了15人左右,也就是殺一個普通的哈馬斯,可以殺15個平民。有段時間降到5人,但軍方發現,這讓空襲沒法進行,因為只要目標的家人都在家,他們就沒法炸屋子,所以又把上限提了上去。再後來,以軍整體上減小了攻擊低級哈馬斯的頻率。這客觀上降低了“附帶損害”,卻不是因為以軍想降低“附帶損害”,而是考慮到彈藥經濟性。以色列正準備在北部地區和黎巴嫩真主黨動手,這開頭幾波消耗的炸彈,委實有點多了。
由此可見,人工智能輔助下的“自動化”殺人,並沒有什麼“理性”的優勢。AI對於人類幹壞事,沒有什麼限制和糾正作用。相反,它只是讓殺戮,變得更有效率。它降低了殺人的經濟和道德成本,幫助人類在有限的資源和可承受的道德壓力下,殺掉儘可能多的目標。“薰衣草”生成名單,“福音”標記住宅,低級別的情報人員象徵性地看一看,複製粘貼到“爸爸在哪兒”,執行目標追蹤,“火力工廠”據此分配彈藥,制定空襲計劃,在目標回家的那一刻,由空軍完成擊殺。除了最後的擊殺外,整個流程,都實現了高度的自動化,而這“最後一步”,可能在不久的將來,也可以由自動化的武器來完成。
我們之前做過一期節目,叫“定點清除”,讓網上一大羣“烏友”破了大防,直到今天還陷在他們的邏輯謬誤中不能自拔,挺可憐的。我們再來複習一下相關專業知識:“定點清除”,Targeted Killing,有時候也叫“斬首行動”,Decapitation Strike,即通過消滅一個組織中的關鍵人物,來對組織造成破壞。現在,“定點清除”和“斬首”之間,不能再劃等號,它有了一個新分支,叫“Broad Hunting”,大範圍獵殺。從戰場表現來看,這種同時針對數萬目標的大規模“定點清除”,已經成為了一種可行的、且經過實踐應用的戰術。
這是好是壞,尚有爭議。
支持的人説:它好過無差別襲擊。這次加沙戰爭持續了六個月,巴勒斯坦方面,傷亡總數超11萬;哈馬斯武裝分子,滿打滿算有三萬多,佔比達到30%。和歷史上的各種“屠城”相比,是不是要好上很多?AI是在降低“錯殺率”啊!
反對的人説:除了“錯殺率”,還有“錯殺數”。“大範圍獵殺”的應用,實際上大幅增加了攻擊次數,推高了平民的傷亡人數。而且,70%的錯殺率,你覺得可以接受嗎?
然後,支持的人又會反駁:如果把技術改進一下,把錯殺率降到一半以下,你還會這麼説嘛?降到10%以下,1%以下呢?百分之0.000001呢?什麼比例,是可以接受的呢?誰能保證不殺錯一個?你説人命無價,殺錯一個都不行?我們是在打仗,國家利益為重,國民的安全為重。算個總賬,“錯殺”帶來的損失,小於“殺對”帶來的利益就可以了。
最後那句話,我直接引用了以色列國防軍對“薰衣草”問題的回覆。
哲學上的論辯,很難有什麼結果。但有一點,我想大家是有共識的:為了剿滅三萬多名哈馬斯,超過2.4萬名巴勒斯坦婦女和兒童死亡,11萬人死傷,110萬人食不果腹,170萬人流離失所,這超過了絕大部分人的道德紅線,但凡是有點良知的人,都無法接受。如果沒有AI,可能傷亡會更大,但即使有了AI,後果依然如此嚴重。
所以説,問題並不出在AI身上,該為此負責的,也並非人工智能。戰爭,是高尚者的墓誌銘,卑鄙者的通行證。戰場之上,以國之名,滔天的罪惡也能戴上正義的光環。如果殺錯人之後,唯一的後果是浪費了彈藥,那麼AI存在的意義,也只能是減少了彈藥的浪費。
從歷史經驗來看,把人工智能技術引入軍事作戰是不可避免的。聯合國主持了10年的談判,希望對AI在戰場的角色做一點限制,讓各國可以更加“負責任”地開發和利用軍用AI,但目前並沒有多少成果。至少還沒有一個國際公約規定,當人工智能判斷錯誤時,誰應該對平民的傷亡和戰爭的意外升級負責,也沒有一個有效機制,防止AI被有心之人濫用,成為排除異己、剝削“他者”的工具。去年2月,第一屆“全球軍事領域負責任的人工智能峯會”在荷蘭舉行,中國和美國等60多個國家參加,並簽署了《關於軍事領域負責任使用人工智能的行動倡議》。以色列是唯一沒有簽署的與會國家。
所以,巴勒斯坦成千上萬條被AI“錯殺”的人命,到底該由誰來負責呢?
大家好,我是谷智軒。很久沒和大家聊聊巴以局勢了。
最近,有外媒曝光了一件嚇人的事:長期以來,以色列都在使用 人工智能“薰衣草”(Lavander)識別和打擊加沙的目標,造成了大量平民傷亡。經常看我們節目的小夥伴都知道,我們一直在關注人工智能的發展,不只是技術上的進展,還有在法律和倫理上,人類對於AI的各種爭論和探索。我們對於如何利用AI,遠遠沒有形成共識。各國對於AI的立法和管理,還在摸石頭過河。實在是沒想到,竟然有一個國家,跳過了前面的所有環節,直接到了用AI殺人的階段。聯合國秘書長古特雷斯就此發表聲明,表示“深感不安”(deeply troubled);我只能説,用詞過於委婉了。本期《軒講》,我們就來聊聊以色列用AI殺人這事,究竟有多可怕。
本月初,以色列-巴勒斯坦地區的兩家左翼媒體+972雜誌和Local Call網站,發佈了一份調查報告。他們的記者採訪了六名以色列情報官員。這些人都參與了眼下這場加沙戰爭,而且是親身參與了利用AI生成打擊目標的過程。當然了,他們的名字肯定是不能透露的,以色列軍方也否認了他們的説法。報告裏的事到底有沒有,我沒法評價。我只説兩點:第一,報告邏輯自洽、細節豐富,而且確實解釋了以軍在這場戰爭中的很多行為;第二,有的時候,謊言太離譜,反而可能是真相。
這個報告裏講了個什麼故事呢?我給大家總結一下。首先,以色列軍方多年以前就在開發可以甄別攻擊目標的人工智能。背後的動機簡單直白:確認目標的事情,人也可以做,但效率太低。在過去的戰爭中,要授權擊殺單個人類目標,必須先給目標“定罪”。軍隊肯定不會像法院做得那麼細,也沒那麼講究原則和程序,但交叉核對證據,證明“這個人”確實是“那個人”,還是要的。確定目標後,再收集他的活動軌跡,制定擊殺計劃。如果只想幹掉哈馬斯的高級成員,數量控制在兩位數,定罪和定位都不是難事。但以色列不滿足於此。高級成員要殺,數以萬計的低級成員也要殺。這種五位數以上的擊殺名單,情報人員肯定做不了,交給AI,那就省事多了。
那麼這個AI由誰來開發呢?這裏就要提到以色列著名的8200部隊了。插播一小段背景介紹啊。8200是番號,這支部隊正式的名稱是中央情報蒐集部隊(Central Intelligence Gathering Unit),成立於1952年,可謂戰功赫赫,比如在1967年第三次中東戰爭的開戰首日,截獲了埃及總統納賽爾和約翰國王侯賽因的高保密專線,1985年截獲了巴解領導人阿拉法特和“恐怖分子”的電話,等等。除了“戰績”之外,8200的另一個招牌,就是它的成員了。以色列是全民兵役制,不管男女,18歲都得服役。而8200有提前搖人的特權,在不到18歲的所有以色列人裏面,把智商最高、能力最強、最有潛力的五千號人挑出來,然後幹嘛呢?PUA、特訓、搞情報。這裏面還會選出千人左右,專門開發一些用於作戰和情報收集的高科技“小玩意兒”,裏面就包括了戰場內外使用的人工智能。

以色列8200部隊,匯聚了電腦精英,負責信號情報收集、密碼解密、反間諜、網絡戰、軍事情報監視等情報工作
8200有一個數據科學與人工智能中心,中心負責人在多個場合都提及他們正在開發目標識別AI,而以色列媒體的報告就引用了他的很多説法。比如説,這類AI的訓練流程。把已知的哈馬斯和傑哈德成員名單餵給AI,利用一種叫做正樣本未標註學習(Positive-unlabeled learning)的機器學習算法,讓AI提取他們之間的共同特徵。接下來,AI就可以比對這些特徵,對所有巴勒斯坦人打分,越是符合特徵的,分數越高。最後,情報人員會把樣本按照分數排個序,確定下“及格線”,過線的,就是恐怖分子,可以殺。這位負責人在特拉維夫大學講演的時候,還一再強調,AI只是起到輔助篩選的作用,最後決定殺不殺的,還是有血有肉的人。

以色列國防軍 8200 部隊數據科學和人工智能中心指揮官2023年2月出席特拉維夫大學AI周
可真的到了實踐的時候,就完全不是這麼回事了。
咱們有句老話,叫“兵貴神速”。AI給出一份名單,還要人來核驗,這多浪費時間?去年10月,哈馬斯發動襲擊,殺了以色列1200人,綁架240人。以色列報之以“鐵劍行動”(Operation Iron Swords),軍方火速決定,要把哈馬斯清除乾淨,所有成員——不論他們高低貴賤,有多少軍事價值——一個不留。然後他們問了AI一個問題:薰衣草啊薰衣草,告訴我誰是哈馬斯?
這個名叫薰衣草的AI,生成了一份37000人左右的名單。8200的情報人員花了兩週時間,在名單裏隨機挑了幾百個名字,檢查了一下是不是真的哈馬斯,結論是,薰衣草的正確率達到了90%。軍方很滿意,當即授權,就按照AI的名單來辦。程序上需要人工核驗,判斷是否擊殺?沒事,工作人員花上20秒,核驗一下目標是男是女,男的殺了,女的留下——決定在我。那還有10%的錯誤率怎麼辦?統計誤差嘛。誰讓這些人具有“哈馬斯特徵”呢?誰讓他們是哈馬斯成員的親戚,或者和哈馬斯成員同名同姓、用同一個暱稱,或者使用的二手手機,剛巧是一個哈馬斯成員用過的?再説了,統計學肯定比人更靠譜。要知道,很多以軍士兵都有親朋好友死在哈馬斯手裏,他們很容易做出不理性的事情,手裏的“誤殺”也不在少數。


以色列國防軍 8200 部隊數據科學和人工智能中心指揮官在特拉維夫大學的演講幻燈片中透露“薰衣草”擊殺目標的步驟:建立目標的特徵,並根據目標進行排名
但問題是,統計學的那些規則、標準,也是人設計出來的。
什麼才叫“哈馬斯成員”呢?領哈馬斯錢的人?還是不拿錢,但幫哈馬斯做事的人?或者是幫了哈馬斯,但沒有實際危險的人?畢竟,哈馬斯在加沙執政多年,手底下有一大幫子公務員,配武器的也不少。還有,以前幫過哈馬斯,現在不幫了,算不算?這些個定義,是可以人為調整的。實際上,8200在訓練AI的時候,使用了一個非常寬泛的定義,餵給AI的數據裏面,至少包括了哈馬斯政府國內安全部的僱員。
前面我們講過,AI會根據一個人的“哈馬斯特徵”來打分,高於“及格線”的才會判定是哈馬斯成員。技術人員就可以通過操控“及格線”,來放寬和收窄“哈馬斯成員”的範圍。根據以色列官員的説法,在戰爭過程中,AI不斷生成名單,以軍照單殺人,但有時候,AI生成名單的速度,還跟不上以軍殺人的速度。以軍需要更多的打擊目標,就會把“及格線”調低。這樣,機器就會把很多新人加到名單上,比如民防人員和警察,他們有武裝,是在幫哈馬斯政府,湊合湊合,也能算是“哈馬斯成員”。3月底的時候,《耶路撒冷郵報》發了篇報道,説哈馬斯好像越打越多了。軍方一直估計有3萬人,但現在,光是已經打死和打傷的人加在一起都不止這個數,一會兒還這裏又出來一堆哈馬斯,那裏又打死一堆哈馬斯,數字根本對不上。我覺得,這裏面估計也有“薰衣草”的鍋,誰讓它速度太慢,還需要靠人手動給名單擴容呢?

耶路撒冷郵報2024年3月27日報道《震驚!哈馬斯的戰士比以色列初期預設的多數千人》
這種種的不靠譜,以色列軍方心知肚明,而且毫不在意。一切都掩蓋在了“戰爭”的名義之下。他們辯護説:情報機構人力有限,不值得核查低級武裝分子上浪費時間;咱們是在打仗,沒時間給每個目標“定罪”,你得接受算法有誤差,接受殺錯人的風險。
這話聽着很有道理,和“寧可錯殺一萬,不可放過一個”,有異曲同工之妙。而且好像還要感謝AI,把錯殺率,從萬分之九千九百九十九,降到了百分之十,讓大規模的“定點清除”成為可能。
這個邏輯的問題,我們等會兒再討論。退一萬步講,即使接受了邏輯,還有個程度的問題。“薰衣草”的錯誤率有10%,不代表以色列每炸死10個人,有九個是哈馬斯。很多信源的數據都顯示,死在以色列炮火下的平民,遠超哈馬斯武裝分子的數量。因為確定要殺誰之後,還有個怎麼殺的問題,而這一步,以色列也是大幅仰仗AI的助力。
從目前收集到的信息看,除了“薰衣草”之外,明確在加沙戰場上出現過的AI,至少還有三個。第一個叫“福音”(The Gospel),它是專門和“薰衣草”打配合的。“薰衣草”確定要殺誰,“福音”則把這些人身處的建築物標記出來。第二個叫“爸爸在哪兒”(Where’s Daddy),它負責利用各種監視系統跟蹤目標,在對方進入房間的那一刻發出信號。第三個叫“火力工廠”(Fire Factory),負責計算彈藥裝載量,對數千個目標進行優先級排序,並將其分配給飛機和無人機,再製定出一個空襲時間表。
我們在過去的節目裏面講過,“定點清除”的技術要領,一在信息採集和處理,二在精確和快速的打擊技術。這四個AI相互配合,覆蓋了“定點清除”的全套流程,大幅提高了殺人的效率。它們具體是怎麼做的呢?首先,要確定一個合適的擊殺地點。在哪裏殺人更容易?當然是目標在家裏的時候。對AI來説,它們很容易就能把目標和他的私人住宅關聯起來。實際上,加沙的每個人都被標記了對應的住宅,誰住在什麼地方,全部在以軍的數據庫當中,在此基礎上,追蹤目標歸家、離家的軌跡也不困難。除此之外,在民宅裏面,反偵察、反打擊措施要薄弱許多,目標在家中警戒心也低,簡直是理想的殺人場所。
但問題,這些民宅裏面,往往不是隻有一個人。加沙人習慣一大家子住在一起。爹媽老婆孩子兄弟姐妹,親朋好友、左鄰右舍,一發炮彈下去,就整整齊齊的了。
以軍攻擊民宅的理由有很多,比如哈馬斯就喜歡把窩點藏在民用設施當中,拿平民當擋箭牌,醫院、清真寺、學校、聯合國設施,大概率都有哈馬斯。但這解釋不了一個現象:為什麼以家庭為單位的傷亡,佔比特別高?開戰45天的時候,聯合國機構公佈過一個數據:當時巴勒斯坦方面死亡11078人,有501個家庭,死亡人數大於6人,312個家庭,死亡人數超過10人,至少有6120人,也就是一半以上,屬於825個家庭。

聯合國人道主義事務協調廳12月29日關於加沙-以色列危機傷亡情況的總結報告中顯示,巴勒斯坦地區至少有6120人的死亡以825個家庭的形式產生
這種以家庭為單位的傷亡模式,確實呼應了以色列情報官員的説法:以軍在有意識地攻擊哈馬斯成員的私宅。當然了,這也不算新聞,2014年以色列對加沙的空襲,也做了同樣的事情。那次襲擊當中,共造成了超過2200名巴勒斯坦人的死亡,其中至少有70次針對私人住宅的襲擊,造成606人死亡,比例是27%。而這次提高到一半以上,估計就是AI的“助攻”了。
“薰衣草”生產名單的速度,那就不用説了。“爸爸在哪兒”可以同時跟蹤數千個目標,效率也是非同一般。再加上“火力工廠”,不但優化了空襲的效率,而且還大幅降低了彈藥的成本。根據美國情報部門的估計,以色列空軍在加沙使用的彈藥裏面,有45%是非制導炸彈,也叫“傻彈”(dumb dombs)。它們比制導炸彈便宜很多,價格要差個幾倍,但命中精確度也低,會造成大量的“附帶損害”。但有了AI的幫助之後,命中的問題就解決了一大半。比如説,如果他們發現目標住的是高層建築,就不打了,因為需要用特殊的精確制導炸彈來打穿樓板。那玩意兒太貴了,不值得浪費在低級成員身上。但如果這些哈馬斯住在平房裏面,那麼只要在他們回家後扔個“傻彈”就行了,直接把房子給你平了,不存在什麼命中問題。幾千美金換一個人頭,哪怕是低級成員,效費比也可以接受。
然而,命中問題“解決”了,“附帶損害”的問題怎麼辦呢?
以軍設計AI的時候,還考慮過這個問題。AI在做空襲規劃的時候,“附帶損害”也是一個參數。它會根據建築物的大小以及登記的居民名單,計算戰前居住在此的平民人數,再根據撤離的居民比例,來估算一個建築物內的即時人數,再做相應的規劃。比如説,一棟房子,名單上顯示戰前住了10個人,根據手機信號測算,小區撤了一半人,那麼AI就認為,房子裏住了5個人。有時候,算出來的人數,甚至不是整數。
我們光聽就知道,這種估算有多不靠譜。戰前和戰時,根本是兩個概念。根據世界銀行的數據,加沙地帶超過60%的房屋和80%的商業設施都已經被摧毀,幾乎全部人口流離失所,這大幅削弱了軍隊數據庫的準確性和AI自動標記住宅的能力。很多時候,戰爭期間居住的,完全就不是戰前的那批人,兩者之間也沒什麼聯繫。有時候,以軍炸了一棟房子,根本不知道房裏是好幾户人家躲在一起的。在以前的戰爭裏面,情報人員會花大量的時間監視房屋、核實人數,事後還有一道炸彈損害評估程序(Bomb Damage Assessment),簡稱BDA,檢查目標是否死亡,以及造成了多少平民死亡。這一次,為了節省時間,事前事後的步驟,全都省略了,一切都交給了AI和統計學。情報人員對於會死多少,死了多少人,裏面包不包括目標,可謂一概不知。他們唯一知道的,就是空軍告訴他們,房子被炸了,然後他們再告訴軍隊,去炸更多的房子。
不過,有一個問題,依然沒交給統計學,就是允許“附帶損害”的大小。軍方會事先給一個授權,殺一個哈馬斯,允許多少平民陪葬,這個數字叫非戰鬥人員傷亡值,簡稱NCV(Non-combatant Casualty Value)。AI在計算殺誰、怎麼殺的時候,就會根據這個標準來。NCV是浮動的,軍事價值越高,NCV越大——這是以軍自己承認的,對高級哈馬斯成員,這個數字可以達到三位數。軍隊有一套大致的標準,一個旅長配多少人,一個營長配多少人,還會考慮到具體的情況。比如説哈馬斯卡桑旅的指揮官艾曼·諾法爾(Ayman Nofal),以軍在擊殺他的時候,得到的位置情報不是很精確,軍方授權的人數是300人。對比一下,當年美軍擊殺本·拉登,授權的NCV“只有”30。

路透社2023年10月17日報道,以色列空襲加沙,擊殺了哈馬斯軍事指揮官艾曼·諾法爾
對於低級哈馬斯成員,這個標準還要“彈性”一點。去年10月7日的空襲之後,以軍陷入了歇斯底里的狀態,只要目標是哈馬斯,幾乎任何“附帶損害”都可以得到批准。反正炸就是了,他們只在乎炸的目標夠不夠多。有時候,他們知道目標在一棟裏面,然後就炸平了四棟樓。整個軍隊與其説是在作戰,還不如説是在泄憤。之後,軍隊的行為稍微理性了一些,NCV被控制在了15人左右,也就是殺一個普通的哈馬斯,可以殺15個平民。有段時間降到5人,但軍方發現,這讓空襲沒法進行,因為只要目標的家人都在家,他們就沒法炸屋子,所以又把上限提了上去。再後來,以軍整體上減小了攻擊低級哈馬斯的頻率。這客觀上降低了“附帶損害”,卻不是因為以軍想降低“附帶損害”,而是考慮到彈藥經濟性。以色列正準備在北部地區和黎巴嫩真主黨動手,這開頭幾波消耗的炸彈,委實有點多了。
由此可見,人工智能輔助下的“自動化”殺人,並沒有什麼“理性”的優勢。AI對於人類幹壞事,沒有什麼限制和糾正作用。相反,它只是讓殺戮,變得更有效率。它降低了殺人的經濟和道德成本,幫助人類在有限的資源和可承受的道德壓力下,殺掉儘可能多的目標。“薰衣草”生成名單,“福音”標記住宅,低級別的情報人員象徵性地看一看,複製粘貼到“爸爸在哪兒”,執行目標追蹤,“火力工廠”據此分配彈藥,制定空襲計劃,在目標回家的那一刻,由空軍完成擊殺。除了最後的擊殺外,整個流程,都實現了高度的自動化,而這“最後一步”,可能在不久的將來,也可以由自動化的武器來完成。
我們之前做過一期節目,叫“定點清除”,讓網上一大羣“烏友”破了大防,直到今天還陷在他們的邏輯謬誤中不能自拔,挺可憐的。我們再來複習一下相關專業知識:“定點清除”,Targeted Killing,有時候也叫“斬首行動”,Decapitation Strike,即通過消滅一個組織中的關鍵人物,來對組織造成破壞。現在,“定點清除”和“斬首”之間,不能再劃等號,它有了一個新分支,叫“Broad Hunting”,大範圍獵殺。從戰場表現來看,這種同時針對數萬目標的大規模“定點清除”,已經成為了一種可行的、且經過實踐應用的戰術。
這是好是壞,尚有爭議。
支持的人説:它好過無差別襲擊。這次加沙戰爭持續了六個月,巴勒斯坦方面,傷亡總數超11萬;哈馬斯武裝分子,滿打滿算有三萬多,佔比達到30%。和歷史上的各種“屠城”相比,是不是要好上很多?AI是在降低“錯殺率”啊!
反對的人説:除了“錯殺率”,還有“錯殺數”。“大範圍獵殺”的應用,實際上大幅增加了攻擊次數,推高了平民的傷亡人數。而且,70%的錯殺率,你覺得可以接受嗎?
然後,支持的人又會反駁:如果把技術改進一下,把錯殺率降到一半以下,你還會這麼説嘛?降到10%以下,1%以下呢?百分之0.000001呢?什麼比例,是可以接受的呢?誰能保證不殺錯一個?你説人命無價,殺錯一個都不行?我們是在打仗,國家利益為重,國民的安全為重。算個總賬,“錯殺”帶來的損失,小於“殺對”帶來的利益就可以了。
最後那句話,我直接引用了以色列國防軍對“薰衣草”問題的回覆。

以色列國防軍回應在加沙地區使用“薰衣草”:算個總賬,“錯殺”帶來的損失小於“殺對”帶來的利益就可以了
哲學上的論辯,很難有什麼結果。但有一點,我想大家是有共識的:為了剿滅三萬多名哈馬斯,超過2.4萬名巴勒斯坦婦女和兒童死亡,11萬人死傷,110萬人食不果腹,170萬人流離失所,這超過了絕大部分人的道德紅線,但凡是有點良知的人,都無法接受。如果沒有AI,可能傷亡會更大,但即使有了AI,後果依然如此嚴重。
所以説,問題並不出在AI身上,該為此負責的,也並非人工智能。戰爭,是高尚者的墓誌銘,卑鄙者的通行證。戰場之上,以國之名,滔天的罪惡也能戴上正義的光環。如果殺錯人之後,唯一的後果是浪費了彈藥,那麼AI存在的意義,也只能是減少了彈藥的浪費。
從歷史經驗來看,把人工智能技術引入軍事作戰是不可避免的。聯合國主持了10年的談判,希望對AI在戰場的角色做一點限制,讓各國可以更加“負責任”地開發和利用軍用AI,但目前並沒有多少成果。至少還沒有一個國際公約規定,當人工智能判斷錯誤時,誰應該對平民的傷亡和戰爭的意外升級負責,也沒有一個有效機制,防止AI被有心之人濫用,成為排除異己、剝削“他者”的工具。去年2月,第一屆“全球軍事領域負責任的人工智能峯會”在荷蘭舉行,中國和美國等60多個國家參加,並簽署了《關於軍事領域負責任使用人工智能的行動倡議》。以色列是唯一沒有簽署的與會國家。
所以,巴勒斯坦成千上萬條被AI“錯殺”的人命,到底該由誰來負責呢?

本文系觀察者網獨家稿件,文章內容純屬作者個人觀點,不代表平台觀點,未經授權,不得轉載,否則將追究法律責任。關注觀察者網微信guanchacn,每日閲讀趣味文章。