觀察｜無人機首次自主殺人，機器殺人的“潘多拉魔盒”打開？_風聞
钢铁沧澜-2021-06-07 12:05
作者：蘭順正
首發自：澎湃新聞
近日，聯合國披露的一份關於2020年3月利比亞軍事衝突中的報告稱，土耳其STM公司生產的“卡古-2”(kargu)型四旋翼無人攻擊機被編程為在不依靠操作員的情況下自主攻擊了撤退的哈夫塔爾指揮的“利比亞國民軍”，並很有可能造成了一名國民軍相關成員的死亡。
這是有史以來第一例記錄在案的無人機在沒有人為命令的情況下向人發動攻擊的案例，引發了各界關於人工智能與自主武器的關注。
機器自主殺人的擔憂
隨着技術的進步，人工智能已經得到了越來越廣泛的應用，可隨之而來就是與之相關問題的爭論。如從長遠角度考慮，不少人擔心，有朝一日人工智能通過不斷的學習，其“心智”水平越來越高，有可能萌生脱離人類控制、獨立自主的傾向，再往後會與人類發生衝突甚至奴役或者滅絕人類。在各類科幻大片中，人工智能造反一直是經久不衰的主題。此前早已有很多學者提出並表達過這樣的憂慮，如英國理論物理學家霍金就表示，未來 100 年內人工智能將比人類更為聰明，機器人將控制人類。2013年霍金還與特斯拉 CEO 伊隆·馬斯克共同發表公開信，認為人工智能的發展應該受到控制。而就近期來説，人工智能在軍事領域大顯身手的同時也是譭譽參半。目前軍用人工智能的發展主要集中在三個方面：自主情報分析：機器算法的快速、準確、無疲勞等特點，可以高速開展目標識別和數據分析，提取有效情報，將海量的數據轉換為有價值的信息。自主指揮控制系統：人工智能可以依據戰場情況和作戰需求的變化發展，動態生成作戰指揮命令，快速實現作戰形態的自我聚合與分解，為作戰指揮提供前所未有的自治性和靈活性。
自主武器：對於自主武器系統概念的界定，依據美國國防部2012年的定義，自主武器系統是“一種激活後就無需操作人員進一步干預，可以自主選擇和攻擊目標的武器系統”。國際紅十字委員會（ICRC）2014 年將自主武器系統定義為“可以獨立選擇和攻擊目標的武器，即在獲取、跟蹤、選擇和攻擊目標等‘關鍵功能’方面具有自主權”。前兩類軍用人工智能雖然會參與作戰行動的策劃與指揮，但畢竟沒有“親自手動”，而自主武器系統的最大特點是能夠在不依賴外界指令和設備支持的情況下，在複雜作戰環境中依靠人工智能系統獨立做出開火決定，讓“機器殺人”成為現實，因此爭論的焦點更多集中在了自主武器上。雖然目前絕大部分無人武器平台的開火權仍然掌握在遠程控制中心的操控員手中，但從技術角度出發全自主武器早就可行了。一些國家已經開始研製開發具備自主開火模式的完全自主武器。譬如英國軍方研發的“硫磺石”導彈，就具備“發射後不管”的極高自主性，操作人員只需為“硫磺石”導彈設置一個大致的“殺傷範圍”（Kill Box），它就會向該區域內的敵方目標發起自主攻擊，即每枚導彈可自行決定攻擊哪輛坦克或其他作戰車輛。而韓國軍方部署在朝韓邊境的SGR-A1武裝機器人“哨兵”，不但可以通過使用模式識別軟件和弱光攝像頭識別、鎖定“越境者”，並在必要的時候也會自主掌握攻擊權限。
“兩面開刃”的自主武器
現在爭論的核心是：自主武器該不該被使用。對於使用自主武器的後果，各方存在較大的分歧。一方面，美俄等國從鞏固其技術先發優勢的立場出發，提出自主武器系統具有人類戰士無可比擬的優越性。有人認為，智能化自主武器系統不僅能夠使人與武器實現實質性分離，使實際傷亡率無限趨近於0，而且自主武器系統無需考慮自身安全，不受主觀情緒左右，具有“理性優勢”，加上更快的信息處理速度，武器的使用效率和不同武器之間的協作也將大大提升，可以最大限度地獲得戰場主動權。因此未來具備人工智能的“無人軍團”必將成為大國的“標配”，進一步拉大國與國之間的軍力差距，甚至出現單方面“碾壓”。在2018 年 3 月，美國在向聯合國政府專家組會議提交的文件中就指出，“致命性自主武器系統領域的新興技術可以提高國家運用武力時降低平民傷亡風險的能力……較之壓制或禁止致命性自主武器系統領域新興技術的做法，美國選擇鼓勵相關領域技術創新”。而就在幾天前，俄羅斯國防部長謝爾蓋·紹伊古宣佈 ：“作戰機器人的批量生產已經開始。現在出現的機器人不僅僅是試驗性的，而是真的像科幻電影中所顯示的那樣，是能獨立戰鬥的（智能）機器人”。
另一方面，聯合國、國際紅十字會和一些技術後發國家基於潛在的安全風險指出，擺脱人類控制的自主武器系統將使得戰爭更加冷血，在戰場上被授予了“自由開火權”人工智能可能會自作主張，濫殺無辜，將戰爭變成一場場無法“重啓”的遊戲。有分析認為，從道義角度出發，如果讓機器來決定人類生死，就會從根本上抹去人性在戰場上的存在感，使人類缺乏對殺戮行為的道德負擔，其結果必然使殺戮變得毫無人性。同時，在戰場上作出“開火”的決定，是綜合衡量大量複雜因素的結果，但目前的機器算法存在區分目標的盲區，無法可靠地區分合法與非法目標。如軍服、武器裝備等一系列明確標識可以設置區分規則，但如果對手採取偽裝等手段，就會導致軍事目標缺乏明顯的視覺標識；而且根據戰爭法則，在戰鬥中不得射殺傷兵、醫護兵、跳傘飛行員、投降者及俘虜等人員；這些都會給自主武器系統執行區分任務帶來巨大挑戰。有人擔心，失去人類控制的自主武器系統一旦應用於戰爭，可能導致攻擊範圍、時間和毀傷程度等方面的諸多不確定性，進而加劇危機意外爆發和升級的風險。另外，即使自主武器在“主觀”上並不想與人類為敵，但因為受控於計算機軟件，就一定有出錯的可能。如在2007年10月，美軍第3機步師下屬部隊攜帶3台“利劍”機器人進攻一個反美武裝據點，由於沒有及時更新軟件，其中1台“利劍”竟把槍口對準美軍操作人員，即便在操作人員發出“行動取消”的指令後，失控的“利劍”依然不聽指揮，直到另一名美軍上尉用火箭筒把它炸翻才化險為夷。而同樣是2007 年 10 月美軍在南非舉行的一場軍事演習中，具有高度自主性的防空系統突然出現故障，從而導致美軍參演防空火炮整體失控，即便該防空系統的操控員多次嘗試關閉火炮自動發射裝置，但由於火炮已經被計算機系統接管而造成關閉指令失效，只能等待防空火炮系統中裝彈機內的炮彈自行發射完畢，該意外事故也造成美軍多名參演官兵死傷。正是鑑於以上自主武器的潛在風險，2018年7月，超過2400名AI領域科學家發表 《致命性自主武器系統宣言》，承諾“將不參與也不支持致命性自動武器的開發、製造、貿易或使用”，並呼籲各國政府和政府領導人“利用強大的國際規範、法規和法律打擊致命性自動武器”。本文開頭提到的“卡古-2”無人機由土耳其研製，是“卡古”無人機的升級版。“卡古-2”重約6.8千克，最高時速約145公里，續航時間約30分鐘，可攜帶1.36千克重的武器，還擁有面部識別能力，可以尋找特定的個人。而當被設定為“高效的自主模式”時，無需操作員的指令，“卡古-2”就可瞄準目標自爆。此次聯合國專家在報告中指出，這是一次真正的“發射後不管”，也是第一次在利比亞發現使用這種無人機，這違反了聯合國第1970號決議第9條。 “卡古-2”在利比亞的表現打開了機器自主向人類攻擊的“魔盒”，各方對此必須予以高度重視。