人工智能治理原則發佈，但只是“看上去很美” | AI那廝_風聞
返朴-返朴官方账号-关注返朴（ID：fanpu2019）,阅读更多！2019-07-17 11:27
**撰文 |**王培（美國天普大學計算機與信息科學系）
由於這些文件所代表的主流觀點在對人工智能的認識上缺乏前瞻性，因此提出的各種措施不足以保證實現人工智能治理原則所想達成的目標。
近年來，人工智能的快速發展得到了全社會的高度關注，同時也引起了種種擔心和憂慮。作為對公眾的回應，若干科學組織先後宣佈了相關的倫理規範（見參考文獻2-4）。今年6月17日，國家新一代人工智能治理專業委員會發布了《新一代人工智能治理原則——發展負責任的人工智能》（以下簡稱《治理原則》，詳見文末），提出了人工智能治理八條原則。這份文獻展現了國內科技工作者在這個重要議題上的責任感和使命感，在內容上也和國際上的其它文獻基本一致，代表了主流學術界在這個問題上的認識。
讀過我前面文章的諸位知道我在人工智能的研究目標和技術路線上的非主流立場，因此大概不會奇怪我在人工智能治理這個問題上也有不同看法。我三年前在《人工智能危險嗎？》文中就討論過有關問題，這裏試圖更加全面地對這種少數派觀點加以進一步解説，以示這不是“為了不同而不同”。下面的分析和結論直接針對《治理原則》，但也適用於其它已發佈的規範。
首先要聲明的是這些異議不説明我完全否認《治理原則》和其他文獻的價值。我完全理解並尊重各位同仁的動機及努力，而且基本同意諸文件中提出的各項目標。我只是認為這些文件所代表的主流觀點在對人工智能的認識上缺乏前瞻性，因此提出的各種措施不足以保證這些目標的實現。
該誰負責？
既然大家的目標都是“發展負責任的人工智能”（我對此並無異議），那麼首先要確定誰該為一個人工智能系統的行為後果負責。即使不提旨在定義“責任主體”的哲學或法學理論，這個問題也已經在若干應用領域中成為不可迴避的了。這裏的“責任”可能是好事，也可能是壞事：人工智能系統“創作”的詩歌、樂曲、繪畫等等版權該歸誰？如果自動駕駛汽車交通肇事，誰該受罰？《治理原則》提出要“建立人工智能問責機制，明確研發者、使用者和受用者等的責任”（其他文獻中的建議也類似）。我的問題是：人工智能系統本身有可能需要負責任嗎？
要説清這一點不得不回到我多次提過的“AI頭號問題”：“人工智能”在這裏是什麼意思？不是我喜歡咬文嚼字，而是因為目前在這個名頭下的各種系統實在是有根本差異。就責任歸屬而言，起碼有三種非常不同的系統需要區別開來。
A．計算系統：在計算機理論中，“計算”指一個確定的輸入輸出關係，因此一個“計算系統”的功能是完全在其設計過程中決定了的。如果用這個辦法來設計一輛自動駕駛汽車，那就要求設計者考慮到所有可能的路況和天氣，併為汽車在每種情況下指定相應的操作。這也就是説如果出現錯誤行為，責任常常要由設計者來負。除了設計錯誤和器件故障之外，使用者也可能要負責任，比如説如果一輛自動駕駛汽車被用來運毒品，汽車設計者一般來説是沒有責任的。
B．學習系統：這是目前最常被稱為“人工智能”的類型。這樣的系統也是被造出來實現特定的輸入輸出關係，但由於關係太複雜，設計者無法一一考慮，以此就靠一個學習算法從大量的訓練樣本中總結出一般規則。這樣一來，在傳統的建造者和使用者之外，又出現了第三種責任人：訓練者。在某些問題上，訓練者的責任大於（學習算法的）設計者和（訓練結果的）使用者，比如説系統的“偏見”就有可能是訓練數據選擇不當造成的。在具體應用環境中，訓練者的角色往往是由建造者或使用者所兼任的，因此常常不被單列出來作為責任人，儘管這個角色的職責和另兩個是有明確差別的。
就上述兩種系統而言，《治理原則》提出的應對是基本恰當的。但要由建造者和使用者負責的不僅僅是人工智能系統，而是所有自動化系統、信息加工系統，或者説計算機應用系統，因此這些原則和這些領域中一直被遵循的倫理原則並無重大差別。真正有特別需求的人工智能系統恰恰是不在前述兩類範圍之內的下面一類。
C．適應系統：這種系統終生都在學習，因此始終不形成固定的輸入輸出關係，同時所有使用者也都是訓練者，因為使用過程也都成為了學習材料。之所以要把這類系統與學習系統區分開來，是因為儘管決定這類系統行為的先天因素可以由其設計者和建造者負責，後天因素卻沒有明確的責任人。由於系統的終身經歷都會影響其行為，那麼除非有人能掌控其全部經歷的所有細節，沒人能夠決定其行為並需要對其後果負責。
儘管適應系統目前不在主流人工智能研究的範圍之內，大概沒人可以否認這種可能性，而且確實有少數研發中的系統屬於此類，包括我自己的納思系統（見我前面的一些文章）。即使不提這些，現有的工作已經有這方面的徵兆。前一段某公司將一個有一定學習能力的聊天程序放在互聯網上，沒料到不久它就學了一堆偏見和髒話。誰該對這個後果負責呢？當然是某些和它對話的人把它教壞了的，但這可能涉及到很多人，每一個人又都不能負全責。就這個具體案例而言，還可以責備那個（那些）把程序上網的決策者對後果缺乏預見性，但如果考慮到未來的適應系統可以直接和外部世界相互作用（比如機器人）或通過觀察和閲讀來學習，其行為的責任人就更難確定了。如果一個人工智能系統從《三國演義》裏面學會了耍陰謀，該讓誰負責？
這裏的情形實際上和一個人已經很像了。某人的某些行為可能主要歸因於其遺傳基因或身體條件，這些一般被看作自然因素，無須有人負責，而在人工智能系統中類似的因素是由設計者和建造者負責的。在系統“出生”後，其初始經驗一般是很大程度上被他人（父母、監護人、老師等等）控制的，因此這些控制者要在一定程度上為系統所習得的行為負責。當系統逐漸“成熟”並離開受控環境（“走入社會”）之後，其行為的責任就會逐漸轉移到系統自身之上，這一方面是因為沒有任何其他人可以負這個責任，另一方面是適應系統具有一定的“責任能力”，即能夠根據對後果的預期選擇自身行為。
一個真正有智能的系統一定是有適應性的，因此一個“負責任的人工智能”必須能為其自身的某些行為負責，而不是把責任全部歸於其設計者、建造者、訓練者、使用者，儘管那些人也都有各自的責任。
誰的倫理？
不管誰負責，我相信絕大多數人（包括我自己）都同意研發人工智能的根本動機是造福人類而非危害人類。這在《治理原則》中表述為“人工智能發展應以增進人類共同福祉為目標；應符合人類的價值觀和倫理道德”。這儘管聽上去完全正確，落實起來可不容易。
首先，把“人類的價值觀和倫理道德”都存儲在一個人工智能系統中不解決任何問題。**要實際規範系統的行為，倫理指令必須具體、清晰、明確。**而只要我們仔細分析幾個具體問題，就會發現想要“符合人類的價值觀和倫理道德”絕不簡單。試舉幾例：
*如果一個人工智能系統通過分析用户所提供的信息發現了某些隱含或導出信息，這是不是侵犯隱私？如果是，那“隱私”的界限在哪裏？（凡是沒有明確陳述的都算？）**自動汽車在遭遇車禍時應當無條件保證車內乘客的安全嗎？如果有例外，那麼條件是什麼？（這是倫理學“電車難題”和戀人測試“掉河裏先救誰”的升級版。）*人工智能應該被用於軍事用途嗎？殺人當然不對，但殺壞人除外吧？如果殺少數人可以挽救多得多的人呢？（這時問“殺不殺？”和“救不救？”的效果是不同的。
儘管《治理原則》和其它文獻中所列的原則的確在很大程度上代表了普世價值，但在大量具體問題上人類內部還是沒有共識的，更不必説這些原則在具體執行時常常是互相沖突的（騙人不對，但若能改善病人的心情呢？）在這種情況下，誰有權代表人類為人工智能提供倫理指令？即使有這樣的權威，是否可能依此擺脱所有倫理困境？我們今天認定的倫理原則是否幾十年後（還不要説更久）依然有效？想想我們自己的歷史吧！
即使不談對人類倫理的不同理解，這裏仍有大問題在：人類倫理是用於規範人際關係的，因此不完全適用於規範“機際關係”或人機關係。為純粹的學術目的，我們可以讓一個由適應性系統組成的社羣中完全自發地生成某種倫理規範：為了共存和合作，這些系統有需求來建立和維護彼此都可以接受的規範，以實現社會行為的穩定性和可預測性。一個完全無法無天的系統一定是無法有效地和其它系統合作的。這樣形成的“規矩”會和人類倫理有共同點（比如大概都會在一定程度上接受“己所不欲勿施於人”這種類比推理），但不一定完全一樣。至於和人的關係，即使將來人類在一定程度上承認人工智能系統的社會地位和權利，也不可能認為它們和人類完全一樣（因為本來就不一樣），這就是説不會完全像對待人一樣對待它們。因為這些理由，人工智能的倫理規範一定是直接根植於這些系統自身經驗的，否則不會真的有用。
總而言之，我完全同意人工智能需要依照某種倫理規範來行為，但不認為可以靠灌輸一套人類倫理規範給它們就可以解決問題。植入或教給它們若干倫理律令是可能的，但必須允許系統通過對自身經驗的總結和整理對其進行具體化，這也就使得個體差異和試錯學習不可避免，正像發生在人類的倫理教育中那樣。
如何治理？
對於適應性系統來説，儘管先天設計仍然重要（一個“精神不正常”的AI是難以用倫理來規範的），但“講道德”“愛人類”等目標更多地要通過後天教育來逐漸實現，因為無論如何精細的設計都無法窮盡未來的可能情況，也不可能有足夠的數據來通過有限的訓練對所有情況做出準備。
如何教育一個具有適應性的人工智能系統是一個超出本文範圍的題目。在這裏我只列出我的看法，而把詳細的討論留給未來：
*人類可以通過控制或影響適應性系統的經驗來對其進行教育，以建立滿足人類要求的動機、知識、技能結構。**這種教育過程會和對人類兒童的教育類似，只是沒有其中生物性的部分，因為人工智能只有心理建構過程而沒有生理發育過程。**這種教育過程和目前機器學習的訓練過程有根本差別，不是單純的統計推理。**由於未來環境不可精確預測，無論怎樣的教育方案都無法保證被教育的系統不犯錯誤（包括倫理方面的），而只能保證它會從錯誤中學習（儘管仍有可能學到錯誤結論）。**系統的價值觀和倫理準則是不斷被系統自身根據經驗修正和調整的。經驗不同的系統會有不同的觀點，但可以通過互動建立一定程度的共識。*針對人工智能的教育學和心理學會成為獨立學科。
參考文獻1對其中某些觀點有進一步展開，但除了一些基本原則之外，我不認為可能在把這種系統造出來之前能完全保證它的安全性，這就像萊特兄弟在造出飛機之前無法制定完善的飛行安全條例一樣。
目前有一種流行的觀點，認為除非保證符合所有倫理、道德、法律方面的期望，人工智能研究根本就不該進行。在我看來這就像是説如果一對夫妻不能證明他們未來的孩子不會犯法，就不給他們發“準生證”一樣荒謬。我不是反對基於倫理考慮對研發進行限制，尤其同意不該將不成熟的技術冒險投入實際應用，但禁止製造原子彈和禁止研究原子物理學不是一回事。儘管具有適應性的人工智能確有其危險，但其巨大的理論和應用潛力仍足以讓我們接受這個挑戰。
總 結
要有效治理人工智能，我們先應該對這個治理對象有一個儘量全面、準確的認識。考慮到未來人工智能將要具有的適應性和自主性，對《治理原則》代表的主流方案需要進行下列修正：
*在治理對象中注重人工智能系統本身，而不是僅僅考慮其設計者、製造者、訓練者、使用者等等傳統治理對象；**在治理手段中注重教育、倫理、法律等等後天培養、規範、獎懲措施，而不是寄希望於設計一個保證不可能犯錯的人工智能系統；*在倫理建設中注重通過影響系統經驗構建相關動機、知識、能力，而不是試圖原樣植入或灌輸人類倫理價值指令。
我相信這些修正會提高人工智能的“安全可靠可控”水平，但不認為這是個可以一勞永逸地解決的問題，更不同意靠禁止或放緩人工智能研究可以使人類更安全。
參考文獻
1. Jordi Bieger, Kristinn R. Thorisson and Pei Wang, Safe baby AGI, Proceedings of the Eighth Conference on Artificial General Intelligence, Pages 46-49, Berlin, July 2015
2. The Ethically Aligned Design（https://standards.ieee.org/industry-connections/ec/autonomous-systems.html）, prepared in 2016 by IEEE Standards Association
3. The Asilomar AI Principles（https://futureoflife.org/ai-principles/?cn-reloaded=1）, developed in conjunction with the 2017 Asilomar conference
4. The Ethics Guidelines for Trustworthy Artificial Intelligence (AI)（https://ec.europa.eu/futurium/en/ai-alliance-consultation/guidelines）, prepared in 2019 by the High-Level Expert Group on Artificial Intelligence of the European Commission
注：本文中所提到之作者其他文章，可進入公眾號底部菜單“精品專欄-AI那廝”查閲。點擊微信頁面左下角“閲讀原文”，可查閲作者所有科普文章和科普視頻。
《治理原則》全文如下：
新一代人工智能治理原則——發展負責任的人工智能
全球人工智能發展進入新階段，呈現出跨界融合、人機協同、羣智開放等新特徵，正在深刻改變人類社會生活、改變世界。為促進新一代人工智能健康發展，更好協調發展與治理的關係，確保人工智能安全可靠可控，推動經濟、社會及生態可持續發展，共建人類命運共同體，人工智能發展相關各方應遵循以下原則：
一、和諧友好。人工智能發展應以增進人類共同福祉為目標；應符合人類的價值觀和倫理道德，促進人機和諧，服務人類文明進步；應以保障社會安全、尊重人類權益為前提，避免誤用，禁止濫用、惡用。
二、公平公正。人工智能發展應促進公平公正，保障利益相關者的權益，促進機會均等。通過持續提高技術水平、改善管理方式，在數據獲取、算法設計、技術開發、產品研發和應用過程中消除偏見和歧視。
三、包容共享。人工智能應促進綠色發展，符合環境友好、資源節約的要求；應促進協調發展，推動各行各業轉型升級，縮小區域差距；應促進包容發展，加強人工智能教育及科普，提升弱勢羣體適應性，努力消除數字鴻溝；應促進共享發展，避免數據與平台壟斷，鼓勵開放有序競爭。
四、尊重隱私。人工智能發展應尊重和保護個人隱私，充分保障個人的知情權和選擇權。在個人信息的收集、存儲、處理、使用等各環節應設置邊界，建立規範。完善個人數據授權撤銷機制，反對任何竊取、篡改、泄露和其他非法收集利用個人信息的行為。
五、安全可控。人工智能系統應不斷提升透明性、可解釋性、可靠性、可控性，逐步實現可審核、可監督、可追溯、可信賴。高度關注人工智能系統的安全，提高人工智能魯棒性及抗干擾性，形成人工智能安全評估和管控能力。
六、共擔責任。人工智能研發者、使用者及其他相關方應具有高度的社會責任感和自律意識，嚴格遵守法律法規、倫理道德和標準規範。建立人工智能問責機制，明確研發者、使用者和受用者等的責任。人工智能應用過程中應確保人類知情權，告知可能產生的風險和影響。防範利用人工智能進行非法活動。
七、開放協作。鼓勵跨學科、跨領域、跨地區、跨國界的交流合作，推動國際組織、政府部門、科研機構、教育機構、企業、社會組織、公眾在人工智能發展與治理中的協調互動。開展國際對話與合作，在充分尊重各國人工智能治理原則和實踐的前提下，推動形成具有廣泛共識的國際人工智能治理框架和標準規範。
八、敏捷治理。尊重人工智能發展規律，在推動人工智能創新發展、有序發展的同時，及時發現和解決可能引發的風險。不斷提升智能化技術手段，優化管理機制，完善治理體系，推動治理原則貫穿人工智能產品和服務的全生命週期。對未來更高級人工智能的潛在風險持續開展研究和預判，確保人工智能始終朝着有利於社會的方向發展。
國家新一代人工智能治理專業委員會
2019年6月17日
來源：科技部
版權説明：歡迎個人轉發，任何形式的媒體或機構未經授權，不得轉載和摘編。轉載授權請在「返樸」微信公眾號內聯繫後台。
特 別 提 示
1. 進入『返樸』微信公眾號底部菜單“精品專欄“，可查閲不同主題系列科普文章。
2. 『返樸』提供按月檢索文章功能。關注公眾號，回覆四位數組成的年份+月份，如“1903”，可獲取2019年3月的文章索引，以此類推。
相關閲讀
1 科學的光榮，哲學的醜聞：怎麼對付“歸納”帶來的麻煩？| AI那廝