亞馬遜AI被曝性別歧視，你咋不上天呢？_風聞

原文來自：人民幣交易與研究(Trading_CNY)

作者： 路聞卓立

亞馬遜近日表示，它曾使用過一種基於機器學習的招聘工具，幫HR們分擔壓力，但最終因為這個新引擎並不“喜歡”女性而被迫中止。

圖/Reuters

據路透社報道，亞馬遜的一個團隊自2014年開始一直在建立計算機程序，審查求職者們的簡歷，以機械化地尋找所需的人才。這個實驗性的招聘工具會使用人工智能為求職者提供一星到五星的打分，就像購物者對亞馬遜的商品打分那樣。

但在2015年，亞馬遜開始意識到新系統並未以性別中立的方式評定軟件開發等技術性崗位的求職者。工程師們經過調查發現，AI程序偏愛男性應聘者，是因為AI深度學習的樣本來自於Amazon公司過去10年內收到的所有簡歷。而這些簡歷中，原本男性申請者就偏多，並且最終錄取的員工中也是男性居多。

​

美國頂尖科技公司中男性人數遠超過女性，尤其體現在技術性崗位，圖/Reuters

因此AI在深度學習的過程中形成了一種認知，那就是男性應聘者比女性更優秀。基於這種認知，AI給男性應聘者的簡歷評分更高。知情人士稱，算法對包含“婦女”這個詞的簡歷偏見嚴重，甚至降低了兩所女子大學畢業生的評級。

亞馬遜的工程師們針對這一現象，修改了AI程序的代碼，使得對這些特定屬性保持中立性，但這無法保證算法不會通過其他標準對應聘者的簡歷再分類，併產生歧視。亞馬遜最終在去年年初解散了這一團隊，現在招聘人員僅僅會將這個招聘工具作為一個參考。

**事實上，AI在應用中產生歧視已經不是個例。**MIT媒體實驗室研究員Joy Buolamwini與微軟科學家Timnit Gebru在合作的一篇研究論文《性別圖譜：商用性別分類技術中的種族準確率差異》中，選擇了微軟、IBM 和曠視（Face++）三家的人臉識別 API，對它們進行性別判定的人臉識別功能測試。

測試結果發現，所有的分類器在識別男性人臉上的表現要優於女性人臉（8.1%-20.6%的錯誤差別），所有分類器在膚色較白的人臉上表現優於膚色較深的人臉（11.8%-19.2%的錯誤差別），這意味着AI不僅“學會了”人類的性別歧視（sexist），還“學會了”種族歧視（racist）。用計算機行業的一句習語來説，就是“廢料進，廢品出（Garbage in, garbage out, GIGO）”。

據世界經濟論壇的《2018未來就業報告》，隨着人工智能在逐漸在取代人類的工作，未來五年內機器將覆蓋全球42%的工作任務。2017年對美國HR的調查顯示，55%的HR人為AI將成為他們工作的常規部分。

在這一未來趨勢下，如何確保算法的公平性（Fairness）、問責性（Accountability）、透明性（Transparency），會是AI研發者面對的一個難題。

黑匣子與信息繭房

機器學習中的深度學習技術已經在多個領域成為主流，它就像人類的一面鏡子，去模仿人類的行為方式或者是思考方式。但就像我們不知道自主意識是如何產生的，深度學習的算法就是個黑匣子，因此不能給我們提供問責性和透明性。算法工程師可能依據人類的紅燈停綠燈行、禮讓行人等教會了算法如何自動駕駛，但這輛車要是突然撞到了電線杆上，就是工程師也無法理解的了。

筆者則認為信息傳播中的一個效應，信息繭房（information Cocoons）可以部分套用到機器學習中。信息繭房意味着，在信息傳播中，因公眾自身的信息需求並非全方位的，公眾只注意自己選擇的東西和使自己愉悦的通訊領域，久而久之，會將自身桎梏於像蠶繭一般的“繭房”中。

微博等社交媒體就是一個典型的信息繭房，這一後果就是形成羣體極化。這一羣體極化來自於用户的選擇性心理、意見領袖帶來的“迴音室”效應、意見趨同小團體的網絡巴爾幹化等。一個猜想是，黑匣子中的思考，是否也是極化的結果，這將原本只是客觀事實的樣本數據，通過對相似信息的不斷歸類趨同，演化成了歧視。

美國國防部的研究部門已經在開發更容易解釋如何做出決定的機器學習模型，Alphabet、IBM以及畢馬威等公司也在研究工具，來解釋他們的AI工具做出決策的原因。但這可能還是不夠的，因為每個人對公平、透明度這些的標準不同。

“算法透明度本身並不是目的，”Data&Society研究員Madeleine Clare Elish稱，“有必要問的是：為誰透明，因為什麼而透明？不能僅僅是為了透明度而透明。”

AI能實現真正的公平嗎

目前，沒有國家在算法決策的透明度方面立法，決定公民到底該知道多少信息的權利。歐盟發佈的通用數據保護條例（GDPR）中給出了所謂的“解釋權”，旨在用户能夠更好的讓公司收集和保留其個人數據。

總的來説，公平是相對的，它是一個價值判斷而不是一個事實判斷，這與社會環境等各方面都有關係，下面將從兩個點來闡釋如何去儘可能的實現公平，以及體現可解釋性與透明性。

牛津互聯網研究所助理教授Sandra Wachter在一篇文章中提出一個概念，稱算法應該為人們提供“反事實解釋（counterfactual explanations）”，即披露如何提供最小的變化就能做出反事實的決策。

例如，計算貸款審批的算法不僅可以解釋為何你被拒絕，還可以解釋採取哪些措施可以扭轉決策。提供反事實解釋不需要公佈代碼，因此研究人員也無需知道算法是怎麼“想的”。反事實解釋將有助於推斷機器學習算法是否存在偏見，如果解釋中提出被告人的種族或性別因素，那無疑是由偏見的。

哈佛大學博士後Berk Ustun提出了反事實解釋的變體，他認為算法應該被構建為提供“追索（Recourse）”，即人們能夠切實可行地修改算法決策結果的能力。例如，建議在求職前獲得大學學位相對於在求職前改變性別年齡。Utsun認為，追索權是研究人員實際可以測試的東西，而解釋並不總是有用。

不過，追索權和解釋還不足以實現完全公平，因為算法會為富人、年輕人或男人提供更多可實現的追索權。“創造一個更具包容性和彈性的社會的目標，實際上可能會受到更難獲得社會資源的算法的阻礙，”卡內基梅隆大學博士、此論文的另一作者Alex Spangher稱。

**這裏到我們的第二個點，因為難以存在真正的技術中立，在中立、公平等的判斷上我們仍需要價值的判斷，且主要是社會價值。**社會需要決定哪些數據應該被允許推斷算法。在某些情況下，反歧視法可能會阻止使用種族或性別等類別，但不會阻止以郵編的大小分類。

**但是在這種情況下，仍然需要注意一種情況，即特徵的刻板印象。**果殼網文章《當AI學會性別歧視》裏提到一個案例，有一位研究人員的研究內容是辨認場景複雜生活照，她發現，男人被認成女人的圖片有一些共同點——都是站在廚房裏，或者在做家務。

圖/Zhao, Jieyu, et al. “Men also likeshopping: Reducing gender bias amplification using corpus-level constraints.” arXiv preprint arXiv:1707.09457 (2017).

這是因為機器從大數據裏得到的認知就是女人和某些特定元素相關，以現有的價值判斷標準你很難説這是不是歧視。

再升級到環境上，AI會的判斷可能是一個預言，加深了刻板印象。ProPublica在2016年的一項調查中發現，名為CPMPAS的計算機程序旨在評估犯罪分子再次犯罪的風險。該項目認為一名曾短暫偷走一輛兒童滑板車18歲的黑人女孩比一名兩次入室搶劫的41歲白人男子更容易再次犯罪。

這反映了一個問題，即個人會被環境評判，例如“你的父母有人進過監獄嗎？”、“你的熟人中有多少人非法吸毒？”等等。

若想實現依照社會價值做出反歧視的預防性工作，可能是個很大的工作量。因為歧視並非是膚色、性別等單一變量實現的，它是由多種多樣的人類文化決定的。（完）