當對窮人進行刑事化的技術升級 - 彭博社

無家可歸的人在洛杉磯市中心的斯基德羅區域的帳篷裏睡覺，尤班克斯在這裏進行她關於協調入境系統的研究——被稱為無家可歸服務的Match.com。賈·C·洪/AP五十年前的三月，馬丁·路德·金博士在華盛頓國家大教堂發表演講，這成為了他 最後的星期天講道。他談到了他所看到的全球範圍內發生的三大變化的危險與承諾——他稱之為“三重革命”，包括自動化、核武器的出現以及全球人權鬥爭。關於第一項，他當時指出：

通過我們的科學和技術天才，我們已經將這個世界變成了一個鄰里，但我們卻沒有道德上的承諾將其變成一個兄弟會。

正是這篇演講，維吉尼亞·尤班克斯，紐約州立大學奧爾巴尼分校的政治學副教授，在她的新書 自動化不平等：高科技工具如何對窮人進行畫像、監控和懲罰 *的結尾再次提到。*在書中，尤班克斯對一些看似中立——甚至是出於好意的技術進行了深入剖析，這些技術承諾使美國的福利體系高效運轉。評估醫療補助和食品券資格的自動化系統、將無家可歸者與資源匹配的數據庫、檢測兒童虐待案件的統計工具都被視為福利機構的遊戲規則改變者。但尤班克斯揭示了這些複雜技術的真相，詳細説明了它們如何妨礙那些聲稱要幫助的人的人權和尊嚴。她認為，金博士在這一方面的願景，和許多其他方面一樣，尚未實現。

彭博社城市實驗室隨着鄉村醫院關閉產科病房，城市醫院也隨之而來倫敦的奧運遺產如何重塑被遺忘的東區香港的舊機場成為城市房地產痛苦的象徵來自過去的響亮警告：與汽車共存城市實驗室與尤班克斯進行了交流，討論她書中的一些主要主題。

你開始時闡述了一個迷人而麻煩的貧困管理系統歷史：從地獄般的“貧民院”到 科學慈善運動，新政福利機制到福利的自動化。共同的線索是什麼？

當我們談論新技術時，常常將其視為“顛覆者”——那些動搖我們當前系統的事物。我在書中的一個重要論點是，我所談論的工具更多的是演變而非革命。因此，這段歷史真的非常重要。

我之所以以一個實體的貧民院開始這本書，是因為它是19世紀最具創新性的貧困管理系統。它源於一次巨大的經濟災難——1819年的經濟蕭條，以及人們為保護自己和家人而組織的社會運動。貧民院真正重要的是——這是貫穿我書中所有內容的線索——它是基於當時所謂的“無能”和“能幹”貧困者之間的區別。“無能”貧困者是指因身體殘疾、年齡或虛弱而無法工作的人。“能幹”貧困者是那些當時的道德監管者認為可能能夠工作，但可能只是逃避責任的人。

今天我們所談論的無能貧困者與能夠貧困者之間的區別，實際上就是我們所説的“應得的”和“不應得的”貧困者，這種區別創造了一種公共援助系統，這個系統更像是一個道德温度計，而不是一個保護每個人基本人權的底線。

我認為這就是為服務於貧困工人階級社區的所有行政公共援助系統深層社會編程。這種社會編程常常以無形的假設表現出來，推動着我在書中所談論的不平等自動化。

讓我們再談談“數字貧民窟”，你認為這是對這些控制貧困者的舊系統的延伸。它是什麼時候出現的？

我在書中談到的一個最重要的歷史時刻是我所稱的“數字貧民窟”的興起，這實際上是從相當複雜但模擬的控制系統轉向數字化和綜合控制系統的轉變。

當我第一次開始寫這本書時，我實際上是在紐約州檔案館尋找貧困管理系統開始計算機化的技術文件。我原本以為這會發生在1980年代，隨着個人計算機的廣泛使用，或者在1990年代，當時圍繞福利改革的實際政策變化要求地方福利辦公室計算機化他們的一些流程。

但實際上，我發現公共援助管理中轉向計算機的發生是在1960年代末和1970年代初。這讓我感到非常驚訝。我瞭解到，就在那個時候，出現了一個非常成功的全國福利權利運動，挑戰公共援助項目中的歧視性資格規則。它成功地讓那些過去被不公正排除在外的人，尤其是有色人種女性和未婚母親，能夠進入福利名單。因此，名單迅速擴大。儘管重要的是要理解，公共援助從未覆蓋到貧困線以下人數的50％，但在1970年左右，它接近50％。生活在貧困線以下的兒童中，有五分之四的人正在接受某種形式的公共援助。與此同時，針對民權運動，尤其是黑人權力運動的反彈，以及經濟衰退也在發生。

這是“數字貧困之家”出現的時刻，這些新技術開始發揮作用。如果你看看失業人數的規模，它們基本上就在那個時刻開始下降，並持續呈下降趨勢直到今天——不到10%的人在貧困線以下獲得現金援助。

你探討了三個具體的案例研究。第一個是在印第安納州，立法者推動自動化和私有化福利資格系統——包括現金援助、食品券和醫療補助。這有什麼影響？

所以在2006年，印第安納州簽署了這個非常大的合同——當時是11.6億美元——與一組高科技公司，包括IBM和[附屬計算機服務（ACS）]。它用在線論壇和主要由私人員工組成的區域呼叫中心取代了大多數地方的案件工作者。

結果是在項目的前三年內有100萬次福利拒絕，這比自動化前的三年增加了54%。大多數情況下，人們被拒絕的原因是一個籠統的理由——“未能合作以確定資格”——這基本上意味着申請中某處出現了錯誤。

所以，填寫表格時的技術問題。

是的，規則變得非常脆弱。由於人們不再與他們的案件工作者建立個人關係，因此他們很難以能夠保留福利的方式作出回應。他們有點孤立無援。

解釋一下這背後的人的代價。

這些申請的長度從20頁到120頁不等。因此，回過頭來弄清楚你可能在哪裏犯了錯誤，或者州政府在哪裏犯了錯誤，或者文件處理中心在哪裏犯了錯誤是非常棘手的。所有的錯誤最終都歸咎於申請人。這確實導致了一些巨大的、毀滅性的悲劇。

我在書中講述的一個故事是關於Omega Young，她是一位來自印第安納州埃文斯維爾的50歲非裔美國媽媽。由於她在醫院因晚期卵巢癌而住院，她錯過了重新認證醫療補助的電話預約。她確實提前打電話告訴辦公室，她無法按時參加電話預約。但她還是因為“未能配合確定資格”而被切斷了。她無法負擔藥物，支付房租也有困難，失去了免費交通去醫療預約的機會。儘管她的家人不會將州政府視為她死亡的責任，但她確實在2009年3月1日因癌症去世。第二天，3月2日，她贏得了對錯誤終止福利的上訴，所有的福利都得到了恢復。

因此，這個過程無疑使她的最後日子充滿了本不該有的壓力和痛苦。

你還查看了洛杉磯的“協調入境系統”，該系統於2013年啓動，類似於無家可歸服務的Match.com。它基於有效的住房優先方法，首先旨在為無家可歸者提供一個棲身之所，然後再以其他方式幫助他們。協調入境系統本身由一項調查組成，收集有關無家可歸者的信息，並將其輸入數據庫。然後，一個算法根據“脆弱性指數”對案件進行排名，以便最脆弱的個體可以優先得到幫助。

乍一看，這似乎相當積極。

住房優先的方法顯然是應對住房危機的一個非常積極的方式。我認為有充分的理由來優先考慮這個問題。僅在洛杉磯縣就有58,000名無家可歸者，而目前的住房資源不足以滿足所有人的需求。因此，我理解這種衝動。

但我在這本書中做的一件可能有點不同的事情是，我從無家可歸者自身的角度出發，他們是這個系統的目標。從他們的故事中，我最深刻的感受是，他們在與系統互動時必須做出的艱難選擇。因為我提到的那項調查？它詢問一些非常私密甚至故意刑事化的個人行為問題。[它]詢問你是否在沒有保護的情況下發生性關係，是否以性交易換取金錢或毒品，是否考慮傷害自己或他人，是否為他人販毒，是否有未決逮捕令。如果你對這些問題回答“是”，你可能在脆弱性指數上獲得更高的分數，這會讓你在住房方面獲得優先權。

“我擔心的是，有時這些系統會作為同情心的替代——我們允許這些機器做出我們作為人類難以做出的決定。”根據現有的聯邦數據標準，存儲在這個無家可歸者管理信息系統（HMIS）數據庫中的信息可以僅憑口頭請求被執法部門訪問。因此，你不需要逮捕令——甚至不需要書面請求。因此，對我所交談的許多人來説，這個系統與刑事司法系統之間的界限並不明確。

我想要非常公正；確實有一些人説：“協調入駐是上天的恩賜。這是我經歷過的最好的事情，因為它幫助我找到了住所。”我還要説，即使是那些成功的人也曾對這件事進行反思：“我能找到住所真奇怪，而我認識的許多經歷與我相似的人卻沒有找到住所。這似乎不太對。”

但是對於那些沒有成功找到住所的人，比如加里·博特賴特，這種對無家可歸者社區在住房資格上進行評估的想法真的讓他們感到非常困擾。加里在我與他交談時64歲。他已經無家可歸，時斷時續地在街頭生活了將近十年。他對我説：“這只是另一種推卸責任的方式。”問題不在於給人打分，真正的問題是洛杉磯的58000人根本沒有足夠的住房。

而人們所擔心的事情確實發生在加里身上。這並不能直接歸因於協調入駐系統，但他在街頭待的時間足夠長，以至於無家可歸的日常行為常常被視為犯罪——在路邊睡覺、把東西留在路邊和公共場所小便——使人們面臨被刑事化的風險。據我所知，他有一天在公共交通上非常生氣，因攻擊公交車而被逮捕。他在監獄裏待了將近九個月。他現在已經出來了，過得很好。

所以，這與Khiara M. Bridges在她的書中提出的論點關於隱私權和領取福利的母親：並不是説人們選擇用他們的隱私換取某種利益，而是他們實際上並沒有真正的選擇。

是的，這裏同意的問題很重要。在洛杉磯，接受[這項調查]的人確實簽署了一份詳細的知情同意文件。但在我看來，如果獲得基本人類需求如住房的權利在某種程度上依賴於你填寫這份表格，那麼你就拉伸了知情同意的邊界。

同意書的一部分寫道：“我們會將這些信息與許多其他機構分享，如果你想了解更多，你必須請求這份其他表格。”那些通過請求第二份表格的過程的人會得到一份與168個機構共享這些信息的名單。你可以要求從數據庫中刪除，但你這樣做的過程實際上是非常不清楚的——而且你的一些信息仍然保留在[數據庫]中。該同意有效期為七年，你必須主動停止它——通過書面形式説：“我撤回我的同意。”

因此，人們對這些信息的使用和共享感到擔憂是合理的。

在你的第三個案例研究中，你深入探討了賓夕法尼亞州阿勒格尼縣的預測統計工具，該工具在一個包含29個不同公共項目的數據庫中進行搜索——包括執法、公共學校和公共住房記錄。然後，它為兒童被虐待或忽視的可能性賦予一個數值。負責接聽報告虐待電話的工作人員應該利用它來補充他們在這些案件中的決策。

我設置這些案例的方式是，第一個案例，即印第安納州的案例，在某種程度上感覺是最容易理解的。它有我們熟悉的所有角色——一個貪婪的公司、承包商，以及某些政治家的不良意圖。當我們談到阿勒格尼縣的案例時，故事在倫理和技術上變得更加複雜。風險當然感覺非常高，因為我們在談論兒童的安全。我與阿勒格尼縣的人交談時，他們似乎有絕對出色的動機和意圖。他們做了我們談論算法公正和公平的人所要求的設計者應該做的一切：圍繞系統進行了參與式設計過程；他們幾乎完全透明地展示了模型中的內容；該模型由公共機構控制，因此在某種程度上有一定的問責制。

但系統中仍然有一些部分令人深感不安。有兩件事值得注意。一是——這可能看起來很明顯——[系統]僅能訪問它所能訪問的數據。這個模型是基於對公共項目的訪問數據構建的。因此，如果你通過私人保險獲得心理健康服務，或者通過家庭獲得經濟幫助，你就不在系統中。我認為這是一種貧困畫像，貧困父母被捲入一種非常侵入性的監視反饋循環。

這也意味着該模型可能缺少關鍵變量，因為這些變量不包含在可用數據的範圍內。它不包括地理隔離等因素，研究人員表示這與忽視和虐待有預測關係。這在這個數據庫中不會顯示，因為大多數在阿勒格尼縣獲得縣服務的人生活在密集的城市社區中。

關於這個系統的另一點是，它使用代理來代替實際的兒童虐待。幸運的是，在阿勒格尼縣，每年只有少數實際的[兒童虐待案件]，這很好，因為這意味着兒童相對安全。但這也意味着沒有足夠的數據來實際生成一個可行的模型。因此，製作這個模型的人不得不選擇實際兒童虐待的替代指標。其中一個代理稱為兒童重新轉介，這意味着兒童曾被報告過，但該報告被篩選掉了。然後在兩年內，兒童再次被報告。

但該機構自己的數據顯示，阿勒格尼縣兒童福利系統中存在的種族不成比例的主要部分是通過電話轉介進入系統的。黑人和混血家庭被強制報告者或匿名舉報者報告的可能性是其他家庭的三倍半。因此，這是種族不公正進入系統的一個非常重要的點。這可能會使這種不成比例性更嚴重。

在所有這些情況下，似乎都有這樣一個觀點：技術可以幫助消除人類的偏見——比如種族主義——從而使過程不僅更高效，而且更公平。

承認前線案例工作者的偏見決策一直是並且仍然是公共服務中的一個問題，這一點非常重要。但我所主張的是，在許多情況下，我所研究的工具並沒有消除偏見，而只是將其轉移到另一個地方。

基本上，這些系統似乎在爭辯，人類決策是一個不可知的黑箱——我們根本無法知道是什麼驅使前線案例工作者以某種方式做出決策。我所主張的是，這是一種非常特定的理解偏見的方式——偏見要麼是個體持有的有意識或無意識的 個人態度，而不是一種 結構性和 系統性融入我們機構中的東西。

實際上，通過消除前線的自由裁量權，有可能將偏見推向極端。偏見在編碼的基礎層面被構建到系統中——這就是我們所擁有的數據。就像我談到貧困畫像時？我們只收集獲得公共服務的人的數據。沒有關於接受私人服務以支持自己的人的信息是一種偏見。因為這些偏見從前線人類轉移到系統的隱形後台，我相信它們被放大和加劇的潛力是巨大的。正如書中所示，這些系統並不是特別透明。

我也對人類決策不可知的倫理前提感到深深困擾，而機器決策則是透明和負責任的。在我看來，這似乎阻礙了社區的倫理發展——我們可以討論事情並變得更好；我們可以承認偏見並努力克服它。這似乎是工作，而這在我看來是一種避免進行這項工作的方式。

那麼，談談為什麼這些發展如此重要——不僅僅是對窮人和為他們辯護的人——而是對整個社會。

社會編程的一部分是認為窮人是這小部分可能有病態的人。理解這一點非常重要，在美國，54%的人在25到60歲之間的某個時刻會陷入貧困。 三分之二的人將會接觸到一種基於收入的公共項目，這實際上就是直接的福利。因此，現實是這些系統已經是一個主要關注點。[2015年的一項研究顯示，五分之四的美國人可能在生活的某個時刻面臨“經濟不安全”，這包括使用基於收入的福利項目、經歷貧困或失業。]

即使你對此不在乎，理解在那些對人權保護期望較低的地方測試的工具是非常重要的，這些系統就會受到任務蔓延的影響。它們最初可能是有限的，並且在使用上有嚴格的規則，但隨後會發生一些變化。比如，政治管理層的更換。

那麼我們應該如何在未來思考這個問題呢？

從根本上説，我認為我們可以做得比現在更好。我們值得更好的結果。

其中一部分是以我們的價值觀為中心來設計這些工具。因此，效率、基於證據的政策和最大影響力絕對應該是這些價值觀之一，但公平、正義、公正、自我決定和人類尊嚴也應該是其中的一部分。如果你從一個原則出發來設計，原則是“公共服務系統應該是我們所有人的基礎，而不是道德温度計”，那麼你會得到一個非常不同的系統。這實際上是關於在設計系統之前明確選擇我們的政治價值觀*，而不是假設影響是中立的，然後對一切是如何變得糟糕而感到困惑。*

更大的問題是目前在這個國家圍繞不平等進行的對話——不僅僅是經濟不平等，而是更廣泛的不平等。我希望人們從這本書中瞭解到，儘管我們常常將這些系統視為顛覆者或平衡者，但至少在我研究的案例中，它們實際上更像是我們已有系統的強化器或放大器。改變這些技術的運作方式實際上是非常深刻的文化工作，特別是在重新定義貧困為一個多數問題而不是少數問題，重新定義貧困者為一種政治身份，並幫助人們看到彼此在差異線之間的共同經歷。

這種文化變革可能有助於推動政治變革，使我們擺脱仍然存在於公共援助系統中的貧民窟遺產——遠離那些主要關注你的貧困是否是你自己的錯，而不是尋找能夠支持人們自我決定和釋放他們人類能力的方法的系統。

然而，與此同時，我們需要這個系統減少傷害，因為我真的相信，許多這些系統正在以破壞生活的方式改變辛勤工作的家庭的生活。

最後有什麼想説的嗎？

我與這三個系統中所有管理員和設計師交談時發現的一個共同點是，他們會説：“看，我們沒有足夠的資源。我們必須做出非常艱難的決定，而這些工具幫助我們做出這些艱難的決定。”我想指出的是，我們沒有足夠的資源來幫助每個人，我們必須進行分流？我們必須配給護理？這是一個政治決定。

我最擔心這些系統的一件事是，它們讓我們保持必要的情感距離，以做出不人道的決定。比如，我不想成為那個看着洛杉磯58000人、只有少數資源並決定誰能獲得這些資源的個案工作者。那是一個極其困難的決定。我擔心的是，有時這些系統充當了同情心的替代品——我們允許這些機器做出作為人類我們難以做出的決定。這是我們真正需要關注的事情，因為從長遠來看，這意味着我們放棄了彼此關心的共同目標。我不認為這就是我們作為一個社會的本質。