0
| 本文作者： 劉偉 | 2018-03-02 11:30 |
一項(xiàng)旨在幫助英國(guó)警方做出羈押決定的算法最近做了一些調(diào)整，原因是擔(dān)心它可能會(huì)歧視來(lái)自貧困地區(qū)的公民。回顧這項(xiàng)算法工作的歷程，你會(huì)發(fā)現(xiàn)它做出的預(yù)測(cè)和人類預(yù)測(cè)有著巨大的差異。
過(guò)去五年，達(dá)勒姆警察局和計(jì)算機(jī)科學(xué)家們一直在開(kāi)發(fā)“危害風(fēng)險(xiǎn)評(píng)估工具”（簡(jiǎn)稱HART）。HART是一個(gè)人工智能系統(tǒng)，它可以預(yù)測(cè)犯罪嫌疑人兩年內(nèi)再犯的概率是較低、中等還是較高。
HART是英國(guó)警方最先采用的人工算法之一。它不直接決定是否羈押犯罪嫌疑人，而是意在幫助警察決定是否將某個(gè)人列入一個(gè)叫做“Checkpoint”的康復(fù)計(jì)劃。這個(gè)康復(fù)計(jì)劃的初衷是調(diào)停訴訟，防止嫌疑人被送上法庭。
HART系統(tǒng)用到了34項(xiàng)個(gè)人數(shù)據(jù)（包括年齡、性別和犯罪史等）來(lái)評(píng)估犯罪風(fēng)險(xiǎn)的高低，其中包含了郵政編碼。不過(guò)警方目前正在剔除該AI系統(tǒng)中的郵政編碼信息的主要字段，比如刪除達(dá)勒姆郵政編碼的前四位數(shù)。2017年9月發(fā)表的一篇學(xué)術(shù)論文草案在回顧對(duì)這項(xiàng)算法的使用時(shí)寫道：“HART目前正在接受數(shù)據(jù)更新，目的是刪除兩個(gè)與郵政編碼相關(guān)的預(yù)測(cè)指標(biāo)中的一個(gè)。”這篇論文的聯(lián)合作者之一是一位警方成員。
愛(ài)丁堡納皮爾大學(xué)犯罪司法系統(tǒng)專家Andrew Wooff說(shuō)道：“我對(duì)于將郵政編碼前幾位作為預(yù)測(cè)指標(biāo)心存憂慮。”他補(bǔ)充說(shuō)，將地域和社會(huì)人口統(tǒng)計(jì)信息等作為預(yù)測(cè)指標(biāo)，會(huì)加深警務(wù)決策和司法系統(tǒng)中的偏見(jiàn)。“如果系統(tǒng)預(yù)測(cè)某個(gè)郵編對(duì)應(yīng)的地區(qū)具有犯罪高發(fā)風(fēng)險(xiǎn)，而且警方據(jù)此采取了行動(dòng)，無(wú)疑會(huì)放大這種認(rèn)知。”
這篇即將發(fā)表的學(xué)術(shù)論文，首次對(duì)HART進(jìn)行了認(rèn)真的審視。它指出，郵政編碼和社區(qū)的貧困程度可能有一定的相關(guān)性。住址信息之所以會(huì)成為預(yù)測(cè)犯罪的相關(guān)指標(biāo)，可能是人為造成的結(jié)果。如果把郵政編碼作為建立再犯模型的依據(jù)，那么這個(gè)模型就會(huì)使犯罪高發(fā)地區(qū)的居民備受關(guān)注。這篇論文強(qiáng)調(diào)，真正令人擔(dān)憂的不是模型本身，而是用來(lái)構(gòu)建模型的預(yù)測(cè)因子。
該論文還強(qiáng)調(diào)，“人類和算法的預(yù)測(cè)觀念存在明顯的分歧。”在該算法的初始實(shí)驗(yàn)階段，警方成員被要求模仿算法的輸出結(jié)果，預(yù)測(cè)一個(gè)人的再犯幾率是較低、中等還是較高。差不多三分之二的情況下（63.5％），警員將罪犯的再犯幾率歸類為中等。論文中寫道，“模型和警員預(yù)測(cè)的吻合率只有56.2％。”
就修改算法一事，外媒WIRED聯(lián)系了達(dá)勒姆警察局，但截至發(fā)稿時(shí)間尚未收到對(duì)方答復(fù)。
“您被邀請(qǐng)參加一項(xiàng)研究計(jì)劃”，一位達(dá)勒姆警官手中的邀請(qǐng)函這樣寫道。他被告知，“這項(xiàng)研究將徹底改變你的生活”，如果這項(xiàng)研究獲得成功，罪犯?jìng)儗⒂啦辉俜浮?/p>
Checkpoint計(jì)劃是達(dá)勒姆警察局和劍橋大學(xué)聯(lián)合主導(dǎo)的一項(xiàng)實(shí)驗(yàn)。這項(xiàng)實(shí)驗(yàn)希望通過(guò)研究為什么有些人會(huì)吸毒、酗酒、無(wú)家可歸和出現(xiàn)心理問(wèn)題來(lái)降低再犯罪率。
Checkpoint計(jì)劃的研究對(duì)象由HART算法來(lái)提供。如果某人被HART算法判定為具有中等再犯幾率，就會(huì)被列入Checkpoint計(jì)劃。而被系統(tǒng)判定為具有較低或較高再犯風(fēng)險(xiǎn)的人，則不會(huì)被列入計(jì)劃。
弗吉尼亞大學(xué)公共政策與經(jīng)濟(jì)學(xué)教授Jennifer Doleac說(shuō)道：“人們的生活被現(xiàn)狀所擾，但有沒(méi)有一種更好的處理犯罪的方式呢，這種方式更加公平，讓我們更加接近社會(huì)目標(biāo)？”Checkpoin計(jì)劃曾被霍華德刑法改革聯(lián)盟授予獎(jiǎng)項(xiàng)，后者稱贊了它試圖讓人們免受司法體系困擾的嘗試。
HART是一個(gè)使用R編程語(yǔ)言，通過(guò)隨機(jī)森林進(jìn)行決策的機(jī)器學(xué)習(xí)系統(tǒng)。所謂隨機(jī)森林，是指一種基于一系列不同輸出進(jìn)行預(yù)測(cè)的方法。
HART所做的每一個(gè)決策都是建立在歷史數(shù)據(jù)之上的，它通過(guò)分析歷史數(shù)據(jù)來(lái)預(yù)測(cè)未來(lái)。達(dá)勒姆警察局向HART的第一代模型提供了2008-2012年期間的104000起羈押時(shí)間的詳細(xì)信息。它從這些信息中提取出了包括位置數(shù)據(jù)在內(nèi)的34個(gè)預(yù)測(cè)因子，并據(jù)此預(yù)測(cè)每個(gè)人的再犯幾率。HART的所有預(yù)測(cè)結(jié)果都是通過(guò)系統(tǒng)內(nèi)部的509個(gè)投票得出的，投票分為低、中、高三個(gè)選項(xiàng)。
這項(xiàng)研究由達(dá)勒姆警察局的刑事司法主管Sheena Urwin領(lǐng)導(dǎo)，他發(fā)表的研究成果顯示，HART系統(tǒng)在真實(shí)世界中是行之有效的。HART系統(tǒng)的早期版本曾經(jīng)預(yù)測(cè)一個(gè)24歲的男子具有高再犯幾率。該男子有過(guò)暴力犯罪史，警方掌握了他的22條犯罪記錄。HART系統(tǒng)內(nèi)部投票時(shí)有414票投給了高再犯幾率，另有87票和8票分別投給了中等再犯幾率和低再犯幾率。后來(lái)該男子果然因?yàn)橹\殺而被捕定罪。
雖然人工智能在警察和執(zhí)法機(jī)構(gòu)中的應(yīng)用仍處于早期階段，但對(duì)有志于開(kāi)發(fā)AI算法系統(tǒng)的警察機(jī)構(gòu)來(lái)說(shuō)，這個(gè)過(guò)程中已經(jīng)暴露出了很多值得警惕的問(wèn)題。
Pro Publica 2016年的一項(xiàng)調(diào)查研究曾被廣泛引用，該調(diào)查顯示，Northpointe開(kāi)發(fā)的COMPAS軟件對(duì)黑人犯罪持有偏見(jiàn)。
喬治梅森法學(xué)教授Megan Stevenson在研究風(fēng)險(xiǎn)評(píng)估算法Kentucky的作用時(shí)發(fā)現(xiàn)，該算法并沒(méi)有起到多大的作用。通過(guò)分析一百多萬(wàn)起刑事案件的資料，Stevenson得出結(jié)論，“它既沒(méi)有帶來(lái)風(fēng)險(xiǎn)評(píng)估算法的擁躉們所期待的效率提升，也沒(méi)有像批評(píng)者們預(yù)言的那樣加深種族歧視。”研究結(jié)果還顯示，法官們使用Kentucky系統(tǒng)的風(fēng)險(xiǎn)評(píng)估法的時(shí)間越長(zhǎng)，他們就越傾向于回到自己原有的工作方法和模式。
為了避免人類的種族和社會(huì)歧視滲透到HART算法當(dāng)中，達(dá)勒姆警察局專門為員工舉辦了圍繞“無(wú)意識(shí)歧視”的宣傳講座。警方還強(qiáng)調(diào)，這項(xiàng)算法所使用的預(yù)測(cè)因子中并不包含種族，而且算法輸出的結(jié)果只是一種輔助，它的目的在于幫助人類更好地作出決策。2017年12月，Urwin向國(guó)會(huì)議員解釋道：“雖然我不能告訴你具體的數(shù)字，但警員們確實(shí)不會(huì)完全按照算法的預(yù)測(cè)行事，因?yàn)轭A(yù)測(cè)并非全部和最終的參考依據(jù)，它只是一種輔助而已。”
愛(ài)丁堡納皮爾大學(xué)的Wooff教授則表示，出于時(shí)間緊迫和集約資源的考慮，警方可能會(huì)讓警員們過(guò)度依賴AI生成的決定。他說(shuō)道：“我可以想象，警員們可能更依賴于系統(tǒng)的決策而不是自己的思考。” Wooff教授認(rèn)為，書(shū)面記錄對(duì)需要做決策的警員們或許有所幫助，“這部分是因?yàn)椋坏┏霈F(xiàn)了問(wèn)題，你可以為自己的決策辯護(hù)。”
另一項(xiàng)聚焦于COMPAS軟件的準(zhǔn)確性的研究發(fā)現(xiàn)，它和沒(méi)受過(guò)專業(yè)訓(xùn)練的人類做出的決策沒(méi)什么不同。這項(xiàng)研究的作者之一Julia Dressel說(shuō)道：“COMPAS的預(yù)測(cè)并不比那些幾乎沒(méi)有任何刑事司法經(jīng)驗(yàn)的人，基于在線調(diào)查做出的預(yù)測(cè)更加準(zhǔn)確。” Julia Dressel現(xiàn)在已經(jīng)成了一名蘋果工程師。
Dressel和達(dá)特茅斯學(xué)院教授Hany Farid付費(fèi)讓人們使用亞馬遜的Amazon Mechanical Turk網(wǎng)站，預(yù)測(cè)罪犯是否會(huì)再次犯罪，并將預(yù)測(cè)結(jié)果和COMPAS的結(jié)果相比較。結(jié)果顯示，人類和算法的預(yù)測(cè)準(zhǔn)確率都在67%左右。Dressel說(shuō)道：“我們不能憑空想象，認(rèn)為一個(gè)工具運(yùn)用了大數(shù)據(jù)就能準(zhǔn)確地預(yù)測(cè)未來(lái)。我們需要讓它達(dá)到非常高的標(biāo)準(zhǔn)，而且要對(duì)它進(jìn)行測(cè)試，讓它證明自己確實(shí)像標(biāo)榜的那般準(zhǔn)確有效。”
達(dá)勒姆警察局的算法是一個(gè)“黑箱”，系統(tǒng)無(wú)法完全解釋自己是如何做出決策的，我們只知道它是基于模型內(nèi)部的超過(guò)420萬(wàn)個(gè)數(shù)據(jù)點(diǎn)。2017年9月，對(duì)HART的總結(jié)和反思得出一個(gè)結(jié)論，“不透明度似乎無(wú)可避免”。目前HART系統(tǒng)僅接入了達(dá)勒姆警局的數(shù)據(jù)，未來(lái)它可能還會(huì)接入地方議會(huì)或英國(guó)警察國(guó)家數(shù)據(jù)庫(kù)中的數(shù)據(jù)。
為了規(guī)避算法不透明的問(wèn)題，警方創(chuàng)建了一個(gè)框架，框架規(guī)定了算法該在何種情況下被使用。這個(gè)框架被稱為“算法注意事項(xiàng)”，里面說(shuō)道，算法必須是合法、準(zhǔn)確、可挑戰(zhàn)、負(fù)責(zé)人和可解釋的。
AI Now研究所的技術(shù)人員Dillon Reisman說(shuō)道：“問(wèn)責(zé)不能只是一個(gè)核對(duì)清單。很高興看到他們制定了“算法注意事項(xiàng)”，但他們還應(yīng)該思考優(yōu)先使用算法是否恰當(dāng)。” AI Now研究所主要的做事情是研究人工智能對(duì)于社會(huì)產(chǎn)生的影響。
警方拒絕公布HART的底層代碼，認(rèn)為這不符合大眾的利益，而且有可能將這個(gè)系統(tǒng)扼殺于研究階段。不過(guò)，警方表示他們?cè)敢鈱⒌讓酉到y(tǒng)交給中央組織。
“達(dá)勒姆警察局將準(zhǔn)備好向算法監(jiān)管機(jī)構(gòu)公開(kāi)HART算法和相關(guān)的個(gè)人數(shù)據(jù)及羈押數(shù)據(jù)集，”警方被問(wèn)及數(shù)據(jù)公開(kāi)問(wèn)題時(shí)如此回應(yīng)道。
Reisman認(rèn)為，僅僅公開(kāi)這些數(shù)據(jù)還不夠，因?yàn)椤肮饪创a無(wú)法對(duì)算法進(jìn)行評(píng)估”。他說(shuō)道：“你還等知道人們是如何根據(jù)算法的決策采取行動(dòng)的。”
在這些發(fā)生之前，AI警務(wù)系統(tǒng)的有效性仍值得商榷。2017年9月，一份由Urwin參與寫作的關(guān)于HART的審查報(bào)道，重點(diǎn)關(guān)注了算法預(yù)測(cè)是否完全適用，以及種族等相關(guān)數(shù)據(jù)是否應(yīng)該被納入警務(wù)系統(tǒng)這兩大課題。
COMPAS分析報(bào)告的聯(lián)合作者說(shuō)道：“根據(jù)以往的行為準(zhǔn)確預(yù)測(cè)一個(gè)人未來(lái)兩年會(huì)做些什么是非常困難的。如果你無(wú)法做到那樣高的準(zhǔn)確率，那么就應(yīng)該放棄這種方法，轉(zhuǎn)而尋找其他更簡(jiǎn)單的途徑，并在公民的自由和社會(huì)穩(wěn)定之間尋找平衡。”雷鋒網(wǎng)雷鋒網(wǎng)
via wired 雷鋒網(wǎng)編譯
雷峰網(wǎng)原創(chuàng)文章，未經(jīng)授權(quán)禁止轉(zhuǎn)載。詳情見(jiàn)轉(zhuǎn)載須知。
