0
機器學習算法的應用越來越廣泛，比如信用卡申請，醫療診斷，個性化推薦，廣告和求職等領域，但究竟如何使用機器算法，對大多數人來說依然是個迷。不過，這個謎底可能即將揭曉，來自卡耐基·梅隆大學的研究人員開發了全新的評估方法，能夠充分了解機器算法流程。
在做決策的時候，一個人的年齡、性別、或是受教育水平是否起到關鍵作用？某些因素的特別組合是否也會影響決策？根據卡納基·梅隆大學的計算機科學和電子計算機工程專業助理教授Anupam Datta表示，該校開發的量化輸入影響（Quantitative Input Influence,QII）系統能夠對影響最終決策的每一個因素進行權重評估。
“隨著算法決策系統的使用增多，對算法透明度的需求也有所增加，當人們意識到這些系統有可能會引起一些種族主義問題，性別歧視問題，或是其他對社會產生危害的問題。”Datta說道。
“一些公司已經開始提供透明度報告，但是，支持這些報告形成的計算基礎似乎還非常落后，”他補充說，“我們的目標，就是要開發一套評估方法，針對每一個對系統產生影響的因素，評估它們的影響程度，使之能夠幫助企業生成透明度報告。”
之所以要生成這些透明度報告，是因為要對某些特殊事件作出回應，比如為什么你的個人貸款會被銀行拒絕，或者為什么警察會對某個人進行詳細審查，又或醫生需要對某個病人給出特殊診斷或治療。當然啦，也有些組織會前瞻性地使用這種方式去評估人工智能系統是否按照預期執行相關操作；甚至政府監管機構可以利用它來判斷某個決策制定系統是否不恰當地歧視了一部分群體。
本月23-25日，Datta和計算機科學專業博士生Shayak Sen，計算機科學學院博士后研究員Yair Zick在加州圣何塞市舉辦的IEEE安全與隱私會議上展示了他們在QII系統上的報告。
據Datta透露，生成這些QII系統評估報告，需要QII系統訪問相關機器學習系統，但是QII系統不會分析評估對象系統的內部代碼和其他內部運作情況。此外，它還需要對最先訓練機器學習系統的輸入數據集有一定了解。
QII評估系統的一個突出功能，就是它可以解釋很大一類機器學習系統做出的決策。在這個過程中，之前的工作成為了一個重要主體，采用了一個互補的解決方案，重新設計的機器學習系統會做更多解釋，有時也會失去預測精準度。
在評估機器學習系統影響時，QII會仔細考慮相關輸入項。舉個例子，假設一個幫助搬家公司做出招聘決策的機器學習系統，那么兩個輸入項是和招聘決策正相關的，一個是應聘者的性別，另一個是舉起重物的能力。此時，透明度評估會去看這個機器學習系統在判斷舉重能力和性別做招聘決策時，是否會有實質性影響，并且在整個過程中，是否會有歧視應聘者的成分存在。
“這就是為什么我們在定義QII的時候要考慮因果關系評估，”Sen說道，“粗略來看，在上面舉的例子中，評估某個特定個體性別的影響，我們會保持舉重能力為一個固定值，然后再通過改變性別來看機器學習系統做出的最終決策是否會發生變化。”
在評估機器學習系統是否會有高影響力的時候，觀察單個因素可能會比較片面，QII系統評估還可以量化一組輸入，綜合考慮這些因素帶來的共同影響，比如年齡和收入，然后看集合中的每個輸入產生的邊際影響。一個獨立輸入項可能會成為多重影響集合的一部分，之前應用在收入分配和投票的原則博弈倫聚合影響力評估方法，將用來計算輸入項的平均邊際影響。
“為了獲得這些影響力評估的一種感覺，不妨可以考慮下美國總統選舉，”Zick說道，“加利福尼亞州和德克薩斯州在選舉中影響力很大，因為他們的選民很多，但賓夕法尼亞州和俄亥俄州卻是最有權力的兩個州，因為他們一直都是選舉搖擺州。我們的影響力聚合評估就是同時考慮到這兩種類似的力量。”
針對一些標準機器學習算法，研究人員測試了他們的評估方法，這些機器學習算法都是應用于訓練決策系統的，上面運行的都是真實的數據集。他們發現，相比于許多場景下的標準關聯評估，比如預測策略和預測收入的示例應用程序，QII評估系統在許多情況下能提供更好的解釋。
現在，他們正在尋求與工業伙伴合作，這樣他們可以在機器學習系統上大范圍部署QII評估系統。
VIA SCS
雷峰網原創文章，未經授權禁止轉載。詳情見轉載須知。
