1
雷鋒網按：本文由圖普科技工程師翻譯自《How To Fool AI Into Seeing Something That Isn’t There》。雷鋒網獨家文章。
軟件工程師也是人，而人類總會犯錯誤，所以我們的機器上總是充斥著安全漏洞。在構建驅動這些計算系統的軟件時，他們可能讓代碼運行在了錯誤的地方，把數據儲存在了錯誤的地方，或許他們儲存了太多數據。林林總總的安全漏洞成為了黑客的攻擊對象，而且他們在攻擊時毫不手軟。
但即使是讓人工智能取代那些軟件工程師，風險仍然存在。AI也會犯錯，正如谷歌和一個由特斯拉創始人Elon Musk啟動的創業公司OpenAI的研究人員發布的一篇新論文里面描述的，這些風險在那些不斷地改造我們的計算機系統的新型AI里非常嚴重，尤其是當AI接觸監控攝像機，傳感器等分布在世界各地的電子設備時，它們可以變得非常高危 。“這是一個每個人都應該思考的問題”，OpenAI研究人員，前谷歌員工Ian Goodfellow說，他與現任的Google研究人員Alexey Kurakin和Samy Bengio一起寫了這篇論文。
隨著可以通過分析大量的數據來學習零散的任務的人工智能分支－深層神經網絡的興起，我們正在走向一個新的潮流：比起直接讓我們的計算機執行服務，我們會為訓練機器寫更多的代碼。
而在Facebook、Google和微軟這類互聯網龍頭企業內部，這種趨勢早已變成現實。
馬克·扎克伯格和他的公司在世界最受歡迎的社交網絡上用數百萬的圖片訓練神經網絡去識別人臉。Google使用大量的口語詞匯訓練神經網絡去識別安卓手機的語言指令。在未來，我們將創造智能機器人和無人駕駛汽車。
今天，神經網絡不僅能識別物體，動物，標志和其他書面語言，而且他們能夠非常好地識別出人臉和語音。但是它們也會犯錯——有時候甚至會犯一些想象不到的錯誤。Kurakin說：“沒有完美的機器學習系統”。事實上，在某些情況下，你可以欺騙這些系統，讓它們以為自己看到或聽到了實際上不存在的東西。
Kurakin解釋說，只要非常細微地改變一個圖像，神經網絡就會認為這個圖像包含了一些它實際上并沒有的東西，這些改變是人類的肉眼也許也感覺不到的——有時改變僅僅是在圖片的各處隨意添加了幾個像素。他說，你可以改變大象的照片的幾個像素，然后欺騙神經網絡讓它認為這是一輛汽車。像Kurakin這樣的研究人員把這些稱為“對抗樣本”。它們也是神經網絡的安全漏洞之一。
Kurakin，Bengio和Goodfellow在他們的新論文中表明，神經網絡即使被用于識別直接從相機或其他傳感器傳過來的數據，可能也會存在同樣的漏洞。想象一下，如果有一個利用一個基于神經網絡的人臉識別技術來控制一個絕密的設施的出入權限的系統，Kurakin說，你只需在你的臉上畫一些點就可以輕易欺騙它，讓它認為你是另外一個人。
Goodfellow說，這種類型的攻擊幾乎可以用于任何形式的機器學習算法，不僅包括神經網絡，還包括決策樹和支持向量機——那些在十幾年來一直廣受歡迎，幫助機器從數據中學習規律的算法。事實上，他認為類似的攻擊已經在現實世界中實踐。他猜測金融公司很可能正在使用這些漏洞去欺騙競爭對手所使用的交易系統。“他們可以偽造一些交易，誘使他們的競爭對手以低于真實價值的價格去拋售股票，”他說，“然后他們就可以以低價格買進股票。”
在他們的論文中，Kurakin和Goodfellow通過在一張紙上打印一個敵對的圖像并將這張紙展示給相機來欺騙神經網絡。但他們認為更微小的攻擊也可以有效果——比如前面的在人臉上加一些像素點的例子。Goodfellow說：“我們不確定我們在現實世界中可以做的是哪些，但我們的研究表明這是可能的。”“我們證明了我們可以欺騙相機，我們認為存在各種各樣的攻擊途徑，包括通過添加人類看不見的標識來欺騙一個人臉識別系統。”他補充道。
雖然這決不是一件容易實現的事情，但要欺騙神經網絡，你不一定需要知道它是如何設計或者它是通過什么數據訓練的。正如前面的研究展示，如果你能建立一個對抗性樣本來欺騙你自己的神經網絡，它也可能也可以欺騙其他處理相同任務的神經網絡 。
換句話說，如果你可以欺騙一個圖像識別系統，你或許就可以欺騙另一個。Kurakin說“你可以用另一個系統去制作一個對抗性樣本，而這個樣本會更有可能欺騙你的神經網絡。”
Kurakin特別強調，這些是小的安全漏洞。他說，在理論上它們是一個問題，但是在現實世界中，精準攻擊是很困難的——除非攻擊者把點按照完美的模式畫在她的臉上，否則什么都不會發生。然而，這種漏洞是真實存在的。隨著神經網絡在現代世界中發揮越來越大的作用，我們必須填補這些漏洞。但怎樣做呢——構建更好的神經網絡。
雖然這不容易，但這項工作正在進行中。深層神經網絡的設計理念是模仿大腦神經元的網絡，這就是它們被稱為神經網絡的原因。但歸根結底，它們只是一個龐大而復雜的數學運算——層層相疊的微積分公式。這種公式是由像Kurakin和Goodfellow這樣的研究人員組建的，而他們都是人類。從本質上來說，他們控制這些系統，而他們已經在為消除這些安全漏洞絞盡腦汁。
Kurakin說，有一個選擇就是把對抗樣本加入到神經網絡的訓練集里，教神經網絡區別真實的和敵對的圖像。研究人員也在尋找其他的選擇，但他們并不能確定這些方法到底有沒有效果。歸根結底，想讓神經網絡變得更好，我們人類自己首先要不斷進步。
雷鋒網注：轉載請聯系我們授權，并保留出處和作者，不得刪減內容。
雷峰網原創文章，未經授權禁止轉載。詳情見轉載須知。
