百度安全：構建智慧城市的基石——AIoT安全|AIoT+智慧城市峰會

雷鋒網編者按：AIoT即AI+IoT，指人工智能技術與物聯網在實際應用中的落地融合。AI與IoT融合領域近年來一片火熱，不論是資本市場，還是大眾創業，無不對其表現出極大的熱情。但是AIoT的生態安全現狀卻不容樂觀。在雷鋒網12月20日舉辦的「AIoT+智慧城市峰會」上，百度AI安全技術總監聶科峰帶來了《構建智慧城市的基石：AIoT安全》的演講。

以下為聶科峰演講實錄，雷鋒網做了不改變原意的編輯整理。

聶科峰：謝謝雷鋒網的邀請，在AIoT一片大好的情況下，讓我們說一說對未來的擔憂。剛才騰訊和華為的同學都講到智慧城市在很多維度都開始有應用了，但是對于我們來說，未來大規模應用必須得以安全作為基石。

半年前我就講過AIoT的安全，那時候講AIoT，很多人還不太明白什么叫AIoT，其實就是AI+IoT。我花了很大板塊來講，而這半年這個詞已經非常火。

但我這里要直觀地分享我的理解。現在在整個智慧里用得最多的點，包括智慧交通、攝像頭的應用、人臉識別的應用，都是基于攝像頭的應用。最早我們使用攝像頭，是用存儲卡記錄和監控，這屬于非常傳統的電子產品；而有一天基于帶寬的發展，攝像頭可以實時傳到網上去了，這就變化成了物聯網產品。

什么叫AI+IoT？可能是監控過程中我們加入了對監控內容的AI分析，并且能給出實時反饋，還能做一些事情，比如監測到一個壞人可能會報警，比如流量控制改變紅綠燈設計，這在未來都是AIoT所帶來的應用。

但是我們想想安全問題，如果是電子存儲的SD卡，只是記錄整個過程，我們所做的安全就是要防止把卡偷走。在物聯網時代我們考慮網絡安全，是要防止實時的數據，可能被別人監控到，或者一些隱私的數據被拿到。但是AI完全不一樣，因為AIoT它會去分析，去判斷，去做動作，去干擾整個事情的過程，這時候安全非常重要，它承擔了采集離線分析，云端分析。我們需要做一些事情，去關注未來惡意執行這方面帶來的風險。

從整個AIoT來看，我們認為生態安全是非常不樂觀的。

像攝像頭有很多安全問題，我們也監測到有很多安全案例發生在目前的這些設備當中。包括基于指紋，基于攝像頭的都能被破解。可以看到在這個生態演變的過程中，有一個時代的變遷，從PC到移動再到AIoT，它的根基是生態的碎片化愈加嚴重。

PC時代只有微軟一家獨大，芯片也只有英特爾一家。移動設備上有iOS和安卓，基于芯片和系統的不同，所帶來的安全風險會有幾何數量的增加。到AIoT，這更是非常雜亂的過程，從芯片到系統等等，更是非常大的生態，碎片化帶來的問題就是基于此的安全非常具有挑戰性。

各個廠商和上游都在推自己的產品，可能外觀看上去差不多，但是你問他的硬件版本，參數選型，完全不一樣，即使一套同樣的方案都可能在產品上產生不同的價值。

我們剛才看到有各種芯片廠商，目前沒有一家是完全打通的，每一個都是可以排列組合的，所以導致我們在這方面面臨的風險會更高。

從我們的角度來看，AIoT整個系統安全挑戰有兩塊，一塊是傳統的基于IoT設備本身需要聯網，需要系統，本身就存在潛在的系統和網絡風險。更重要的是加入了AI之后，AI帶來新的風險，我們可以看到傳感器欺騙，這是AI與視覺相關的；軟件缺陷有開源、第三方的、基于機器學習的，本身有很多漏洞，這些漏洞帶來的缺陷也會影響AI在IoT應該發生的正確反應；還有基于大數據的污染；而系統風險和網絡風險這就是非常傳統的，移動和PC時代都會面臨的問題。

所以AIoT安全是有新仇舊恨的。新仇就是IoT本身計算力比較弱，之前大家對這一塊安全關注度不夠，本身就有很多問題，重點可能是在網絡，在系統上的問題。附加AI之后，基于數據采集、數據傳輸、數據分析、數據反饋，這個過程中又會帶來很多新的問題，現在所謂的AI安全，大部分人是在強化AI攻擊或者數據攻擊和模型攻擊的事情。

但是從結果來看，這一塊是存在很多問題的，去年，我們的同學就已經可以突破當時的人臉識別，當時是國外的一款手機用了人臉識別解鎖技術，我們構造了一個條件就可以突破掉。可以看到這個Stop非常經典的圖，在很多講人工智能AI的大會上都能看到，基于小的數據污染就能讓AI形成非常錯誤的結論。

所以在這個挑戰中我們相信，除了系統的碎片化和整個生態的復雜度之外，在傳統安全，系統、網絡、云端都很有可能快速把之前的經驗復制過去。但是AI上的挑戰是非常持續的，這方面也是整個行業，包括學術界不斷的投入。

AI的不確定性，目前訓練出來的模型都是黑盒子，未來數據能不能給出正確答案，可能只有70%，80%，90%，都是相對性的結論，這個結論是沒有辦法人為干預的，只有我們不斷調整這個參數。這過程中我們做一些干擾的數據，做一些數據流攻擊，甚至是模型層面做模型反逆向做模型滲透等等，這就導致我們的識別結果可能在模糊地帶，有可能是一個小的像素的粘貼，就導致結果從A跳到了B。

有幾大基于機器學習的攻擊，一個是物理世界的攻擊，現在很多做語音識別的，我可能是模擬一段語音或者發起一段語音，這可能是被識別成惡意指令，可以做一些動作。所以接受AI之后可以做響應，圖片也是一樣，我們可以用物理的圖片加干擾，做這個模型可能會得到完全不一樣的結果，白盒是做模型內部的細節，目前來看是屬于比較高級的攻擊方式。

百度在這方面做了一些實驗，針對語音識別的機器學習對抗已經有一些成果，我們可以模擬出類似于一段海豚音，讓機器識別出來，但是人是聽不見的，安靜的環境沒有接收到任何指令。但是通過攻擊性語音，讓機器可以識別，機器做出相應的反饋和指令，可以達到攻擊的過程。同時還有基于語音的喚醒機器，可以做到隱匿語音喚醒，喚醒之后所有的隱私就可能被暴露出來，這都是未來基于AI的攻擊點。

要系統性的解決AI的安全問題，需要從三個方面來處理，還是要做好整個的安全評估，再有一定的方案做安全保障，最重要的是建立起非常及時的安全響應機制和通道。因為安全從來都不是一錘子買賣，是一個持續的攻防對抗過程，所以這個過程中，持續的響應是未來非常重要的一點。

在AIoT設備中涉及到云、管、端和數據相關，不同層面要提供不同的安全保障。

在安全評估上，我們在推行業安全基準，包括跟信通院，對一些具體場景，比如音箱、攝像頭等。我希望未來上市的所有智能設備，基于AIoT的設備，上市之前都有一個基準的安全評估，能夠在設備傳輸和AI幾個點符合基礎的標準，這樣就大大降低未來可攻擊性。

從我們跟信通院建立的標準來看，目前通過我們建立的安全評估點和安全設備，使整個安全狀況有明顯提升。在硬件和固件層面都提供了很多的威脅點，未來很多的設備都會有相應的標準來降低未來潛在的風險。

我們也提供了一些專業工具可以輔助大家做評估，比如說百度的Advbox，是專門針對AI的安全工具，第一是可以對你的安全模型做健壯性和基礎性測試。另外可以提供對抗樣本來訓練你的模型，使你的模型加固。第三是我們可以讓你去了解對抗樣本，這是基于開源的平臺，大家在AI上可以檢測這些功能。在IoT上我們也提供了一些端上的檢測工具，第一時間可以非常方便發現存在的風險和漏洞，在整個設備出廠之前就能感知到風險。

安全保障這一塊我們也分了幾大塊，云端防護思路是非常重要的。特別是基于語音、攝像頭，剛才說的AI會導致行為錯亂，但是云端的措施沒做好會導致隱私的泄露。從國家層面到大眾對這方面都有強感知，所以基于這些設備我們要做基于網絡安全的風險部署，協議通訊這一塊希望所有的設備能夠做基于SSL、TLS的加密，包括DNS方面，我們之前存在很多DNS被劫持的場景。劫持之后可能內容會轉變為第三方甚至廣告等等，我們希望能夠有安全的DNS服務去做保障，這一整套通訊層面的安全，最重要的是保證我們的數據傳輸是安全的，隱私不會被泄露。

對設備端的保護，因為系統非常碎片化，我們要做大量的工作，基于不同的版本做不同的安全措施，但是系統這一塊最重要的分幾塊去做：第一，安全狀態本身要有感知能力，需要做一些監測，包括系統可能被利用了，這些自感知能力很重要；第二我們本身能夠有一些惡意判斷的應用，包括在安卓的場景，都會有利用惡意應用來攻擊場景出現；另外漏洞這一塊需要持續關注，對漏洞要及時響應，否則可能會被利用。同時跟第三方媒介的接觸要做較強的校驗和認證。

安全響應考慮到的是便捷性，所以響應一定要有一條設備和云端的通道。這條通道是設備的生命線，可以更新設備的特性和性能，優化我們的體驗，同時可以做安全最重要、最快速的下發通道，包括OTA的安全，是我們的生命線。

在很多行業推出的響應手段，是針對漏洞可以做一些自適應的修復，這會極大的提升我們在AIoT這個行業里對漏洞的響應能力。因為一個漏洞可能跨十個版本，可能IoT里十個版本部署在幾十個產品線上，如果有一個高危漏洞出現，可能我們要做幾十次封裝和下發。這是非常繁重和有成本的操作，因此現在很多廠商不太關注。但是如果有自適應的修復能力，我們在內核做自適應接入，未來所有的設備只需要一個小的Patch就能解決問題，極大的提升安全的聯動和響應機制。

百度針對之前的問題也做了很多實踐，從云、管、端都提供了方式和手段。云端我們DDos防護還有Web漏洞防護，都有廣泛的應用。還有在AI學習這一塊有對抗樣本工具，通訊這一塊提供了Mesalink，基于SSL的加密通訊的機制。DNS反劫持上，百度開放了搜索多年DNS劫持上的經驗，端上這一塊我們也有非常強的包括安全OTA、熱修復機制等等，我們會提供云管端一體系的安全解決方案，目前在小度和車中都已經應用，以及外面很多AIoT廠商也不斷與我們合作應用落地,如創維、康佳、暴風等。我們跟整體AIoT生態的合作伙伴一起打造安全生態，希望未來做到越智能越安全。謝謝大家。

峰會演講視頻全集稍后將在雷鋒網會員【AI投研邦】里推出，并及時通知大家。大家可關注【AI投研邦】二維碼。

雷峰網原創文章，未經授權禁止轉載。詳情見轉載須知。