東南大學(xué)機械工程學(xué)院副院長殷國棟：智能駕駛的幾種關(guān)鍵感知技術(shù)剖析

雷鋒網(wǎng)·新智駕按：10 月 26 日 至 27 日，2019 第二屆全球智能駕駛峰會暨長三角 G60 科創(chuàng)走廊智能駕駛產(chǎn)業(yè)峰會在蘇州高鐵新城正式舉行。峰會主要聚焦“自動駕駛的量產(chǎn)時代、單車智能和車路協(xié)同的共演之路、新型的車內(nèi)交互探索”三大主題，數(shù)十位來自高校、主機廠、Tier 1、科技公司的嘉賓與與會者共同探討了智能駕駛的未來發(fā)展方向。

本次峰會由蘇州市相城區(qū)人民政府主辦，蘇州高鐵新城管理委員會、雷鋒網(wǎng)(公眾號：雷鋒網(wǎng))·新智駕承辦，江蘇省智能網(wǎng)聯(lián)汽車產(chǎn)業(yè)創(chuàng)新聯(lián)盟、江蘇省人工智能學(xué)會智能駕駛技術(shù)專業(yè)委員會、清華大學(xué)蘇州汽車研究院、中國移動通信集團等單位協(xié)辦。

東南大學(xué)機械工程學(xué)院副院長、江蘇省新能源汽車創(chuàng)新聯(lián)盟執(zhí)行理事長殷國棟的演講主要剖析了智能駕駛的多種關(guān)鍵感知技術(shù)，雷鋒網(wǎng)·新智駕對其演講進行了不改變原意的編輯，以下為全文：

今天學(xué)術(shù)和產(chǎn)業(yè)界有智能駕駛、自動駕駛、無人駕駛、智能網(wǎng)聯(lián)汽車等等多種名稱，不同的單詞，總體有狹義廣義之分，但意思都是融合現(xiàn)有一些技術(shù)，提升汽車智能化的大平臺。

在這種環(huán)境下，乘用車應(yīng)用場景離真正實用化還有一定距離，但一直在研究。我們希望能夠落地的場景也包括一些工業(yè)場景：限定場景的挖掘機、壓路機等，農(nóng)業(yè)上的自動農(nóng)機。科技部、中國農(nóng)村中心也有自動農(nóng)機專項，支持提升農(nóng)業(yè)裝備智能化。百度、阿里都在做的物流車也是在推廣的一種限定場景。

這個過程中要解決的關(guān)鍵技術(shù)是智能感知、決策、控制、路徑規(guī)劃的總體方案，包括車輛識別、人行道識別。

我們看到的是非常美好的場景，實際上困難非常多，研究場景與實際場景是不對稱的，完全不是一個概念。

真實場景出現(xiàn)過很多問題，不是我們想象的那樣，研究者、開發(fā)者要帶著謹(jǐn)慎的態(tài)度。現(xiàn)在主流解決方案包括可見光相機、紅外熱成像儀、激光雷達等幾種不同的感知方案。廣義來說，這幾種方案都能很好地確定車輛自身狀態(tài)。

車輛狀態(tài)信息感知技術(shù)

很多專家把無人駕駛汽車定義為帶著四個輪子的機器人，這是一種非常巧妙的定義，代表智能車和很多場景機器人有類似的地方，但實際上車輛的狀態(tài)是完全不一樣的。汽車是行走的，不確定因素非常復(fù)雜。

現(xiàn)有的狀態(tài)信息感知方法有 GPS/INS 組合導(dǎo)航，國家有自己的北斗導(dǎo)航系統(tǒng)，非常精確。

另外一個是視覺導(dǎo)航系統(tǒng)，可以識別各種不確定的小的障礙物，但是傳統(tǒng)方法大部分是基于離線的。我們希望它在運動環(huán)境中能夠提取自身狀態(tài)。

再一個是激光導(dǎo)航系統(tǒng)，前天比賽中很多車拿到了非常好的成績，也都在踐行這種方法，激光導(dǎo)航系統(tǒng)可以根據(jù)當(dāng)前相城區(qū)域的比賽場景，規(guī)劃自己的真實路線。

我們希望用多傳感器定位信息，在這個過程中要應(yīng)對的問題非常多。車的最大要求是安全，多傳感器融合的實時性、準(zhǔn)確性是一定要保障的，在這個過程中，我們也實踐了非常多的特殊場景。

第一種是農(nóng)用拖拉機，做成無人駕駛，在特定場景下能夠完成一定工作。第二種我們定義為小坦克，這輛車不是真正的車，但是可以把所有傳感融合信息做出來。我們做的方程式賽車，把單目攝像頭、雷達組合大腦用上去，效果非常好。另外是多車協(xié)同，多車是未來，我們希望把不確定多車定位系統(tǒng)融合進來。

而且，車行駛過程中的所有狀態(tài)要估計出來，可能會有路面狀態(tài)估計、車輛正常加速、質(zhì)量的不平衡等等。

激光雷達感知技術(shù)

對于車輛而言，安全性是非常關(guān)鍵的。激光雷達應(yīng)該說非常普遍了，它可以為智能車輛或機器人相關(guān)的一些智能裝備提供可行性，價格也在不斷降低，對于汽車產(chǎn)業(yè)而言非常重要。

激光 SLAM 大家用的比較多，它相對以前的設(shè)備更精確，信息更豐富，能夠進行很多移動物體的檢測。這個過程當(dāng)中，我們希望把車輛的很多非線性狀態(tài)，用卡爾曼濾波做一個很好的估計，包括預(yù)測、環(huán)境觀測、地圖更新。之后我們還可以把里面所有常規(guī)問題轉(zhuǎn)化為圖像處理。

粒子濾波是做大數(shù)據(jù)計算的非常好的方法。多線激光雷達能夠通過環(huán)境地圖的感知系統(tǒng)，搭建出當(dāng)前的路徑規(guī)劃，進行實時定位和地圖構(gòu)建，在這個過程中，我們希望能夠?qū)崟r建構(gòu)地圖，為獲取后面所有信息以及當(dāng)前姿態(tài)做一個鋪墊。

今天包括中國移動、無錫天安集團在做的車聯(lián)網(wǎng)，都是在 5G 環(huán)境下，一輛車一定是和網(wǎng)路、和整個云平臺結(jié)合起來的，這也是我們一直在做的。

視覺環(huán)境感知技術(shù)

很多傳統(tǒng)方法已經(jīng)不適應(yīng)現(xiàn)在智能車聯(lián)對于數(shù)據(jù)或信息獲取的要求了，因為我們現(xiàn)在的行駛環(huán)境非常的復(fù)雜。

在傳統(tǒng)視覺方法的基礎(chǔ)上，我們要融入現(xiàn)代的人工智能與深度算法做訓(xùn)練。要訓(xùn)練多少次才能把當(dāng)前速度實時反映出來？訓(xùn)練次數(shù)越多，對于走到實際環(huán)境當(dāng)中的車輛，精確度越高。我們要做交通場景識別、真實場景識別、交通標(biāo)識識別，然后再分類，目的就是得到精確的人、車以及靜態(tài)、動態(tài)的各種障礙物的位置。

精確分割精度越來越難。利用視覺進行狀態(tài)估計，就是車輛在行駛中，對外部行駛狀態(tài)的一種估計。

紅外環(huán)境感知技術(shù)

因為是在良好天氣狀態(tài)下，這次比賽很少用到紅外，如果是晚上去比賽，我相信很多比賽車隊就會放棄，因為我們沒有開發(fā)適于晚上的場景。經(jīng)常有人跟我開玩笑說，你這輛車能不能晚上出來幫我巡邏，起到警告作用，晚上 12 點鐘加上旋轉(zhuǎn)的警燈。我說晚上不行，技術(shù)不行，不敢晚上去做。

對現(xiàn)有傳感器進行一個紅外傳感器的補充，晚上是能夠識別的，而且簡單實用，現(xiàn)在都要加進來。用紅外傳感器首先采集圖像數(shù)據(jù)集，建立起一個非常好的數(shù)據(jù)庫，用優(yōu)質(zhì)網(wǎng)絡(luò)進行訓(xùn)練。

我們用的神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)，可以把這條路上所有場景采集出來，包括把不同車型、不同物體的特征，放在紅外里面進行特征提取。我們能夠把這里面的小特征或者不具有明顯特征的東西，提煉出來為我們所用。感知到才能做決策。

還有一個是紅外目標(biāo)動態(tài)跟蹤，不僅要采集到這個人，還要跟蹤。我們也開發(fā)了一個腦控電動汽車，說白了就是我想象它往左邊就往左，歡迎大家去東南大學(xué)體驗。

多傳感器融合環(huán)境感知技術(shù)

單個傳感器已經(jīng)無法滿足真正的感知系統(tǒng)，很多人都在研究多傳感器融合的感知技術(shù)。傳感器類型越來越多，無論幾種，一定要分類清楚，最后才能做到信息融合，適應(yīng)真正的場景。

這些技術(shù)方案放到真實場景中各有優(yōu)缺點。一種方案能不能移植到另外一種方案上？不可以。場景變了，所有要求就變了，要求的精度改變，方案就要變化。

我們要用所有方案的優(yōu)點解決可能出現(xiàn)的一些問題，把所有車型都加進來，才能夠解決真正的問題。把這個問題解決好以后，我們建了一個雙目數(shù)據(jù)庫，要在春夏秋冬不同天氣做采集，這是最難的地方。做好之后再進行標(biāo)準(zhǔn)匹配。再之后是紅外熱像圖，首先是做人工標(biāo)記和自動標(biāo)記，采集各種障礙物，建立訓(xùn)練樣本。最后再把訓(xùn)練樣本放到大數(shù)據(jù)庫里面進行標(biāo)記。

我們聯(lián)合南京大學(xué)，把這個數(shù)據(jù)庫做得非常大，目標(biāo)是能夠利用雙模態(tài)訓(xùn)練，快速適應(yīng)真實場景。另外，我們不僅僅做理論前期研究，也驗證一些虛擬平臺，使車輛真正達到 24 小時隨時適應(yīng)不同天氣的各種場景。

技術(shù)推進有很多有效方法，比如神經(jīng)網(wǎng)絡(luò)等等，這些方法不僅僅能夠用在車上，還有很多場景，比如軍事目標(biāo)獲取，都是一些非常規(guī)感知系統(tǒng)，智能交通的各種不確定性交通疏導(dǎo)，以及安全場所設(shè)定。我個人認(rèn)為，環(huán)境感知中的復(fù)雜性，對我們提升車輛以及未來智能裝備的智能水平有非常大的好處。

雷峰網(wǎng)原創(chuàng)文章，未經(jīng)授權(quán)禁止轉(zhuǎn)載。詳情見轉(zhuǎn)載須知。