1
| 本文作者： 易建成 | 2017-01-19 22:22 | 專題：雷峰網(wǎng)公開課 |
雷鋒網(wǎng)按：本文內(nèi)容來自智行者科技 CEO 張德兆在硬創(chuàng)公開課的分享，由雷鋒網(wǎng)旗下欄目“新智駕（微信號：AI-Drive）”整理。
張德兆，清華大學(xué)汽車工程系學(xué)士、博士。曾任北京智華馭新汽車電子技術(shù)開發(fā)有限公司（簡稱「智華」）CTO，總經(jīng)理，負責(zé)前裝車道偏離預(yù)警系統(tǒng)和前裝 360 度全景系統(tǒng)研發(fā)、AEB、ACC、LKS 樣車開發(fā)等多項高難度研發(fā)工作。2015 年，創(chuàng)辦北京智行者科技有限公司（簡稱「智行者」），并擔(dān)任 CEO。
智行者的定位是自動駕駛智能車方案系統(tǒng)提供商，主要聚焦中央決策系統(tǒng)的開發(fā)以及系統(tǒng)集成。
以下內(nèi)容是張德兆在雷鋒網(wǎng)硬創(chuàng)公開課上的分享：
我今天介紹的主題是「自動駕駛智能車控制決策系統(tǒng)開發(fā)」。我會從 4 個方面去闡述，包括：
概述；
多傳感器信息融合；
決策規(guī)劃；
車輛控制決策算法。
先談?wù)勎覍χ悄苘嚿虡I(yè)化路徑的一個大概思考。
汽車的第一屬性是交通和運輸工具，但在無人駕駛時代，特別是在物聯(lián)網(wǎng)時代，汽車將會具備第二個屬性：終端和管道。這有可能才是智能車最大的商業(yè)變現(xiàn)點。但第二屬性需要智能車大量普及之后才能顯現(xiàn)。
現(xiàn)階段智能車可以在一些限定應(yīng)用場景下實現(xiàn)快速市場化，例如最后一公里的出行、固定路線的作業(yè)車、物流配送等等。
智能車涉及的產(chǎn)業(yè)鏈非常長，先不說后續(xù)的運營和服務(wù)，光是智能車開發(fā)本身就涉及環(huán)境感知、中央決策、底層執(zhí)行等多個模塊，每一個模塊拎出來都可以造就一批偉大的公司。
智行者主要聚焦在中央決策系統(tǒng)的開發(fā)以及智能車整個大系統(tǒng)的集成，主要包括三部分工作：多傳感器信息融合；決策規(guī)劃；車輛控制。
智行者對各個傳感器本身不進行研發(fā)生產(chǎn)，而是找合作方合作供應(yīng)。但是，現(xiàn)在做雷達的公司只做雷達、做攝像頭的公司只做攝像頭。對于自動駕駛應(yīng)用來說，沒有一種傳感器是完美的，所以我們要做融合，取長補短。
我們的多傳感器融合主要包含三個功能模塊：采集及預(yù)處理，坐標(biāo)轉(zhuǎn)換、信息融合。
在采集及預(yù)處理模塊中，我們在 ROS 系統(tǒng)中各個傳感器以單獨的節(jié)點進行，然后進行信號解析、信號處理、信號篩選、誤差補償?shù)裙ぷ鳌?/p>
坐標(biāo)轉(zhuǎn)換實際上就是將多傳感器統(tǒng)一到一個坐標(biāo)系下，這是靠標(biāo)定相關(guān)數(shù)據(jù)后能在軟件中瞬間實現(xiàn)的。
最難的部分在信息融合模塊。我們將其分為 4 個步驟：數(shù)據(jù)關(guān)聯(lián)、時間同步、數(shù)據(jù)融合、目標(biāo)生命周期管理。
因為每個傳感器誤差特性不一樣，同一個目標(biāo)對應(yīng)不同傳感器得到的位置信息可能不一樣，所以我們需要先進行數(shù)據(jù)關(guān)聯(lián)。這一步驟的難點在于需要對不同傳感器的誤差特性均有充分的了解。
每個傳感器信息發(fā)送周期不一樣，即使按其標(biāo)稱周期進行同步，也會存在固定時漂和隨機時漂的問題，所以時間同步這一步驟的關(guān)鍵點在于：了解各傳感器的信號周期和時漂。
數(shù)據(jù)融合步驟可以使用的方法有很多，例如卡爾曼濾波。但實際上，因為每個傳感器各自建模的難度較大，我們直接采用粒子濾波的方法，可以不依賴于建模。
目標(biāo)生命周期管理主要用于在有噪聲干擾的情況下保證各幀數(shù)據(jù)的連貫性。
以下是智行者多傳感器信息融合處理后的一個視頻：
獲取環(huán)境數(shù)據(jù)并確定「我在哪」之后，智能車需要做決策規(guī)劃。
決策規(guī)劃實際包含三部分：定位、決策、路徑規(guī)劃。定位即我在哪；決策即我該怎么辦，跟著走還是繞過去；路徑規(guī)劃即我是從左繞還是從右繞。
實際上，我們是把決策和路徑規(guī)劃放在一個模塊里一起做了。我們用基于傳統(tǒng)規(guī)則的方法、基于安全場的深度學(xué)習(xí)方法實現(xiàn)決策規(guī)劃功能。
基于傳統(tǒng)規(guī)則的方法大家都比較熟悉，其主要是以某一個或某一些固定的變量作為條件切換的判斷依據(jù)，例如跟車的時候，規(guī)定和前車的相對速度或距離小于某一值就不跟了，馬上換道。
但實際上人駕駛時一般不會這么干，所以完全基于規(guī)則的方法無法讓智能車適應(yīng)人的特性，無法讓智能車「正?！沟娜谌胝麄€交通流。
現(xiàn)在深度學(xué)習(xí)方法可以比較好的解決這個問題，可以讓智能車跟人學(xué)習(xí)，實現(xiàn)智能車的擬人化控制。但是深度學(xué)習(xí)有一個過程，并且他決策出來的路徑會有一個偏差和概率的分布，不能完全避免碰撞和駛出馬路等事故的發(fā)生，所以我們還得結(jié)合傳統(tǒng)規(guī)則的方法來做：用 rule-based 保障安全，用深度學(xué)習(xí)實現(xiàn)擬人化決策。
作為深度學(xué)習(xí)的應(yīng)用公司，我們對深度學(xué)習(xí)算法本身不做太多研究（深度學(xué)習(xí)的平臺公司會去做開發(fā)，我們只做應(yīng)用），僅把他當(dāng)做一個工具來使用。我們主要做的事情是針對智能車的應(yīng)用，為道路數(shù)據(jù)和駕駛數(shù)據(jù)選取一個比較合理的表達方式。
實際道路中影響駕駛的因素非常多，如果對所有因素都單獨描述作為深度學(xué)習(xí)神經(jīng)網(wǎng)絡(luò)的輸入，幾乎是無窮無盡的，所以我們將這所有的因素都統(tǒng)一描述成「安全場」，即：只關(guān)注車輛對行駛的危險程度。
安全場理論實際多年前由日本學(xué)者提出，用于 ADAS 系統(tǒng)。例如：車道保持，就把車道線描述成如下圖所示的場，車輛要跨出去必須克服一定的「能量」。前向防追尾也是一樣的道理。
安全場的原理在于： 在駕駛過程中，任何干擾因素（車輛、行人、道路、交通標(biāo)志甚至天氣）都將直接或間接的影響駕駛動作。如果這些因素以某種能量進行描述的話，那么理想駕駛狀態(tài)應(yīng)遵循這些能量的某種平衡。主要包含三個關(guān)鍵點：安全場模型、能量平衡狀態(tài)模型和工程化實現(xiàn)。
安全場模型我們主要考慮三個分類：
運動要素，即行走的車、行人等；
靜態(tài)要素：車道線、紅綠燈、天氣等；
駕駛因素：主要體現(xiàn)目標(biāo)物體縱橫向加速度的變化，例如不斷加減速的車輛可能相對會危險一些。
按照上述描述，我們將安全場進行分層，并在實時行駛中提取感興趣層。對障礙物安全場大小的定義過程中，會考慮速度、方向、行為、類別等因素。
除了障礙物之外，其他安全場包括智能車本身、道路（包含曲率和天氣等因素）、交通燈等。
在定義了各交通參與因素安全場基礎(chǔ)上，通過深度學(xué)習(xí)的訓(xùn)練看駕駛員在這個場中的反應(yīng)從而獲取平衡指標(biāo)。
舉個例子，這樣一個場景，我們將其描述的安全場如下：
通過駕駛員在該場景中的駕駛操作，我們可以得到一組訓(xùn)練集，輸入神經(jīng)網(wǎng)絡(luò)單元中進行訓(xùn)練，我們可以輸出一個決策規(guī)劃后的結(jié)果。得到一個預(yù)期的軌跡之后，我們需要控制車輛的轉(zhuǎn)向和剎車、驅(qū)動實現(xiàn)對軌跡的跟蹤。
車輛的控制算法
我們原來做 ADAS 時，控制是根據(jù)各個狀態(tài)做來回切換的，存在切換過程平順性較差等問題?，F(xiàn)在我們采用跟決策規(guī)劃中的安全場一脈相承的方法，把道路中的真實目標(biāo)和非真實目標(biāo)都描述成虛擬質(zhì)點。
其中，真實目標(biāo)主要是車、行人這些因素；非真實目標(biāo)包括限速、紅燈、停車點、道路曲率、天氣等等?；谔摂M質(zhì)點模型的方法可以使算法模型統(tǒng)一，有效避免了傳統(tǒng)控制算法中因目標(biāo)或控制模式切換產(chǎn)生的車輛加減速度跳變問題。
原來的車輛控制算法，跟車過程和定速巡航過程因為控制狀態(tài)的改變會存在一個加速度的跳變，影響舒適性。而我們現(xiàn)在采用虛擬質(zhì)點方法之后，前車加速遠離時，我們自然會過渡到一個由限速引起的虛擬質(zhì)點。
實際上，在自動駕駛處于低速狀態(tài)時，車輛動力學(xué)控制的問題不太明顯。但在高速條件下，一定要考慮。車輛動力學(xué)問題本質(zhì)是輪胎和地面的附著問題。
*車輛動力學(xué)控制框圖
由于輪胎和地面摩擦圓的約束，在車輪的縱向力發(fā)生變化時，其側(cè)向力也要隨之改變。即智能車的縱向安全性能 （車速控制）和橫向軌跡跟蹤性能 （轉(zhuǎn)向控制）相互制約：
過于追求縱向跟蹤性，大縱向加減速度導(dǎo)致橫向?qū)壽E的跟蹤性能差，甚至引起橫向失穩(wěn)；
過于追求橫向穩(wěn)定性裕量，縱向加減速能力受制約，就可能會發(fā)生縱向追尾等事故。
所以在上層控制器中就得對車輛的轉(zhuǎn)向和剎車、驅(qū)動控制進行協(xié)調(diào)和補償。
問題 1：現(xiàn)在決策控制做的較多的是針對高速公路場景，該場景相對城市道路較為簡單，一般用攝像頭檢測的車道線和激光雷達/雷達等檢測的障礙物作為軌跡規(guī)劃系統(tǒng)的輸入，比如特斯拉 Mobileye 系統(tǒng)，然而在 urban 這種 unstructured environment 下如何做規(guī)劃，能量場的模型該怎么應(yīng)用進來，它的輸入輸出各是什么？
張德兆：現(xiàn)在做的較多的確實是高速道路，但現(xiàn)在深度學(xué)習(xí)方法確實能夠比較好的幫我們解決城市道路的問題，只要城市道路工況的訓(xùn)練數(shù)據(jù)足夠多。
現(xiàn)在實際上我們做園區(qū)內(nèi)道路的決策規(guī)劃難度一點不亞于城市道路，因為園區(qū)內(nèi)路小人多，可行駛的空間有限，一定程度上比大馬路要難，只不過園區(qū)內(nèi)車速很低，可有更多反應(yīng)和調(diào)整的時間而已。
問題 2：如何訓(xùn)練安全場？安全場相比于其他模型有什么優(yōu)點？
張德兆：安全場的訓(xùn)練方法和其他是一樣的，只不過描述訓(xùn)練數(shù)據(jù)的方法不一樣而已。其他方法可能車、道路、天氣這些所有因素都要單獨去描述，并各自作為神經(jīng)網(wǎng)絡(luò)的輸入，而安全場把這所有因素抽象化了，不管物體本身的物理特征是什么，就描述他對行駛的危險程度。
問題 3：圖像是透視投影的，點云數(shù)據(jù)是真實環(huán)境的數(shù)據(jù)體現(xiàn)。在用圖像和點云進行融合的時候，如何解決透視投影與真實環(huán)境的差別？
張德兆：智行者做激光雷達的點云處理，但不做圖像處理，我們只拿做圖像模塊的合作方輸出障礙物、車道線等信息與激光雷達、毫米波雷達進行融合。
問題 4：智行者的解決方案，從環(huán)境數(shù)據(jù)采集，分析，處理融合，決策，到控制車，這個過程下來，時延是多少？用到的處理器的性能又是如何？智行者做控制決策訓(xùn)練的數(shù)據(jù)量有多少？rule-based 與 learning-based 是怎么結(jié)合的？
張德兆：我們低速車是量產(chǎn)方案，用 ARM+MCU 的架構(gòu)實現(xiàn)；高速車還是用工控機在做；我們的控制周期是 100ms。我們現(xiàn)在有超過 1000 個樣本 (不同的駕駛員）超過 100 萬公里的訓(xùn)練數(shù)據(jù)。rule-based 與 learning-based 會有個狀態(tài)機做結(jié)合，且在可能發(fā)生危險的工況下 rule-based 的優(yōu)先權(quán)大于 DL。
雷鋒網(wǎng)注：本次分享內(nèi)容 PDF 請于微信公眾號“新智駕”（AI-Drive）后臺回復(fù)關(guān)鍵詞“智行者”獲取下載鏈接。
雷峰網(wǎng)原創(chuàng)文章，未經(jīng)授權(quán)禁止轉(zhuǎn)載。詳情見轉(zhuǎn)載須知。
專題
