0
| 本文作者： skura | 2020-03-26 21:36 |
圖片來源：https://www.microsoft.com/en-us/research/blog/training-deep-control-policies-for-the-real-world/
「感知-動作」回路是我們?nèi)粘；顒拥暮诵摹Ｔ跐撘庾R中，我們的大腦利用感知輸入，實時觸發(fā)特定的運動動作，形成一種持續(xù)的活動，如運動、看電視等各種活動都是這樣形成的。
在人工智能的背景下，「感知-動作」回路是諸如自動駕駛汽車等自主系統(tǒng)的基石。雖然強(qiáng)化學(xué)習(xí)等學(xué)科在這個領(lǐng)域已經(jīng)取得了一定進(jìn)展，但目前，自主系統(tǒng)在直接根據(jù)視覺數(shù)據(jù)做出決策方面仍遠(yuǎn)不及人類。
最近，微軟的人工智能研究人員發(fā)表了一篇論文，提出了一種遷移學(xué)習(xí)方法，用于在模擬環(huán)境中學(xué)習(xí)感知行為策略，并將這些知識應(yīng)用于無人機(jī)。
根據(jù)感知輸入采取哪些行動，與其說是一個理論問題，不如說是一個實踐問題。近年來，強(qiáng)化學(xué)習(xí)和模仿學(xué)習(xí)等方法在這一領(lǐng)域顯示出巨大的潛力，但它們?nèi)匀皇艿诫y以大量收集標(biāo)記真實世界數(shù)據(jù)的限制。另一方面，模擬數(shù)據(jù)很容易生成，但在不同的現(xiàn)實場景中通常呈現(xiàn)出不安全的行為。
能夠在模擬環(huán)境中學(xué)習(xí)策略并將知識外推到真實環(huán)境中仍然是自主系統(tǒng)的主要挑戰(zhàn)之一。為了推進(jìn)這一領(lǐng)域的研究，人工智能社區(qū)為現(xiàn)實世界的自主系統(tǒng)建立了許多基準(zhǔn)。其中最具挑戰(zhàn)性的是第一人稱視角的無人機(jī)比賽。
FPV 挑戰(zhàn)
在第一人稱視角（FPV）完成的比賽中，專業(yè)飛行員能夠計劃、控制一個四旋翼機(jī)，使其具有很高的敏捷性，但卻沒有考慮安全性。微軟的研究團(tuán)隊試圖建立一個自主代理，可以在 FPV 比賽中控制無人機(jī)。
從深度學(xué)習(xí)的角度來看，導(dǎo)航任務(wù)中最大的挑戰(zhàn)之一是輸入圖像數(shù)據(jù)的高維性和可變性。想要成功地解決這個任務(wù)，就需要一個對視覺外觀不變性和對仿真與現(xiàn)實之間差異的魯棒表示。從這個角度來看，能夠在 FPV 比賽等環(huán)境中操作的自主代理需要接受模擬數(shù)據(jù)的訓(xùn)練，這些模擬數(shù)據(jù)學(xué)習(xí)可在真實環(huán)境中使用的策略。
許多這類研究，如 FPV 比賽，都集中在增強(qiáng)無人機(jī)的各種傳感器，可以幫助建立周圍環(huán)境的模型。然而，微軟的研究團(tuán)隊旨在創(chuàng)造一種以人腦功能為靈感的計算結(jié)構(gòu)，將視覺信息直接映射到正確的控制動作上。
為了證明這一點，微軟研究院使用了一個非常基本的帶有前置攝像頭的四旋翼機(jī)。所有的處理都是在 Nvidia TX2 計算機(jī)上完成的，它有 6 個 CPU 核和一個集成的 GPU。現(xiàn)成的英特爾 T265 跟蹤相機(jī)提供里程計，圖像處理使用 Tensorflow 框架。圖像傳感器是一個 USB 攝像頭，有 830 個水平視場，原始圖像被縮小到 128 x 72 的尺寸。
圖片來源：https://www.microsoft.com/en-us/research/blog/training-deep-control-policies-for-the-real-world/
代理
微軟研究小組的目標(biāo)是在模擬環(huán)境中訓(xùn)練一個自主代理，并將所學(xué)的策略應(yīng)用到現(xiàn)實世界的 FPV 比賽中。對于模擬數(shù)據(jù)，微軟依靠 AirSim 生成，這是一個用于無人機(jī)、汽車和其他交通工具的高保真模擬器。AirSim 生成的數(shù)據(jù)在訓(xùn)練階段使用，然后在真實世界中部署學(xué)習(xí)到的策略，而無需任何修改。
圖片來源：https://www.microsoft.com/en-us/research/blog/training-deep-control-policies-for-the-real-world/
為了彌合模擬現(xiàn)實的差距，微軟的研究依賴于交叉模式學(xué)習(xí)，即使用有標(biāo)簽和無標(biāo)簽的模擬數(shù)據(jù)以及真實世界的數(shù)據(jù)集。其思想是在高維模擬數(shù)據(jù)中進(jìn)行訓(xùn)練，并學(xué)習(xí)一種低維策略表示方法，該方法可以有效地用于實際場景中。為了實現(xiàn)這一目標(biāo)，微軟研究院利用了跨模態(tài)變分自動編碼器（CM-VAE）框架，該框架對每個數(shù)據(jù)模態(tài)使用一個編碼器-解碼器對，同時將所有輸入和輸出壓縮到一個潛在空間。該方法允許將有標(biāo)記和無標(biāo)記的數(shù)據(jù)模式結(jié)合到潛在變量的訓(xùn)練過程中。
將此技術(shù)應(yīng)用于 FPV 環(huán)境需要不同的數(shù)據(jù)模式。第一種數(shù)據(jù)模式考慮原始的未標(biāo)記傳感器輸入（FPV 圖像），而第二種特征狀態(tài)信息直接與手頭的任務(wù)相關(guān)。在無人機(jī)競賽的情況下，第二模態(tài)對應(yīng)于在無人機(jī)的坐標(biāo)幀中定義的下一個門的相對姿態(tài)。每個數(shù)據(jù)模式都由一個編碼器-解碼器對使用 CM-VAE 框架進(jìn)行處理，該框架允許學(xué)習(xí)低維策略。
自主 FPV 比賽代理的體系結(jié)構(gòu)由兩個主要步驟組成。第一步的重點是學(xué)習(xí)一個潛在的狀態(tài)表示，而第二步的目標(biāo)是學(xué)習(xí)一個控制策略，以操作這個潛在的表示。第一個組件或控制系統(tǒng)架構(gòu)接收單眼相機(jī)圖像作為輸入，并將下一個可見門的相對姿態(tài)以及背景特征編碼為低維潛在表示。這種潛在的表示隨后被輸入到控制網(wǎng)絡(luò)中，控制網(wǎng)絡(luò)輸出一個速度指令，然后由無人機(jī)的飛行控制器轉(zhuǎn)換成執(zhí)行器指令。
圖片來源：https://www.microsoft.com/en-us/research/blog/training-deep-control-policies-for-the-real-world/
降維是微軟研究方法的重要組成部分。在 FPV 比賽中，有效的降維技術(shù)應(yīng)該是平滑、連續(xù)、一致的，并且對模擬圖像和真實圖像中的視覺信息差異具有魯棒性。為了實現(xiàn)這一目標(biāo)，該體系結(jié)構(gòu)采用了一種 CM-VAE 方法，其中每個數(shù)據(jù)樣本被編碼成一個獨立的潛在空間，該潛在空間可以被解碼回圖像，或者轉(zhuǎn)換成另一種數(shù)據(jù)形式，例如門相對于無人機(jī)的姿態(tài)。
圖片來源：https://www.microsoft.com/en-us/research/blog/training-deep-control-policies-for-the-real-world/
由此產(chǎn)生的體系結(jié)構(gòu)能夠?qū)⒒?27468 個變量的高維表示減少到最基本的 10 個變量。盡管只使用 10 個變量對圖像進(jìn)行編碼，但解碼后的圖像提供了無人機(jī)可以看到的前方物體的豐富描述，包括所有可能的門的尺寸和位置，以及不同的背景信息。
圖片來源：https://www.microsoft.com/en-us/research/blog/training-deep-control-policies-for-the-real-world/
微軟研究院在各種 FPV 比賽環(huán)境中測試了這種自主無人機(jī)，其中包括一些具有極端視覺挑戰(zhàn)性的環(huán)境。比如在地板上有與大門色調(diào)相同的紅色條紋的室內(nèi)，或者在大雪環(huán)境中。
另外，還有相關(guān)視頻重點介紹了自主無人機(jī)如何使用低維圖像表示完成所有挑戰(zhàn)。如果你感興趣，可以打開這個視頻：https://youtu.be/AxE7qGKJWaw 。
盡管微軟的研究工作是專門針對 FPV 比賽場景的，但這些原理可以應(yīng)用到許多其他的感知動作場景中。這類技術(shù)有助于加速可在模擬環(huán)境中訓(xùn)練的自主代理的開發(fā)。為了激勵這項研究，微軟在 GitHub 中開源了 FPV 代理的代碼。
GitHub 項目網(wǎng)址：https://github.com/microsoft/AirSim-Drone-Racing-VAE-Imitation
雷鋒網(wǎng)雷鋒網(wǎng)雷鋒網(wǎng)
雷峰網(wǎng)版權(quán)文章，未經(jīng)授權(quán)禁止轉(zhuǎn)載。詳情見轉(zhuǎn)載須知。
