0
雷鋒網(wǎng)AI研習社按：位姿測量是許多空間任務的基礎，也是移動機器人移動的前提，其重要性不必多言。傳統(tǒng)的位姿測量方法已經(jīng)發(fā)展了幾十年，取得累累碩果的同時也遇到了不少技術瓶頸。深度學習的興起，重新給了位姿測量新思路，本文為大家介紹的就是基于深度學習的位姿測量。
在近期雷鋒網(wǎng)AI研習社舉辦的線上公開課上，來自北京航空航天大學的張歡同學分享了一篇CVPR 2015文章中用到的利用深度學習進行位姿測量的方法。沒有觀看直播的同學可以點擊視頻回放。
張歡，北京航空航天大學模式識別與智能系統(tǒng)碩士在讀，主要研究方向為計算機視覺，利用深度學習進行非合作目標位姿測量方面，曾帶隊參加MBZIRC第一屆世界無人機大賽。
分享主題：基于深度學習的位姿測量
分享提綱：
位姿測量的意義
傳統(tǒng)位姿測量方法的分類和挑戰(zhàn)
基于學習的位姿測量方法
基于深度學習的位姿測量方法——描述子網(wǎng)絡
物體的位姿測量指的是在特定的坐標系下獲取目標的三個位置參數(shù)和三個姿態(tài)參數(shù)，特定的坐標系可以是世界坐標系，物體坐標系，相機坐標系。具體應用領域舉例，有衛(wèi)星輔助入軌，維修故障衛(wèi)星 ，衛(wèi)星加注燃料等。
物體的位姿測量的應用
物體的位姿測量在機器人、自動化及機器視覺等領域也有著非常重要的應用，尤其是在機器人領域，準確快速的得到物體的六維位姿對于機器人操作物體是非常重要的。在工業(yè)生產(chǎn)中更是如此，準確測量配件的位姿，才能使得工業(yè)機器人以規(guī)定的姿勢抓取物體并對準安裝，對于提高工業(yè)生產(chǎn)效率有著非常重要的意義。
傳統(tǒng)位姿測量方法的分類和挑戰(zhàn)
傳統(tǒng)的位姿測量方法主要包括基于單目的方法，基于雙目的方法，基于多目的方法，基于掃描式激光雷達的方法，基于非掃描式激光雷達的方法，近年來發(fā)展迅速的基于SLAM的方法，以及多傳感器融合的方法。
傳統(tǒng)位姿測量方法分類
傳統(tǒng)位姿測量方法的挑戰(zhàn)
傳統(tǒng)位姿測量方法的挑戰(zhàn)主要包括以下幾個方面：
首先，傳統(tǒng)的位姿測量方法大多是基于幾何特征的方法，而基本的幾何方法對于目標表面的紋理具有一定的依賴性，如第一幅圖所示。
其次，在真實環(huán)境中，由于受到光照等因素影響，相機成像質量會發(fā)生退化，基于幾何特征的方法容易受到極大影響，如第二幅圖所示，空間環(huán)境中的成像質量就是非常差的。
第三，復雜的背景也會對基于幾何特征的方法產(chǎn)生很大的干擾，第三幅圖中的場景是LineMOD數(shù)據(jù)集，場景比較復雜。
最后，發(fā)生局部遮擋等情況下，物體發(fā)生了形變，基于幾何特征的方法不一定能勝任位姿測量等任務。
而近年來迅速發(fā)展的基于學習的算法具有很強的魯棒性，受環(huán)境影響也相對較小，給我們提供了一種新的思路。
基于學習的位姿測量方法
主要包括基于稀疏特征的方法，基于稠密特征的方法，基于模板匹配的方法。
基于稀疏特征的方法從圖像中提取興趣點，用局部描述子來描述這些興趣點，并匹配到數(shù)據(jù)庫。
Lepetit等把匹配問題轉化成分類問題，把物體每個關鍵點的所有可能的外觀集歸成一類。每個關鍵點至少一張樣本圖，然后根據(jù)樣本圖生成樣本集訓練分類器，使用隨機森林作為分類器，對每個關鍵點進行分類。
Collet等提出了在混亂的場景中物體識別和位姿測量系統(tǒng)POSESEQ，該系統(tǒng)學習物體特征并制作數(shù)據(jù)庫，運行時檢測物體并從數(shù)據(jù)庫中搜索，獲取物體6D位姿。針對系統(tǒng)延遲較大的問題，Manuel等人增加了系統(tǒng)的可拓展性。
基于稀疏特征的方法和傳統(tǒng)的基于幾何的方法有一定的相似性，都是對于紋理較少的物體識別較為困難，對于此類物體的識別，后面介紹的基于模板的方法較好。
基于稠密特征的方法中，用每個像素對想要的結果進行預測，以下是近幾年研究方法的發(fā)展和改進。
在實際應用中，隨機森林的復雜度會隨著物體種類的增加而增加；物體種類少的話，訓練出的效果又不是很好。這是用三個物體進行訓練的訓練結果；第一張圖是把物體分割出來；第二張圖是分割出的物體的能量函數(shù)圖；第三張圖是跑出來的位姿結果；每張圖片里左邊都是groundtruth，右邊是測試結果，估計出來的位姿和groundtruth還是有一定差距的。
基于稀疏特征的方法和基于稠密圖像塊的方法，也就是隨機森林的方法，都是屬于學習的方法，但還不是屬于深度學習的方法，接下來我們介紹的基于模板匹配的方法是真正屬于深度學習的方法。
基于模板的方法
基于模板的方法是用固定的模板掃描圖片，尋找最佳的匹配。
Hinterstoisser 等研究者對物體在半球節(jié)點位置生成大量邊緣模板，并把基于邊緣的模板和相應的位姿一起進行訓練，驗證時根據(jù)模板進行位姿識別。
在此基礎上，Wohlhart等將物體種類和物體視圖模板一起進行訓練，學習代表物體種類和位姿的描述子。
接下來分享的的文章就是學習目標識別和位姿估計的描述子。這是CVPR 2015上收錄的一篇文章。
這篇文章的創(chuàng)新點在識別物體種類的同時進行位姿估計。他是通過卷積神經(jīng)網(wǎng)絡學習描述子實現(xiàn)的。這里的描述子不是局部描述子，而是整張圖片的描述子。
給定一個物體的輸入圖像X，想得到他的分類和位姿估計，具體的實現(xiàn)步驟如下圖。
訓練數(shù)據(jù)都是合成數(shù)據(jù)，訓練數(shù)據(jù)包括彩色圖像和深度圖像，可以用兩種數(shù)據(jù)一起進行訓練，也可以單獨指定某一種進行訓練。測試數(shù)據(jù)是真實圖像，也包括彩色圖像和深度圖像。
網(wǎng)絡主體是一個卷積神經(jīng)網(wǎng)絡，網(wǎng)絡的結構比較簡單，兩個卷基層，一個池化層，兩個全連接層。具體的訓練參數(shù)如圖所示：
為了實現(xiàn)同時進行識別和位姿測量，想要獲得的描述子需要有兩個重要特性。不同物體的描述子間的距離較大。相同物體的描述子間的距離較小。
訓練樣本中，直接小批量訓練樣本會反復訓練，浪費計算資源，因此，網(wǎng)絡是按照下圖的方法進行訓練的。
首先從每個物體里隨機選取一個訓練樣本；然后添加訓練樣本最接近的位姿模板，pairs就是這些最接近的位姿模板和原來隨機選取的訓練樣本產(chǎn)生的；迭代完成，直到小批量總數(shù)取滿為止。取完之后，在每個訓練樣本中添加另外的triplets量，來自不同物體最相似的模板或者相同物體位姿差異較大的模板。訓練樣本取好之后，就可以進行訓練了。
以上是網(wǎng)絡主體部分介紹，接下來是實驗部分。
數(shù)據(jù)集采用的是Line Mod數(shù)據(jù)集進行測試，這個數(shù)據(jù)集有15個物體的視圖模板，包括合成數(shù)據(jù)和真實數(shù)據(jù)。這個數(shù)據(jù)集還有物體的精確位姿，需要注意的是數(shù)據(jù)集里包含常規(guī)的物體，也包括水杯，碗這樣非常規(guī)物體。這樣的物體形態(tài)具有對稱性，測量它的位姿是具有一定挑戰(zhàn)的。
具體實驗部分，可以觀看AI慕課學院公開課視頻回放。
總結
最后，總結一下這篇論文提到的基于模板方法的幾個缺點，也是基于模板匹配方法的通病：
首先是需要整個模板匹配到一個特定物體，相比之下，基于稀疏特征的方法魯棒性更強，遮擋情況下不容易匹配到。然后是對于可變性的物體挑戰(zhàn)很大，需要大量模板，最后是該方法也容易受到光照等因素影響。
雷鋒網(wǎng)更多公開課直播課程敬請關注「AI 研習社」。如果錯過了直播課程，還可到AI慕課學院查找該期的視頻回放。
雷峰網(wǎng)原創(chuàng)文章，未經(jīng)授權禁止轉載。詳情見轉載須知。
