ICRA 2018 | 強化學習模擬水下穩定性，潛水體15分鐘學會規則

雷鋒網按：這里是，雷鋒字幕組編譯的 ICRA 2018 系列，帶你了解機器人與自動化領域的最新研究成果。

原標題 ：Reinforcement Learning of Depth Stabilization with a Micro Diving Agent

翻譯 | 張哥華    整理 | 凡江

強化學習是機器人在與環境交互中解決控制問題的方法。本論文中，我們將要學習基于模型值函數的強化學習方法，這種方法適用于部分機器人和光嵌入式系統。

一開始，我們設計了一個潛水體，它利用強化學習來模擬水下的穩定性。我們還利用試驗來展示了一個小的潛水體對任務的學習能力，我們將這個潛水體設置成——它的狀態被取決于它的深度和速度。

潛水體包含一個固定容量的的儲水倉和一個可變容量的儲水倉，后者用于驅動本體。

我們對其深度的穩定性的目標是，控制其可變儲水容量以維持一個期望的深度。通過強化學習方法來解決這個控制問題，而不需要有系統先驗知識或者是有驅動器動力知識。這種方法的挑戰在于未知的流體效應，以及緩慢的非線性變化的驅動器動力。體積調整的時間常數與系統的動力匹配，可變容量儲水倉相對于固定容量儲水倉也是很小的，所以系統的最大控制力和最大約束力也是很小的。

在狀態空間中包含了潛水體的深度和速度，這個圖表就展示了其狀態空間，在目標深度附近的區域決定了算法學習的區域，在這個分布里包含了 101 個狀態。在此區域之外的每一個點都被當做是終止狀態。

動作空間包含了兩部分：一部分是減少可變儲水倉的水量來提供浮力，另一部分增加可變儲水倉的水量，來讓潛水體算法收到一個損失，這個損失會懲罰潛水體，讓其向期望的深度移動。除此之外，如果潛水體到達終止狀態的位置，為了通過試驗驗證強化學習算法，一個小潛水體被設計和制造了出來。它的運行時間大約是 90 分鐘，非易失性內存是 512 KB。

我們證明了在一個試驗中，潛水體是能夠從零學習到關于自身穩定性的規則。在左下角的圖表中顯示了潛水體在學習區域成功學習的運動軌跡。

視頻鏈接：https://www.youtube.com/watch?v=F7g3K0PXWX4&t=5s

雷鋒網雷鋒網

雷峰網原創文章，未經授權禁止轉載。詳情見轉載須知。