0
| 本文作者： sanman | 2018-04-24 18:10 |
雷鋒網AI研習社按：斯坦福大學的CS231n主要介紹卷積神經網絡相關的深度學習知識，課程從算法的公式到實踐進行了全面的介紹。基于該課程的三場實戰分享直播課近期在AI研習社上線。
在雷鋒網的AI研習社直播課上，張智偉，李振，陳閩川三位老師分別為大家帶來了使用TensorFlow實現DQN實戰、深入講解圖像分類和網絡優化以及AI視覺芯片共三場干貨滿滿的直播。該課程結合CS231n課程同時將課程內容與應用領域連接起來，讓大家可以真正的學會如何應用深度學習。
以下是嘉賓分享內容：
本次分享的內容主要集中在CS231n第十四課——Deep Reinforcement Learning。首先回顧深度學習的幾大分支。
什么是強化學習？強化學習是機器學習中的一個領域，強調如何基于環境而行動，以取得最大化的預期利益。強化學習有兩個主體，agent和environment，每個時間節點，agent會輸出一個action并傳送個環境，環境會產生下一個狀態以及產生一個獎勵并輸入agent，從而構成閉合的循環。
用數學來描述這個過程就是馬爾可夫決策過程（MDP），馬爾可夫決策過程(Markov Decision Process, MDP)也具有馬爾可夫性，與上面不同的是MDP考慮了動作，即系統下個狀態不僅和當前的狀態有關，也和當前采取的動作有關。MDP實際上是一個五元組，由五個元素組成。
什么是Q-Learning？Q為動作效用函數（action-utility function），用于評價在特定狀態下采取某個動作的優劣，可以將之理解為智能體（Agent）的大腦。Q-Learning的核心是貝爾曼方程，它給我們的啟示是我們可以用下一時刻的最佳Q值函數表示當前的最佳Q值函數。這樣就可以迭代的求貝爾曼方程。
在深度學習的背景下，我們可以用神經網絡擬合出最佳Q函數。有了神經網絡該如何優化它的函數呢？還是要用到貝爾曼方程。
接下來給大家解讀一下DQN算法，主要分為六個部分，對我們比較有用的包含在第二部分和第四部分。
這篇論文我總結了有三個亮點。一是replay memory，二是訓練網絡與計算標簽的網絡分離，三是網絡結構。
介紹完三個亮點，我們再來看一下算法流程。
講了論文，我們開始自己使用TensorFlow來實現一個神經網絡。主要用的庫包括TensorFlow、numpy（數組）、pil（基礎圖像操作）、gym（openai開源的庫）、random。
最后把代碼鏈接發給大家，如有疑問可以看源碼：https://github.com/BigJerry/TooNaive/blob/master/DQN/DQN.py
首先還是普及一下深度學習的基本概念，然后再給大家介紹一下我今天分享的思路，并介紹一些我個人的關于應用的意見。
接下來給大家分享一下我個人對圖像分類的一些理解與思路。
首先是任務分析，任務分析主要包括任務的基本情況和數據的基本情況。
確定好任務之后是選擇合適的網絡，這里我建議大家可以選擇已經被驗證的比較好的網絡，不要急著寫自己的網絡。網絡選完接著就是平臺選擇，個人建議還是選一些比較容易入手，用的人比較多，資源又豐富的平臺。
選定平臺后就可以進行預訓練，準備數據庫。然后就是比較關鍵的內容即網絡的訓練、測試與優化，這些內容我跟大家分享一下我個人的技巧。
上面介紹的網絡優化中我還想分享一些其他的技巧。我們應優先解決影響最大的問題，即從錯誤樣本里抽取一定數量的樣本并進行分類，先解決最容易糾正的。我們還可以用表格記錄嘗試的的情況。
這些就是我今天全部的分享。
首先我介紹一下自己的學習經歷，我碩士畢業之后主要從事芯片的電子設計自動化的工作，主要負責芯片的物理設計，包括芯片的布局布線，還有芯片的自動化流程的開發。這些經歷對我進入AI行業有一定幫助。
之后我學習過一些斯坦福公開課比如CS231n，吳恩達的機器學習，以及Coursera的并行計算編程等。我自己也看了一些書，比如周志華的機器學習等。我這次主要想分享一些我轉行的經歷，以及我的一些觀點和視角。
首先我想從畢加索的畫說起。
畢加索作為二十世紀最杰出的畫家之一，他曾經說過一句話“我畫的不是事物的表象，而是不能用肉眼看出的本質”。介紹畢加索和CS231n有什么關系呢？我覺得畢加索的畫風類似于深度學習的特征提取。
他從事物的線條逐漸抽象不斷提取特征十分類似卷積神經網絡中圖像識別、圖像理解的過程。
接下來我想介紹一下分割遷移，我覺得學習應該以興趣為導向，我剛開始接觸深度學習的時候對風格遷移非常感興趣。圖片的風格遷移的例子如下。
風格遷移的思路是用深度學習學到的特征中的統計信息（分布）描述圖像風格。在卷積網絡中使用不同的層來提取不同的特征。
自己動手試一下實現風格遷移可以更加感覺到學習的趣味。接下來，我介紹一下經典的神經網絡的框架結構。主要包括LeNet、ResNet等。
下面我們主要介紹一下深度學習對芯片行業的影響，目前比較火熱的商業場景包括消費電子、安防監控、自動駕駛汽車和云計算。現在比較大的的芯片公司如下。
最后我也希望國內在這波AI浪潮中可以出現世界級的芯片公司。在此引用一段谷歌研究員吳軍的話：“一百多年來，總有一些公司很幸運的、有意識或無意識的站在技術革命的浪尖之上。對于一個弄潮的年輕人來說，最幸運的，莫過于趕上一波大潮。”
雷鋒網認為目前AI發展正處于鼎盛時期，三位老師都從實踐的角度向大家展示了CS231n涉及的內容。希望我們的課程可以給大家一些啟發。
雷峰網原創文章，未經授權禁止轉載。詳情見轉載須知。
