聚焦遷移學習反向傳播缺陷，百度資深工程師帶來全新 ICML 工作分享

CV 在前，NLP 在后，遷移學習技術的應用為這兩個領域所帶來的進展和突破，不可謂不矚目。

其中，預訓練模型作為當下遷移學習的一種主流方法，讓“從零開始訓練一個新模型”的時代一去不復返。這類在大型數據集上訓練好的模型進行微調后，便能夠較好地適配類似的新目標任務，可以極大地節約時間和成本。

不過，天下沒有免費的午餐，這種方法看似“一勞永逸”，也需要付出一定的代價，其中的一大問題便是，由于反向傳播帶給深層卷積層的更新較小，微調得到的模型往往被“吸引”在預訓練模型附近，無法得到充分更新。

對此，百度的一篇 ICML 2020工作《RIFLE: Backpropagation in Depth for Deep Transfer Learning through Re-Initializing the Fully-connected LayEr》，提出了一種簡單有效的策略RIFLE，通過周期性的重新初始化全連接層，給深層的特征提取網絡帶來有意義的更新，提升低層次特征的學習，從而顯著提升遷移學習的效果。      

論文地址：https://proceedings.icml.cc/static/paper_files/icml/2020/3745-Paper.pdf

開源地址：https://github.com/haozhe-an/RIFLE-Paddle-Implementation

基于PaddlePaddle的實現：https://github.com/haozhe-an/RIFLE-Paddle-Implementation

據悉，該方法已超過已有同類方法如 Dropout、Dropconnect、Stochastic Depth、 Disturb Label以及Cyclic Learning Rate 等，在多個數據集上的效果提升0.5%-2%。

為了深度解析這項工作背后的算法原理以及應用效果，AI 科技評論特別邀請到了論文一作、百度大數據實驗室資深工程師李興建，來做論文直播分享！

時間就定在7月24日 20:00整，各位同學記得準時收看~

分享主題：RIFLE算法：通過重新初始化全連接層加深遷移學習中的梯度反向傳播

分享嘉賓：李興建，百度大數據實驗室資深工程師，多年自然語言處理、深度學習、遷移學習等領域工作經驗

分享時間：7月24日（周五晚） 20:00整

分享背景：

基于一個預訓練的深度學習模型進行微調，成為一種主流的遷移學習方式。該方法雖然簡單有效，但微調得到的模型經常被『吸引』在預訓練模型附近，無法得到充分更新。我們的工作提出一種簡單有效的策略RIFLE，通過周期性的重新初始化全連接層，給深層的特征提取網絡帶來有意義的更新，提升低層次特征的學習。

分享提綱：

1.  深度遷移學習簡介和RIFLE算法提出的動機

2. 算法流程

3. 算法效果及討論

4. 二層網絡模擬實驗

如何加入？

掃碼關注[ AI研習社頂會小助手] 微信號，發送關鍵字“ICML 2020+直播”，即可進群觀看直播和獲取課程資料。       

雷峰網版權文章，未經授權禁止轉載。詳情見轉載須知。