0
| 本文作者： AI研習社 | 2020-02-14 11:16 |
層次遞歸網絡序列標注的轉移學習
注意力神經網絡序列標記模型中的特征
基于雙向LSTM-CNNs的命名實體識別
通過雙向LSTM-CNNs-CRF進行端到端序列標記
更好的物體表征，更好地從純圖像重建世界
論文名稱：TRANSFER LEARNING FOR SEQUENCE TAGGING WITH HIERARCHICAL RECURRENT NETWORKS
作者：Zhilin Yang /Ruslan Salakhutdinov
發表時間：2017/3/18
論文鏈接：https://paper.yanxishe.com/review/10864?from=leiphonecolumn_paperreview0214
核心問題：在序列標注問題中，為了解決傳統的機器學習存在的需要手動構建特征的問題，這里常常使用神經網絡的方式，但是神經網絡常常需要大量的數據才可以，那么現在就面臨一種情況，當數據量不足的時候，如何才可以解決這個問題呢？
創新點：在計算機視覺中，當面臨數據不足的時候，我們常常使用遷移學習的方式，本論文也將探討遷移學習的方法，其中使用具有豐富注釋的源任務來改善具有較少可用注釋的目標任務的性能
研究意義：通過這種方式可以將訓練的模型參數和架構遷移過來，并且取得了不錯的效果，事實上現在nlp中的重要預訓練模型興起，這也一定程度上證明了這種方向的可行性。
論文名稱：Attending to Characters in Neural Sequence Labeling Models
作者：Marek Rei /Gamal K.O. Crichton /Sampo Pyysalo
發表時間：2016/11/14
論文鏈接：https://paper.yanxishe.com/review/10863?from=leiphonecolumn_paperreview0214
推薦原因
核心問題：序列標注問題有一個問題需要處理，這個問題就是當一句話中出現的單詞是陌生詞的時候，那么此時就會出現問題。這種詞稱為OOV問題
創新點：創新點就是為了解決這個問題，首先單詞有OOV問題，但是字符沒有OOV問題，這里引入了字符級別的信息。然后引入了注意力機制，使用經典的attention+RNN+CEF的組合方式，這樣通過將詞級別和字符級別的向量相結合，從而達到非OVV的詞的字符向量與其詞向量相近。
研究意義：在許多數據集上達到了很好的效果，并且這種模型的參數較少。
論文名稱：Named Entity Recognition with Bidirectional LSTM-CNNs
作者：Jason P.C. Chiu /Eric Nichols
發表時間：2016/7/19
論文鏈接：https://paper.yanxishe.com/review/10862?from=leiphonecolumn_paperreview0214
推薦原因
核心問題：本文解決的是命名實體識別的任務，這是nlp中非常具備挑戰性的工作，傳統的機器學習方法需要使用手工的方式，但是這種方式并不好。
創新點：本論文使用的是深度學習的方式，和傳統的深度學習方法不同的是，這里搭建了一個新的神經網絡結構，能夠自動檢測字級和字符級特征使用雙向LSTM和CNN混合架構，消除了大多數特征工程的需要。除此之外本文還提出了一種新的方法，使用這個方法在神經網絡中對部分詞典匹配進行編碼，可以取得較好的效果。
研究意義：實驗表明，這種模型效果超過當前的模型，并且在多個數據集中取得了最佳的效果。
論文名稱：End-to-end Sequence Labeling via Bi-directional LSTM-CNNs-CRF
作者：Xuezhe Ma /Eduard Hovy
發表時間：2016/5/29
論文鏈接：https://paper.yanxishe.com/review/10861?from=leiphonecolumn_paperreview0214
核心問題：本文核心是解決nlp領域中的命名實體識別的問題
創新點：在之前的常用的模型是LSRM+CRF，本論文搭建了一個端到端的神經網絡模型，引入了CNN結構，這可以很好的處理局部信息
研究意義：這個模型的效果超過之前的模型效果。
論文名稱：Contrastive Learning of Structured World Models
作者：Thomas Kipf /Elise van der Pol /Max Welling
發表時間：2019/9/26
論文鏈接：https://paper.yanxishe.com/review/10860?from=leiphonecolumn_paperreview0214
人類可以從眼睛觀察到的視覺信號理解還原出世界中的物體、物體間的關系、層次等等，這是人類認知能力的重要組成部分，也是機器學習、深度學習、計算視覺仍面對的一大挑戰（從原始的像素輸入還原帶有結構的世界模型）。
維吉尼亞大學的作者們在這篇論文中提出了一個基于對比度訓練的有結構的世界模型C-SWM，它使用了一種對比度方法來用組合式的結構學習環境的表征。它可以不需要直接的監督，只通過對原始像素的觀察就發現提取環境中的物體。
作者們在含有多個獨立、可控制的物體的交互環境中評價了模型的表現，既包括了簡單的Atari游戲，也包括了多物體的物理仿真環境。實驗表明，這個模型可以克服以往的基于像素重建的模型的很多不足，在高度結構化的環境中也發揮了比同類表征模型更好的表現，同時它學習到的基于物體的表征還是具有可解釋性的。
這篇論文的方法實際、效果出色，得到了審稿人的高度評價，被ICLR2020接收為口頭報告論文。
為了更好地服務廣大 AI 青年，AI 研習社正式推出全新「論文」版塊，希望以論文作為聚合 AI 學生青年的「興趣點」，通過論文整理推薦、點評解讀、代碼復現。致力成為國內外前沿研究成果學習討論和發表的聚集地，也讓優秀科研得到更為廣泛的傳播和認可。
我們希望熱愛學術的你，可以加入我們的論文作者團隊。
加入論文作者團隊你可以獲得
1.署著你名字的文章，將你打造成最耀眼的學術明星
2.豐厚的稿酬
3.AI 名企內推、大會門票福利、獨家周邊紀念品等等等。
加入論文作者團隊你需要：
1.將你喜歡的論文推薦給廣大的研習社社友
2.撰寫論文解讀
如果你已經準備好加入 AI 研習社的論文兼職作者團隊，可以添加運營小姐姐的微信，備注“論文兼職作者”
雷鋒網雷鋒網雷鋒網
相關文章：
今日 Paper | 梯度剪切；命名實體識別；自然語言處理；免強度函數學習等
今日 Paper | 小樣本學習；機器學習；單幅圖像去霧 ；零樣本目標檢測等
今日 Paper | 可視問答模型；神經風格差異轉移；圖像壓縮系統 ；K-SVD圖像去噪等
今日 Paper | 依賴性解析器；DNNs對圖像損壞；高效人臉特征學習 ；虛擬試穿統一框架等
今日 Paper | 模態平衡模型；組合語義分析；高表達性SQL查詢；多人姿態估計模型等
今日 Paper | 多人姿勢估計；對話框語義分析；無監督語義分析；自然語言處理工具包等
今日 Paper | 多人線性模型；身體捕捉；會話問答；自然語言解析；神經語義
今日 Paper | 手部和物體重建；三維人體姿態估計；圖像到圖像變換等
今日 Paper | 動態手勢識別；領域獨立無監督學習；基于BERT的在線金融文本情感分析等
今日 Paper | 新聞推薦系統；多路編碼；知識增強型預訓練模型等
今日 Paper | 小樣本學習；視覺情感分類；神經架構搜索；自然圖像摳像等
今日 Paper | 蚊子叫聲數據集；提高語音識別準確率；對偶注意力推薦系統等
今日 Paper | 人臉數據隱私；神經符號推理；深度學習聊天機器人等
今日 Paper | 虛擬試穿網絡；人群計數基準；聯邦元學習；目標檢測等
今日 Paper | 人體圖像生成和衣服虛擬試穿；魯棒深度學習；圖像風格遷移等
今日 Paper | 隨機微分方程；流式自動語音識別；圖像分類等
今日 Paper | 高維感官空間機器人；主動人體姿態估計；深度視頻超分辨率；行人重識別等
今日 Paper | 3D手勢估計；自學習機器人；魯棒語義分割；卷積神經網絡；混合高斯過程等
今日 Paper | 精簡BERT；面部交換；三維點云；DeepFakes 及 5G 等
今日 Paper | 虛假新聞檢測；馬爾可夫決策過程；場景文本識別；博弈論框架等
雷峰網原創文章，未經授權禁止轉載。詳情見轉載須知。
