0
| 本文作者： 沐沐 | 2017-09-20 18:20 | 專題：NIPS 2017 |
人工智能關注度繼續升溫。繼CVPR 2017會議在報名人數以及論文收錄等方面創下多項“歷史第一”之后，計算神經科學最好的會議之一——NIPS（神經信息處理系統大會）在文章收錄結果僅僅公布10天之后，官方數據顯示注冊名額已滿！
（圖片來源雷鋒網）
NIPS是由連接學派（connectionist）神經網絡的學者于1987年在加拿大創辦，后來隨著影響力逐步擴大，也曾移師美洲、歐洲等地舉辦。早年發布在NIPS中的論文包羅萬象，從單純的工程問題到使用計算機模型來理解生物神經元系統等各種主題。但現在論文的主題主要以機器學習，人工智能和統計學為主。在各種學術會議統計中，NIPS被認為有著很強的影響力和很高的排名。
今年的NIPS將于12月4日-9日在美國西岸加州南部城市長灘市（Long Beach）舉辦。在距離正式開會還有將近3個月的時候，注冊人數已滿足以看出本次會議的火爆程度。那么對于廣大還沒來得及注冊或者沒有機會去到前方的同學們來說，如何才能更進一步的了解本次NIPS的論文情況呢？
機會來了！第四期的“GAIR大講堂”我們將再次回到北京清華，本次活動主辦方雷鋒網第一時間邀請到了NIPS 2017入選論文作者去到清華大學預講入選論文同時分享他們投遞論文的心得，相信他們的分享能夠對廣大同學們如何發Paper 起到重要幫助！
嘉賓介紹
陸洲 北京大學數學科學學院大四本科生
陸洲，北京大學數學科學學院大四本科生，導師為王立威。NIPS 2017 一作論文一篇。主要關注機器學習理論，目前研究方向主要為神經網絡的表達能力和泛化能力。
主題：從寬度來看神經網絡的表達能力（The expressive power of neural networks : A view from the width）
分享內容：
深度學習應用火爆，難以掩蓋其理論的缺少。神經網絡對函數的表達能力，便是其理論重要的一部分。本文中，我們從寬度入手，得到了以下關于神經網絡表達能力的新結果：
1、經典的一致逼近定理說明深度為2，不限制寬度，并使用適當激活函數的神經網絡對任意緊集上連續函數能做到任意精度的一致逼近。這里我們得到了一個近似對偶的結論，設網絡輸入維數為n，則寬度為n+4，不限制深度的全連接relu網絡對任意勒貝格可積函數能做到任意精度的積分意義逼近。
2、我們接著證明了寬度不足n的網絡，其表達能力極差，勒貝格可積函數以概率為1無法被其逼近，由此得到了一個關于寬度的相變。
3、我們證明了存在一些深度為3的淺網絡，需要深網絡多項式級更多的節點才能逼近，并用實驗說明，將這些深網絡寬度擴大常數倍，就能極高精度逼近淺網絡。
鄧志杰 清華大學計算機系人智所博士生
鄧志杰，清華大學計算機系智能媒體實驗室一年級博士生，導師為朱軍。主要關注深度產生式模型，分布式機器學習等方向，現在主要研究生成對抗網絡的理論和應用。
主題：結構化生成對抗網絡（Structured Generative Adversarial Networks）
分享內容：
本工作研究基于指定語義或結構信息的條件產生式建模。現有的模型在搭建條件生成器時，往往需要大量的標注數據作為監督信號，而且不能夠準確地對生成樣本的語義信息加以控制。因此我們提出結構化生成對抗網絡(SGAN) 來解決半監督條件產生式建模這個問題。SGAN 假設數據 x 基于兩個獨立的隱變量 y 和 z 來生成: y 編碼了指定的語義信息，z 包含其他的可變因素。SGAN 的訓練要解決兩個對抗游戲，它們能夠保證模型中各部分收斂到數據的真實聯合分布p(x, y)和p(x, z)。為了確保 y 和 z 的解耦和，SGAN 搭建了兩個合作游戲，它們在隱空間上最小化重建誤差。我們進行了大量的實驗來評估結構化生成對抗網絡。我們的實驗表明 SGAN 能夠學習出一個高度可控的條件生成器，以及數據的解耦和的表示。SGAN 在半監督分類任務的多個數據集上都取得了很好的實驗結果。得益于對 y 和 z 的分開建模，SGAN 能夠生成高質量并且嚴格遵循指定語義的樣本。此外，SGAN 還能被擴展來進行一些有趣的實驗，包括圖像演化和圖像風格遷移。
陳鍵飛 清華大學計算機系人智所博士生
陳鍵飛是清華大學計算機系博士四年級學生，導師為朱軍副教授。主要從事大規模機器學習、產生式模型、話題模型的研究。在NIPS、VLDB、ICML等重要國際會議和NSR、TVCG等國際重要期刊發表學術論文10篇，其中第一作者/學生第一作者4篇。他曾獲2009年全國青少年信息學奧林匹克競賽（NOI）金牌。
主題：樣本匹配差異及其在深度學習中的應用（Population Matching Discrepancy and Applications in Deep Learning）
分享內容：
兩個概率分布之間可導的距離估計是對很多深度學習任務重要的問題。其中一種距離估計是最大平均差異（MMD）。但是MMD有對核半徑敏感、梯度弱以及用于訓練目標時mini batch過大等問題。
本次分享將圍繞這一問題，介紹我們NIPS2017上提出的樣本匹配差異（PMD）。我們提出了PMD作為分布之間距離的估計，并提出了用PMD作為目標函數時學習分布參數的算法。PMD定義成兩分布樣本構成的二分圖的最小匹配，我們證明了PMD是Wasserstein度量的強一致估計量。我們把PMD用于了兩個深度學習問題，包括領域自適應和訓練產生式模型。實驗結果表明PMD克服了上述MMD的不足，并在效果和收斂速度上都超過了MMD。
汪躍 北京交通大學理學院博士生
汪躍，北京交通大學理學院在讀博士生，專業是概率論與數理統計。2015年汪躍在北京交通大學信息與計算科學專業本科畢業，隨后師從馬志明院士，劉玉婷教授讀博士，2016年加入微軟亞洲研究院機器學習組(Machine Learning Group)做實習生。
雖然是數學專業，但是汪躍特別喜歡跟應用結合的相關領域。曾經做過一段時間與腦科學有關的影像遺傳學方面的工作。最近感興趣的方向主要集中在強化學習中的算法理論分析和算法設計等方面，以及優化算法相關的方向 。
主題：馬爾科夫情形下的GTD 策略評估算法有限樣本誤差分析 （Finite sample analysis of the GTD Policy Evaluation Algorithms in Markov Setting）
分享內容：
策略評估是強化學習中一個重要的組成部分。策略評估的目標是估計給定策略的價值函數（從任一狀態出發，依照給定的策略時，期望意義下未來的累計回報）。一個好的策略評估算法可以更準確的估計出當前策略的價值函數，并且有助于找到一個更好的策略。當狀態空間特別大或者是連續空間的時候，線性函數近似下的GTD策略評估算法非常常用。考慮到收集數據的過程非常耗費時間和代價，清楚的理解GTD算法在有限樣本情況下的表現就顯得非常重要。之前的工作將GTD算法與鞍點問題建立了聯系，并且在樣本獨立同分布和步長為定值的情況下給出了GTD算法的有限樣本誤差分析。但是，我們都知道，在實際的強化學習問題中，數據都是由馬氏決策過程產生的，并不是獨立同分布的。并且在實際中，步長往往也不一定是一個定值。
因此在我們的工作中，我們首先證明了在數據來自于馬爾科夫鏈的情況下，鞍點問題的期望意義下和高概率意義下的有限樣本誤差，進而得到了更接近于實際情形下的GTD的算法的有限樣本誤差分析。從我們的結果中可以看到， 在實際中的馬爾科夫的情形下，（1）GTD算法確實依然收斂；（2）收斂的速率依賴于步長的設定和馬爾科夫鏈的混合時間這一屬性；（3）通過混合時間的角度解釋了經驗回放這一技巧的有效性，其有效性可以理解成縮短了馬爾科夫鏈的混合時間。就我們所知，我們的工作首次給出了GTD算法在馬爾科夫情形下的有限樣本誤差分析。
單小涵 中國科學院計算技術研究所博士生
單小涵是中國科學院計算技術研究所的一名在讀博士生，師從孫曉明研究員。她的研究興趣包括社交網絡，算法博弈論，組合最優化等。于2014和2011年在中國海洋大學分別獲得碩士和學士學位。
主題：帶有ε-近似次模閾值函數的影響力最大化問題（Influence Maximization with epsilon-Almost Submodular Threshold Function ）
分享內容：
活動時間：9月24日下午2:00-6:30
活動地點：北京市海淀區雙清路77號院雙清大廈4號樓4層
報名鏈接：http://www.35crmo.cc/activity/view/id/8（本活動僅限報名參加，名額有限抓緊時間報名）
另外溫馨提醒大家：活動現場，主辦方雷鋒網將會送出5本《深度學習》書籍，不容錯過！
雷峰網原創文章，未經授權禁止轉載。詳情見轉載須知。
專題
