0
| 本文作者： 楊文 | 2017-08-25 11:19 |
8月19日下午，由雷鋒網(wǎng)主辦，清華數(shù)據(jù)派THU承辦的第二期“GAIR大講堂CVPR清華專場”活動圓滿結(jié)束，本次活動共吸引來自北京各大高校100多名同學前來傾聽。AI科技評論作為獨家合作媒體也前往活動現(xiàn)場進行了報道。
當日雖酷暑難耐，現(xiàn)場還是座無虛席。部分同學因天氣太熱拿起了人手一份的活動宣傳頁扇風降溫，也沒選擇離開活動場地，這足以看出他們對本次活動的關注熱情。
四位分享嘉賓分別是：
清華大學自動化系三年級博士生 段岳圻
Momenta 研發(fā)總監(jiān)&聯(lián)合創(chuàng)始人 孫剛
中科大&微軟亞洲研究院聯(lián)合培養(yǎng)博士生 鄭賀亮
中科大&微軟亞洲研究院聯(lián)合培養(yǎng)博士生 邱釗凡
段岳圻分享的論文題目是：Learning Deep Binary Descriptor with Multi-Quantization （多量化深度二值特征學習） 他分別從四個方面介紹了他的論文研究：背景介紹，文章方法，實驗結(jié)果，參會心得。
圖中「存儲庫圖片特征」和「特征匹配」為什么標注橘紅色了呢？段岳圻介紹道，像訓練模型、提取庫圖片特征都可以線下花幾個月搞定，而存儲庫里的圖片特征要一直存儲在云端里，不然輸入的圖片沒有辦法進行特征對比。在線部分中的特征匹配也是需要很多輪的特征對比和匹配，所以做了重點標注。該論文用的是非監(jiān)督深度學習方法，非監(jiān)督或弱監(jiān)督學習是未來發(fā)展趨勢，大名鼎鼎的楊立昆(YannLeCun)教授曾說過，非監(jiān)督學習是讓機器獲得常識的一個嘗試。
文章方法介紹：深度二值特征學習因其存儲和匹配的高效性，近年來在學術(shù)界持續(xù)受到關注。現(xiàn)有的深度二值特征學習方法采用符號函數(shù)對實值特征進行二值化，未能考慮數(shù)據(jù)分布，從而導致了較大的量化損失。這篇論文將二值化過程看作非監(jiān)督多量化問題，提出了基于K-自編碼網(wǎng)絡的深度多量化算法，并將其應用于深度二值特征學習，提出了多量化深度二值特征學習，降低了二值化造成的量化損失。實驗結(jié)果證明了本文方法的有效性。
最后段岳圻同學也分享了CVPR 2017的參會心得。
第二位分享嘉賓是Momenta 研發(fā)總監(jiān)、聯(lián)合創(chuàng)始人孫剛博士，分享題目是：ImageNet冠軍模型SE-Net詳解。
孫剛博士不僅是Momenta 研發(fā)總監(jiān)、聯(lián)合創(chuàng)始人，同時還是高性能并行計算系統(tǒng)專家、大規(guī)模圖像識別專家、ImageNet 2017 圖像分類冠軍、ImageNet 2016 場景分類亞軍。這篇論文作者提出了一種新穎的神經(jīng)網(wǎng)絡模塊稱為Squeeze & Excitation（簡稱SE），以此大幅提升模型的精度。通過Squeeze 和Excitation操作，SE模塊自動對特征重新分配權(quán)重，增強對識別有用的特征，而抑制無效或收益甚微的特征。在引入極少計算和參數(shù)量的情況下，將現(xiàn)有絕大多數(shù)網(wǎng)絡結(jié)構(gòu)的性能大幅提升。
第三位分享嘉賓是中科大&微軟亞洲研究院聯(lián)合培養(yǎng)博士生鄭賀亮。鄭賀亮在大四開學時就進入微軟亞洲研究院實習，期間在同一實驗室?guī)熜謳熃銈兊墓膭钕拢状瓮禖VPR論文就被選中。他的論文題目是：Look Closer to See Better: Recurrent Attention Convolutional Neural Network for Fine-Grained Image Recognition（精細化物體識別中基于遞歸注意力模型的卷積神經(jīng)網(wǎng)絡）
近年來，基于弱監(jiān)督的精細化物體識別問題倍受關注。現(xiàn)存的主流方法分兩種：對于有判別力區(qū)域的定位和對精細化特征的學習。在這篇CVPR文章里，鄭賀亮和其他的作者通過設計一種RA-CNN的網(wǎng)絡結(jié)構(gòu)，將不同尺度的重要區(qū)域綜合起來進行分類，實現(xiàn)了定位和精細化特征學習之間的相互促進，在精細化物體分類的任務上取得非常理想的結(jié)果。
「You are not alone」你并不孤單。在實驗室中每個人研究的課題都不一樣，但是到大會上會有很多workshop，每個方向都有很多人研究。你可以找到興趣相同的朋友 ，甚至可以深入討論實驗的細節(jié)，有一種彼此相通的感覺。
「Paper is not the end」發(fā)表論文并不是終點。到大會上你會發(fā)現(xiàn)大牛研究的都是一條線，而不是一個點。他們發(fā)的論文只是這條線上的某個點，在研究過程中他們是遵從自己的一個思路的。所以我們在做學術(shù)研究時也要慢慢形成自己的方法論，而不僅僅是找到解決問題的方法。
「Research changes the world」科研改變世界。到大會上才能真切感受到自己做的學術(shù)研究成果真的可以影響世界，改變世界。
第四位嘉賓是中科大&微軟亞洲研究院聯(lián)合培養(yǎng)博士生邱釗凡。他分享論文題目是：Deep Quantization: Encoding Convolutional Activations with Deep Generative Model （基于深度生成模型的卷積層特征提取整合）
邱釗凡列了一個提綱，從八個方面依次介紹了自己目前所在做的研究方向。
深度卷積神經(jīng)網(wǎng)絡目前在不同的識別問題上體現(xiàn)出優(yōu)異的性能，而如何從神經(jīng)網(wǎng)絡的卷積層中提取特征并做出整合分析成為了進行研究的一個基本問題。他的這篇分享的論文中提出了基于深度生成模型的卷積層特征的提取整合方案，并將最終得到的全局特征應用在不同分類問題當中。實驗結(jié)果表明，在圖片精細分類和視頻動作識別兩個問題上，該方法均體現(xiàn)出較好的性能。
論文介紹完后他也沒有忘記和大家分享參會心得：
AI科技評論：最后問幾個大家比較關心的問題吧，怎樣才能寫出一篇高質(zhì)量的論文？寫論文的過程中有哪些點要側(cè)重，比如算法，思路這些？
鄭賀亮：我當時也是被同實驗室?guī)熜謳熃愕目蒲袩崆樗腥荆M量以一種積極的心態(tài)去做實驗，拿出一種論文必能投中的自信心態(tài)去做實驗。在方法上掌握了問題該用什么辦法去解決，然后總結(jié)成一種思路，再賦予它含義，最終寫成paper。
論文的引言（introduction）部分比較耗費精力，要學會講故事不僅要表達清楚自己的觀點和出發(fā)點，還要想到別人會有什么疑問，以及可能引起別人爭論的地方。爭論的地方是否是該論文的缺點，如果是的話，要采用什么辦法才能解決這個缺點，這個過程是我和小老板考慮的主要內(nèi)容，從中也學到了很多東西。
AI科技評論：以Momenta 為例，招人的過程中比較看重學生的哪些素質(zhì)？或者有哪些要求？
孫剛：基本的招人原則就是首先要看科研方向和我們需求的方向是否一致。對于研究方向不是太一致，如果這個人很聰明或者在面試過程中表現(xiàn)出的思維方式是我們所欣賞的，也是可以的。另一個要求就是招的人必須要在某一方向非常強，任何一個方向都可以。Momenta比較青睞有專長的同學。有意愿的同學可以給我們發(fā)郵件talentoverflow@momenta.ai。
AI科技評論（現(xiàn)場觀眾）：面試的核心考點是不是算法？如果算法能力不是太好怎么辦？
孫剛：在某方面是不是特別強是一個方面，另外也不會因為某方面不擅長就完全否定一個人，比如候選人的思維非常活躍，可以根據(jù)一個問題提出創(chuàng)新型方案，但編程能力不是太好，這也是沒問題的。我們會通過一個綜合的評定，會根據(jù)候選人擅長的部分量身打造一個職位。
AI科技評論：三位都已經(jīng)發(fā)表過頂會論文了，那么你們在做學術(shù)的過程中有沒有遇到過哪些坑，需要提醒大家去避免的？
邱釗凡：我覺得最重要的一點還是要理解你在干什么。剛開始做學術(shù)你可能會拿到一個項目課題（topic）或者看到別人做一個課題，你也想去做。但是你在做這個的過程中，可能比較重要的一點是在于你是否真的知道這個課題的意義，你做的這個點的提高為你帶來什么，或者為你的課題帶來什么。另外需要有一些前瞻性的視野，在你看別人工作時除了看到他們在做什么，為什么這樣做之外，還要知道他的這個思路還能用來做些什么，他的課題方向還可以做些什么。就算不是自己相關的工作，也可以去思考。
孫剛：我比較認同釗凡所說的。我本科到博士再到工作，最大的進步并不是說自己在科研，技術(shù)上的進步，主要還是自己思考問題的方式、邏輯的進步。做學問的時候，自己要仔細考慮一下，我做這個究竟是為了什么，自己喜歡做什么，也要根據(jù)實際情況，來看一下做的這個事情是否能達成。在做具體事情之前有一個完整的規(guī)劃，包括對自己未來職業(yè)上的規(guī)劃。這些方面，我覺得是比做學問更值得大家思考的問題。
鄭賀亮：我覺得他們說的特別對。選題特別重要，如果你選的不是現(xiàn)實中需要解決的問題，那研究再深也沒有什么價值。所以說選題還是要慎重考慮，一方面是要結(jié)合自己的興趣，另一方面研究的這個確實是社會需要解決的問題。另外研究過程中，不要只為了發(fā)現(xiàn)一個方法來研究，而是要總結(jié)出一套方法論來，也就是說你的背后要有一個思想一直在指導你，你發(fā)的每篇論文都是慢慢地走向你最終的目的。在看別人發(fā)的論文也要看到他們背后的那個思想是什么。
AI科技評論（現(xiàn)場觀眾）：如果自己實驗室的方向和深度學習不是太相關，差不多就是一種自學的狀態(tài)，怎么能在這個領域更深入一些，或者如何設計一個自學的路線？
孫剛：我其實也有過一段這樣的經(jīng)歷，當時我做topic和老板所研究的也不太一致，這種情況下，自己的成長確實比較慢。在這種情況下，你可能要和老板商量下，能不能通過實習的形式來和更多的人交流，來改變這一情況。另外，就是要看你自己了，老板有時要求你必須做的，你也不想做，確實比較痛苦。我們公司有幾個這樣極端的例子，有個同事干脆就輟學了，他當時學的是物理，他覺得物理要作出一些成果，需要比較長時間的的假設檢驗過程。每個人時間都有限，肯定要挑選一些假設檢驗周期比較短的事來做。當時他就放棄了物理專業(yè)，然后從計算機零基礎開始學習人工智能，現(xiàn)在已經(jīng)是這個領域非常牛的人了。
AI科技評論為大家整理了本次活動現(xiàn)場PPT下載地址：鏈接：http://pan.baidu.com/s/1kUIzBWr (密碼：xbvt)。另外，8月26日下午2點，雷鋒網(wǎng)“GAIR大講堂CVPR哈工大深圳專場”活動將在哈工大深研院A棟104教室舉辦，名額有限，歡迎報名參加！雷鋒網(wǎng)報名地址：http://www.35crmo.cc/activity/view/id/3
雷峰網(wǎng)原創(chuàng)文章，未經(jīng)授權(quán)禁止轉(zhuǎn)載。詳情見轉(zhuǎn)載須知。
