0
雷鋒網 AI 科技評論：今年 ICCV 上，華人收錄論文數量首次超越了美國，對于華人研究者而言，ICCV 2019 也成為了一場具備“轉折點”意義的國際學術頂會。而從現場參會情況來看，無論是參會者、展商，還是 Oral 報告和 Poster 上，刷臉率最高的也當屬華人面孔。
在這樣的華人高光背景色中，商湯科技無疑是本屆ICCV中的 “C 位”角色。作為一家從實驗室走出來的 AI 公司，商湯科技在學術領域上一直都是一個出類拔萃的存在，而在這場會議中，則可以用“獨占鰲頭”做形容：ICCV 2019中，商湯科技不僅有57篇論文入選，成為全球企業中收錄論文最多的企業，還在ICCV的一眾競賽項目上斬獲13項世界冠軍。
會議期間，雷鋒網 AI 科技評論也有幸采訪到了商湯科技聯合創始人、港中文-商湯聯合實驗室主任林達華教授，基于商湯科技以及其團隊在ICCV 2019的論文成果，聊了聊商湯科技在 ICCV 上的表現，以及商湯科技與聯合實驗室的整體布局情況。
不僅如此，林達華教授本人作為深度學習與計算機視覺領域的資深科學家，也難得地在本次采訪中分享了一些他個人的研究經歷和觀點，并對華人今年在 ICCV 上的表現談了談自己的感受。
以下為 AI 科技評論與林達華教授的對話實錄。
AI科技評論：商湯科技在CVPR、ICCV 等計算機視覺領域的國際頂會上的表現一直都非常出色，其中今年的ICCV 更是中了57篇論文之多，那這些論文中，您認為比較具有突破性意義的成果有哪些？
林達華：這些論文中，有相當一部分都在某個特定方向取得了顯著的進展，有在應用上的拓展，也有在核心方法上的創新。我這里主要選取我比較熟悉的兩個工作來介紹：
一項工作是今年 ICCV 的一篇Oral論文 《CARAFE: Content-Aware ReAssembly of FEatures》，它解決了一個非常關鍵的問題：檢測任務中需要將多個尺度的特征結合起來進行分析。當這些特征對齊到一個協同的分母上進行融合時，傳統方法是通過升采樣的方式來進行融合，然而在這個過程中我們發現，這種升采樣跟傳統的圖像升采樣有很大的區別，如果直接采用傳統的升采樣方法，最終的效果會受到很大的抑制。
而在這篇論文中，我們提出了一個輕量級的通用升采樣算子 CARAFE，在特征升采樣的融合中可以最大限度地保留其中的重要特征，并且能夠廣泛地應用到各種需要結合多尺度特征來進行分析的任務中。CARAFE 雖然非常簡單和輕量化，但在多種不同任務中都一致并很好地提升了模型的性能，我們未來會將這種方法進行比較廣泛地應用。 另一項工作則是我個人非常喜歡的一項關于舞蹈生成的工作，《Convolutional Sequence Generation for Skeleton-Based Action Synthesis》。
以前的舞蹈生成基本上生成的是一些小圖片或者非常短的小視頻，而長視頻的生成對于計算機視覺而言一直都是非常大的挑戰。
這項工作則提出通過圖的反卷積和持續反卷積的疊合，使用高斯過程來逐漸生成一個非常長的任意時空尺度的視頻序列。這樣的話，這種方法其實就解決了視頻生成中的一個關鍵挑戰，即如何生成長時間或任意尺度的視頻序列，并且在此過程中能夠很好地保持序列在時間和空間上的結構。我認為這是一項非常有意義的工作，并且在未來，這項工作對于增強現實、視頻內容生成等任務可能都有非常廣泛的應用潛力。
AI科技評論：其中舞蹈生成這項工作具體是在什么背景下開展的？過程中遇到過什么挑戰或者有趣的故事嗎？
林達華：一年多以前，生成成為了計算機視覺領域一個特別受關注的方向，包括現在 ICCV 這個會上也有很多關于GAN 和生成的工作，但是其中大部分工作重點關注的還是空間結構的生成，然而我們在接觸和研究了大量關于視頻生成的工作后，發現現在的生成相關的工作對于時間結構的把握還存在比較大的空白，這就驅動我們開始了這個研究項目，希望能夠填補該領域對于長時間尺度的生成的研究空缺。 在這個研究的開展中，我們遇到的挑戰其實還挺大的：
首先，視頻生成其實是一個非常新的領域，它的數據量遠不如圖像那么充分，并且我們研究的還是非常長時間尺度的視頻生成，這項生成任務本身的復雜性與該領域數據量不足就構成了很大的矛盾點；
其次，持續的生成其實還有一個很大的特點，就是一方面要尋找不隨時間變化的共同規律，另一方面又要保持多樣性，尋求這一點上的平衡也成為我們面臨的一個比較大的挑戰。所以在模型的結構設計上，我們做了很多探索，最后才找到一個真正能夠有效克服這些困難的模型結構，就是以高斯過程驅動的時空圖卷積網絡。
這項研究開始之初，即便生成十秒的非常簡單的動作，都存在很大的困難，而現在我們的模型基本上能夠生成持續十分種的舞蹈，甚至可以根據音樂和其他的一些輸入作為條件做生成。這樣的成果，其實是我們經歷了非常多的嘗試而獲得的。
AI科技評論：商湯科技最近幾年在ICCV 上的表現一直不錯，從論文層面而言，除了數量上一直在增加，還有哪些方面的特點？
林達華：能夠被 ICCV 收錄的論文當然肯定存在一定的創新價值，但是大多數論文還是著眼于算法的局部提升或者針對某個算法或方法的局部提出一些新的架構和設計方法，從而實現性能上的提升。
當然，商湯科技和實驗室也做了很多改進算法或性能上的工作，比如我們在很多比賽中拿了不少冠軍，就是我們在算法和性能上的優化成果的重要體現。 但如果仔細觀察商湯科技和聯合實驗室發的很多論文，能夠發現這些論文和其他多數論文有著不一樣的特點：我們很多工作都是在定義一個新的領域和新的問題，并且提出了我們自己的解決方案。從這個層面去實現創新的工作，其實在整個會議中占的比例并不多，因為我們通過在實踐中接觸到很多業務第一線的真實問題，進而能夠提出很多學術界實驗室所看不到的一些問題。
比如說我前面提到的兩個工作，前者是我們對大量算法進行抽象后提出的一個算子，實現了算法和方法上的創新；而舞蹈生成則是我們在實際需求的背景下提煉出來的一個研究方向，我們剛開始做的時候，這個方向在學術上還是處于空白階段的新問題。
此外我們做的包括電影分析、特定約束條件下的長尾場景的理解等工作，都是我們在業務場景中所遇到的一些特殊的挑戰，學術界對這些特殊挑戰的探索實際上并不是很深入。 當然我們提出這些新問題的過程并不是完全被動的，并不是來了個項目遇到了問題所以要克服下，而是在大量的需求中判斷整個行業的主要的痛點在哪，進而提煉和提出并定義這些新的問題，驅動研究團隊來開展長遠的探索，最終回應整個行業的根本需求。
AI科技評論：論文以外，今年ICCV商湯科技還舉辦了例如WIDER 挑戰賽、 ICCV Night 等一系列的活動，就您看來，學術頂會上的成果和表現于包括商湯科技在內的企業而言，有著怎樣的意義？
林達華：關于這一點，我認為可以從以下幾個層次來說：
第一，能夠體現了我們持續做原創技術的精神和初心。現在很多公司專注于應用和業務，通常是拿著現有的一些技術去解決一些實際問題，那它解決問題的層次和深度會受到一定局限。而商湯科技會投入很大的力量去構建這種原創技術的核心競爭力，在這個過程中會產生很多就學術本身而言就很有價值的新想法、新方法、新技術以及新挑戰。而商湯科技對于這些問題的研究和成果，可以在學術會議上體現出來，并反過來成為商湯科技持續做原創技術研究的牽引力量。
第二，學術會議對于整個社區的交流而言，具有非常大的價值。實際上，學術研究中最關鍵的環節就是提出好的問題。比如說我們在探索過程中發現了一些新問題，提出了一些解決方法，并以學術論文的方式發表出來，當展示給社區的其他學術研究者時，能夠推動整個學術界運用更大、更廣泛的力量去共同解決這些問題。最后，這其實還能夠反哺整個行業。
第三，在會議中舉辦比賽，其實可以看做是我們在尋求性能的極限和探索方法的邊界方面的努力。這些比賽產生的方案，我們不一定會直接拿到業務場景中區應用，但是可以讓我們探索到某項技術的邊界和根本困難在哪，對我們后續的開發和探索都具有很好的指導意義。與此同時，有一些方案其實可以通過一些工程化的工作來進行簡化壓縮，最后也可以成為應用到業務中的效率和性能得到很好平衡的模型。
AI科技評論：這些論文有一部分出自香港中文大—商湯科技聯合實驗室，那聯合實驗室對于商湯科技而言是一個怎樣的存在呢？
林達華：聯合實驗室跟商湯科技的關系是一種非常緊密的合作關系，經過過去幾年的合作，現在已經構建了帶有示范性意義的產學研結合的閉合雙向關系。具體而言：
一方面，商湯科技在實際的業務探索中會發現很多重要的挑戰，針對其中一部分，商湯科技內部團隊已經提出了很好的解決方案和技術，而另一部分則是一些具有長期學術價值的問題，這些問題通過合作交流能夠反饋到實驗室這邊——對于實驗室而言，找到有價值的問題是最關鍵的環節。
另一方面，實驗室這邊由于不需要像商湯科技內部團隊一樣承擔業績壓力，能夠去研究一些長期的、較高風險的探索性方向，如果最終能取得成功，也能夠非常有效地推動商湯科技內部去構建新的解決方案。
AI科技評論：成果從論文走向應用落地，始終是當下人工智能領域企業面臨的重要命題，在這一點上，商湯科技作為從實驗室走出來的企業，具備怎樣的優勢？
林達華：任何一個行業中的企業，在學術成果的應用落地方面都面臨著非常巨大的挑戰。成果從論文走向應用落地，其中最重要的挑戰就是學術研究跟真正的業務實踐之間存在非常大的差距。學術界的很多實驗室一般都是關著門做研究，研究目標和跟實際的用戶和行業需求和痛點并不完全一致，并且存在的差距還比較大，所以脫離產業聯系的純學術研究，是很難真正與行業的痛點相匹配的。
商湯科技從實驗室走出來，到現在做出來的一系列成績，整個歷程非常不容易，對此我也感到非常自豪。 在具體的模式上，商湯科技和實驗室之間一直遵循一種非常有效的合作模式，即我們實驗室的學生在完成了研究成果后，可以到商湯科技去實習一段時間，并與商湯科技內部的研究者進行合作，在這個過程中，能夠產生兩個非常正面的意義：
一是可以讓我們實驗室的同學和老師真正建立起技術的價值意識，學會將學術成果落地到實際的系統中去，而不再單純發論文；
二是這些同學和老師本身就是做技術研究的，當他們看到技術落地時會收獲到成就感，會有更大的動力去后續的研究，與此同時，他們自己作為技術的原創開發者，在與商湯科技內部研究者一同落地技術時，會使得整個過程也更加順暢和迅速。
總體而言，比起沒有實驗室基因而需要找高校實驗室合作的一般企業而言，我們從學術研究到業務落地的鏈條要短很多：
首先，我們實驗室和商湯科技從研究的源頭開始，就緊密地結合在一起，并且會持續保持親密的溝通；
其次，實驗室做出成果以后，商湯科技也會利用很多機會來進行應用落地——這些其他企業與高校合作中存在的障礙在我們這里往往更容易突破。
AI科技評論：現在無論是大廠還是初創企業，都相繼成立了這樣的研究型實驗室，與BAT 等大廠的對相關實驗室相比，商湯聯合實驗室具備哪些優勢？
林達華：我先說優勢吧，主要體現在四個方面：
第一，在計算機視覺這個領域的主流頂級學術會議上，我們能明顯地看到商湯科技的成果其實會更加豐富些，無論是競賽成績、論文成績還是學術成果的影響力，都會更高，而這一點源自于商湯科技本身的技術創新基因和文化——我們更知道如何用科技創新的力量去驅動業務場景上的核心競爭力。
第二，商湯科技跟學術界有天然而廣泛的聯系，很多承擔重要角色的負責人都是教授，因而它從學術界吸取最新的技術成果的鏈條要短很多。
第三，我們自己的學生能夠直接進入到商湯科技實習，所以我們培養出來的人才既有學術研究能力，同時也在和商湯科技的合作中建立起了技術落地的思路，他們畢業后剛開始工作就已經能夠獨當一面去開拓一個新的業務，并且知道如何將技術融進業務場景中，這一人才優勢其實是我們很核心的一個優勢。
第四，在計算機視覺這一領域，商湯科技入場很早，所以經過前期這幾年的積淀，我們對于這個行業如何跟AI 更好地實現結合，會有更加深入的理解，這也是商湯科技天然的寶貴財富。
AI科技評論：目前聯合實驗室取得了哪些意義較為重大的成果？未來有哪些重點關注的方向？
林達華：我們目前取得了較大意義的成果主要包括，第一個是首度超越了人眼的人臉識別算法；第二個是我們做的一系列超分辨率的工作，目前也是領先于谷歌等國際科技巨頭企業的；第三個是視頻理解相關的工作，例如我們提出的時序分段網絡等一系列技術，現在也成為了業界廣泛采用的標準范式；第四個是在 3D 場景理解相關的工作，對于自動駕駛等領域具有非常重要的意義。
關于未來重點的方向，我認為計算機視覺領域發展到現在，有一些東西已經做得非常成熟，但對于整個行業和整個領域來說，目前所取得的成果還僅僅只是一個開始，未來還有非常大的發展空間。就我看來，未來幾年有以下幾個重要方向值得深入探索：
第一，新的場景和新的數據形態。一方面，例如我們現在做的真正意義的長時間電影和視頻理解，是跟傳統的動作識別非常不一樣的。另一方面，例如現在我們要建設的智慧生活、智慧城市和智慧社區等綜合場景的 AI 技術應用，其實涉及到很多不同任務與很多不同數據的交互，需要形成一個整體的分布來將原本孤立的任務和數據相互打通，真正讓 AI 技術從應用到傳統的單個任務到能夠給整個場景賦能。
第二，打破對數據的依賴。現在的模型所取得的性能，實際上都是建立在對大量標注數據的依賴的基礎之上的。比如說算力，我們可以通過改善硬件來提升，但是人的標注速度是受限于人本身的，所以未來要克服這一問題，我們就要改變這種基于標注數據的監督學習訓練范式，同時更積極地去使用能夠更廣泛獲得的未經標注的數據。未來，比起算力，數據也是 AI 技術的發展的同樣重要的制約因素，只有打破這一制約，AI 的能力才能上升到一個新的水平。
第三，這個領域之前關注得更多的是準確率和性能，追求的指標比較單一，然而 AI 技術要推廣到整個社會中作為基礎技術去應用，還存在很多約束：
首先是安全性，現在的模型其實很容易受到攻擊，是非常脆弱的，所以這是一個亟待解決的問題；
其次是如何在保護隱私的條件下有效地訓練模型，現在大家也在積極地探索這一方向；
還有是可解釋性，現在 AI 無論是應用到自動駕駛還是醫療領域中，我們人類還是不能完全放心，所以我們不僅要理解 AI 決策的邏輯，還要了解AI 在緊急場景中如何做出反應——針對后面這一點，我認為可以嘗試用模擬器來提供這些場景的數據集從而訓練模型。
第四，未來對場景的視覺理解會逐漸從2D轉變到3D，我這次在 ICCV 上也看到了非常多相關的工作。
AI科技評論：商湯科技在計算機視覺這一賽道上所面臨的競爭既有來自大廠和其他獨角獸企業，也有來自初創企業，就您看來，商湯科技在未來的發展中應如何不斷提高自身的競爭力和地位？
林達華：首先一點是要加強基礎的核心技術的研發和建設。之前我們在計算機視覺的算法上已經有了很深的積累，也取得了非常豐碩的成果，而未來除了這些上層算法外，我們還要加強整個系統層面的建設，包括計算能力、數據能力等方面的核心能力建設。
另外一個關鍵是人才！無論要做什么事情，最不可或缺、最首要的要素就是人才。商湯科技本身的文化能夠為人才提供較好的發展空間，確實能夠吸引到很多優秀的人才加盟商湯科技來共同推動 AI 的發展。現在人才市場也確實非常激烈，未來商湯科技也會繼續加大力度為人才創造更好的發展空間。
與此同時，我們會繼續拓展我們的生態合作。現在商湯科技跟高校合作建立了很多聯合實驗室，已經有了較好的積淀，但是這方面的工作還在發展和成長，未來還有很大的空間，所以我們希望能夠跟包括學界和業界在內的整個社區形成一個非常良性的、開放的產學研合作生態。我認為這對于商湯科技以及整個行業的發展而言，都具有長遠價值。
AI科技評論：拋開商湯科技和聯合實驗室，單就您個人而言，學術成果也非常亮眼，當初是基于怎樣的契機選擇到工業界來，并聯合創立了商湯科技？
林達華：一開始是湯曉鷗老師認為計算機視覺已經突破了應用紅線，迎來了商業化的非常好的契機，向我和王曉剛老師分享了他的遠見和事業藍圖，當時我們非常認同，也愿意跟湯老師去共同創建這個事業。
但是一開始我是以教授的身份參與其中的，而隨著整個參與度的加深，后續也參與了商湯科技內部一些研究項目的規劃和指導，在這個過程中就逐漸開始將強商湯科技內部和實驗室之間的合作和聯系，而這對于我本身的學術生涯而言也很有價值，正如我在前面提到的，給我的實驗室提供了很多很有價值的問題，這也是我們實驗室能夠做出這么多成果的重要原因。
AI科技評論：您現在既是商湯科技聯合創始人，又是港中文大—商湯科技聯合實驗室主任，在具體的角色上，主要負責哪些方面的工作內容呢？
林達華：我的具體工作主要包括三個部分：第一個部分是在實驗室指導學生做前沿研究；第二個部分是對商湯的一些研究團隊進行指導，并在這個過程中將一些研究工作落地到商湯科技的業務中，與此同時，我也會引導研究部門做一些前瞻性的工作；第三，我也在通過自身在學術界的聯系去積極幫助商湯科技和實驗室拓展跟高校的生態合作。
AI科技評論：在技術產業化方面，CV是走在人工智能其他領域前頭的方向，現如今 CV技術已經大規模應用，而像NLP等被認為是人工智能接下來會產生大規模應用的技術方向。那從產業應用的角度來看，您認為 CV是否已經過了鼎盛時期？
林達華：我認為CV 這個領域才剛剛開始，遠沒到鼎盛時期。 CV 的潛在應用領域非常廣泛，其在例如建設智慧生活、社區治理助理以及為國計民生的各個領域提供有效的信息等等方面都存在很廣泛的應用潛力。現在大家更多地關注CV 技術在安防、自動駕駛等領域的應用，這些應用也讓大家看到了CV 技術的價值。
而實際上，CV 的本質其實就是從視覺的角度獲取世界中的各類信息，再應用到工作任務中。現在CV 實現的大規模應用還只是幾個點，而未來還有更多得多的點能夠探索 CV 技術的應用，而這就需要我們整個社區去真正深入到不同行業中去尋找到真正的痛點需求，并思考如何利用現有的CV 技術、AI 技術去幫助行業，這整個過程都存在無限的可能性。
現在CV 技術已經得到應用的幾個點，可能看上去增長速度放緩，好像是走到一定程度了，但是這并不代表CV 這個領域就沒有了空間。CV 現在的應用潛力只釋放了一小部分，要真正應用到更加廣闊的新的場景，還需要一些時間，但是不會太遠。
AI科技評論：其實不僅是商湯科技，整個華人研究者在 ICCV 等會議上的表現都非常出色，比如2017年ICCV 接收論文中，有 40%的第一作者都是華人，今年收錄論文數量甚至超過了美國，但是今年在獎項上的表現稍有遺憾，對于華人近年來在此類國際頂會上的表現，您如何評價？
林達華：華人在計算機視覺領域的影響力正在持續增長，這是毋庸置疑的。對于今年華人沒有獲得論文獎項，我認為這件事情存在很強的偶然性，因為獲獎的就兩三篇，如果單憑某次會議的獲獎論文去判斷華人在這個社區中的影響力，我認為信息是不足的，所以我們要看的還是整體的影響力，比如說今年的Oral 論文，華人就占了很高的比重。
AI科技評論：其實在不少頂會上，一些前輩華人研究者都屢次提到華人研究者所存在的一大劣勢，便是缺乏原創，而原創性其實也是商湯科技特別強調的一個宗旨，您如何看待這一現象？
林達華：我認為任何一項技術的發展都會有一個變遷的趨勢，國內的相當比例的研究一開始都是應用驅動的，目前的這種現象其實是可以理解的。而當整個行業開始逐漸建立起來后，我們其實會將越來越多的力量投入到基礎研發中，這一趨勢其實在今年的國際學術頂會上就更加明顯地體現出來了。
這些基礎研發一方面是核心模型和核心方法，比如說今年華人的 ICCV 論文中還是有相當比重在做基礎網絡結構與核心訓練方法的研究，另一方面是基礎系統例如芯片這些領域，現在國內也進行了大規模的投入，當然要實現具有影響力的成果可能還需要一個時間周期。 所以我認為應該從發展的維度上來看待華人目前的原創性問題，并且我也相信，再過一段時間，這些投入和研究會慢慢結出果實。
AI科技評論：您作為無論在學術界和工業界都有著豐富的履歷的科學家，從學術研究和職業選擇方面，對于后輩研究者們分別有哪些建議？
林達華：第一，一定不要盲目跟風，要選擇自己真正感興趣和愿意長時間投入的方向。他如果因為某個研究方向熱門就去試一試，而沒有想清楚自己真正感興趣和愿意長時間投入的方向是什么，那他基本上做不出太好的成果，并且不一定能堅持下去。
第二，重視培養思維能力，不要被熱點方法帶著走。我在指導自己學生的時候，一直都強調不要跟著熱點方法走，而是要建立起尋找挑戰、提出問題、定義問題并解決問題的思維，因為熱點方法其實變得非常快，而不變的是他們自身具備這種思維能力。當然，將一些流行的方法用到自己的研究工作中肯定是可以的，但是他一開始做某項研究的出發點不應該是為了用某個熱點方法，而應該是為了探索某個問題的本質，這樣的話，無論技術路線如何發展和變遷，他都能夠一直站在創新的前沿。
第三，在職業選擇上，要真正想清楚自己想要走的道路是什么，并且思考如果要走這條路，需要培養怎樣的素質，進而有計劃地朝著某個方向鍛煉和培養自己需要具備的能力。如果選擇到學術界任職，那他可能要更多地培養自己尋找和定義問題的能力，而不是簡單地跟著導師發論文；如果選擇到工業界，那他就要培養自己觀察行業痛點、尋找和歸納客戶需求并規劃解決這些問題的能力。
雷鋒網 AI 科技評論報道。
雷峰網原創文章，未經授權禁止轉載。詳情見轉載須知。
