為了不曾忘卻的紀念：孫劍專題

本文作者：我在思考中

2022-06-24 10:59

導(dǎo)語：將孫劍博士的研究解讀、懷念文章和演講整理匯總與此，是我們能想到的對孫劍博士最好的紀念。

“16年前，黃煦濤去香港過圣誕，無意間發(fā)現(xiàn)一同聚會的幾位計算機視覺的領(lǐng)軍人物均相差10歲，分別是：1936年出生的黃煦濤、1946年出生的馬頌德、1956年出生的高文、1966年出生的沈向洋。大家便討論下一次聚會，是否能再找到另一位再年輕10歲的計算機視覺領(lǐng)軍人物，討論迅速指向同一個人，那便是沈向洋的學(xué)生、1976年出生的孫劍。”

2020年夏天，陳長汶教授在全球人工智能與機器人大會（GAIR） “Thomas S. Huang紀念專場—中國計算機視覺的40年傳承”環(huán)節(jié)，講述了“40年傳承”的由來。

作為40年傳承故事的主人公，孫劍也連續(xù)三個夏天（2017-2019）來到雷峰網(wǎng)GAIR大會的講臺，帶著上百頁幻燈片，毫無保留地為千名后輩們傳承布道。

然而就在一個星期前的6月14日，孫劍卻因病離世，這怎不讓人扼腕嘆息。

生平與貢獻

孫劍博士一生專注于科研工作，是人工智能計算機視覺及深度學(xué)習(xí)領(lǐng)域的知名學(xué)者。他的研究成果極大的推動了人工智能技術(shù)的發(fā)展和應(yīng)用。孫劍博士的主要研究方向是計算機視覺和計算攝影學(xué)。自2002年以來在CVPR、ICCV、ECCV、SIGGRAPH、PAMI五個頂級學(xué)術(shù)會議和期刊上發(fā)表學(xué)術(shù)論文100余篇，Google Scholar引用數(shù)超過28萬次，H-index 121，兩次獲得CVPR Best Paper Award(2009，2016)。

2016年7月，孫劍博士加入曠視，任首席科學(xué)家、曠視研究院院長。在孫劍博士的帶領(lǐng)下，曠視研究院從十幾人的小團隊發(fā)展成為行業(yè)領(lǐng)先的計算機視覺研究院，研發(fā)了包括移動端高效卷積神經(jīng)網(wǎng)絡(luò)ShuffleNet、開源深度學(xué)習(xí)框架曠視天元MegEngine、 AI生產(chǎn)力平臺Brain++等多項創(chuàng)新技術(shù)，引領(lǐng)前沿人工智能應(yīng)用。孫劍博士一手創(chuàng)造了研究院開放、平等、自由的文化和工作氛圍并奠定了研究院的使命：持續(xù)創(chuàng)新拓展認知邊界；非凡科技成就產(chǎn)品價值。

代表作ResNet

根據(jù)Google Scholar統(tǒng)計，孫劍的論文引用數(shù)高達28萬6千余次，引用量排名第一的，正是“深度殘差網(wǎng)絡(luò)（ResNet）”。ResNet是世界上第一個超過百層的深度神經(jīng)網(wǎng)絡(luò)，也是深度學(xué)習(xí)領(lǐng)域最重要的研究之一。

為了不曾忘卻的紀念：孫劍專題

在GAIR 2017上，孫劍曾經(jīng)介紹ResNet研究的背景：曾經(jīng)人們不相信深度學(xué)習(xí)網(wǎng)絡(luò)是可以被訓(xùn)練的，從2012年8層的AlexNet之后，一切就都變了。但受各種條件的限制，在這種范式下，網(wǎng)絡(luò)在20層左右的表現(xiàn)最好；直至ResNet的出現(xiàn)，則是讓神經(jīng)網(wǎng)絡(luò)的研究開始起飛，進入了一個新的階段。

這一切緣由于神經(jīng)網(wǎng)絡(luò)研究一向的“The Deeper，The Better”（越深越好）的信念：網(wǎng)絡(luò)層數(shù)的加深會讓網(wǎng)絡(luò)的表達能力和抽象能力也會提高；而另一方面，層數(shù)的加深也大幅提高了可供調(diào)整的參數(shù)的數(shù)量，調(diào)整的自由度也越大。換言之，神經(jīng)網(wǎng)絡(luò)的層數(shù)的增加可以在一定程度上彌補網(wǎng)絡(luò)結(jié)構(gòu)精巧性的不足，這也使得“調(diào)參俠”和“煉丹師”的隊伍進一步擴大——正如李沐所說，假設(shè)你在使用卷積神經(jīng)網(wǎng)絡(luò)，有一半的可能性就是在使用ResNet 或它的變種。

但神經(jīng)網(wǎng)絡(luò)復(fù)雜性的增加的同時也隨之帶來一系列的問題，如梯度消失/梯度爆炸、過擬合問題、退化問題等。ResNet所解決的正是深度神經(jīng)網(wǎng)絡(luò)訓(xùn)練的“退化問題”，使得訓(xùn)練深度神經(jīng)網(wǎng)絡(luò)成為可能。

如果做個類比，在神經(jīng)網(wǎng)絡(luò)中加入隱藏層，解決了著名的“單層神經(jīng)網(wǎng)絡(luò)為啥擬合不了XOR函數(shù)”是神經(jīng)網(wǎng)絡(luò)從0到1的突破，AlexNet是從1到10的突破，ResNet則是從10到100或者1000，甚至更多的突破。

此外，孫劍的Faster RCNN、Spatial pyramid pooling、Single Image Haze Removal Using Dark Channel Prior、ShuffleNet等代表性研究也在計算機視覺的諸多領(lǐng)域做出了杰出的貢獻。

為了不曾忘卻的紀念

我們始終相信一句話：紀念，是為了不曾忘卻。

在今天凌晨的CVPR 2022開幕式上，我們欣慰地看到大會增加了一個簡短的紀念孫劍博士的環(huán)節(jié)。孫劍是CVPR社區(qū)的活躍者，并曾兩次獲得CVPR的最佳論文。或許個人的痕跡或許終會被時間撫平，但他的智慧將成為世界的一部分。

為了不曾忘卻的紀念：孫劍專題