0
雷鋒網 AI 科技評論按：AI研習社公開課系列持續進行中。此次我們請到香港中文大學博士陳浩為大家介紹“人工智能在臨床醫學影像計算與分析中的應用”這一研究熱點，主要從方法、思路、如何結合問題解決的角度介紹了醫療影像領域重要會議MICCAI 2017的部分收錄論文。
分享嘉賓陳浩是視見醫療的創始人兼首席科學家，在香港中文大學取得博士學位并獲得香港政府博士獎學金，本科畢業于北京航空航天大學并獲得金質獎章。研究興趣包括醫學影像計算，機器學習（深度學習）, 計算機視覺等。博士期間發表數十篇頂級會議和期刊論文，包括CVPR、MICCAI、AAAI、MIA、IEEE-TMI、NeuroImage等 。擔任包括NIPS、MICCAI、IEEE-TMI、NeuroImage等國際會議和期刊審稿人。三維全卷積神經網絡相關論文獲得2016 MIAR最佳論文獎。2014年以來帶領團隊在數十項國際性醫學影像分析和識別挑戰賽中獲得冠軍。
陳浩博士在學校中研究的就是醫學圖像計算方向，這次也就給大家分享MICCAI 2017中他自己感興趣的幾篇論文。
陳浩博士首先介紹了MICCAI會議的情況。MICCAI的全稱是Medical Image Computing and Computer-Assisted Intervention，是計算機影像處理計算（MIC）以及計算機輔助介入（CAI）兩個領域的綜合性會議。MIC中包含的課題包括配準、機器學習、圖像分割、傳統CAD（計算機輔助檢測）以及臨床和生物學應用。CAI集中在在介入部分，包括追蹤和導航、介入式影像、醫用機器人等等。
今年MICCAI中，投MIC方向的論文居多，其余有14%的CAI和6%的MICCAI。總的論文錄取率為32%。從錄取率來看，MICCAI是醫學領域的會議中論文錄取比較嚴格的。（錄取率與CVPR、ICCV相當）
MICCAI 2017中，共接收了分屬15個組的255篇論文；圖中標紅的組是錄取量相對比較大的組，包括配準、腦相關研究、MRI&張肌/纖維處理、光學成像、運動和心臟圖像分析，還有一個較大的部分是特征提取和分類；論文數量最多的分組是醫學影像計算中的機器學習。
MICCAI 會議從創立到2017年剛好是20周年，在世界多地輪流舉辦。今年MICCAI的舉辦地點是加拿大魁北克。
MICCAI 最初是在1998年由三個小會議CVRMed、VBC、MrCAS組成的。2004年時MICCAI Society正式成立。
回顧MICCAI過去20年中被引量最高的文章，有7篇文章是分割和檢測，2015年的U-Net大家也都很熟悉了。
還有9篇文章是做registration，也都比較早了，包括共信息熵、demon算法等著名方法。
有4篇文章是CAI的方向，覆蓋到AR/VR、機器人、規劃和可視化。
下面陳浩就開始介紹本屆MICCAI上他個人比較感興趣的論文。
第一篇關于整張圖像的多實例分類學習。這項研究的背景是，各種醫學圖像中診斷病癥存在時，如果出現一個正例，就可以認為圖像的判定結果是“有疾病、陽性”；但“無疾病”的判定結果需要圖像中所有的區塊都沒有出現正例才行。那這就是多實例學習的范疇。
論文名稱是「Deep Multi-instance Networks with Sparse Label Assignment for Whole Mammogram Classification」。模型的總體框架是，首先對輸入圖像進行分割、縮放得到感興趣的區域，通過CNN提取很多區塊后，用線性回歸分類器得到可能性排序，最后根據機器學習模型得到影像的判定結果輸出。
論文中比較了模型訓練中三種不同的損失，最大池化損失、標簽設定損失和這篇文章中提出的稀疏性損失。設計這些損失函數的原因如下。
最大池化（Max-pooling）損失是把不同區塊的可能性進行排序，選取其中最大的，損失表達式就是交叉熵的負對數似然。它的缺點是，只選擇了所有區塊中的一個。
對于有多個區塊是陽性的情況，就很自然地可以想到標簽設定（Label-assignment）損失，選取出k個正例、其余為負例，然后通過損失函數訓練網絡。損失函數里同樣包含了權重的懲罰項。這種損失邏輯上似乎更合理，但具體計算時如何為不同的圖像選取適合的k值是一個問題。
稀疏性（Sparsity）損失中就規避了這樣的顯式的k值選取，提出了很好的求解方法。通過選取超參數μ，配合rn的L1范數，讓不同區塊的預測結果分別趨向于1或0，實現了稀疏性。
方法的比較結果如圖中下方表格，其中也包含了先用ImageNet做預訓練再遷移到醫學圖像的模型。可以看到，在AlexNet加上三種不同損失的結果中，稀疏性損失的模型不僅取得了與預訓練CNN+隨機森林相當的準確率，AUC更是得到了巨大提升。這樣就在這個數據集上得到了很好的表現，而且具有不錯的魯棒性。
論文中作者也展示了模型對不同樣本圖像的響應值。第一排圖像中紅框標出的是病灶部位的ground truth，下方是feature map中對應位置的評分。可以看到稀疏性損失模型的預測結果最好。
第二篇是關于圖像分割的深度主動學習。醫學影像分割的ground truth是非常昂貴的，需要有多年臨床經驗的專家標注數據；一般計算機視覺問題中通過普通人眾包標注建立大規模標注數據集訓練模型的方法是行不通的。所以，在數據集中只選取有代表性的數據進行標注就可以降低費用。
這篇「Suggestive Annotation: A Deep Active Learning Framework for Biomedical Image Segmentation」中的亮點就是采用了主動學習的框架，選取不確定的、有代表性的樣本進行標注并訓練模型；一直重復這個過程可以更好地指導模型學習，這就是模型中的建議標注suggestive annotation。
模型結構沿用了陳浩博士團隊發表在CVPR2016的DCNN，并且加入了殘差連接。模型還抽取了1024維的特征向量作為圖像的外觀描述，用來在不同圖像之間做對比、找到有代表性的樣本。
剛才提到要找不確定性和有代表性，“有代表性”實際評估的指標就是圖像的相似度。上圖中，a圖是原始樣本，b圖是FCNN輸出的分割后feature map，c圖是圖像中不同特征預測結果的不確定性，d圖中就顯示出不確定性和預測的準確率是有關系的，越高的不確定性就對應越低的準確率。下面的一排圖像就是根據1024維的特征向量找到的相似圖像。
模型的實驗結果如圖，幾張圖中F1分數表示檢測到腺體的準確率，Dice指分割的準確率。Part A、B是當時比賽時的兩個數據集。
圖中黑線指不計算不確定性和相似性，隨機抽取樣本訓練的基準組；藍線是僅用不確定性抽取樣本；紅線是不確定性+有代表性的樣本抽取方法；綠色虛線是用所有數據訓練模型之后的結果。可以看到紅線收斂得最快，而且只用50%的訓練數據就可以接近甚至超過綠線。這就說明了主動選取樣本、引導模型訓練的方法在節省成本和收斂速度方面的有效性。
第三篇是利用無標注數據的圖像分割對抗性學習，對抗性學習也是近期的熱門范式。
模型框架如圖，對于有標注的數據，首先采用傳統的有監督學習方式學習分割網絡SN。然后加入無標注數據，當無標注和有標注數據同時存在時，通過反向傳播和更新參數訓練評估網絡EN；在僅有無標注數據時，也做反向傳播，但更新的是分割網絡SN的參數。過程中，分割網絡SN和評估網絡EN對抗式地學習，而且也利用到了無標注的數據。
損失函數如圖，這是一個基本的對抗學習損失函數，帶有多類別的交叉熵和二分類的交叉熵。訓練過程中分別訓練EN和SN。藍框中圈出的部分是等價的。
兩個網絡的具體結構如圖。評估網絡EN是一個傳統的CNN網絡；值得注意的是，它的輸入不僅有原圖像，也有分割結果的probability map，這是為了更好地利用輸入信息；最后輸出“是否是標注圖像”的評估分值。
實驗結果方面，圖像分割需要分割到實例級別，可以看到這篇論文中提出的DAN達到了很好的結果，檢測準確率F1、分割準確率Dice、形狀相似性Hausdorff距離（越小越好）都有不錯的表現。
第四篇文章也是用GAN做的圖像合成。
「Medical Image Synthesis with Context-Aware Generative Adversial Networks」。研究的任務就是用MRI圖像生成對應的CT圖像，這樣做的是可行的，因為圖像中有一些信息是共享的；要這樣做的原因是，用MRI圖像合成CT圖像，就可以避免做CT時的輻射。
網絡結構如圖，與前面不同的是，生成器這時的輸出就是生成的CT圖像。和一般的GAN一樣，鑒別器要嘗試區分生成的CT圖像和真實的CT圖像，引導生成器生成越來越真實的CT圖像。
G的損失中，除了對抗鑒別器的一項，當然也要包含“與ground truth接近”的一項；作者還加了一項Image gradient difference loss減小梯度的變化范圍。
作者還提出了一個重要思想auto-context model（圖中ACM），用一系列分類器利用上下文信息，把原始圖像和第一個分類器的分類結果聯合作為第二個分類器的輸入，這樣就有一個精細調整的過程。
可以直觀看到，模型的結果還是不錯的。
客觀數據方面，平均錯誤值MAE（越低越好）和信噪比PSNR（越高越好）都取得了不錯的結果
下一篇是體積數據的分割。
其中用到的DenseNet結構也是今年提出的新網絡結構，比之前的ResNet有更密集的連接。這種網絡結構的好處在于，1，每一層都能直接接收到指導信息，也就是隱式的“深度監督”；2，特征有很高的復用程度；3，能夠降低feature map對應參數的數目
這篇論文「Automatic 3D Cardiovascular MR Segmentation with Densely-Connected Volumetric ConvNets」也就來自陳浩博士團隊，任務目標是全心臟的三維體積分割，采用了三維全卷積神經網絡，并且把下采樣的路徑分成了不同的DenseBlock塊，在不同的DenseBlock中增加池化層增大感受野。
模型中還帶有輔助側路徑，是一種顯式的梯度傳播增強方法。
結果方面，分割上取得了不錯的結果
不同的網絡間比較，DenseVoxNet用更少的參數數量（也帶來了更快的訓練速度）取得了更好的數據。
前面的論文中都是基于單模態的數據，這篇「Deep Correlation Learning for Survival Prediction from Multi-modality Data」就是多模態的深度相關學習。
網絡中有病理圖像的數據輸入，也有蛋白質、基因等多模態數據，特征聯合之后形成輸出。
但其實在常見的網絡結構之后也有新的做法，第一個是用關聯耦合系數提高數據的關聯性，更多利用共有的信息；不過這不一定會對最終目標帶來提高。然后針對論文中具體研究的生存時間問題，又設計了一個損失函數做精細調節。這樣就用無監督方法挖掘相關信息，再用有監督學習改進。
從結果中可以看到單獨依靠圖像數據和單獨依靠蛋白質/CNV數據的預測方法，結果都不太高。結合起來之后，可以達到最高的結果。
還有一個方向是，人體器官的形狀是比較固定的，那么就帶有固定形狀的先驗知識進行深度學習。
這個方向里要介紹的兩篇論文中的第一篇用到PCA，經過主成分分析后，數據點都可以由主成分的線性組合得到。這里的U就存儲了基本形狀的表征。
這篇論文中就利用了這一點，模型最后的PCA層中計算權重w和位移s，以Uw+μ+s作為任一數據點的表征。最后再降低yi的預測和ground truth之間的損失，從而得到大致的形狀，剪切出更精細的形狀進行堆積，得到更精細的結構。
結果方面，首先做了圖像分割任務，與CNN、U-Net取得了相當的均值，而最大值和最小值都是領先的；右側的分布圖中也可以看到結果比較魯棒。另一個測試是點的定位任務，誤差距離也更小。
另一篇論文也是研究點的定位，在影像中找關鍵點。文章中研究的具體問題是脊柱側彎的關鍵點檢測。
輸入X光圖像，經過卷積層后，BoostLayer的作用是去除大于兩倍標準差σ的偏離值，再經過帶有脊椎形狀約束的Spinal Structured層之后，就可以輸出關鍵點的定位結果。
結果方面，論文所提的方法很好地抓取到了脊柱的形狀，包括側彎/病變的情況；傳統CNN對有病變的情況就處理得差一些。量化結果方面也取得了很低的錯誤率。
陳浩博士還分享了一個好消息，他們團隊的論文「3D deeply supervised network for automated segmentation of volumetric medical images」就拿下了MIA-MICCAI 2017的最佳論文獎，其中也用到了深度監督的思想，在不同的任務（肝臟或者心臟分割）中取得了不錯的效果。
論文分享后，陳浩博士根據自己的研究經驗總結道：
首先數據是非常重要的，畢竟獲取數據的代價是非常高的；
有一些結合問題的好的先驗知識和有深度的想法也對研究有所幫助；
這次在MICCAI，陳浩博士也觀察到，深度學習不僅在計算機視覺領域火熱，在醫學圖像計算中也很火，不過想要從實驗室走到臨床的話，解釋性仍然是一大問題；
深度學習對計算能力的要求也非常高；
病理全切片有巨大的數據量，如何利用計算平臺、算法對其進行分析也是一個重要課題；
圖像的語意分割問題上雖然取得了很大進步，但是否已經可以認為解決了這個問題了、臨床上是否需要這樣的分割還需要思考；
以及，在算法以及數據集的制約下，模型的泛化性往往還是較差的，這也是應用到實際醫療診斷中還需要解決的問題。
陳浩博士分享了幾張在魁北克參加MICCAI時的照片
也歡迎大家參加在西班牙召開的MICCAI 2018和在香港召開的MICCAI 2019和IPMI（Information Processing in Medical Image）2019。
最后陳浩博士簡單介紹了一下他們的實驗室，在王平安教授帶領下，現在有二三十位PhD共同在做醫學影像分析和機器學習方面的研究。陳浩博士本人也是在今年年初創立了視見醫療科技，獲得了幾輪融資后也在招聘全職和實習生，歡迎發簡歷給他們，共同在人工智能醫療領域中做一些有意思的、能對世界產生影響的事情。
（完）
感謝嘉賓分享，雷鋒網 AI 科技評論整理。更多學術消息、人工智能相關新聞報道、更多專家學者公開課，請繼續關注雷鋒網 AI 科技評論。
雷峰網版權文章，未經授權禁止轉載。詳情見轉載須知。
