0
| 本文作者： 李雨晨 | 2021-02-05 15:00 |
直到今天，醫(yī)學影像AI的研究和落地，還有多少問題沒有解決？
任務的復雜多樣、數(shù)據(jù)的非標孤立、標注的稀疏有噪、模型的脆弱不穩(wěn)，這些成為醫(yī)學影像AI學者難以回避的問題。而在現(xiàn)實環(huán)境中，AI模型面臨的考驗更為復雜、不確定性更大。
2020年可以稱之為“醫(yī)療AI商業(yè)化的元年”，已經有多款醫(yī)療AI產品獲得官方審批。在人們驚嘆“中國AI速度”的時候、在醫(yī)學影像AI的大規(guī)模商業(yè)化之前，我們仍然要冷靜思考眼下的問題。
2021年1月9日，中關村醫(yī)學人工智能研討會舉行。
本次研討會由《中國圖象圖形學報》聯(lián)合中國生物醫(yī)學工程學會醫(yī)學人工智能分會共同主辦，中國科學院自動化所田捷教授、華西醫(yī)院副院長龔啟勇教授、中國科學院計算所周少華教授、中國科學院計算所趙地副研究員等分享了在醫(yī)學影像的最新研究與應用進展。
周少華教授是中科院計算所研究員、香港中文大學（深圳）兼職教授。
曾獲發(fā)明奧斯卡獎、西門子年度發(fā)明家、馬里蘭大學ECE杰出校友等，任MICCAI協(xié)會財長和理事，曾擔任MICCAI 2020程序聯(lián)席主席，AAAI、CVPR、ICCV、MICCAI和NeurIPS等會議的領域主席。
雷鋒網了解到，2020年底，周少華教授入選美國國家發(fā)明家科學院(National Academy of Inventors, NAI) Fellow。NAI是一個非政府、非營利性會員組織，成立于2000年。NAI Fellow是該院授予學術創(chuàng)新發(fā)明家的最高榮譽，旨在表彰對人類生活質量、經濟發(fā)展和社會福祉影響重大的學術創(chuàng)新發(fā)明家。
迄今有1403名Fellows（包括本年度新科Fellows），其中有38名諾貝爾獎獲得者、63名美國國家技術發(fā)明獎章（U.S. National Medal of Technology and Innovation）和美國國家科學獎章（U.S. National Medal of Science）獲得者、556名美國國家科學院（NAS）、美國國家工程院（NAE）和美國國家醫(yī)學院（NAM）院士、137名美國研究型大學校長或研究機構負責人等。
這些來自世界各地的院士共持有42700余項美國專利，創(chuàng)造了3600萬個就業(yè)崗位和超過22000億美元的收益。
演講中，周少華教授列舉了醫(yī)學影像AI現(xiàn)階段面臨的七大問題。并且，圍繞深度學習自動化、通用表征學習、學習與知識融合等技術，分享了自己最新的研究思路與應用進展。
征得周少華教授同意后，我們提供PPT供大家學習和下載。關注公眾號《醫(yī)健AI掘金志》，對話框回復“周少華”即可獲取。
周少華：非常感謝大會的邀請，我會從算法的層面來分享一下醫(yī)學影像AI分析的特點、技術與趨勢。進行醫(yī)學影像分析和處理，首先要知道醫(yī)學影像有哪些區(qū)別于自然圖像的特點。以下，我從影像、數(shù)據(jù)、疾病、標注、樣本、任務、安全這七個要素來介紹其特點。
首先，醫(yī)學影像多模高清。常見的影像多模態(tài)包含了X光、CT、核磁、PET-CT、超聲。而且，現(xiàn)在單個模態(tài)（如CT）的圖像精度非常高。精度很高之后，我們就可以利用現(xiàn)有的渲染技術，把影像渲染地像是照相機拍的。當然，這也給GPU訓練帶來了一定的挑戰(zhàn)。
第二個特點是數(shù)據(jù)非標孤立。醫(yī)學影像的數(shù)據(jù)采集沒有同一標準，不同醫(yī)院、影像科室的采集協(xié)議不太一樣。而且，影像數(shù)據(jù)在不同醫(yī)院之間是不互通的，屬于一個孤島的狀態(tài)。甚至，同一家醫(yī)院不同的科室之間的數(shù)據(jù)也是不互通的。
此外，醫(yī)學影像是疾病的表征。
Kahn’s Radiology Gamuts是一個疾病知識庫，定義了大概17000多個條目。每一個條目可以想象成報告里的一個相關概念，這需要一個很大的知識庫在底層作支撐。因此，要構建一個完全意義上的影像診斷系統(tǒng)，復雜度巨大。
而且，像肺結節(jié)等這樣比較常見的疾病占據(jù)了大量數(shù)據(jù)；相反，大量的疾病只有非常少的數(shù)據(jù)，整個呈現(xiàn)一個典型的長尾分布。另外，像新冠肺炎這樣的突發(fā)疾病，數(shù)據(jù)采集從一開始就很有難度。總之，疾病長尾突發(fā)。
從標注層面來看，數(shù)據(jù)的標注也是比較稀少的。我摘取了一些2019年MICCAI競賽組織方提供的標注數(shù)量，有的只有33例；也有貌似很大規(guī)模的數(shù)據(jù)集（32萬例），但確是把64×64的patch作為一個樣本。
當然，業(yè)界也做出了很多努力，推出一些大型的數(shù)據(jù)集。
另外，即使是有標注的數(shù)據(jù)，標注也通常會有噪聲。（i）上圖可以看出，不同醫(yī)生在標注器官時存在明顯差異。（ii）把這個影像報告作為金標準，從中提取標注信息，也是有問題的。
有統(tǒng)計數(shù)字表明，15%的報告內容并沒有完全準確地描述圖像信息。即使是同一幅圖像讓兩個不同的醫(yī)生來看，可能30%的內容是不一致的，這也充分證明標注會有很多噪聲。所以，標注稀疏有噪。
假設標注充分且沒有噪聲，實際中又面臨樣本各異不均的問題。
例如肺結節(jié)良惡性二分類的問題。左邊是正樣本，右邊是負樣本。可以看到，即使在同一類中，形態(tài)差異非常大。從樣本的比例來看，負樣本的數(shù)量遠大于正樣本，高好幾個數(shù)量級。另外，很多負樣本長得非常像正樣本。
這些也給我們利用機器學習來進行醫(yī)學影像分析帶來很多困難。
從任務層面來看，如果想構建一個非常大型的AI系統(tǒng)，我們可以看一下總共有多少任務。
這邊展示了幾個典型任務，包括從頭顱骨的X光片里找特征點、基于不同模態(tài)的腦配準、基于乳腺鉬靶來檢測腫瘤、腹部多器官分割、模擬冠脈血流情況。這是五個不同的任務。
回想一下，醫(yī)學影像有不同的模態(tài)、不同的疾病類型、不同的技術、如果把這些要素進行排列組合，你會發(fā)現(xiàn)任務復雜多樣。
另外一個就是醫(yī)學影像的安全性。相比于自然圖像，醫(yī)學圖像更加脆弱和不穩(wěn)定，即安全脆弱不穩(wěn)。
左邊是剛才展示的頭顱骨X光片，我們設計了一個特征點檢測的算法。這些綠色的特征點，就是算法檢測到的我們想要的位置。但是，如果在圖像里加上一點干擾，這些特征點的位置就可以被任意操縱。
在這個例子當中，我們可以把這些特征點操縱成一個字母“M”的形狀，而我們人眼察覺不到圖像的變化。
因此，這個算法就處于非常脆弱的狀態(tài)，在原圖加上一些不太容易關注的變化，就會對輸出結果產生巨大的影響。
我們也進行了一些定量化研究。假設對一個醫(yī)學影像進行強度小于一個灰度級別的攻擊，意圖改變輸出的結果。我們攻擊的目標是讓神經網絡特征的平均值盡可能降低或增加。
上圖中展示的一個是眼底圖像，另一個是自然圖像。可以看到，兩者的變化差異非常大。醫(yī)學影像在受到擾動后，很容易就把特征值縮小50%以上，而自然圖像的變化是相對微弱的。隨著網絡的層數(shù)加深，這個現(xiàn)象進一步加劇，變得越來越不穩(wěn)定了。這也從側面證明，醫(yī)學影像是一個相對不穩(wěn)定的狀態(tài)，很容易受到影響。
考慮到醫(yī)學影像的這些特點，我們是否可以針對性地設計算法？
目前，最火熱的算法是訓練深度神經網絡，所謂的深度學習。這個算法的假設條件是：我們有一個單任務，且有大量的標注數(shù)據(jù)，即“小任務、大數(shù)據(jù)”。在這個條件下，現(xiàn)在的深度神經網絡可以做到非常好的效果。
例如，很多公司在某一類單任務的影像產品上可以真正達到實用級別。但是，這種模式不容易擴展，構建不了全面的、滿足影像科醫(yī)生所有任務的系統(tǒng)。
而實際情況需要我們去解決“大任務、小數(shù)據(jù)”的問題，即有大量的復雜多樣的任務，每個任務擁有小量的標注數(shù)據(jù)。這給算法研究者提出了新的挑戰(zhàn)：我們能否設計一些新的算法，來達到更好的效果。
“大任務、小數(shù)據(jù)”是一個非常寬泛的概念，在不同的方向上涌現(xiàn)出了不同類別的趨勢性技術。今天我主要會介紹深度學習自動化、通用表征學習、學習與知識的融合這三類技術。
深度學習自動化的概念，比較容易理解。
這是一個非常簡單的框架。
假設有一個輸入的圖像X，輸出變量Y，中間學習一個神經網絡f，它的參數(shù)是W。我們會假設有一堆訓練數(shù)據(jù)，就是{(Xi，Yi)}, 然后構建一個優(yōu)化問題，定義一些損失函數(shù)或者正則項來學習W。
在這個框架之中，實際上有很多人工的部分（如圖中黃色標識所示）。
第一個就是，很多 Yi需要標注，標注的數(shù)據(jù)量越大越好。所以，我們的第一個研究就是，能否找到一些標注高效的算法（如自監(jiān)督、半監(jiān)督、弱監(jiān)督學習等方法），減低對標注量的需求
其次，學習過程本身就是一個優(yōu)化過程，就會有個目標函數(shù)。所以我們要提出這么一個損失函數(shù)、正則項，這些也是人為來定義的。現(xiàn)在，也有研究提出，讓目標函數(shù)通過學習的方法，更明確地符合所提出的問題。
另外，就是網絡結構的問題。現(xiàn)在很多做法是，直接拿一個現(xiàn)有的神經網絡進行訓練，沒有仔細地調整結構。所以，我們需要研究，針對具體，是否存在最適合于這個問題的結構。目前的方法包括網絡結構搜索和元學習。
還有一個大家容易忽略的點在于表達方面。因為X已經給定了它的表達，但是Y可以引入不同的表達。不同的表達也有講究，因為這會影響到訓練本身，主要在于計算梯度回傳時，它的大小是不一樣的；而梯度回傳的容易程度是訓練神經網絡時最重要的指標。所以，我們希望找到一個好的Y的表達，能夠更好地實現(xiàn)梯度回傳。
輸出表達
我們先看一個表達方面的例子：設計一個通用型的腫瘤檢測的方案。一般對此類檢測問題，我們會使用Bounding Box (BBox)，二維的BBox有四個參數(shù)，即中心點和長寬。你也可以訓練一個神經網絡來尋找方框，但這個方框的表達在梯度回傳時是非常低效的。因為它是由四個參數(shù)的差異，來控制了一個可能包含幾百萬個參數(shù)的神經網絡訓練，所以它不是很高效。
基于此，我們提出了Bounding Map（BMap）的概念，把一個原本是四個參數(shù)的方框變成了一個圖像式的表達。這樣做的好處在于，每一個像素點都可以回傳一個有指導性的梯度信息。所以，梯度信息就更豐富，神經網絡會學習得更好。
我們做了三種方框表達常用方法的比較。在運用了我們的新表達之后，性能有比較大的提升。
接下來介紹一下自監(jiān)督的概念。
在實際中，我們可能只有少量的標注數(shù)據(jù)，卻有大量的無標注數(shù)據(jù)。所以，一個直觀的想法是：我們是否可以利用這些沒有標注的數(shù)據(jù)，來幫助目標任務或者目標模型的訓練。這個就是自監(jiān)督的出發(fā)點。
我們要做的，就是去定義一個proxy task（代理任務），這個任務產生監(jiān)督信號。利用這個監(jiān)督信號，我們可以訓練一個神經網絡，得到一個預訓練的模型。由于我們有大量未標注過的數(shù)據(jù)，而通常神經網絡訓練中見到的數(shù)據(jù)量越大，其學到的表征就會越魯棒。
代理任務的設計就成為了一個研究的課題。我們可以去設計不同的代理任務。如果設計的好，就可以學到非常好的網絡表征。
接下來，我們利用目標任務的少量已標注數(shù)據(jù)，把預訓練模型通過遷移學習的方法得到最終的目標模型。
我們在這個方面也做了一些探索。
我們定義了一個“魔方復原”的任務，你可以想象成把一個三維的影像分為8塊（2×2×2）。訓練中，你可以像魔方一樣打亂它，但任何一個圖像的打亂過程都是已知的，我們可以通過訓練神經網絡去復原魔方。
在復原過程當中，神經網絡就學到了圖像本身的表征，然后再把它遷移到目標任務上。上面是我們的最后得到的效果。對比只利用標注數(shù)據(jù)從頭訓練的方式，我們的自監(jiān)督方法在腦卒中分類、腦腫瘤分割等任務上的提升是顯而易見的。當然，前提是我們有少量的有標注數(shù)據(jù)和大量的無標注數(shù)據(jù)。
顯然，代理任務和目標任務的效果是相關的。目前，很多同行學者們嘗試提出了不同的代理任務。我們探索了另一種可能，不提出新的代理任務，而是將目前已有的代理任務進行融合，看看結果是否會做的更好。
我們的直覺也很簡單：經過訓練之后，每個代理任務應該是找到特征空間的一部分，目標任務很可能占據(jù)了特征空間的另外一部分。如果代理任務完全覆蓋了目標任務想要的特征空間，這個效果就會比較好。
因此，如果每個代理任務得到的特征空間相似度越小、互補性越強，通過融合后，它們覆蓋的空間就越大，對目標任務的幫助也越大。
我們就據(jù)此設計了算法，去尋找這些互補的代理任務。上面圖中，我們發(fā)現(xiàn)，在六個不同的代理任務中，其中三個任務是非常互補的。如果我把這三個任務融合起來，在這個物體識別實驗上的性能可以提高到接近80%。回到剛才腦卒中的問題，在融合了兩個代理任務后，性能提高到了90%以上。
標注高效的另外一個例子是部分監(jiān)督。
以器官分割舉例，目前存在很多不同的數(shù)據(jù)集，分別提供不同器官的分割標注。例如這里有五個不同的數(shù)據(jù)集，分別針對肝臟、腎臟、脾臟、胰腺等。如果能夠整合這五個不同的的數(shù)據(jù)集，以此來擴大數(shù)據(jù)量，并融合所有數(shù)據(jù)集里的標注信息，是非常有意義的。
我們的做法很簡單：訓練一個分割網絡，對每一個像素點進行多分類，即分成六類：肝臟、胰腺、脾臟，左右腎，還有背景。因此，每個像素都會輸出一個六維的向量，代表是屬于哪一個類別的概率（從p0到p5）。
對于只有肝臟標注的數(shù)據(jù)，p1代表肝臟，而“背景”則是變成了原先背景與其他器官的融合，因為所有的非肝臟像素點都是背景，背景的概率變成了五個概率的相加，即邊緣概率。在這個條件下，我們就可以在損失函數(shù)里面使用邊緣概率。通過這個機制，就可以利用所有的標注數(shù)據(jù)進行六分類網絡訓練，有效地把這些數(shù)據(jù)融合在一起。
同時，在這個文章里我們也提出了一個exclusion loss，利用一個非常顯著的先驗知識：這些器官之間是一定不相交的。
例如，回到剛才只有肝臟標注的數(shù)據(jù)，我也可以計算p2（胰腺）來預測胰腺區(qū)域，而胰腺區(qū)域一定是不能跟p1代表的肝臟區(qū)域是有交叉的。
所以，基于此可以設計一個損失函數(shù)，讓這兩個區(qū)域的exclusion要越小越好。
利用這兩個損失函數(shù)訓練的結果如上。實驗中有30個數(shù)據(jù)是有全標注的，基于這些數(shù)據(jù)進行測試，得到的分割Dice系數(shù)是0.87。針對只有單器官標注的數(shù)據(jù)訓練二分類的分割網絡，
它的Dice沒有這么高，只有0.85。通過我們的融合方法，進行一個部分監(jiān)督的訓練，利用了總共所有688個數(shù)據(jù)，我們模型的Dice達到了0.93。
所以，我們通過一個非常簡單的想法，就可以有效地把這個數(shù)據(jù)融合在一起，提升了分割的性能。
最近，我們還進行了一個比較“極端”的探索：在沒有任何標注的條件下，也可以進行基于CT的新冠肺炎病灶分割。
我們的出發(fā)點是：不使用新冠肺炎病灶的分割標注，但是利用很多沒有任何疾病的CT圖像。
利用這些正常圖，添加一些“人造病灶”。如果這些病灶與新冠病灶類似，我們就可以對病灶分割進行學習。因此，我們設計了一個人造的病灶生成器，該生成器的所有參數(shù)是由人工調控的。然后把“人造病灶”注入干凈的圖像里，就得到了訓練樣本，進而訓練出一個分割網絡。
與我們的方法對比的是Anomaly Detection（基于正常的圖像來訓練，從而檢測是不是有異常）。
Anomaly Detection在分割上不是很擅長，性能較低，在三個不同新冠數(shù)據(jù)集的Dice系數(shù)只有0.3左右；而我們的USL方法達到了60%以上，接近70%。 Inf-Net是一個半監(jiān)督的方法，分割性能與我們相近。當然，以上方法得到的分割Dice系數(shù)在臨床上遠沒有達到應用的標準。但是，從研究角度來看，是一個非常有意思的探索。
通用表征學習，意在學習一個通用的表征來綜合異質任務、擬合多域數(shù)據(jù)、耦合不同表達，她更符合“大任務、小數(shù)據(jù)”的思路。
目前我們的一個探索也是基于分割網絡，意圖設計了一個分割網絡，可以適用于六個不同的分割任務：輸入是CT圖像，要求輸出是肝臟分割；輸入是MRI圖像，要求輸出是前列腺分割，諸如此類。
我們采用的架構本身是通用的U-Net，但是對不同的任務引入了紫色的Adapter；
就是說，每一個任務會利用到通用網絡本身的這些系數(shù)，也會利用到自帶的adapter部分系數(shù)，共同組成了神經網絡。這么做得的好處在于，利用一個網絡，完成六個網絡的事情。網絡的參數(shù)量明顯減少：我們用了原先網絡接近1%的參數(shù)量，達到了與六個網絡類似的分割性能。
另一個優(yōu)勢在于，網絡的通用部分很容易自適應到一個新任務上。如果我們遇到第七個任務，我們只需要把通用的部門固定住，針對第七個任務的差異化表征進行微調，就可以得到非常有競爭力的分割結果。
這是另一個通用表征的例子，應用在MR的影像生成。
從X到Y，我們可以設計一個神經網絡，用F來代表，Y=F(X)。通常情況下，我們也會設計一個逆網絡：X= F-1（Y），這樣就可以從Y回到X。這是一個比較重要的過程，因為引入一個回路，通過回路可以定義cycle consistency。
在此基礎上，我們提出了一個非常簡單的想法：不是訓練兩個不同的神經網絡，一個正網絡，一個逆網絡，而是只訓練一個神經網絡; 也就是說，兩個網絡是互為自逆的。
訓練過程也比較簡單：第一次拿X作為輸入，訓練網絡輸出Y。第二次拿Y作為輸入，反過來輸出X。我們在這個MR的影像生成任務上達到了很好的效果，把信噪比提升了3dB左右，這個效果相當驚人。
這也是一個通用表征的例子，因為我們用了一個表征完成了兩件事情。
最后，再介紹一下學習與知識融合。
我們知道，醫(yī)學影像有很多數(shù)據(jù)，可以通過機器學習（特別是深度學習）來建模。同時，醫(yī)學影像有很多知識，我們也可以直接通過對知識進行建模。因此，將學習與知識進行融合，其效果比僅僅基于大數(shù)據(jù)的機器學習要好。
在實踐中，我也經常觀察到其提升了性能。下面舉例說明。
這是一個胸片自動診斷的例子。
一般方法是訓練一個‘黑盒’神經網絡直接預測診斷結果。我們研究了一個方法，利用解剖結構分解的知識來提高性能，這也是我們跟臨床醫(yī)生交流之后了解到的。
看胸片進行診斷時，你會觀察到肋骨可能會遮擋了肺部，妨礙診斷。因此，我們設計了一個分解網絡把X光片一分為三：骨頭投影、肺部投影、其他投影，然后和原圖一起輸入神經網絡進行肺部疾病的自動診斷。這么做，可以從中間的肺部投影圖中獲取到很多更準確的診斷信息。實驗結果表明，在14類疾病中，有11類疾病診斷預測都做得更好，而這11類疾病大多是和肺部直接相關的。
第二個例子是無配對的偽影去除：給神經網絡一個有偽影的圖，通過學習的方法把偽影消除。
這是我們網絡的設計，里面就像是樂高一樣進行模塊搭建，搭建過程中就用到了很多知識。最終，網絡也可以成功地分離出偽影，利用知識后搭建的神經網絡，比一般黑盒的方法要提高不少性能。
另外一個例子，醫(yī)學影像的層內精度比較高，但是層間精度不太高，很多層間信息會模糊。
如果是一個常規(guī)CT、層間精度不夠高的脊柱圖像，進行渲染之后，哪怕是骨骼都看不太清楚。
我們最近嘗試進行了層間插值的工作，可以有效恢復層間的信息，更有利于診斷（效果如上圖）。算法本身用到了圖像精度方面的具體知識，因此我們也將其視為“學習與知識融合”的例子來展示。具體算法細節(jié)請參照發(fā)表的文章。
總結一下，我們分析了醫(yī)學影像的七大特點，以及圍繞這七大特點，我們提出的相應算法趨勢。
最近，我們也寫了一篇綜述文章，也被Proceedings of IEEE接收。
最后，介紹一下MONAI。
MONAI是完全開源的社區(qū)，可以為醫(yī)學影像分析的研究者提供深度神經網絡方面的資源，由專門的團隊來打造、測試這個軟件，因此軟件的可靠性非常高。
我也是MONAI項目的顧問，我們會提出很多的這些需求，也希望大家可以來使用MONAI。雷鋒網
雷峰網原創(chuàng)文章，未經授權禁止轉載。詳情見轉載須知。
