0
生命科學的爆發可能像GPT一樣很快到來。
在如今的大模型浪潮中，來自全球學術、工業、投資界的一群人，正俯瞰著創新乏善可陳的 AI 谷地，他們眉頭緊皺，一籌莫展：可研究、能落地的方式，應用盡用，瓶頸觸手可及。
然而有那么一批開拓者，把科學和應用之手，伸向了飽受爭議、遙遙無期的人跡罕至之地：通用人工智能。在他們的勘探下，人工智能終于被掀開守護了60年的真實容顏，讓GPT和大模型，展露在眾目睽睽之下。
當生命科學的人聊起AI新浪潮，焦慮、渴望與機遇，成為這群人的共同寫照。
生命科學領域的很多問題還有待于解答和觀察，大模型能否刺破籠罩在科學上空的漫漫長夜，帶領一群人破譯生命密碼？
由GAIR研究院、世界科技出版社、科特勒咨詢集團、雷峰網(公眾號：雷峰網)聯合合辦的GAIR大會8月14-15日在新加坡成功舉辦。而針對當下科技圈的最新趨勢，15日上午「破解生命密碼的三種范式」分論壇，請到了三位生命科學領域的實干家，請他們來分享自己的真知灼見。
三位來會發言的嘉賓分別是：
密蘇里大學教授，AAAS / AIMBE Fellow，許東
微軟云與人工智能事業部首席科學家，陳梅
紐約市立大學教授，IEEE / IAPR Fellow，田英利
核心觀點：
許東認為，基于圖像和自然語言的大規模數據訓練的基礎模型，為廣泛的應用提供了前所未有的機會。
當與基于提示的學習相結合時，這些模型的潛力被進一步放大，即使使用少量標記數據也可以實現最先進(SOTA)的性能。
本次論壇許東重點介紹了兩個基礎模型在生物醫學領域的應用：ChatGPT和Segment Anything Model (SAM)。
他指出，隨著文獻量呈指數級增長，人工檢索方法無法有效提取嵌入式知識。作為回應，許東和團隊開發了一個途徑管理管道，協同圖像理解和文本挖掘技術來破譯生物知識。
該管道采用SAM、對比學習和暹羅網絡來識別路徑實體的關鍵屬性及其關系。整合ChatGPT對基因相互作用的預測能力已被證明有助于增強途徑信息的提取。
為了優化ChatGPT的響應，應用了一種新穎的迭代提示改進策略，其中使用F1分數、精度和召回率等指標評估這些提示的有效性，然后將評估結果饋送到ChatGPT中以提出更好的提示。更進一步的，許東使用思想樹迭代進一步改進了提示。
此外，基于提示學習的方法，許東也從冷凍電子顯微鏡(cryo-EM)圖像中進行基于SAM的蛋白質鑒定。研究結果強調了基于提示的學習，在有效的生物醫學數據分析和預測方面的潛在效用。
陳梅分享了一種在醫學影像分析中，可以減輕標記數據收集負擔的方法——無監督域自適應（UDA）。
據陳梅介紹，自動化醫學圖像分析的成功取決于大規模和專家注釋的訓練集，而醫學圖像高質量標記數據的獲取成本十分高昂，經過長期的研究，陳梅及其合作者發現無監督域自適應能夠解決這一問題。
設計了一種雙流蒸餾算法，利用從可靠來源獲得的外部指導來正則化注釋不足的域和類的學習動態。這一方法解決了分類自適應跨域自適應場景中的主要障礙——沿網絡優化導航不足的問題。
田英利分享了其團隊在AI驅動的虛擬對比度增強與AI驅動的自動癌癥診斷兩個方向上的研究。
田英利團隊提出的細節感知雙路徑對比度增強框架，能夠將圖像分為四個等級，提取更詳細的特征，獲得更精確的虛擬對比增強CT，以解決腎臟病人對造影劑過敏的問題。
此外，她還指出了當前肺癌檢測方法中存在的缺陷，如小結節難以檢出、特異性低、魯棒性低等，并提出了基于三維特征金字塔網絡(3DFPN)的AI驅動的自動肺結節檢測方法。
這些觀點并非都是共識，也只揭開了大浪潮的冰山一角，但仍體現了變革浪潮里生命科學人的思考與探索。
受限于篇幅，我們選取部分內容進行梳理，分享給更多對AI領域感興趣的人士。期待更多人參與到生命科學的大模型實踐中，共同匯入社會創新的時代洪流。
這一年NLP學術領域飛速發展。其中最火的兩個概念就是contrastive Learning(對比學習）和 prompt-based learning（提示學習）。
眾所周知，AI領域除了算力貴，有價值的標注數據也非常昂貴。而無論是對比學習還是模板學習，都開始解決少量標注樣本，甚至沒有標注樣本時，讓模型也能有不錯的效果。
而prompt-based learning算是目前學術界向少監督，無監督，高精度的方向發展最新的研究成果。
作為今天「破解生命科學范式」的首位嘉賓，密蘇里大學的許東教授的分享題目是《Prompt-based learning for analyses of biomedical images and text》（基于提示學習的生物醫學圖像和文本分析），引起了現場的重點關注。
許東將機器學習分成四個階段：
第一階段，特征工程，即手動特征提取，以SVM或簡單的神經網絡為代表。
第二階段，構架工程，即用原生特征，在深度學習網絡上做各種調整。
第三階段，目標工程，即采用預訓練大型模型并對其進行微調，以Bert為典型代表。
第四階段，提示工程，即在基礎大模型上做各種各樣的應用，比如zero/few shots 。
許東認為，提示學習使得機器學習有了一個根本性改變：從過去比拼的大數據、大模型、大算力，轉向用小數據、小模型、小算力解決實際問題。
也就是說，只需要將較小規模的模型接入到大模型上，即混合模型，那么訓練要求也隨之降低，可以用很小的算力做很多事情，尤其是是對沒有太多計算資源的學術實驗室和醫院非常友好。
對于基礎模型的定義，許東認為一個基礎模型至少要符合三點：可被提示、適用廣譜的下游應用、有超大的訓練數據并達到智能涌現（可理解為：具備一定推理能力）。只有滿足這三點，“基礎模型本身就可以當作黑盒，且聚焦應用本身”，最終推動“人工智能的工業時代”的到來。
他近一步解釋，過去很多人批評機器學習，說它是黑箱。但在提示工程時代黑箱可能是一件好事。因為你不需要關心里面的復雜度。就像你用手機一樣，關注點只是界面交互，而非手機的制造工藝。
在當前的基礎大模型競賽中是，許東從圖像和自然語言兩方面入手，在本次論壇上重點介紹了兩個基礎模型在生物醫學領域的應用：ChatGPT和Segment Anything Model (SAM)。
值得注意的是，許東教授此次嘗試，也代表了國際上最早進行大模型生物醫學實踐的團隊。
他通過大量實踐得出結論：如今大規模數據訓練的基礎模型，為廣泛的應用提供了前所未有的機會。尤其是當與基于提示的學習相結合時，這些模型的潛力被進一步放大，即使使用少量標記數據也可以實現最先進(SOTA)的性能。
首先，一般人研究ChatGPT ，主要將其作為一個對話工具或者知識查詢工具，許東開創性提出：ChatGPT對廣譜的文本進行加縮，本身就成了一個具有超強推理能力的“知識圖譜”。
從科學角度來說，很多人會質疑“如何規避ChatGPT中的‘幻覺‘問題”，但許東指出，“幻覺做計算的時候不算什么，可以視為一種false positive（假陽性），即預測過程中的正常情況。只是我們要用科學的方法來研究它、量化它、控制它?！?/p>
與此同時，許東也指出，ChatGPT（更明確說是GPT-3.5）并不能直接用于生物醫學研究，它更像個話嘮，不加控制將時更易產生滔滔不絕的回答。
因此首要工作是將其結果和“ground truth”（真實數據）做嚴格比較。作為計算生物學家，許東更想讓ChatGPT回答：“基因A和基因B到底有什么關系？”“人類應該怎么設計好的提示來做這個問題？”，使得結果更符合生物學的知識。
其次，還要嚴格按照機器學習的方法來做提示（prompt），設置Ground Truth、搭建訓練集、檢驗集和測試集等。
作為測試，許東和團隊將ChatGPT進行了角色定義--一個計算生物學家，并要求ChatGPT回答“基因A和基因B之間的關系”，并明確要求只限于4種回答：“激活”，“抑制”，“磷酸化”或“無信息”。
在實驗過程中，許東發現，“Few-Shot Prompting對訓練模型只有很小的作用，但它更大的作用是示范--告訴ChatGPT我們要解決的問題是什么？”
這是實驗中的關鍵一步，隨后你可以再告訴ChatGPT一些知識，即chain of thoughts(思維鏈)。
為了優化ChatGPT的響應，許東應用了一種新穎的迭代提示改進策略，其中使用F1分數、精度和召回率等指標評估這些提示的有效性，然后將評估結果饋送到ChatGPT中以提出更好的提示。
通過這種做法，可以是把所謂“硬提示”變成可以調整的“軟提示”來優化，但不同于常規的軟提示。
結果顯示，這種方法能夠明顯體現出ChatGPT的智能涌現。也就是說，“它達到了反思能力--開始思考自己是否達到最好。并且后續的改動非常少?！?/p>
舉個例子，它最初的身份是“一名計算生物學家”，但經過數次自我提示和迭代后，它變成了“一名專門研究基因相互作用的分子生物學家”。再比如，ChatGPT在activation incubation這一回答后加了一個括弧-- gene one activates gene two。
許東表示，這些東西好像沒有什么意義，但是它確實把格式定義得更清楚了，所以這些細小的這種調整使得它的這個整體表現大大提高。
此外，許東指出，ChatGPT不光能做兩個基因的關系，還可以做基因鏈的關系--一個基因鏈的作用，最終是從基因A到基因B，但中間經過了C、 D再到B。這一研究也可以讓ChatGPT通過思維鏈的方式把整體網絡搭建出來。這就便意味著，ChatGPT可以構建更大的知識圖譜。
此外，基于提示學習的方法，許東也從冷凍電子顯微鏡(cryo-EM)圖像中進行基于SAM的蛋白質鑒定。研究結果強調了基于提示的學習，在有效的生物醫學數據分析和預測方面的潛在效用。
最后，許東表示，ChatGPT的整體表現一騎絕塵，但是產品本身不太穩定，有人評估發現今年6月ChatGPT的推理能力要弱于3月，正如昨天GAIR大會黃學東院士提到，AI要在工業界的落地應用應考慮「集成式 AI」的實踐與可能，即三個臭皮匠頂個諸葛亮。
許東強調，“在學術上也要有三個臭皮匠的故事?！?/p>
針對他當前所做的提示工程，許東也表示，雖然提供工程量小，但要求很高，不能隨便拿幾個小數據來做，而且選的數據必須有代表性，不能是特別極端的數據；此外提示工程的泛化能力可能不如一些普通的機器學習。比如當兩個任務很接近時，提示工程可能無法進行。
最后許東再次感觸，“機器學習一個非常著名的定理--No Free Lunch定理。沒有一種通用的學習算法可以在各種任務中都有很好的表現，需要對具體問題進行具體的分析?！?/p>
陳梅指出，AI技術發展之快、規模之大前所未有，不論任何領域都應當努力適應AI技術的進步，以確保自己走在行業的最前沿。
多年來，陳梅花費了大量的精力研究顯微圖像，并在2016年與合作伙伴共同創辦了CVMI（Workshop on Computer Vision for Microscopy Image Analysis)會議，此次她的分享題目是《AI for microscopy image analysis 3.0》。
顯微圖像的研究一直隨AI技術的迭代而發展，比如此前人們對分割、對神經網絡的探索等等，在這一過程中，越來越多的人開始關注病理學。
今年以來，顯微技術有了很大的發展，圖像分辨率也不斷提高，讓研究者們得以對每個單細胞進行深入的了解。
大規模和專家注釋的訓練集對醫學圖像分析至關重要，然而，對醫學圖像來說，想要獲得高質量的標記數據，必須具備一定的專業知識，因此往往比其他領域數據集的創建更加昂貴。
為了減輕標記數據收集的負擔，陳梅及其合作者多年來專注無監督學習適應的研究。研究發現，無監督域自適應在這一領域大有可為。
當然，無監督域自適應的應用仍存在挑戰：
1、基于梯度的優化需要足夠的標記數據來指導大量的更新步驟
2、域偏移/小數據制度導致更新信號嘈雜或過擬合
據此，陳梅及其合作者提出利用梯度空間的低秩性，優化軌跡蒸餾以及為學習目標領域和新類提供外部導航。
陳梅及其合作者設計了一種雙流蒸餾算法，利用從可靠來源獲得的外部指導來正則化注釋不足的域和類的學習動態。
這一方法解決了分類自適應跨域自適應場景中的主要障礙——沿網絡優化導航不足的問題。
具體來看，雙流蒸餾算法可以分為跨域和跨類蒸餾，將學習動態從源域和錨類提取到目標域和新類：
對源域和錨類的聚合梯度進行SVD，以識別主特征空間
選擇最高有效向量的低秩矩陣近似
構造主子空間及其投影矩陣
將所有漸變投影到子空間上
最大限度地減少投影梯度統計數據之間的差異
陳梅及其合作者曾討論，是否放棄歷史自蒸餾的方法，即以前使用的方法。如果目標領域與源領域有諸多共同點，無監督適應就有比較好的普適性；否則普適性比較差。
歷史自蒸餾可以利用扁平最小值區域和模型普適性之間的相關性；其次，校準梯度下降步驟以平滑優化，從而提升普適性。
優化過程中，我們的具體步驟如下：
利用歷史，即過去的梯度，來識別指示局部極小值的主梯度分布的低維子空間
在構建的子空間上投影當前梯度以排除尖銳和噪聲信號
使用原始梯度和校正梯度之和進行的后續優化器步驟
陳梅及其合作者做了很多實驗來驗證，雙流蒸餾算法能夠適用于常見的許多數據集，如癌癥組織表型、部件消融研究等等。
對其他類型的數據，雙流蒸餾算法也能夠發揮作用，針對放射學中的肺炎篩查，糖尿病視網膜病變眼底影像分級，以及在藝術與真實世界領域的價值這三個任務，陳梅及其合作者也已經進行過評估，相比其他方法，整體水平均有提升。
從我們的研究成果來看，跨域跨類優化軌跡蒸餾，能夠校準未充分注釋的域和類的學習動態；歷史自蒸餾通過調節梯度分布，能夠獲得可推廣的解。
田英利專注利用計算機視覺和機器學習等技術幫助老年人、視障、聽障等特殊人群，在《AI-driven Automated Medical Image Analysis 》演講中，她介紹了如何應用AI驅動的技術幫助醫生分析醫學圖像。
田英利團隊的研究圍繞兩個主題進行：
人工智能驅動的虛擬對比度增強——突出血管和器官的內部結構。
人工智能驅動的自動癌癥診斷——病灶檢測、分割和亞型識別。
田英利團隊專注肺癌和腎癌兩種疾病的研究。
在測定腎功能時，醫生需要向患者體內注射造影劑，以增強造影效果。但是，部分腎病患者對造影劑過敏，因此醫生只能減少注射量，這可能會影響患者器官的成像效果，使醫生不得不重復注射，以得到更清晰的圖像，反而得不償失。
那么，AI技術能否幫助醫生在獲得醫學影像時，減少或避免使用造影劑？
田英利團隊嘗試從沒有使用造影劑的CT中，生成了虛擬對比增強CT，并與真實的使用造影劑的CT進行比較，得到了相似的效果。
該技術應用于腹部器官成像時，面臨的問題更為嚴峻，如造影前后器官的位置、方向會發生改變，腹部和骨盆處的CT掃描，只能從有限的數據中提取特征，同時還存在著模型過擬合等問題。
為此，田英利團隊提出了細節感知雙路徑對比度增強框架，嘗試將圖像分為四個等級，并提取更詳細的特征，填充到一起獲得虛擬對比增強CT。以下使用65名患者的醫學影像形成的數據集。
田英利指出，這是醫學影像處理的一大挑戰，相比大語言模型技術，這一方法的計算量需求也非常大，但考慮到患者的隱私，實際上并沒有太大的數據集可供使用。
當未來擁有足夠大的數據集后，就可以為每種不同的特定應用選擇通用的醫療模型。
根據田英利所展示的對比圖，第三行的虛擬對比增強CT效果最接近于真實的對比增強CT。
除上述研究外，田英利團隊在AI驅動的肺結節自動診斷檢測領域也有深入研究。
目前主要的肺癌檢測方法可分為2D檢測網絡與3D檢測網絡兩類，2D檢測網絡存在缺少時間特征、檢測精度低、假陽性率高等缺陷，3D監測網絡同樣存在假陽性率高的問題。
這些技術缺陷導致在肺結節檢測中，存在著許多遺留問題，如小結節難以檢出、特異性低、魯棒性低等。
田英利團隊研究的AI驅動的自動肺結節檢測方法，使用了三維特征金字塔網絡(3DFPN)，具備更高的靈敏度和特異性。
通過觀察連續切片，田英利團隊發現組織和結節在連續CT切片上的位置變化方向存在差異，并據此排除了許多假陽性案例。
魯棒結節檢測框架3DFPN-HS2，采用了自監督預訓練模型，能夠從圖像中提取豐富的特征，對系統差異更具穩健性。
該方法在888個CT中找到了1186個3-30mm的肺結節，其中四分之三得到了放射科醫生的認可。
此外，田英利還分享了AI驅動的肺結節自動診斷檢測3D點云研究與AI驅動的腎臟和腎臟腫塊自動診斷分割與分類。
她在演講中指出，現有3D點云檢測方法主要集中在小區域，團隊的首要工作是處理肺部整體點云區域，并提出了3D電云結點檢測框架。
在腎臟和腎臟腫塊自動診斷分割與分類工作上，田英利團隊提出了腎臟及腎臟腫塊診斷框架，基于形態學表現判斷腎腫塊亞型。
8月15日中午，GAIR大會的生命科學分論壇順利告一段落。
當日活動延續了GAIR首日AI前沿創新的盛況，會上高朋滿座，一時竟需要工作人員特殊加席，更有晚到的觀眾只能站立與會。生命科學的受關注程度也能由此可見一斑。
這個世界從不缺時代的注腳，GAIR存在的意義，就是讓AI歷史上的各種機緣與巧合，交織在一起，碰撞出新的思想與故事。
生命科學的未來一定會來，而這個未來將一定會屬于實干者們！
雷峰網原創文章，未經授權禁止轉載。詳情見轉載須知。
