0
| 本文作者： 我在思考中 | 2021-09-01 10:42 |
作者 | 陳炳輝
編輯 | 王曄
本文是對發表于計算機視覺頂級會議ICCV2021的論文“Variational Attention: Propagating Domain-Specific Knowledge for Multi-Domain Learning in Crowd Counting”的解讀
作者：Binghui Chen*, Zhaoyi Yan*, Ke Li, Pengyu Li, Biao Wang, Wangmeng Zuo, Lei Zhang
論文鏈接：https://arxiv.org/abs/2108.08023
在人群密度估計任務中，標注工作十分困難且費時，導致當前的公開學術集規模都較小且數據的分布差異較大（圖1：密度差異，場景差異，視角差異等等）。因此，為了學習到泛化能力較強、通用性較高的人群密度估計模型，同時聯合多種數據域知識來監督模型的訓練成為了一種可能的方案。然而，直接利用聯合數據訓練模型會導致模型的選擇性學習行為，即模型只對聯合數據中的“主導”數據部分進行了有效的學習，而忽略了其余部分數據帶來的域知識，從而導致模型表現出在不同域上性能變化的不一致性（表1：部分域性能提升，部分域性能降低）。
鑒于此，本文提出了域專屬知識傳播網絡（DKPNet）來引導無偏知識的學習。其中，作者提出了變分關注技術（Variational Attention，VA），該技術可以顯式地對不同數據域構建相應的關注分布，從而有效的提取和學習域專屬的信息。此外，作者進一步提出了本征變分關注技術（Intrinsic Variational Attention， InVA）來解決覆蓋域和子域的問題。作者對DKPNet在常用的人群密度估計數據集ShanghaiTechA/B, UCF-QNRF以及NWPU上進行有效的評估。
圖1：不同數據域的分布差異
表1：直接聯合訓練帶來的性能變化的不一致性
為了解決不同數據域分布差異帶來的難題，我們需要克服深度模型的選擇性學習行為，即只學習數據域中占“主導”地位的信息和知識。此外，考慮到CNN中通道信息通常是表達模式概念以及抽象表征的，而空間信息通常描述的是位置信息，因此為了建模域專屬的信息，作者選取在通道信息上進行域專屬知識的建模。如圖所示：
圖2：變分關注模型VA
首先假設我們能通過通道信息來進行域的劃分，即需要引入channel-attention機制來區分和引導不同域的學習，然而普通的channel-attention并不能顯式地區分域專屬的知識，因此需要人為地施加約束來提供引導。鑒于此，本文參考VAE的思想，首先引入潛變量z來建模不同數據域，根據變分思想，為了控制輸出的關注分布
，作者最大化條件概率的對數似然；
其中第一項用于提高預測的準確性，在人群密度估計中，將其寫作：
第二項描述的是變分分布
和先驗分布
的KL散度。此外由于不同域的分布不同，本文采用混合高斯分布作為先驗：
由此，KL散度變為：
為了學習到自適應的域參數，將均值和協方差參數設置為可學習的。并對其施加如下約束來防止平凡解：
最終VA如圖2所示，綜合loss如下：
然而，上述的推理是基于一個假設，即不同數據集當作一個單獨的數據域，這個假設在實際中并不能被很好地支持，例如NWPU數據中存在較多的子域，且不同數據集之間還可能存在重合的分布。鑒于此，作者基于VA又提出了InVA來解決覆蓋域和子域的問題。
InVA區別于VA的地方主要是兩個地方，第一個是首先會采用聚類的方式對attention分布進行粗略的劃分，從而緩解覆蓋域的問題；第二個是會采用子高斯混合先驗對潛變量進行約束，從而緩解子域的問題。
最終使用VA和InVA對CNN的通道信息進行調整，得到了DKPNet，如圖3所示：
圖3：DKPNet
作者在4個常用的人群密度估計的數據集（ShanghaiTech A/B， QNRF， NWPU）上進行了多重驗證，實驗結果如表2所示。可以看到作者分別進行了3-Joint（SHA/SHB/QNRF聯合使用）和4-Joint（SHA/SHB/QNRF/NWPU）實驗，表示采用不同的個數的數據集進行的聯合訓練。當進行簡單的聯合訓練之后，可以看到模型的性能并不能一致地在所有數據集上都得到提升，驗證了模型的選擇性學習的行為。當采用DKPNet之后，由于域專屬的信息能夠被顯式地建模和學習，因此帶來了顯著的性能提升，并且在不同數據集上表現出了一致性。同時作者也給出了大量的消融實驗（圖4：attention分布對比；表3：的影響；表4：覆蓋域和子域數量的影響等），證明了VA和InVA的有效性。
表2：實驗結果
圖4：attention分布示意圖
表3：約束的作用
表4：覆蓋域和子域數量的影響
本文針對人群密度中多域聯合訓練的問題，提出了基于變分關注VA的域專屬信息學習網絡DKPNet，有效地緩解了多域聯合訓練中的有偏學習現象，通過引入潛變量對不同域進行建模，從而能夠為模型的學習提供很好域引導。此外，為了更好地解決覆蓋域和子域的問題，本文提出了InVA進一步提升域引導的質量。最終，作者通過大量的實驗驗證了該方法的有效性。
贈書福利
AI科技評論本次聯合中信出版社為大家帶來5本人工智能先驅、圖靈獎得主Yann LeCun教授的自傳《科學之路》正版新書。
在AI科技評論8月29日頭條文章（注意不是本文，僅限AI科技評論微信公眾號端）留言區留言，歡迎大家暢所欲言，談一談你對本書的看法和期待。在綜合留言質量（留言是敷衍還是走心）和留言點贊最高（注：點贊最高的前5不意味著一定會中獎）的讀者中選出5位讀者獲得贈書。獲得贈書的讀者請聯系 AI 科技評論客服（aitechreview）。
留言內容會有篩選，例如“選我上去”、“這書寫的很棒（僅僅幾個字）”等內容將不會被篩選，亦不會中獎。
留言送書活動時間為2021年8月29日 - 2021年9月02日（23:00），活動推送時間內僅允許贈書福利中獎一次。
雷鋒網雷鋒網雷鋒網
雷峰網特約稿件，未經授權禁止轉載。詳情見轉載須知。
