雷鋒網 AI科技評論按，本文作者究竟灰，本文首發于知乎，雷鋒網 AI科技評論獲其授權轉載。
雷鋒網注：本文為下篇，內容為第三章：稠密重建和第四章：稠密重建。第一章和第二章參見CCCV2017講習班筆記-基于圖像的大規模場景三維重建（上）
3.稠密匹配
稠密匹配是MVS.基本思路是
兩視圖的一致性。
一致性度量主要包括三個：
SSD(Sum of Squared Differences):平常差的和
SAD(Sum of Absolute Differences):絕對值差的和
NCC(Normalized Cross Correlation):歸一化的交叉關系
多視圖圖像一致性需要考慮相機的可視性問題。
但是：相機可視性需要場景結構、場景結構需要相機可視性
MVS算法主要分為三種：
基于體素的方法：Voxel based MVS
基于點云擴散的方法：Feature point growing based MVS
基于深度圖融合的方法：Depth-map merging based MVS
基于體素的方法
體素的表達，并且說明其MVS等價于一個3D空間Voxel的標記問題。
優化方法：用馬爾科夫隨機場優化。
離散空間的Labeling是典型的MRF優化問題。其中的兩項分別是一致性項和氣球膨脹。
一致性項表達兩點一致。氣球膨脹表達的是強制傾向于把點分成內點。因為如果不加氣球膨脹，一致性項會把點都分成外點，所以要加一個反向的力量。
兩視圖一致性計算：
其中如何魯棒投票尋找局部極值集中的點很重要。
MRF優化問題求解：Graph-cuts
重建結果：
體素問題是占內存，即使很小的體素也要很大內存。于是提出以下方法，主要思路是自適應多分辨率網格，在物體表面高分辨率、其他區域低分辨率。
基于體素方法MVS的并行分布Graph-cuts
基于體素方法的優缺點：
基于特征點擴散的MVS
方法顧名思義。
講了3D點的Patch形式表達。patch在圖像上有投影。
步驟：
生成初始點云：檢測Harris與DoG，其中Harris偏向檢測外側的角點，而DoG偏向于檢測內部紋理豐富的點
點云擴散：3D點投影到圖像，并向投影點周圍區域擴散
點云過濾：去除深度值不一致且一致性較低的點，意思是如果擴散的點云在其他圖特征點的點云前面了，通過比較各自的一致性來剔除；如果擴散點云跑到后邊去了，也比較一致性。這樣就能去除深度值不一致且一致性較低的點了。
結果：
優缺點：
基于深度圖融合的MVS
人的左右眼的立體視覺和深度圖。
轉到CV
基于深度圖融合的MVS方法步驟：
為每一幅圖選擇領域圖像構成立體圖像組：關鍵如何選擇鄰域圖像組
計算每一幅圖像的深度圖：關鍵如何計算深度圖
深度圖融合
抽取物體表面
每一幅圖中的深度圖計算：
聚合：對比了SAD聚合和Adaptive weight
對比：
這里講了Oriented plane方法，估計空間平面方向
空間平面方向估計PathMatch，相機坐標系下空間面片表達為d深度的一個自由度，n法向量的兩個自由度。
接著講了兩視圖PathMatch Stereo，先隨機申城像素深度和法向量，然后傳播。
主要用了隨機的思想，檢測領域點的深度和法向量，檢測加了擾動之后的點，檢測立體圖像對對應點是否更好，檢測前后幀同一位置是否更好。反復幾次。
這種方法是基于大數定律的。
多視圖PathMatch MVS:
多視圖PathMatch中領域圖像組的選擇：視線夾角、物距、覆蓋度、分散度等。主要通過稀疏點云計算。領域圖像組選擇是一個NP-hard問題。
逐像素點領域選擇：
通過EM算法來做逐像素點選擇領域圖像組（最大化后驗概率）
基于深度圖融合的MVS優缺點：
稠密重建總結
4.資源
主要是算法、數據集和應用
雷峰網版權文章，未經授權禁止轉載。詳情見轉載須知。
