用一張單色圖像生成高質量3D幾何結構

雷鋒網AI科技評論按：用圖像來重建3D數字幾何結構是計算機視覺領域一個非常核心的問題。這種技術在許多領域都有廣泛的應用，例如電影制作、視頻游戲的內容生成、虛擬現實和增強現實、3D打印等等。伯克利人工智能研究中心的Christian H?ne等人近日發表一篇論文《Hierarchical Surface Prediction for 3D Object Reconstruction》，論文中他們討論如何從單張色彩圖像重建出高質量的3D幾何結構，就像下面這幅圖所顯示的。雷鋒網編譯如下。

 

對于我們人類來說，即使只看到一張圖像，我們也能毫不費力地對物體和場景的形狀進行理解。請注意，我們眼睛的雙目效果允許我們感知深度，我們不需要了解物體3D幾何結構。所以即使我們只是看到一個實體的照片，我們也能對它的形狀有很好的感知。不僅如此，我們還能理解物體看不見的部分（例如背面），這對抓取物體這樣的動作來說是非常重要的。于是問題就來了，我們人類是如何從單張圖像推出物體的幾何結構的呢？在人工智能這個方面，我們怎么才能教會機器掌握這個能力呢？

一、形狀空間

由任意的輸入圖像來重建其3D幾何結構，基本的原理就是：物體形狀不是任意的，因此有些形狀是可能的，而有些是不可能的。一般來說，物體的表面往往是光滑的，尤其是人造物體，常常就是由幾個分段的平面構成。對于預測物體，我們可以使用同樣的規則。例如，飛機通常具有機身，兩側附接兩個主翼，后側會安裝有垂直穩定翼。人類能通過眼睛觀察世界，并用手來與世界進行互動，然后獲得這樣的知識。在計算機視覺中，“形狀不是任意的”這個事實允許我們通過收集大量的示例形狀，來將一個對象類或者多個對象類的所有可能形狀描述成低維形狀空間。

使用CNN來預測體素（Voxel Prediction）

最近Choy，Girdhar等人發表了他們關于3D重建的論文，在他們的工作中他們的“輸出”是一個3D體積空間，這個3D體積被細分成體積元素（稱為體素，voxel），每個體素會有一個分配（被占據或自由空間），而物體形狀的預測則表示為由體素組成的3D占據體積。在他們的模型中“輸入”通常為一個描述物體的單色圖像，然后他們用卷積網絡神經（CNN）的上卷積解碼器架構來預測這個占據體積。該網絡由端對端進行訓練，并且由已知的ground truth占據體積（通過合成CAD模型數據集獲得）來進行監督學習。通過這種3D表示（體素）以及CNN，這種模型就可以學習，且能夠適應各種對象類。

二、層進表面預測

上述方法（使用CNN預測占據體積）有一個很大的缺點，由于其輸出空間是三維的，于是相對增加的分辨率就會以立方的形式增長。這個問題使得這種方法難以預測高質量的幾何形狀，且限于比較粗糙的分辨率體素網格，例如上面32^3的結果。在Christian H?ne等人的工作中，他們認為這是一個不必要的限制，因為表面實際上只是二維的。于是他們通過層進的方式利用表面的二維性質來預測精細分辨率體素，此時只需要對表面進行高分辨率的預測即可。其基本思想和八叉樹表示的思想關系很近，八叉樹表示通常是用于多視圖立體聲和深度圖融合等領域來表示高分辨率的幾何結構。

方法

在這個3D預測模型（稱為層進表面預測（Hierarchical Surface Prediction, HSP））中，首先我們輸入一張單色圖像，用卷積編碼器將其編碼為低維表示。然后，將該低維表示解碼成3D占用體積。其主要思想是通過預測低分辨率體素開始解碼。關鍵之處在于，不同于標準的方法將體素分為占據／自由空間，HSP會將體素分為三類：自由空間、占據空間和邊界。使用這種方法，“輸出”的分辨率可以很低，只要保證在那些有跡象表明它包含“邊界”的部分有較高的分辨率即可。通過迭代，我們可以層進地預測出高分辨率的體素網格。模型更多的細節可以參看論文，這里就不再詳解。

實驗

模型的實驗主要利用了合成的ShapeNet數據集進行訓練。作者將結果與兩個基線模型——硬低分辨率模型（low resolution hard，LR hard）和軟低分辨率模型（low resolution soft，LR soft））——進行了對比。這兩個基線模型都是以32^3粗分辨率進行預測，只是訓練數據的生成方式不同。LR hard對體素使用雙分法進行分配，即如果在相應的高分辨率體素中至少一個被占用，則所有體素將被標記為被占用。LR soft則使用分數法進行分配，每一個體素將反映出在相關的高分辨率體素中占有的百分比。HSP方法則以256^3的分辨率進行預測。下面的結果顯示，HSP方法與基線方法相比，在表面質量和高分辨率預測的完整性方面表現更好。

雷鋒網注——

本文參考了：High Quality 3D Object Reconstruction from a Single Color Image

相關論文連接：

1、Hierarchical Surface Prediction for 3D Object Reconstruction（Christian H?ne等）

2、3D-R2N2: A Unified Approach for Single and Multi-view 3D Object  Reconstruction（Choy等）

3、Learning a Predictable and Generative Vector Representation for Objects（Girdhar等）

4、ShapeNet: An Information-Rich 3D Model Repository（關于ShapeNet數據集的論文）

雷峰網原創文章，未經授權禁止轉載。詳情見轉載須知。