1
| 本文作者： 李尊 | 2016-06-24 19:04 |
對自然圖片的分布進行建模一直以來都是無監督學習中的里程碑式的難題。這要求圖片模型易表達、易處理、可拓展。我們提出一個深度神經網絡，它根據順序沿著兩個空間維度來預測圖片中的像素。我們的模型離散了原始像素值的可能性，同時編碼保證了整個圖片的完整性。
建模特性包含二維循環層，以及對深度遞歸網絡連接的有效利用。我們實現了比之前所有的模型都要好的在自然圖片上對數可能性的分數。我們的主要結果也對Imagenet進行分類提供了支撐依據。從模型分析出的樣本相當清楚、多樣且有普遍適用性。
引言
在無監督學習中，通用型圖形建模一直以來都是中心問題。概率密度模型可以被用來處理一系列圖像壓縮到和圖像重構等復雜的問題，如圖像修復（圖1）以及使圖像去糊，以及生成新的圖片。
圖1 從PixelRNN采集的樣本
通用模型其中一個巨大優勢就是有近乎無數的圖像數據可以學習。然而，因為圖像是高維且高度構造的，預估自然圖片的分布是相當大的一個難題。在生成通用模型的過程中最重要的挑戰之一是將它建的復雜、直觀同時又易處理、可拓展。這種權衡產生了大量的通用模型，且它們每一個都有自身的優勢。構建已處理模型的一個有效方式是將圖像中的聯合像素作為一個有條件的分布產品。這種構建方式被稱為自回歸模型，如NADE。
循環神經網絡(RNN)是相當厲害的模型因為它提供契約式、分享性的參數化系列條件分布。在本文中我們改進了二維循環神經網絡RNNs，并將它運用到大規模的自然圖片建模中。我們也同樣考慮了另外一種簡化了的構筑方法，它和PixelRNN的核心內容是一樣的。PixelRNN和PixelCNN抓住了整個像素相關的概括特征，不用引入獨立性的假設，如潛在的變化模型。
本文的貢獻如下：
在第3節中，我們設計了兩種PixelRNNs來對應兩種LSTM的層級：
我們認為純粹的回旋PixelCNN是我們最快的構筑方法，同時我們設計了PixelRNN的通用版。在第5節中，我們展示了在我們的模型以及調用LSTM層中的連接中使用離散softmax分布的相關好處。
接下來我們在MNIST和CIFAR-10上進行了測試，結果表明他們獲得了比之前所有的模型都要好的對數可能性的分數。我們也提供了對大范圍ImageNet數據組重新調整大小至32 32和64 64像素的結果。從我們了解的來看最有可能的生產模型在數據組中還沒有被報道過。
最后，我們對于PixelRNNs生成的樣本數據進行了定性評估。
模型
我們的目標是預測可以用來運算的圖像以及可以生成的新圖像的自然圖片分布情況。神經網絡掃描圖像都是每次一行以及每行一個像素。通過掃描值，它對每個像素的像素值的條件分布進行預測。圖像像素的關聯分布被分成一個有條件的分布。在預測中的限定條件也在圖像所有的像素位置進行共享。
在這一節中我們將先來關注分布形式，而在下一節中我們將主要講述PixelRNN內部的構筑創新點。
一個像素一個像素地生成圖片
我們的目的是將一個概率p(x)添加到一張由n×n構成的圖像x中。公式如下
p(xi|x1,...,xi?1)值是依據前序像素x1,...,xi?1第i個像素 x i的概念，運算過程是一行一行，一個像素一個像素進行的。如圖2左所示：
每個像素x i反過來又由三個值決定，每個都由三種顏色紅、綠、藍三色構成。我們將它們的分布排布如下：
p(xi,R|x<i)p(xi,G|x<i,xi,R)p(xi,B|x<i,xi,R,xi,G) (2)
像素作為分散變量
在之前的嘗試中我們使用連續分布來計算圖像中的像素值。這次我們反過來將p(x)設計為離散分布，將公式2中的每個條件分布用softmax層來設計。根據實驗我們發現離散分布比連續分布更易學習且表現更好。
像素遞歸神經網絡
在這節中我們將介紹PixelRNN的構筑部分。
在本節中，我們描述了構成PixelRNN的結構組件。在第3.1和3.2，我們描述了兩種使用卷積一次各州計算沿著空間維度之一LSTM層。在3.3節中，我們描述了如何將剩余的連接，以提高PixelRNN與許多LSTM層的培訓。在3.4節，我們描述了一個計算顏色的離散聯合分布，并確保適當的調理方案屏蔽技術的SOFTMAX層。在3.5節我們描述了PixelCNN架構。最后，在第3.6節，我們描述了多尺度結構。
Row LSTM
Row LSTM是將圖像一行一行從上到下一次性完整分析它的特性，整個分析過程是一維回旋的。運算過程如下：
一個Row LSTM網絡層有一個輸入狀態的成分以及周期性的狀態轉換成分，它們一起組成了長短期記憶人工神經網絡核心的四個大門。為了提高Row LSTM網絡行的輸入狀態成分先要將整個二維輸入地圖運算完全。
BiLSTM對角線
Diagonal BiLSTM被設計為既能并行計算又能抓取任何尺寸圖像的可用文本信息。圖4就解釋了其大致過程。
圖4
剩余連接
我們將PixelRNNs訓練到12層深度，從LSTM層拓展到另一個深度。圖5為剩余模塊的大致圖解：
圖5
隱藏回旋
在網絡中每層每一個輸入位置的h特性都分散到了三個部分，每個都對應著一個RGB頻道。我們也使用兩種隱藏方式mask A和mask B， 如下圖所示。
PixelCNN
The Row和Diagonal LSTM在它們自身領域都有一個無限制的范圍，由于每次都需要按序列計算，這將造成相當大的運算損失。PixelCNN使用多維卷積層來阻止空間錯誤，但它只用在訓練估算測試圖片時。
Multi-Scale PixelRNN
Multi-Scale PixelRNN由無限制PixelRNN以及PixelRNNs組成。
模型說明
這一節中我們將給出像素遞歸神經網絡（PixelRNNs）在實驗中運用的說明。
我們有四種網絡：
1. 基于Row LSTM的PixelRNN
2. 基于Diagonal BiLSTM的網絡
3. 完全卷曲網絡
4. 多標度的網絡
表一詳細說明了每層在單標度網絡的特性。
表1 構筑特性
實驗
這一節中我們來談實驗以及結果部分。首先我們來探討我們的運算方法以及結果對比。在5.2節中我們將會詳細談到訓練的細節。然后我們將給出在構筑成分上的相關有效性的成果，以及我們在MNIST、CIFAR-10 和ImageNet數據組方面的最佳成績。
估算
我們所有的模型都是按從離散分布中得到的對數可能性損失運算訓練和預估的。
訓練細節
我們所有的模型都是使用Torch工具盒在GPU上進行訓練的。從不同的限定條件來看，RMSProp是集合表現最佳的，把它用來進行所有的測試。結合所有的像素遞歸神經網絡來看，我們了解到了最初的循環神經狀態。
離散softmax分布
Softmax除了是一個直接的、容易的工具外，我們發現將它使用在離散像素值上也能得到更好的結果。在圖6中我們展示了一些模型中softmax的活動狀態。另一個離散分布的優勢是我們不用擔心間隔處外的大量分布小塊，而這在連續分布中則經常出現。
圖6 模型中softmax的活動狀態
5.4剩余連接
神經網絡另一個核心部分是剩余連接。使用剩余連接和使用跳躍連接一樣有效，兩個一起使用還能協同加速、充分發揮優勢。
表2 剩余和跳躍連接在ROW LSTM網絡上的效果
當同時使用剩余和跳躍連接時，我們可以在表3中看到其在ROW LSTM上的提升效果。
表3
MINST
雖然我們的目標是對自然圖片進行大范圍建模，但我們也嘗試了用二維MINST對我們的模型進行了測試。在表4中我們將Diagonal BiLSTM模型與之前已發布的結果進行了對比，據我們所知這是最好的MNIST測試成績。
表4
CIFAR-10
接下來我們在CIFAR-10上測試了我們的模型，表5列舉了我們模型的測試結果以及與已發布的進行對比。對于這些神經網絡而言，Diagonal BiLSTM表現最好，Row LSTM和PixelRNN緊隨其后。這也符合它們各自的優勢領域：Diagonal BiLSTM有全局感官，Row LSTM有特定閉合感官，PixelRNN能感覺到文本最微小的細節。下圖展示的是Diagonal BiLSTM在CIFAR-10的表現：
表5 不同模型在CIFAR-10上的測試表現
IMAGENET
雖然據我們所知在ILSVRC ImageNet上還沒有已發布的能與我們模型對比的結果，我們還是進行了測試，結果如表6所示。
表6 ImageNet 32×32和 64× 64逆對數可能表現
圖7 我們的模型在ImageNet上訓練的32 × 32結果樣本
圖8 同樣的模型在沒有多比例條件下的64× 64 模型結果樣本
圖9 模型訓練完整圖片
結論
在這篇文章中，我們在深度遞歸網絡下建立了對自然圖片的通用建模并顯著提升了它的效率。我們提出了一種新穎的二維LSTM層：ROW LSTM和 Diagonal BiLSTM，它能更容易擴展到其他數據上。這些模型被訓練來模擬原始的RGB像素值。在使用一種softmax層在有條件的分布下，我們將像素值作為離散隨機變量來處理。我們使用隱藏回旋來讓PixelRNNs來在色彩頻道之間完整地獨立建模。在這些模型中我們改進了一些構筑特性使得PixelRNNs能夠達到12層LSTM。
我們的實驗證明PixelRNNs能夠顯著提升MNIST和CIFAR-10數據組的表現。同時也對Imagenet數據組進行圖像建模提供了新的支撐依據。通過部分樣本以及完整樣本的結果，我們認為PixelRNNs對局部以及大范圍關聯圖像建模效果良好，而且能夠使圖像更加清晰完善。像我們一樣給予這些模型改進能夠讓他們更強大，而且鑒于還有無數的數據可以進行訓練，我們認為這個結果還能進一步提升。
via ICML
雷峰網原創文章，未經授權禁止轉載。詳情見轉載須知。
