0
前言
上次帶大家寫了原始版的 GAN，只生成了高斯分布。但兔子哥哥發現在 GAN 論文的底下，有 GAN 生成圖片的 example。
因此，這足以說明 GAN 亦有能力生成圖片，并非只有 DCGAN 才能生成圖片，這一點與我學 GAN 之前的認知大為不同。于是我就開始嘗試了使用原始的 GAN 來嘗試生成圖像，但接下來，我就開始懷疑人生了。
在開始的時候我采用了 MINST 的數據集，按照我上一篇文章兔子哥哥帶你從零寫一個 GAN中提及的訓練 GAN 的方式中連續訓練原始 GAN 多次，得到的仍然全是噪點，并沒有一點手寫數字的影子。
在嘗試多次后，未免讓我懷疑我是不是讀了假論文，自己是不是一只假兔子。
在查閱多番資料后，在知乎偶遇到，令人拍案叫絕的 Wasserstein GAN - 知乎專欄 (下文簡稱 WGAN) 一文，不讀不知道，讀了簡直驚為天人。讀完之后，我打消了原本打算去學習 DCGAN 的念頭，改成繼續學習 WGAN。因此，本文兔子哥哥將會帶讀者一起來領略一下 WGAN 的風采。
文章目錄如下：
為什么原始 GAN 訓練困難重重?
WGAN 是什么鬼?
WGAN 的個人一些使用經驗總結
為什么原始的 GAN 這樣問題重重？
在令人拍案叫絕的 Wasserstein GAN - 知乎專欄一文中提及（亦是論文中提及），原始 GAN 的優化目標經過一定的數學推斷后，可以等價于最小化真實分布 P(r) 與生成分布 P(g) 的 JS 散度。那么什么叫 JS 散度呢，為此我們先引出 KL 散度。
KL 散度又稱 KL 距離，亦叫相對熵。這里先給出 KL 散度的公式：
其中 p，g 為 x 的概率分布。在一定程度上，熵這個概念可以度量兩個隨機變量的距離，因此 KL 散度可衡量兩概率分布的差異，特別注意一點是該距離并非對稱距離，即:
得知 KL 散度后，那么 JS 散度就很好理解了，JS 散度的表達式是
顯然，JS 散度可以解釋成用 p 和 q 分布離 pq 的平均分布的相對熵來作為衡量 p，q 間的距離，這個時候，該距離就是對稱的了。其中經過數學式子的推斷，原始 GAN 的損失函數是可以改寫成以下式子：
在令人拍案叫絕的 Wasserstein GAN - 知乎專欄中分析了 p，q 各取 0 與非 0 時，對損失函數的影響，而得出的結論是，無論 p 和 q 的取值如何，其 JS 散度都是常數值 log2，既然是常數，優化就無從談起。
而從另一個更加通俗的角度來說，在優化中，KL 散度和 JS 散度是突變的，這就導致了，如果 D 訓練得太好了，那么 G 就會被按在地上摩擦，進而訓練 G 的時候梯度將會梯度不穩定，但如過 D 太差了，G 的梯度不正確，會使得 G 往錯誤的方向前進。這么說來，就好像老婆和老媽掉進河里，你救誰一樣，怎么回答的火候是難以把握的。
WGAN 是什么鬼
故名思意，WGAN 就是指用 Wasserstein distance 來替代掉 JS 散度和 KS 散度來作為優化目標的 GAN 模型咯。
那么，什么叫 Wasserstein 距離呢？
下文引用于令人拍案叫絕的 Wasserstein GAN - 知乎專欄
Wasserstein 距離又叫 Earth-Mover（EM）距離，定義如下：
解釋如下：
是Pγ和Pg組合起來的所有可能的聯合分布的集合，反過來說，
中每一個分布的邊緣分布都是Pγ和Pg。對于每一個可能的聯合分布γ而言，可以從中采樣
得到一個真實樣本x和一個生成樣本y，并算出這對樣本的距離
，所以可以計算該聯合分布γ下樣本對距離的期望值
。在所有可能的聯合分布中能夠對這個期望值取到的下界
，就定義為 Wasserstein 距離。
直觀上可以把
理解為在這個 “路徑規劃” 下把Pγ這堆 “沙土” 挪到Pg“位置” 所需的 “消耗”，而
就是 “最優路徑規劃” 下的 “最小消耗”，所以才叫 Earth-Mover（推土機）距離。
而對于怎么把 Wasserstein 距離化作我們訓練中的損失函數，論文作者使用 Lipschitz 連續即一些已知的數學定理來使得目標函數轉化為
存在函數f(w)其滿足 Lipschiz 連續，在
取上界，此時就是 Wasserstein 距離。顯然這個函數可以用深度學習技術來擬合，而 Lipschitz 連續的限制，則可以通過限制每一層神經網絡的權重的取值范圍來控制。
歸納起來，在 WGAN 中，D 的任務不再是盡力區分生成樣本與真實樣本，而是盡量擬合出樣本間的 Wasserstein 距離，從分類任務轉化成回歸任務。而 G 的任務則變成了盡力縮短樣本間的 Wasserstein 距離。
故 WGAN 對原始 GAN 做出了如下改變:
D 的最后一層取消 sigmoid
D 的 w 取值限制在 [-c,c] 區間內。
使用 RMSProp 或 SGD 并以較低的學習率進行優化 (論文作者在實驗中得出的 trick)
WGAN 的個人一些使用經驗總結
這些經驗是基于自身的實驗得出，僅供參考
WGAN 的論文指出使用 MLP，3 層 relu，最后一層使用 linear 也能達到可以接受的效果，但根據我實驗的經驗上，可能對于彩色圖片，因為其數值分布式連續，所以使用 linear 會比較好。但針對于 MINST 上，因為其實二值圖片，linear 的效果很差，可以使用 batch normalization + sigmoid 效果更好。
不要在 D 中使用 batch normalization，估計原因是因為 weight clip 對 batch normalization 的影響
使用逆卷積來生成圖片會比用全連接層效果好，全連接層會有較多的噪點，逆卷積層效果清晰。
關于衡量指標，Wasserstein distance 距離可以很好的衡量 WGAN 的訓練進程，但這僅限于同一次，即你的代碼從運行到結束這個過程內。
另外有一點，雖然在 WGAN 的論文里面把原始 GAN 說得那么不堪，但人家原始 GAN 在論文里面也是有成功生成圖片的例子，所以特別想問一句，如過有小伙伴用原始 GAN 生成過質量可觀的圖片的話，歡迎冒泡，交流一下。
這個是我用 WGAN 用擬合出的 MINST 的效果，不算太理想，繼續訓練應該有較好效果，但 GAN 系列的收斂速度都好像有點感人。。。
后話
參考文獻：
令人拍案叫絕的 Wasserstein GAN - 知乎專欄
我的 Github，我的 WGAN 的代碼可在這里找到
個人的學習總結，并非教程，僅供參考，如有錯誤，歡迎指出和交流。
雷峰網版權文章，未經授權禁止轉載。詳情見轉載須知。
