0
| 本文作者： 黃善清 | 2019-09-01 10:32 |
雷鋒網(wǎng)開發(fā)者按：本篇文章為 AI 研習(xí)社社員 @Pita 的特別約稿。我們歡迎更多優(yōu)秀的 AI 青年一起加入到我們的大家庭，共享 AI 領(lǐng)域的真知灼見（網(wǎng)址：https://ai.yanxishe.com）
最近看到了一個(gè)比較好玩的項(xiàng)目，號稱可以將非常小的圖片表情恢復(fù)原狀。通過一個(gè)機(jī)器學(xué)習(xí)模型對面部的標(biāo)志進(jìn)行漸進(jìn)式的超分辨，訓(xùn)練后的網(wǎng)絡(luò)可以輸入小至16×16像素的圖像進(jìn)行面部圖像的重建，并重新縮放到128×128像素大小作為輸出圖像，以下是他們給出的例子：
相關(guān)論文介紹
該機(jī)器學(xué)習(xí)模型來自論文：Progressive Face Super-Resolution via Attention to Facial Landmark（https://arxiv.org/abs/1908.08239），論文提出了一種新的人臉識(shí)別方法，用這個(gè)方法可生成逼真的8倍超分辨率的人臉圖像的同時(shí)，完全保留其面部細(xì)節(jié)。該神經(jīng)網(wǎng)絡(luò)的訓(xùn)練方法是漸進(jìn)式的，通過將網(wǎng)絡(luò)分割成連續(xù)的步驟，使訓(xùn)練穩(wěn)定下來，每一步輸出的分辨率都在不斷提高。論文還提出了一種新的面部注意力丟失方法，并將其應(yīng)用于每一步的訓(xùn)練中，通過增加像素差和熱圖值來更詳細(xì)地恢復(fù)面部屬性。最后，論文還提出一個(gè)壓縮版本的人臉對齊網(wǎng)絡(luò)（FAN）的標(biāo)志熱圖提取。利用所提出的FAN，可以提取出適合于人臉SR的熱圖，并減少了整體訓(xùn)練時(shí)間。實(shí)驗(yàn)結(jié)果證明，該方法在定性和定量測量方面都優(yōu)于目前最先進(jìn)的方法，尤其是在面部感知質(zhì)量方面。
然而，論文中有一個(gè)沒被提及的細(xì)節(jié)，就是最后輸出的圖片帶有疤痕的比例非常高?，活脫脫都變成了哈利波特呢。
左：真人，中：原輸入表情，右：輸出結(jié)果
仔細(xì)一看右圖還真的怪嚇人的，幸好農(nóng)歷七月已經(jīng)過去了
另外，該模型的最佳訓(xùn)練場景是輸入的圖像大小應(yīng)該為16×16像素，并且需要使用與訓(xùn)練和測試模型完全相同的代碼。
如果原圖像不是16×16像素的呢？
如上圖所示，在Twitter上有一組大小正好為16×16像素的表情符號（大家也可以自行到Twitter表情的Github項(xiàng)目查看：https://github.com/twitter/twemoji），作者利用這些表情進(jìn)行了測試，結(jié)果可以看下圖：
以上8組表情的的左側(cè)都是原圖，右側(cè)則是輸出結(jié)果，這訓(xùn)練出來的結(jié)果也太老齡化了吧，面部全部都滿臉皺紋，連披薩都烤的毫無食欲（還是叫個(gè)必勝客的披薩吃吧，推特牌就算了）。
現(xiàn)在有了新的進(jìn)展！因?yàn)檫@個(gè)模型是專門用于尋找面部標(biāo)志的，所以任何一個(gè)標(biāo)志都可以在一個(gè)像素上畫出眼睛和鼻孔。作者表示非常肯定意大利辣香腸披薩就是模仿人類的嘴唇?制成的…
下面的樣本是經(jīng)過精心挑選的，然而許多輸出的結(jié)果都不是很理想。作者也花了很大力氣鼓勵(lì)模型對面部特征做出積極的猜測。例如，雖然推特的圖像已經(jīng)是16×16像素，但如果首先通過傳統(tǒng)的大小調(diào)整將其從16×16像素的輸入調(diào)整到128×128像素，然后再降低到16×16像素，通常會(huì)得到更好的結(jié)果。這顯然增加了很多模糊，但似乎為模型提供了更多創(chuàng)造性的空間來解釋某個(gè)事物。作者還將預(yù)測的圖像作為輸入發(fā)送回模型進(jìn)行迭代（迭代次數(shù)多達(dá)10次），其中有許多輸入圖像都是來自后來迭代生成的結(jié)果。然而，在10次迭代中只有3次可以看到人的眼睛。
作者還非常喜歡這個(gè)綠色的很像龍（或者像蛇）的表情。除了一只眼睛以外，它從來沒有真正擁有過人類的特征，但生成圖片的人造風(fēng)格令作者非常喜歡。
當(dāng)你放大或縮小一個(gè)StyleGAN面部模型時(shí)，作者聯(lián)想到這篇Gan可操控性論文（https://arxiv.org/pdf/1907.07171.pdf）。
以下是用Face Super-Resolution模型縮放的圖像結(jié)果：
該動(dòng)圖無法上傳，敬請移步到原文查看：https://iforcedabot.com/photo-realistic-emojis-and-emotes-with-progressive-face-super-resolution/。
Twitch表情的輸出效果如何？
令人驚訝的是，只需要一點(diǎn)點(diǎn)調(diào)整，爬行動(dòng)物圖片的輸出結(jié)果，面部看起來更像人類了！說好的建國以后動(dòng)物不能成精呢？！！
Twitch表情并不完全適用于16×16，其中一些具有高分辨率版本，而另一些則沒有。作者嘗試了所有種類，因此對于以下的某些圖片，輸入的時(shí)候已經(jīng)是高分辨率，但在進(jìn)入模型之前被調(diào)整為16×16像素大小。圖片輸出結(jié)果也在下方，因?yàn)榕c真正的高分辨率表情經(jīng)常有一種有趣的對比。
最后來看看游戲精靈們的生成結(jié)果
由于篇幅有限，作者沒有拿更多的精靈進(jìn)行測試，不過可以期待作者之后的更新~
進(jìn)一步探索
我認(rèn)為可以做更多的事情來鼓勵(lì)模型在應(yīng)用人類特征方面具有創(chuàng)造性 —— 目前我只是嘗試對管道進(jìn)行一些調(diào)整并迭代，幾乎沒有做其他的事情。使用其他模型的可能性是無窮無盡的。作者立即聯(lián)想到StyleGAN編碼：https://twitter.com/jonathanfly/status/1138236372572135424
在 https://selfie2anime.com/上也有一個(gè)快速測試，可以告訴你在動(dòng)漫里長什么樣子，輸出的結(jié)果會(huì)發(fā)送到郵箱中。
更新1：更多Minecraft
我被要求嘗試用更多的Minecraft紋理去進(jìn)行測試，當(dāng)然是以16×16像素的圖片作為樣本。結(jié)果很顯然，絕大多數(shù)的樣本并沒有真正發(fā)揮作用......?
完整數(shù)據(jù)集地址：https://drive.google.com/open?id=1kzmgMAshMeO8dOs6gnr0IzHWHsn_MBux
面部特征通常非常微妙，實(shí)際上會(huì)比明顯的面部特征更令人毛骨悚然。想象一下在玩游戲的時(shí)候，隱隱約約感覺看到了一張臉，但是又不能對這張圖像做出什么操作......
更新2：不能停止嘗試的事情
為了尋找更多可以用來進(jìn)行測試的像素圖像，作者在這顆恒星的圖像上嘗試了 Face Super-Resolution 訓(xùn)練。只花了大約40次迭代，（輸出的圖像）就揭示它實(shí)際上是一個(gè)可愛的小外星人的形象。很確定天文學(xué)是如何運(yùn)作的？https://t.co/dUQjERGllq
更新3：視頻的 Face Super-Resolution
繼續(xù)用Face Super-Resolution神經(jīng)網(wǎng)絡(luò)對一個(gè)16x16像素的視頻進(jìn)行超分辨，結(jié)果大家也都看到了，F(xiàn)ace Super-Resolution 基本上把它變成了DeepFake里的魔鬼。?
YouTube視頻：https://youtu.be/H8qH_mdceNM
最后，對 Face Super-Resolution 感興趣的同學(xué)，可以到Colab進(jìn)行嘗試。如果大家知道為什么會(huì)出現(xiàn)如此恐怖的現(xiàn)象，也可以在留言區(qū)進(jìn)行留言~
快速在線體驗(yàn)地址：
彩蛋時(shí)間到
以下是小編自己在Colab上測試的結(jié)果，圖片都是在網(wǎng)絡(luò)找的，只需要在代碼中修改網(wǎng)絡(luò)圖片的地址即可運(yùn)行。具體效果如何，請大家自行感受吧
（不能讓我一個(gè)人辣眼睛）
via https://iforcedabot.com/photo-realistic-emojis-and-emotes-with-progressive-face-super-resolution/
雷峰網(wǎng)原創(chuàng)文章，未經(jīng)授權(quán)禁止轉(zhuǎn)載。詳情見轉(zhuǎn)載須知。
