0
| 本文作者： 李勤 | 2019-02-28 15:58 |
不好意思了，一篇文章帶了三個(gè)熱點(diǎn)：朱茵、楊冪以及波多野結(jié)衣。
我就說吃瓜群眾平常要多關(guān)注科技新聞，一個(gè)在科技界已經(jīng)誕生了一年多的“老技術(shù)”Deepfake 居然因?yàn)椤懊餍菗Q臉”的視頻火出了圈。
起因是這樣的：一個(gè)熱心網(wǎng)友運(yùn)用 Deepfake 把《射雕英雄傳》里黃蓉的臉由朱茵變成了楊冪，然后這個(gè)小視頻就在網(wǎng)上火了，一些酸溜溜的評(píng)論就出來了：
呵，我們楊女士早就拿過國際影后了好嗎。
言歸正傳，視頻里換臉后人臉的輪廓、表情都一樣，動(dòng)起來的效果也很真實(shí)，幾乎看不出破綻。高階的換臉技術(shù)也引來了一些恐慌：“怎么實(shí)現(xiàn)的換臉？如果這一技術(shù)被用在其他地方，會(huì)怎么樣？我會(huì)不會(huì)被別人假冒了都不知道？”
不用恐慌，因?yàn)樵缇桶l(fā)生了。
AI 換臉術(shù)誕生后，造出了無數(shù)假視頻，并且還被用到了制作“不可描述”視頻，各種“不可描述”視頻被換上了好萊塢女星的臉，比如《神奇女俠》的女主角蓋爾·加朵( Cal Gadot )的臉就被嫁接到一個(gè)成人電影女星的身上。
所以，在視頻里化身波多野結(jié)衣也不是不可能？這種“想看誰演AV就看誰演AV”的技術(shù)好像還真有點(diǎn)危險(xiǎn)，不過雷鋒網(wǎng)作為一個(gè)優(yōu)秀的科技媒體，已經(jīng)報(bào)道了太多關(guān)于 Deepfake 的新聞，讓我們回顧一下：
博客平臺(tái)“medium”有位作者就描述了把尼古拉斯凱奇的臉，放在川普的頭上的過程，最后效果如下↓↓↓
雷鋒網(wǎng)發(fā)現(xiàn)，實(shí)現(xiàn)這個(gè)效果分三步：
1.收集凱奇的照片并選擇要修改的視頻區(qū)域。
由于只需換臉，所以第一步就是要識(shí)別圖片上的臉部，找到要替換的位置，確定方向和大小。如下圖，就像照片的像素一樣，現(xiàn)在的人臉被分解為很多個(gè)像素，你要找出替換的像素區(qū)域。
2.使用方向梯度直方圖（簡稱HOG）得到凱奇的臉部特征。
把梯度方向平均劃分為多個(gè)區(qū)間，在每個(gè)單元里面對(duì)所有像素的梯度方向，在各個(gè)方向區(qū)間進(jìn)行直方圖統(tǒng)計(jì)，得到一個(gè)多維的特征向量，每相鄰的單元構(gòu)成一個(gè)區(qū)間，把一個(gè)區(qū)間內(nèi)的特征向量聯(lián)起來得到多維的特征向量，用區(qū)間對(duì)樣本圖像進(jìn)行掃描，掃描步長為一個(gè)單元。最后將所有塊的特征串聯(lián)起來，就得到了人臉的特征。
3.使用特征數(shù)據(jù)，訓(xùn)練一個(gè)自動(dòng)編碼器。
自動(dòng)編碼器是一種神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)工具（深度學(xué)習(xí)背后的計(jì)算系統(tǒng)）。
通過在目標(biāo)圖片上訓(xùn)練模型，以保證即使輸入的是一個(gè)不同的面孔，模型也會(huì)把它轉(zhuǎn)換成原來的面孔。現(xiàn)在可以在目標(biāo)視頻中識(shí)別人臉（視頻只是一堆圖片），然后通過訓(xùn)練模型將川普轉(zhuǎn)換為凱奇。
最后，合并圖像，大功告成。
原文：除了一鍵生成明星色情片，“AI 換臉術(shù)”的應(yīng)用場景還有很多
Deepfake 的整個(gè)流程包括三步，一是提取數(shù)據(jù)，二是訓(xùn)練，三是轉(zhuǎn)換。其中第一和第三步都需要用到數(shù)據(jù)預(yù)處理，另外第三步還用到了圖片融合技術(shù)。所以我在技術(shù)上主要分三個(gè)方面來剖析：圖像預(yù)處理、網(wǎng)絡(luò)模型、圖像融合。
1. 圖像預(yù)處理
從大圖（或視頻）中識(shí)別，并摳出人臉圖像，原版用的是 dlib 中的人臉識(shí)別庫（這個(gè)識(shí)別模塊可替換），這個(gè)庫不僅能定位人臉，而且還可以給出人臉的 36 個(gè)關(guān)鍵點(diǎn)坐標(biāo)，根據(jù)這些坐標(biāo)能計(jì)算人臉的角度，最終摳出來的人臉是擺正后的人臉。
2. 網(wǎng)絡(luò)模型
Encoder: 64x64x3->8x8x512
x = input_
x = conv(128)(x)
x = conv(256)(x)
x = conv(512)(x)
x = conv(1024)(x)
x = Dense(ENCODER_DIM)(Flatten()(x))
x = Dense(4 * 4 * 1024)(x)
x = Reshape((4, 4, 1024))(x)
x = upscale(512)(x)
Decoder：8x8x512->64x64x3
x = input_
x = upscale(256)(x)
x = upscale(128)(x)
x = upscale(64)(x)
x = Conv2D(3, kernel_size=5, padding='same', activation='sigmoid')(x)
整個(gè)網(wǎng)絡(luò)并不復(fù)雜，無非就是卷積加全連接，編碼->解碼，但是仔細(xì)研究后發(fā)現(xiàn)作者其實(shí)是匠心獨(dú)運(yùn)的，為什么我不急著說，我們先看看 con 和 upscale 的內(nèi)部實(shí)現(xiàn)：
def conv(filters):
def block(x):
x = Conv2D(filters, kernel_size=5, strides=2, padding='same')(x)
x = LeakyReLU(0.1)(x)
return x
return blockdef upscale(filters):
def block(x):
x = Conv2D(filters * 4, kernel_size=3, padding='same')(x)
x = LeakyReLU(0.1)(x)
x = PixelShuffler()(x)
return x
return block
conv 是中規(guī)中矩的卷積加 relu 激活函數(shù)，upscale 中有個(gè)函數(shù)叫 PixelShuffler，這個(gè)函數(shù)很有意思，其功能是將 filter 的大小變?yōu)樵瓉淼?1/4，讓后讓高 h、寬 w 各變?yōu)樵瓉淼膬杀?，這也就是為什么前面的卷積層的 filter 要乘以 4 的原因。
經(jīng)過測試對(duì)比，比如拿掉 upscale 換成步長為 2 的反卷積，或者簡單 resize 為原來的兩倍，實(shí)驗(yàn)的效果都大打折扣，結(jié)果是網(wǎng)絡(luò)只能自編碼，而得不到需要的人臉。雖然作者沒有說這樣設(shè)計(jì)是引用那篇論文的思想，筆者也未讀到過直接討論這個(gè)問題的論文，但是有一篇論文可以佐證：Deep Image Prior，包括 Encoder 中的全連接層都是人為打亂圖像的空間依賴性，增加學(xué)習(xí)的難度，從而使網(wǎng)絡(luò)能夠更加充分地理解圖像。所以 Encoder 中的全連接層和 PixelShuffler 都是必不可少的。經(jīng)筆者測試，在不加 Gan 的情況下，去掉這兩個(gè)要素，網(wǎng)絡(luò)必定失敗。
3. 圖像融合
圖像融合放在技術(shù)難點(diǎn)分析中討論。
除了被用于色情內(nèi)容，這項(xiàng)技術(shù)其實(shí)也許還應(yīng)該有更寬泛的應(yīng)用場景。
比如在電影《速度與激情7》中，主演保羅·沃克在 2013 年 11 月因車禍?zhǔn)攀溃?dāng)時(shí)電影還沒有拍完，
當(dāng)時(shí)外界猜測可能會(huì)有三種彌補(bǔ)方案，一，原劇本拍攝，找替身，使用 CGI 特效，讓沃克把戲“演”完。 二，重新修改劇本，把保羅所飾演的角色寫死，或者讓他消失。三，重新找男一號(hào)，重頭拍攝。
在當(dāng)時(shí)，后兩種成本都很高，修改劇本，把保羅所飾演的角色寫死，缺少對(duì)死者和影迷的尊重。而如果重新拍攝，損失太慘重。
最終，制片公司找到了保羅的弟弟，讓他飾演保羅的角色，然后用 CGI 動(dòng)作捕捉技術(shù)，加上保羅之前拍過但沒使用的素材，把弟弟的臉變成保羅的臉，觀眾在看電影時(shí)基本看不出來。
如果這部電影放在今天，也許可以嘗試文章開頭所用的技術(shù)。
其實(shí)，關(guān)于類似人工智能技術(shù)在視頻制作領(lǐng)域的應(yīng)用，以制作圖形處理器而聞名的英偉達(dá)已經(jīng)在嘗試了，去年12月，它就發(fā)布了一款圖像算法，可以改變視頻中的天氣或時(shí)間。
汽車明明行駛在陽光明媚的道路上，而經(jīng)過 AI 的改變，視頻居然呈現(xiàn)出了夜晚的景象。不僅汽車的尾燈清晰明亮，就連原本沒有路燈的道路兩旁，都出現(xiàn)了真實(shí)的燈光效果。
時(shí)間再往前推，在2016年，還有一項(xiàng)更牛氣的技術(shù)，一位來自德國紐倫堡大學(xué)的教授 Justus Thies 帶領(lǐng)團(tuán)隊(duì)，做了一個(gè)能實(shí)時(shí)進(jìn)行面部轉(zhuǎn)換的模型，叫Face2Face。
使用者選擇一個(gè)目標(biāo)角色，比如川普，F(xiàn)ace2Face會(huì)將他和川普的面部特征重構(gòu)并追蹤，當(dāng)他做出一個(gè)面部表情時(shí)，比如大張嘴，模型會(huì)重新渲染川普的臉的形狀和光影，并對(duì)背景進(jìn)行修改。
他們還拿普京做目標(biāo)，效果看來也不錯(cuò)。
原文：除了一鍵生成明星色情片，“AI 換臉術(shù)”的應(yīng)用場景還有很多
誰被和諧都能接受，你偏偏跟我說這次是GitHub？不對(duì)不對(duì)，這也對(duì)不上號(hào)呀！為啥這么說？我們先來看看GitHub是個(gè)啥吧：
雷鋒網(wǎng)得知，GitHub是一個(gè)面向開源及私有軟件項(xiàng)目的托管平臺(tái)，因?yàn)橹恢С謌it作為唯一的版本庫格式進(jìn)行托管，故名GitHub。而DeepFake則是GitHub的一個(gè)開源項(xiàng)目代碼倉庫，按照正常狀態(tài)來說，即使在尚未登錄的情況下該庫也是對(duì)外開放的。然而，就是這樣一個(gè)不黃、不賭也無毒的東東在一篇來自Hacker News的帖子里被曝出——當(dāng)在隱身模式下以未登錄的方式訪問DeepFake的GitHub 倉庫時(shí)，頁面的顯示結(jié)果卻如下圖示： 
沒錯(cuò)，待審核。正如上面說的，DeepFake是一個(gè)開源的項(xiàng)目代碼倉庫，如今卻被提示處在審核狀態(tài)，那不就是被“和諧”了嗎？好端端的DeepFake為啥會(huì)遭到這般“待遇”呢？對(duì)此，該貼吧中開發(fā)者們展開了激烈的討論，這塊編輯會(huì)在文章的后面詳細(xì)講到。那么，能肯定的是這個(gè)DeepFake開源項(xiàng)目還真不一般，那它究竟是干啥的呢？實(shí)際上，這里面的程序代碼的確能夠讓人們實(shí)現(xiàn)“換臉”的操作。
原文：DeepFake疑遭審查，網(wǎng)友：此乃它“干爹”所為
這一技術(shù)的應(yīng)用會(huì)引發(fā)何種問題？
阿里安全圖靈實(shí)驗(yàn)室高級(jí)算法專家覺奧表示，除了換臉引發(fā)的道德和倫理問題，黑灰產(chǎn)利用 AI 換臉，是目前常見的一種攻擊手段，“在人臉識(shí)別系統(tǒng)中，識(shí)別換臉的技術(shù)叫活體檢測技術(shù)，這是一個(gè)攻防對(duì)抗技術(shù)，即用 AI 的手段來解決 AI 的攻擊?！?nbsp;
舉個(gè)例子，2017 年 11 月下旬，阿里安全圖靈實(shí)驗(yàn)室就發(fā)現(xiàn)，有犯罪團(tuán)伙通過 3D 軟件控制人臉照片進(jìn)行攻擊操作，共發(fā)起過幾百次攻擊，導(dǎo)致近百名受害人駕照分被盜刷。通過 3D 合成“假臉”認(rèn)證賬號(hào)注冊(cè)或登陸后，黑灰產(chǎn)人員可在受害人毫不知情的情況下，用于黑卡虛假注冊(cè)、刷單、薅羊毛、詐騙等不法行為。
基于安全 AI 的方法來很好地解決這一攻擊問題?！巴ㄟ^深度學(xué)習(xí)技術(shù)，訓(xùn)練模型，來通過兩者的紋理、膚色、反光等特性的不同而識(shí)別出來。”覺奧表示，可實(shí)現(xiàn)在毫秒級(jí)時(shí)間內(nèi)揪出假人臉，目前識(shí)別準(zhǔn)確率達(dá)到 99.9 %。
雷峰網(wǎng)版權(quán)文章，未經(jīng)授權(quán)禁止轉(zhuǎn)載。詳情見轉(zhuǎn)載須知。
