想要訓練專屬人臉識別模型？先掌握構建人臉數據集的三種絕招

本文作者：高云河

編輯：汪思穎

2018-06-28 10:28

導語：快來實戰操作，構建你自己的專屬人臉識別模型吧！

雷鋒網 AI 研習社按，隨著深度學習的發展，很多技術已經落地，成為我們每天都能接觸到的產品，人臉識別就是其中之一。人臉識別的應用范圍很廣，涉及上下班打卡、門禁、設備登錄、機場、公共區域的監控等多個領域。

我們可以自己訓練定制化的人臉識別模型，但在訓練模型識別圖片或視頻中的人臉之前，最重要的一個步驟是收集人臉數據集。如果使用已經設計好的公開數據集，比如 Labeled Faces in the Wild(LFW)，這時候最難的一部分工作已經完成了，大家可以直接使用各種模型創造自己的人臉識別應用。

但是對于大多數人來說，我們想要識別的并不是目前開源的人臉數據集中的人臉，而是我們自己、朋友、家人、同事等等的臉。為了實現這個目標，我們需要收集自己想要識別的人臉，并按照某種方式處理好它們。這個過程通常被稱為人臉登記，我們將用戶作為一個樣本『登記』或者『注冊』到我們的數據集中。下面會介紹三種方法進行人臉登記，大家可以根據自己的情況選擇最合適的方法。

如何創建定制的人臉識別數據集

首先我將介紹使用 OpenCV 和一顆攝像頭來檢測視頻流中的人臉，并將帶有人臉的圖像幀保存到硬盤上。接下來我會列舉幾種用程序自動從網上下載人臉圖片的方法。最后，我們將討論人工收集圖像，以及在什么情況下這種方法是合適的。

現在開始構建一個人臉識別數據集吧！

方法 1：通過 OpenCV 和攝像頭登記人臉

該方法適用于：

1. 構建一個某區域內的人臉識別系統

2. 對于目標人臉，能夠找到特定的人并收集他們的人臉圖像

這樣的系統適用于公司、學校或者其他組織，在這里人們會每天不定時的出現。

為了得到這些人的人臉樣本，我們會在一個房間內放置好電腦和攝像機，通過攝像機捕捉目標人臉在攝像畫面中的人臉信息，將并包含人臉的圖像幀保存到硬盤中。

收集不同條件下的目標人臉樣本可能會需要幾天或幾周的時間，這樣能使得人臉數據集足夠豐富，很好地表示不同狀態下的人臉，保證訓練出來模型有足夠的魯棒性，收集的人臉包括：

不同亮度下的人臉
每天不同時候，不同光線角度下的人臉
不同表情和情緒狀態下的人臉

接下來我們更進一步，寫一個簡單的 Python 腳本來構建人臉識別數據集，這個腳本會做如下工作：

連接并控制攝像頭
檢測人臉
將包含人臉的圖像幀寫入硬盤

打開一個叫 build_face_dataset.py 的 Python 腳本，首先導入一些必要的庫，包括 OpenCV 和 imutils

1 # import the necessary packages
2 from imutils.video import VideoStream
3 import argparse
4 import imutils
5 import time
6 import cv2
7 import os

可以參考這篇文章安裝 OpenCV：

imutils 可以通過 pip 安裝：pip install --upgrade imutils

如果使用的是 Python 虛擬環境，不要忘記使用 workon 命令

現在環境已經配置好了，接下來討論兩個必要的命令行參數：

9 # construct the argument parser and parse the arguments
10 ap = argparse.ArgumentParser()
11 ap.add_argument("-c", "--cascade", required=True,
12 help = "path to where the face cascade resides")
13 ap.add_argument("-o", "--output", required=True,
14 help="path to output directory")
15 args = vars(ap.parse_args())

命令行參數可以通過 argparse 庫在運行時解析，這個庫是包含在 Python 安裝中的。

我們有兩個命令行參數：

--cascade：硬盤中的 Haar cascade 文件路徑，用于 OpenCV 檢測人臉
--output：輸出的文件路徑。人臉圖像將會被保存到該路徑中，因此最好按照人名將人臉分類保存，比如將『John Smith』的人臉圖像保存到 dataset/john_smith 的路徑下

接下來加載人臉的 Haar cascade 文件并初始化視頻流：

17 # load OpenCV's Haar cascade for face detection from disk
18 detector = cv2.CascadeClassifier(args["cascade"])
19
20 # initialize the video stream, allow the camera sensor to warm up,
21 # and initialize the total number of example faces written to disk
22 # thus far
23 print("[INFO] starting video stream...")
24 vs = VideoStream(src=0).start()
25 # vs = VideoStream(usePiCamera=True).start()
26 time.sleep(2.0)
27 total = 0

在第 18 行，我們加載了 OpenCV 的 Haar 人臉檢測器 detector。這個 detector 將會在接下來每幀的循環中檢測人臉；在 24 行會初始化并開啟視頻流 VideoStreem；如果使用的是樹莓派的話，注釋掉第 24 行的代碼，使用第 25 行的代碼；第 26 行讓攝像頭先熱個身，暫停兩秒鐘；這一段代碼也初始化了 total 計數器來表示保存的人臉圖片的數量。

接下來，就開始對視頻流的每幀圖像進行處理：

29 # loop over the frames from the video stream
30 while True:
31 # grab the frame from the threaded video stream, clone it, (just
32 # in case we want to write it to disk), and then resize the frame
33 # so we can apply face detection faster
34 frame = vs.read()
35 orig = frame.copy()
36 frame = imutils.resize(frame, width=400)
37
38 # detect faces in the grayscale frame
39 rects = detector.detectMultiScale(
40 cv2.cvtColor(frame, cv2.COLOR_BGR2GRAY), scaleFactor=1.1,
41 minNeighbors=5, minSize=(30, 30))
42
43 # loop over the face detections and draw them on the frame
44 for (x, y, w, h) in rects:
45 cv2.rectangle(frame, (x, y), (x + w, y + h), (0, 255, 0), 2)

在第 30 行，開始循環（循環在『q』鍵被按下之后結束）；34-36 行，捕捉一幀畫面：frame，創建一個copy，改變大小。

接下來就是人臉檢測了！

使用 detectMultiScale 方法在每幀畫面中檢測人臉，這個函數需要如下參數：

image：一個灰度圖像

scaleFactor：指定在每個維度圖像尺寸減少的比例

minNeighbor：該參數指定候選的檢測框數量，以保證檢測是有效的

minSize：最小的人臉圖像尺寸

在某些特殊場景下，可能需要精調這些參數以減少 false positive 的數量或提高人臉的檢測率，但是對于一些普通的人臉檢測任務來說，這些參數就可以很好的工作了。

其實也還有一些其他更好的方法檢測人臉，比如在之前的文章中提到過，可以使用預訓練好的深度學習模型來檢測人臉。但是本文里提到的使用 OpenCV 的方法的優點是無需調參，而且速度非常快。

人臉檢測的結果被保存在一個 rects 的列表中（矩形檢測框）。為了將這些矩形畫在圖像上，在 44、45 行中遍歷所有矩形框，并將他們畫在圖片上。

最后一步就是將檢測框顯示在屏幕上，以及解決按鍵退出的問題：

48 # show the output frame
49 cv2.imshow("Frame", frame)
50 key = cv2.waitKey(1) & 0xFF
51
52 # if the `k` key was pressed, write the *original* frame to disk
53 # so we can later process it and use it for face recognition
54 if key == ord("k"):
55 p = os.path.sep.join([args["output"], "{}.png".format(
56 str(total).zfill(5))])
57 cv2.imwrite(p, orig)
58 total += 1
59
60 # if the `q` key was pressed, break from the loop
61 elif key == ord("q"):
62 break

第 48 行執行將該幀圖像顯示在屏幕上，第 49 行執行捕捉鍵盤指令

『k』、『q』鍵盤指令對應不同的命令：

k：保留該幀圖像并保存到硬盤中（53-56 行），同時增加 total 計數器。對每個想要保存的圖像幀，都需要按『k』來保存。為了能夠更好地訓練模型，最好要保存不同角度、人臉在畫面不同位置、帶/不帶眼鏡的圖像。
q：退出循環，退出腳本

最后，將保存的圖片數量打印到屏幕上，并清空緩存：

64 # print the total faces saved and do a bit of cleanup
65 print("[INFO] {} face images stored".format(total))
66 print("[INFO] cleaning up...")
67 cv2.destroyAllWindows()
68 vs.stop()

接下來，只需在終端里運行如下命令就可以了：

$ python build_face_dataset.py --cascade haarcascade_frontalface_default.xml \
--output dataset/adrian
[INFO] starting video stream...
[INFO] 6 face images stored
[INFO] cleaning up...

這里推薦將每個人的人臉數據保存在數據集下的一個子文件夾內，這樣能夠保證數據集條理清晰，易于管理。

方法 2：使用程序自動下載人臉圖片

?? 想要訓練專屬人臉識別模型？先掌握構建人臉數據集的三種絕招

在這種場景下，我們并不需要真的找到那個人拍攝圖片，只要他們經常出現在網上，我們能夠在網上找到足夠多的圖片即可，這樣就可以寫腳本，通過各個平臺的 API 下載這些圖片了。

具體使用哪些 API 主要取決于想要收集的人的人臉信息，比如一個人經常在 Twitter 或者 Instagram 上發自拍，那么我們就可以使用這些平臺的 API 來抓取圖片。

還可以使用 Google 和 Bing 等搜索引擎來抓取：

在這篇博文中，可以找到使用 Google Images 手動或者使用腳本來下載圖片的方法。

另一個更好的方法就是使用 Bing 的圖片搜索 API，這樣能夠全自動下載圖像，具體方法參見這篇博文。

使用 Bing 圖片搜索 API，我們能夠從侏羅紀公園和侏羅紀世界這兩部電影的海報中下載 218 張 Alan Grant 的臉部圖片。下面展示了通過 Bing 圖片搜索 API 下載演員 Owen Grady 的臉部圖片的代碼：

1 $ mkdir dataset/owen_grady
2 $ python search_bing_api.py --query "owen grady" --output dataset/owen_grady
使用這種方法下載幾個人的人臉圖像之后，我們看看整個數據集長什么樣
1 $ tree jp_dataset --filelimit 10
2 jp_dataset
3 ├── alan_grant [22 entries]
4 ├── claire_dearing [53 entries]
5 ├── ellie_sattler [31 entries]
6 ├── ian_malcolm [41 entries]
7 ├── john_hammond [36 entries]
8 └── owen_grady [35 entries]
9
10 6 directories, 0 files