2
| 本文作者： 田苗 | 2017-12-11 18:11 |
iPhone X 上市后，相信不少用戶已經在朋友圈曬過一輪“獨家定制”的 Animoji 了。雷鋒網曾發文《蘋果 Animoji 表情背后：面部識別技術如何一步步進化的？》，文中講到，面部動作識別和追蹤原本常用于電影拍攝中，如大家最熟悉的《阿凡達》，隨后通過機器學習，用大量表情訓練算法，來創建 3D 模型，直到今天，蘋果將其融入到手機中。
那么，如果把 iPhone X 的前置攝像頭看作是一個面部捕捉系統，它捕捉的面部表情數據能被用在游戲的虛擬角色中嗎？雷鋒網了解到，一個月前， Kite & Lightning 游戲工作室的創始人 Cory Strassburger 進行了一項大膽的嘗試：將 iPhone X 捕捉到的面部表情，植入 Maya 軟件中，從而為虛擬動畫形象快速配上表情。
說起 Kite & Lightning，想必一些 VR 愛好者并不陌生。這家游戲工作室去年發布了一款沉浸時迷你歌劇《Senza Peso》，其中也使用到了眼部追蹤技術。同時，他們還開發了一款名為《 Beblon Battle Royle》的 VR 游戲。
對于此次大膽的嘗試，Cory 想看看，能否通過 iPhone X 的面部捕捉系統，可快速、便捷地為游戲中的人物加入個性化色彩。
經過一番試驗后，“我目前的結論是，iPhone X 生成的面部數據精細程度令人震驚，而且數據穩定，屬于正常運行。它能精準地步捕捉到非常細微的動作，甚至是很小幅度的抽動，數據完全可以使用。”
Cory 認為，這代表一種相對較便宜的面部捕捉方式。同時，手機移動端的形式更容易設置，以及對面部捕捉實現應用。看起來，蘋果此前所收購的 Faceshift 公司，為此貢獻了很大的功勞。盡管，Cory 也注意到，Faceshift 原本的解決方案擁有其他很酷的功能，但 iPhone X 收集的面部表情數據已經足夠使用。
此外，他還公布了自己在 Maya 中是如何操作的：
在 Unity 中導入《 Beblon Battle Royle》的一個游戲角色，并將 ARKit 輸出的面部捕捉數據混入該角色中。
為了將表情數據導入 Maya，增加記錄功能，將面部表情數據錄入一個文檔，本地保存在 iPhone 上。每次開始和停止都會在手機中生成獨立的文檔，并且重新命名。
從 iPhone X 中復制這些文檔，通過 USB 傳輸到桌面。
為了將面部數據導入 Maya，需要重新格式化，于是我重開發了一款桌面應用，格式化數據，將數據轉化為 Maya.anim 文檔。
把這些文檔導入 Maya 和 游戲角色中，你在手機上呈現的表情，便出現在游戲角色上了。
不過，過程中在數據方面還是出現了一些小問題，他認為可能是代碼的問題。同時，由于面部表情捕捉時的刷新率為每秒 60 幀，而導入到 Maya 中，刷新率為每秒 30 幀，這導致效果有些打折扣。
他認為，“iPhone X 的 TrueDepth 系統最厲害的地方在于，其表情捕捉簡單，而且快捷，然后可以了里面將數據導入游戲引擎中。手機捕捉的數據完全可以使用。”
雷鋒網了解到，這次嘗試成功后，下一步，Cory 想把 iPhone X 放在頭盔上，然后使用 Xsens 動作捕捉系統同時實現身體和面部的動作捕捉。
他說，“對下一步的嘗試，我非常有信心。通過加入動作捕捉數據，游戲人物將會有很大的提升，我還會加入帶有皺紋的皮膚，與對應的表情相混合，這會使動畫人物更鮮活。”
雷峰網原創文章，未經授權禁止轉載。詳情見轉載須知。
