0
ManoMotion 演示 Demo
隨著 ARKit 和 ARCore 開發工具的發布,開發者們對 AR 內容開發的熱情高漲。之前,國外開發者們有的把 ARKit 和蘋果機器學習框架 Core ML 相結合,通過手機攝像頭可自動識別物體,并用 AR 效果呈現;還有的把 iPhone 放在紙盒眼睛中,也完成了 Inside-Out 的效果……但,這些還不是 ARKit 的終極玩法。
最近,有家公司把手勢識別加入了基于 ARKit 制作的 Demo 中,他們發明的新玩法又是什么樣呢?
據雷鋒網了解,這是一家名為 ManoMotion 的計算機視覺和機器學習公司。日前,他們剛剛宣布將公司基于智能手機的手勢操作 SDK 融入蘋果 AR 開發工具 ARKit 中,用戶只需借助手機上已有的處理器和攝像頭便可在 AR 應用中追蹤雙手。
該公司的 CEO Daniel Carlman 此前曾向 Venturebeat 表示,ManoMotion 的 3D 手勢識別技術可追蹤手部 27 個自由度,可自動識別你是攤開五指,還是指向特定的物體,還可追蹤深度和動態手勢,如擊打、點擊、輕拍、抓取、釋放等,所有這些對資源的耗費相當少。延遲少于 10 毫秒,并且只占用 iPhone 6s 30% 的處理能力。

現在,他們與 ARKit 結合后,用戶的手部可被識別,還能做出相應的點擊動作,如圖中用戶點擊小球,擊入桌子對面的杯子。
Carlman 談到,手機上的單目二維攝像頭可以檢測到手部的移動,并將捕捉到的動作融入到用 Unity 開發的 AR 內容中。當然,其他方法也能實現這點,如多目攝像頭、深度攝像頭,以及動作捕捉。但是這些方法和技術十分昂貴,他們想解決如何更簡單地實現“手的臨在感”。
“目前,AR 技術還面臨很多限制,例如無法自然與 3D 空間中的物體交互。”Carlman 稱,“ ARKit 中加入手勢識別也是市場上第一次出現,我們期待看到開發者們會如何重新定義 AR 交互。”
ManoMotion 成立于 2015 年,目前有 14 名員工,已經融資 200 萬美元。未來幾周,他們將發布可融入 ARKit 的 SDK,開發者可在公司官網下載,會最先支持 Unity iOS。
手勢識別是我們熟悉的交互方式,像 Leap Motion 也是大家熟知的手勢識別公司。手勢識別在 AR 中的應用,最讓人雷鋒網編輯難忘的便是 HoloLens 了,把手指當做鼠標,可隨意拖動視頻,控制菜單,確實很酷。但,把手勢識別用在手機的 AR 應用上還是第一次見,雷鋒網編輯還是蠻期待的。
雷峰網原創文章,未經授權禁止轉載。詳情見轉載須知。