1
| 本文作者： 劉芳平 | 2016-09-14 13:43 |
七鑫易維創(chuàng)始人兼CEO黃通兵
對VR來說，交互是一個(gè)重要的創(chuàng)新點(diǎn)，GPU性能則是重要的瓶頸，對于前者目前仍有很多創(chuàng)業(yè)公司在發(fā)布新的交互系統(tǒng)，后者則是GPU巨頭英偉達(dá)需要努力的的地方。
9月13日在英偉達(dá)舉辦的GPU技術(shù)大會(huì)（GTC China 2016）上，擁有眼球追蹤技術(shù)的國內(nèi)創(chuàng)業(yè)公司七鑫易維發(fā)布了首款針對HTC Vive的眼控外設(shè)，把這項(xiàng)技術(shù)應(yīng)用到了VR上面。
這款號稱全球首款VR眼配件的產(chǎn)品，為VR帶來兩大功能：眼控交互和注視點(diǎn)渲染，前者為VR帶來了新的交互式，后者則通過新的渲染方式提高GPU的渲染效率。
最早的Cardboard在交互上非常簡單，用戶轉(zhuǎn)動(dòng)頭部使畫面移動(dòng)，同時(shí)移動(dòng)光標(biāo)來選定某個(gè)物體，這是利用了手機(jī)內(nèi)置的陀螺儀實(shí)現(xiàn)。眼球追蹤的加入讓這種交互有了升級，除了轉(zhuǎn)動(dòng)頭部，用戶在頭部不動(dòng)的時(shí)候，也可以通過注視視野中的不同物體來進(jìn)行選擇。
七鑫易維眼控VR配件
為了追蹤用戶的眼球運(yùn)動(dòng)，七鑫易維推出了這款內(nèi)置到HTC Vive里的配件，它是一個(gè)疊加到頭盔透鏡上面的產(chǎn)品。一對設(shè)備上各自有一個(gè)傳感器（攝像頭），設(shè)計(jì)在下方；環(huán)繞著透鏡的則是一圈紅外補(bǔ)光燈，因?yàn)閂R頭盔是全封閉的；另外它還有一個(gè)USB Type-C接口用作供電和數(shù)據(jù)傳輸。攝像頭之所以被設(shè)計(jì)在下方，據(jù)七鑫易維CEO黃通兵透露，是因?yàn)橐紤]用菲涅爾透鏡的頭盔，它的同心圓紋理會(huì)有干擾，所以就做在下面。
在追蹤方面，這款產(chǎn)品支持全視場角的追蹤，能覆蓋整個(gè)VR顯示屏幕；擁有220HZ渲染頻率，延時(shí)低；同時(shí)支持近視鏡片疊加，使用戶不用佩戴眼鏡也能玩，同時(shí)避免近視眼鏡對眼球追蹤的影響。
為了提高眼球追蹤的可用性，該公司在算法方面引入了深度學(xué)習(xí)技術(shù)，據(jù)黃通兵介紹，
在深度學(xué)習(xí)出來之前，SVM等機(jī)器學(xué)習(xí)的傳統(tǒng)方法效果做不到很好，因?yàn)槠渲械暮芏嗵卣魇侨藶樵O(shè)定的，實(shí)際有很多情況可能不是那樣的。深度學(xué)習(xí)的好處是機(jī)器可以自動(dòng)去學(xué)習(xí)，不限定特征，這樣的話基于大量的樣本進(jìn)行訓(xùn)練可以得到一個(gè)很牛的模型，這個(gè)模型可以用來進(jìn)行人眼的眼球追蹤。
以前的技術(shù)可以識別人眼的可用率在95%，一萬個(gè)人中可能有500個(gè)人用不了，這樣要把它用在消費(fèi)級就不行了，特殊行業(yè)可以。要把眼球追蹤用到消費(fèi)級的話必須達(dá)到更高的可用性，深度學(xué)習(xí)可以把它的可用性從95%提升到99.9%甚至更高。
雖說眼球交互聽起來非常炫酷，實(shí)際使用時(shí)并不如動(dòng)捕手柄+空間定位自然，如上文所說，它更像是陀螺儀的升級版。實(shí)際上，開發(fā)者對眼球追蹤技術(shù)的期待，更多是注視點(diǎn)渲染。黃通兵表示開發(fā)者對他們這套系統(tǒng)的功能關(guān)注度排序分別是：注視點(diǎn)渲染，交互和眼動(dòng)分析。
注視點(diǎn)渲染（也叫焦點(diǎn)渲染）通過近紅外傳感器對人的眼球進(jìn)行追蹤，判斷人眼的注視點(diǎn)，只對注視點(diǎn)區(qū)域進(jìn)行高清渲染，而且這個(gè)區(qū)域會(huì)隨著注視點(diǎn)的變化而變化。這項(xiàng)技術(shù)在英偉達(dá)MRS（multi-resolution shading）技術(shù)的基礎(chǔ)上進(jìn)一步縮小渲染范圍，從而大幅提高渲染效率。
注視點(diǎn)渲染的效果
黃通兵表示，VR看房開發(fā)者指揮家使用這套系統(tǒng)之后，“本來要1080的顯卡才能跑得動(dòng)的場景，加上眼球追蹤可能用980就能跑，這樣一方面大幅降低他們的硬件成本，同時(shí)可以提高視覺效果，可以上復(fù)雜的光照等各種特效”。當(dāng)然，實(shí)際的效果還是要看開發(fā)者的不同情況而定。
更需要降低GPU性能需求的應(yīng)該是移動(dòng)VR，而移動(dòng)VR十分需要考慮功耗和性能的平衡。黃通兵表示，“做到移動(dòng)VR上，原理上差不多，結(jié)構(gòu)上需要改一改。移動(dòng)VR上功耗性能有限制，所以這塊一般會(huì)把幀率適當(dāng)降低，其實(shí)也可以跑滿幀，但移動(dòng)VR本身幀率就低，所以就沒有必要跑滿幀?！?/p>
據(jù)介紹，這套產(chǎn)品單眼追蹤的功耗不到500mW，如果工作在省電模式下會(huì)更低。而對處理性能的要求黃通兵表示高通的驍龍820是支持的，“主流的都沒問題”。
不過這套產(chǎn)品不會(huì)出單賣的消費(fèi)版，它預(yù)計(jì)將在10月份登陸京東眾籌，售價(jià)3000元左右，主要面向開發(fā)者。而面向消費(fèi)者的產(chǎn)品將會(huì)以與頭盔廠商的合作，內(nèi)置到后者產(chǎn)品當(dāng)中的形式推出。具體的產(chǎn)品面世時(shí)間仍有待確定，但據(jù)悉高通的一體機(jī)方案會(huì)重點(diǎn)推這個(gè)技術(shù)，國內(nèi)的大朋和3Glasses也很積極。
雷峰網(wǎng)原創(chuàng)文章，未經(jīng)授權(quán)禁止轉(zhuǎn)載。詳情見轉(zhuǎn)載須知。
