1
雷鋒網按：本文作者星佳（微信公號：星佳是個小人物），目前虛擬現實行業從業者，從事新媒體、虛擬現實、增強現實等研究。
如果你還沒有看過那篇“處心積慮”和團隊小伙伴們研發的MR教程：《如何低成本的打造HTC Vive虛擬演播室直播MR視頻？》務必點進來看看我們辛苦熬了很久做出來的成果。
附上番外篇：《終于鼓搗成功了全景視頻直播，但有些問題……》，幾個月前關于全景視頻直播的技術分享，當然最近又有新的進展了。
會在時機成熟后分享部分非核心技術內容（核心都分享給你了怎么賺錢，養活研究團隊呢？），我們很明顯可以看到直播巨頭也在全景直播的技術上開始花功夫了，比如斗魚已經在內測全景視頻直播，花椒也在努力走全民全景直播的路子，我們拭目以待巨頭能早日支持新技術，給我們帶來新的可能……
好吧，接下來進入干貨時間，在此之前還要給大家解釋下到底什么才是真正的MR實時視頻，那些說美國大片的綠幕摳像、CG合成、AE后期處理什么的不在本文討論范圍，雖然從目前的成熟技術水平來看實現起來也不是太難的事情，但再看看MR成果視頻里的透視關系，看看實體手柄和虛擬世界物體的實時互動，如果你真的覺得很容易，只能說你太年輕了……
官方驚艷的宣傳片，至今都是MR視頻大作
說起來好笑，起初還找了個拍電影的朋友信誓旦旦的就要做"摳像"，too young too naive的我覺得有個綠幕+攝像機+HTC Vive就可以輕松解決，萬萬沒想到，居然搞了這么久才折騰出來拿得出手的成果……
能看懂這張圖的才能掌握MR的精髓
Mixed Reality視頻就是VR影像+人的影像合成的視頻。相比普通錄制電腦屏幕游戲畫面和游戲者錄像實拍分屏顯示的假VR視頻，Mixed Reality視頻更適合用來做游戲直播和制作虛擬現實應用宣傳視頻，比如著名的Google Tilt Bursh繪畫程序（請點擊查看如下視頻，其實我正在努力的方向就是實現以后所有虛擬現實應用讓他人看來能夠有身臨其境的感覺）。
不得不說下面這兩種經常在直播平臺所謂的VR直播里出現的摳像畫面不得不讓人質疑，隨便搞個綠屏這樣做的VR直播有什么意義呢？真的可以給消費者們普及“萬能的虛擬現實”嗎？只會更霧里看花……
體驗者根本沒有同步映射出現在游戲畫面里，而只看游戲畫面旁觀者根本不明白到底游戲者在干嘛，對不對？
再來看看Google給Tilt Bursh應用做的MR宣傳視頻：
這才是真正的MR視頻，很酷是不是？
我和我的團隊小伙伴們已經實現了，注意看手柄的映射、真實物理空間的人物比例、虛擬應用里場景的透視和畫面遮擋關系。
下面是我們團隊的成果（請忽略因場地和資金造成的穿幫）：
1、實現方案（詳情操作過程請查閱上篇文檔）：
硬件部分：至少5*5的綠幕和均勻布光，佳能單反或者羅技攝像頭，第三只HTC手柄，USB延長線和支架。
軟件部分：首先需要開源軟件OBS做圖層合成和直播功能，配合若干Unity引擎開發的適配固定視角的虛擬現實內容即可成功的開啟四分屏模式（需要調整了很久的cfg配置參數文件在內容根目錄下的幫助）。
2、還需要完善的一些地方：
辦公室地方限制，導致綠幕空間達不到理想標準，而燈光也因為確實窮所以買不起貴的而打的并不均勻，由此造成了成果視頻里摳圖的不干凈和穿幫，在此只想呼吁土豪贊助足夠綠和足夠大的場地讓我們發揮才華。
我們正在探索移動機位的可能性，一方面是由于場地小，除此之外移動相機和綁在上面的第三只映射手柄不得不再采購一套巨貴的斯坦尼康，所以移動鏡頭的解決方案不得不暫時擱淺了。當然目前能夠支持多機位和移動的虛擬攝像機的內容也沒有幾款，歡迎推薦。
此種方法目前還只適用于Unity引擎開發的游戲，大家都在等UE4引擎給出和SteamVR底層的接口，而經過嘗試可以在某些游戲上搞出來四分屏，換句話說，能成功弄出來四分屏也就離成功確實不遠了，可惜的是，缺乏足夠技術能力的我們在底層接口這方面不得不繼續埋頭苦干，希望能找到業內樂意合作的前輩們一起做一款集成傻瓜式的軟件，最大程度地解放MR技術在配置參數上的種種麻煩。除此之外，眼前的當務之急是尋找一款比OBS更好用的專業軟件，在實時摳像和圖層疊加，分辨率損失上都可以做得更好。好吧，其實還缺一款支持4K分辨率的分屏顯示器……
目前很多游戲應用內置的虛擬攝像機并不支持移動，換句話說，我們真的很希望以后虛擬現實游戲應用開發者可以直接在開發的時候就規劃好虛擬攝像機，甚至可以考慮直接內置多機位的虛擬攝像機，方便在做MR視頻和直播的時候一鍵切換最優質的視野和觀看角度。
說到底還是窮，所以也就沒辦法談情懷，我們一方面希望Unity和UE4官方可以盡早開放MR底層的接口，也可以給廣大的虛擬現實內容開發者給一些相關MR虛擬攝像機開發的DEMO工程文件學習，和很多行業內第一批的吃螃蟹的從業者們一起把虛擬現實更早更全面完整的普及到尋常百姓家。
至于為何花這么大的精力去研究MR虛擬現實混合視頻的制作技術，懂的人應該不言自明，尤其是那些已經開了線下體驗館的老板們肯定更能明白其中的商業價值，除了可以節省每個新玩家的教學時間外，也可以給路過的旁觀者一個很好的實時演示畫面，讓他們看到后就明白這群戴著眼鏡、拿著手柄走來走去的人到底在干嗎？
除此之外幫各種豐富的行業商業應用帶來更多新的可能，比如老師在虛擬內容環境里的真人教學，多人身臨其境的互動展示，科普內容等行業應用的展現方式會更友好。
當然目前最能短平快賺錢的無非還是直播領域和Steam、Viveport等分發平臺上的游戲介紹視頻制作業務，畢竟作為從業者我們有責任要給那些玩膩了山寨眼鏡盒子后吐槽虛擬現實無用的他們一個看得見的理由，通過大量優質的玩家自制MR視頻試圖去說服那些悲觀者去購買一款真正的虛擬現實設備，去體驗真正的虛擬現實，而不是幾百塊的山寨盒子。
最后想說，作為國內最早從業虛擬現實的行業從業者，我們應該抱團成長，把這個市場做的足夠大，把虛擬現實給圈內人帶來的驚喜讓更多行外的朋友們實實在在的了解。
雷峰網原創文章，未經授權禁止轉載。詳情見轉載須知。
