0
最近光場相機領域動態頻頻，在前幾天谷歌發布多個光場視頻后，國內一家公司也拿出了他們的光流相機和支持6DoF的光場視頻。
這家公司是杭州西顧視頻科技有限公司（FXG-Video），成立于2017年5月，從事深度沉浸式內容與技術研發制作，有軟硬件技術和解決方案，提供產品拍攝到內容后期制作與播放一體化流程服務。目前其已有3D VR和2D VR攝影機產品。
為了解其支持6DoF的3DVR攝影機，雷鋒網特意與其CTO李文松進行了深入訪談。
上圖這臺設備是其產品ET-2 3DVR攝影機，被稱為"光流VR攝影機"。據介紹，這個相機的功能有：
· 支持超近距離（≤30CM）拍攝和完美拼接
· 可以捕獲360度視頻深度信息并提供六自由度（6DoF）追蹤能力
· 八目間隔式攝像頭陣列，單目 240度千萬級像素鏡頭
· 光流技術，可以在重播時實現，改變位置、景深、子彈時間等特效
· 16K 3DVR電影級畫質
· 全電子同步，一鍵開關機，一鍵拍攝
· 實時監看（VIVE/CV1）和直播
· 無線遙控
這個相機是一個圓柱型，上面是鏡頭，下面是主機。
由于現場條件不允許，雷鋒網編輯沒有直接體驗到西顧的6DoF視頻，從頭顯內錄屏的視頻看來，用戶可以在其用相機拍攝的視頻內移動，這個移動的范圍有7-10cm。
（西顧6Dof視頻體驗Demo）
雖然沒有體驗到6DoF視頻，但是雷鋒網編輯體驗了西顧高清3DVR視頻。在數十個3DVR視頻中，雷鋒網體驗了其中的大部分內容：遠程生日宴會、舞者、China Joy現場等。從體驗來看，這些視頻很清晰，色彩飽和，3D效果好，沉浸感不錯。據稱，西顧采用了自己研發播放器以及八面體投影格式來提高分辨率。
令人印象深刻的是這些視頻里，體驗者與內容之間的距離可以靠的很近，不會發生內容的畸變和拼接錯誤，也就是他們強調的超近距離拍攝效果（≤30CM）。在遠程生日宴會這個視頻中，雷鋒網編輯體驗到了這種拍攝距離帶來的好處。
在戴上頭顯后，我出現在了美國的一個住宅中，環顧四周，有食物還有交談的人群，這顯然是一個小型私人派對現場。然后一個男人拿著雞尾酒向我走近，對我說生日快樂，然后他旁邊的人也開始靠過來，他一一介紹這些人給我認識，這些人也七嘴八舌對我說著生日祝福。我腦子里知道這是虛擬場景，但是可以真切地感受到現場氛圍。我低下頭，能看到桌子上的事物，每個人在我身邊摩肩接踵。這些人最近的時候離我似乎只有一步路的距離，也就是平時親密朋友交流時最短的距離，近處只有幾十厘米甚至十幾厘米。
超近的安全距離是西顧ET-2 3DVR攝影機的一大特色，從技術實現來說，這有什么價值呢？
我們都知道，全景相機采用多鏡頭（大于等于2）采集，再將采集到的畫面通過算法進行拼接。而相機鏡頭之間光學節點不是重合的，這個距離被稱為相機“節點距離”，距離越大，拍攝到的畫面越容易產生畸變和拼接錯誤：遠處物體會出現"重影"、近處的畫面會產生缺失。
2D全景相機的節點問題解決比較簡單，就是讓鏡頭結構盡量緊湊，比如理光的雙目折返式棱鏡專利，李文松在幾年前也研發了交錯式背靠背鏡頭，用來解決2D相機距離的問題。
但3DVR和6DoF相機的節點問題比2D要復雜許多，目前市面上的全景相機、光學相機都采用了不同的相機陣列。有Lytro Immerge這樣像一堵墻的超大相機陣列方案、也有像谷歌展示的放在旋轉臺上的16個相機陣列。不同的相機陣列會產生截然不同的拍攝效果。
(Lytro Immerge)
李文松介紹到，要理解西顧的八目間隔式攝像頭陣列，需要理解一個概念，他稱之為：視節比。也就是相機的立體視差距離和鏡頭節點距離的比例。因為全景相機是要模擬人的雙眼成像，所以都會采用多個相機的模式，兩個相機的距離被稱為視點差。人的雙眼是有瞳距的，視點差的最好距離是6-8cm，不能過小也不能過大。整體來說，相機的視差要接近人眼瞳距，同時鏡頭節點距離要盡可能小。
(西顧ET-2 3DVR攝影機）
他談到幾代3D VR相機在"視節比"上的發展，"第一代的3DVR相機把多組產生雙目視差的左右鏡頭成對放置，然后將左右鏡頭各自拼接起來，這個時候相機的節點距離很大，且一定大于視差，所以視節比小于1。第二代的3D全景相機的一個鏡頭可以同時當作左右眼，然后再將不同相機的左右眼區域拼接起來，這時視點和節點是一樣大的，例如谷歌JUMP、FB的Surround 360。李文松將西顧的光流VR相機采用的方法稱之為第三代，他采用了間隔式的鏡頭拼接方法，可以選取間隔1-3個相機拍攝出的圖像進行拼接，這樣相機之間的節距可以非常緊湊，視差距離變大很多。視節比遠遠大于1，目前市面上僅有三星的Beyond相機視節比大于1約為1.2，而這臺ET-2相機的視節比為 2.4。"
采用八個相機陣列和間隔式拼接法后，李文松解釋到，他可以拼接出4-5個完整的全景畫面，每個畫面分辨率都達8K，而目前其他3DVR相機只能拼接出2個完整的全景畫面，也就是說光流相機獲得了更多的信息。為了解釋這種間隔式拼接算法，李文松向雷鋒網編輯演示了一個圖形化小工具，在輸入相機數量、鏡頭度數后可以計算出能得到多少個全景畫面。
除此之外，拍攝過程中還用到了光流算法。李文松解釋到，在相機拍攝之后，基于上述4-5個完整物理全景視圖，可以用軟件虛擬插值出上百個鏡頭視角（依賴計算速度），還原空間內全部光線。他們然后采用專門的MVS和Parallex插值算法獲得比普通雙目立體算法更為完整精確的多層6DoF深度信息。這樣實現的6DoF視頻可以完成傳統光流相機所有功能（6DoF運動、重新對焦、自定義光圈）， 但在存儲格式遠遠小于Lytro和谷歌等那種基于物理多鏡頭矩陣的數據格式，只比普通3DVR視頻增加2倍不到的數據帶寬。西顧視頻現在已經基于這種6DoF視頻數據格式研發出了專用6DoF視頻播放器，并在不遠的未來可以實現6DoF VR視頻直播。
（西顧VR8視頻格式介紹）
自2015年來，全景視頻就是影視技術發展的一個重要趨勢，其可以為VR提供沉浸式內容。全景視頻的發展經歷了三個階段：2D全景、3D VR全景、6DoF全景。西顧視頻目前主要專注于后兩個階段。
李文松談到， 2017年多個支持6DoF的VR一體機發布并將在2018年上市，包括HTC Vive Focus、Pico Neo一體機等，而目前，6DoF的視頻內容十分缺乏。電腦CG的方式相對昂貴，視頻拍攝的方式可以讓6DoF內容生產更快更便宜。目前6DoF視頻技術現狀，大致有由內向外（Lytro、谷歌、FB的方案）和由外向內（Intel的方案）這兩類方案，西顧方案屬于前者即由內向外，這種6DoF技術方案部署和拍攝容易，未來可以產生普通消費者生產內容（UGC）模式，而有外向內技術的6DoF技術必須搭建專用影棚，只能由專業團隊制作（PGC），但移動自由度和精度更好，尤其適合拍攝人物角色。
當然，6Dof視頻剛剛起步，未來也還有很多挑戰。例如6Dof視頻內可移動范圍需要進一步擴大，用像谷歌、西顧這樣的從里到外的拍攝方法產生的6Dof視頻，目前可移動范圍都有限。如果可移動范圍足夠大，視頻內的運動不僅可以提升沉浸感，還可以在實際拍攝的場景里設計交互，發展為虛擬與真實融合的游戲。
相關文章：
Magic Leap、Lytro宣稱的“光場”到底是個什么鬼？
Lytro 公開 Immerge 2.0 光場相機：效率、畫質大躍進
雷峰網原創文章，未經授權禁止轉載。詳情見轉載須知。
