Magic Leap光場技術：是技術之躍，更是魔法之躍

Magic Leap One“創造者版本”一出就立馬成為媒體焦點。滾石記者的體驗報告稱ML One現實的虛擬物體不透明，能遮擋物體，還沒有顆粒感，這些效果可以說碾壓HoloLens。

ML One是如何利用其光學顯示技術做到這一點的？這個問題成為業內人士討論的焦點。不少光學界專家也都出面解讀。

但是，除了看到產品圖之外，目前ML One并沒有就顯示技術給出更清晰的信息。雷鋒網發現上海科技大學曹煊博士的一篇舊文《Magic Leap光場技術：是技術之躍，更是魔法之躍》對光學顯示技術的研究狀況，Magic Leap的技術都做了邏輯清晰的解釋。其原文于2016年12月發表于《中國電子報》，雷鋒網獲授權轉載。

作者簡介：曹煊，上海科技大學虛擬現實與視覺計算中心（VRVC）博士。實驗室由虞晶怡教授領導組建，致力于光場虛擬現實平臺的研究和應用，以實現人眼無法分辨的虛擬現實為目標，從光場的捕獲、壓縮、處理、渲染和顯示等方面開展基礎理論研究與核心技術攻關。

原文如下：

Magic Leap從誕生之初就萬眾矚目，憑借其三大核心技術(SLAM、CG、Light Filed)獲得了巨額融資，尤其是其號稱的“光場(Light Field)”技術更是被奉為黑科技。但由于遲遲沒有推出商業化產品，外界對其質疑不斷增加。

近日，隨著外媒《The Information》公然“叫板”Magic Leap，國內聲音也出現一邊倒的趨勢。Magic Leap的前兩項核心技術SLAM和CG發展已經比較成熟，微軟HoloLens已經側面驗證了這兩項技術是可以商業化的。外界對其最大質疑集中在第三項核心技術——光場。Magic Leap號稱的光場技術真的能如其名一樣實現魔法之躍嗎?該技術到底能不能改變VR/AR未來的技術路線和商業格局?

光場并非水中月

首先可以明確的是，光場并不是Magic Leap憑空構造出來的新概念，光場技術的理論研究已經持續三十多年，光場技術涉及多個交叉學科，技術難度高，但也不至于像超越光速那么遙不可及，國外多個研究機構都曾公開展示過光場樣機(MIT、Stanford 、USC等)。

光場技術從1981年開始受到世界頂級科研機構的關注，并展開了持續的研究。類似電磁場的概念，光場是分布于空間中所有光線的集合。簡單來說，光場技術的終極目標就是采集空間中所有的光線并投射出來，實現圖1中類似《星球大戰》中的數字全息顯示。而Magic Leap之前公開的視頻中也演示了類似的場景，如圖 2所示。

圖 1 電影《星球大戰》中的全息投影

圖 2 Magic Leap 展示類似《星球大戰》中的全息顯示

Magic Leap號稱的光場技術并非水中月鏡中花，該技術有足夠理論研究支撐，至少實驗室級的光場樣機早已得到驗證。

Magic Leap的虛與實

Magic Leap曾經公開過多個視頻素材，包括體育館的鯨魚、手中的大象、懸浮的太陽系、辦公室的槍擊游戲等。其中部分視頻明確說明：“直接錄制，無任何后期特效”。其他未注明的視頻，例如體育館的鯨魚，Magic Leap早就承認是特效制作。

在2014年的CES大會上，英特爾就展示過類似的效果(Intel CES 2014 flying whale)，它本質上是一種Video-Based AR技術，將鯨魚的動態圖像疊加在現場拍攝的視頻上。

圖 3 Magic Leap展示的體育館的鯨魚

圖 4 Intel在2014 CES大會上展示的Flying Whale

國內普遍誤解Magic Leap已經實現了裸眼空中懸浮成像技術，對其期望值甚高。裸眼空中懸浮成像技術目前進展緩慢，該技術在未來10年都難以實現。然而Magic Leap的研發目標并不是這樣的技術，也沒有表明不需要佩戴眼鏡，而且其CEO Rony Abovitz曾展示過一塊透明的鏡片，可見Magic Leap仍然是需要佩戴眼鏡設備的。

該鏡片看似普通透明的玻璃片，Magic Leap稱之為硅光電技術(Silicon Photonics)，極有可能是Silicon Waveguides技術，光學頂級期刊OE上有大量文章研究過該技術。以色列Lumus以及微軟HoloLens采用的是光波導技術(Light Waveguides)，可以使顯示器件更輕更薄，但只能為單眼投射單幅圖像。而Magic Leap卻稱其采用的技術不僅能輕薄化，還能為單眼提供多幅不同聚焦的圖片，從而實現光場顯示。

圖 5 Magic Leap展示的硅光波導鏡片

Magic Leap曾公開過三段Demo視頻，都標注“直接拍攝、無后期特效”，而Demo視頻中體現的光場顯示技術，可以依靠多種技術方案實現。例如Lanman 在NVIDIA展示過Near-eye Light Field Display的VR頭盔樣機，雖然分辨率比較低，但確實實現了光場顯示。另一種光場顯示方案是多投影陣列技術，這也正是Magic Leap所采用的技術，美國南加州大學在2016年CVPR上展示過可實現1:1真人秀的裸眼光場顯示，如圖6所示，而該系統包括了216個投影儀、6臺PC主機，占地一個房間大小。裸眼光場不需要用戶佩戴特殊眼鏡且能滿足多人同時從不同角度觀看，因此需要更多的投影儀來增加可視FOV 。Magic Leap需要佩戴眼鏡，因此需要的投影儀數量和計算量都更少，但仍然是傳統2D圖像處理的好幾倍。

圖 6 美國南加州大學基于多投影的Life-Size光場顯示

Magic Leap的光場顯示也采用多投影陣列的技術方案，并聲稱采用了光纖投影，如圖7所示。如果該光纖投影能像普通投影儀一樣穩定輸出彩色圖像，那么光場顯示系統的體積可大大減小，但目前該光纖投影的性能是否達到光場顯示要求并沒有得到佐證。即使光纖投影達到要求，但光場顯示的計算量仍然非常巨大，目前的移動端處理器都難以實現實時的交互式光場顯示，仍然需要依賴電腦。

圖 7 華盛頓大學模擬的光纖投影

為了減少光場計算量，Magic Leap極有可能采用了眼球追蹤技術。如圖8所示，RGB光纖輸入待顯示的圖像，I光纖輸入紅外光并進入人眼，根據紅外相機捕獲眼球反射的紅外光可以分析出當前人眼的注視方向，通過追蹤人眼注視方向來對感興趣區域(ROI)圖像進行聚焦處理。

圖 8 光纖顯示樣機

光場顯示商業化的攔路虎

總體來說，Magic Leap聲稱的光場顯示在技術原理上是可行的，且多個研究機構都展示過光場顯示樣機。但Magic Leap要商業化卻面臨著下列三大挑戰：

第一，光場數據量太大，數據存儲和傳輸都將面臨問題。未來的AR/MR必然存在內容的分享，就像手機分享2D圖片一樣，但是現有的網絡帶寬還無法實現流暢的光場內容分享。近幾年，壓縮光場技術被提出，利用光場數據的冗余性可大大降低數據存儲量。不過，隨著5G網絡和LiFi技術的發展，這個問題會迎刃而解。

第二，光場計算量大。要實現逼真的光場顯示，其計算量是傳統2D圖像的好幾倍，現有的移動端通用處理器難以負擔如此大的計算量。微軟HoloLens設計了全息處理單元(HPU)，成功克服了通用移動處理器性能不足的問題。Magic Leap曾提及光場芯片(Light-Field Chip)，該芯片能否實現實時的交互式光場處理，只能留給時間來驗證了。現階段的光場處理仍然依賴電腦。

第三，小型化、便攜性。從圖 6中可以看出，要實現逼真的裸眼(Glass-Free)光場顯示所需要的設備的總體積約占一個房間。當然，Magic Leap通過佩戴眼鏡降低了對投影數量和計算量的要求，不至于像圖6中那么大。第一臺計算機誕生時也占據了整個房間，發展到現在的筆記本電腦歷經了六十多年。便攜式的高性能光場顯示樣機在十年內是難以實現的，因此Magic Leap必須在設備體積和光場顯示效果之間尋找平衡點，才能在短時間內實現小型化。雖然犧牲了光場性能，但相比其他AR產品仍然邁出了重大的第一步。

光場采集更接地氣

光場可以分為“光場顯示”和“光場采集”，兩方面技術的理論研究都已經比較成熟。Magic Leap屬于前者，現有的顯示器件(LCD、OLED等)在每個像素點發出的光學是各項同性的，簡單來說就是，當你從不同角度去看電腦屏幕時，看到的圖像是一樣的。而光場顯示要求每個像素點在不同方向上發出不同的光線，現有顯示器件都無法滿足。光場顯示現在面臨的最大困難就是顯示器件的革新，這需要材料學、光學、半導體等多個基礎學科的共同努力。近幾年，這方面的研究不斷取得突破，如圖9所示，這是David Fattal等人在《Nature》上展示的用于裸眼3D顯示的多方向性背光，相信不久的未來光場顯示器件會大量普及。

圖 9 David Fattal等人在《Nature》上展示的用于裸眼3D顯示的多方向性背光

相比于光場顯示，光場采集技術更接地氣。因為光場采集不依賴于特殊的光學器件，用傳統的單反相機組成陣列即可采集光場，而算法才是光場采集的核心。換句話說，光場顯示更依賴于特殊的顯示器件(硬件)，而光場采集更依賴于算法(軟件)。Magic Leap演示的所有Demo中，無論是機器人、太陽系、辦公室的郵件等都是計算機渲染的光場，而沒有采集真實場景的光場，可見Magic Leap現在還無暇顧及光場采集技術，亦或等待與其他光場采集技術團隊合作。光場采集在洛杉磯的好萊塢已經被大量使用，包括《阿凡達》等經典3D電影都采用了光場采集技術，以達到逼真的3D顯示效果。電影《黑客帝國》中躲避子彈的鏡頭也采用了基于相機整列的光場采集技術。相關技術在國內剛剛興起，上海大劇院與疊鏡科技合作拍攝了360°動靜態結合的3D話劇，實現了逼真的虛擬現實體驗。

圖 10 電影《黑客帝國》中采用的基于相機陣列的光場采集技術

Magic Leap提出的光場顯示技術是一種終極顯示方式，是一場偉大的、革新的技術突破。雖然投入巨大，商業化還面臨困難，但仍然值得投入。面對當前產品商業化的困難，Magic Leap不僅需要研究上的技術之躍，還需要工程上的魔法之躍。

雷鋒網后記：此文為一篇舊文，待Magic Leap公布更多信息，雷鋒網還會邀請曹煊博士以及其他光學界人士對Magic Leap進行深入解讀。

相關文章：

解讀 Magic Leap One：除了娛樂，AR 眼鏡還能怎么用？ （二）

多個娛樂消費應用，Magic Leap One和其他AR眼鏡有什么不同

解讀 Magic Leap One：光學成像是怎么做的？（一）

關于 Magic Leap One，行業人士和讀者們都是怎么看的？

Magic Leap 終于揭開神秘面紗！產品將于 2018 年發貨

雷峰網原創文章，未經授權禁止轉載。詳情見轉載須知。