光場：計算光學的靈魂_風聞

供稿 | 邵曉鵬（西安電子科技大學教授）、劉飛（西安電子科技大學教授）、席特立（西安電子科技大學菁英副教授）、劉金鵬（西安電子科技大學準聘副教授）、相萌（西安電子科技大學準聘副教授）

前 言

計算光學的本質是光場的獲取與解譯，無疑，光場扮演着非常重要的角色。隨着研究的深入，我們發現：光場是作為計算成像的靈魂存在的。

光場的本質是光的物理屬性在空間和時間維度上的分佈特性。“光場”到底應該怎麼描述？光場的形式是什麼？在計算光學中擔任的角色是什麼？我們該怎麼利用光場？這就是我們這一期要講的內容。

1

什麼是光場

首先，我們看一看什麼是光場？

大多數人一見到“光場”這個詞，很自然就會想起“光場相機”。在這裏，我要説明一下：這個詞出現在計算成像中也是 Computer Science領域的學者定義的“Light Field”，是指除了包含原圖像矩陣中的空間座標（x,y）和強度I外，還有光線入射的角度信息(θ, φ)。這段歷史其實可以追溯到1991年，MIT的Edward H. Adelson 教授和James R.Bergen教授指出基礎視覺可以認為是沿着單一函數的一個或多個方向的局部變化，描述了光照射到觀察面的信息結構。一旦定義了這個函數，各種潛在的視覺屬性 (如運動、顏色和方向) 的測量就能夠自動分離出來。這個函數被稱為全光函數，表示為：L(x, y, z, θ, φ, λ, t),其中(x,y,z)為空間位置，(θ, φ)是光線入射角度，λ代表顏色,t為時間，這就是著名的“七維光場”，光場相機的那個“光場”其實是“四維光場”。

首先，我們要注意，E.H.Adelson教授是Computer Science視覺領域專家，光學界的學者再次落後。光學專家後知後覺的結果就是發現“光場”的樁地基已經被人家打過了。於是，很多人就開始琢磨創新：這個模型裏沒有偏振信息，應該引入了偏振P這個物理量，變成“八維光場”；再後來，渦旋光的潮流出現之後，又有人説：軌道角動量也是光的屬性，可以拓展為“九維光場“。可想而知，如果哪天可以探測光子自旋了，那光子自旋之類的物理量應該也必須應該加入到光場函數中。那就是説，光場函數到底有多少維，似乎就變成了玄學問題。

2

從物理學的角度看光場

從上文的論述可以看到，其實“光場”這個概念在Computer Vision中描述的是空間中（x,y,z）、運動的（t）、顏色的(λ)、具有深度信息(θ, φ)物體，這恰好是機器視覺需要的，而這種描述很不“物理”，看：λ是指顏色，而不是光譜！

那麼，物理上應該怎麼去描述光場？我們知道，強度（I）、相位（φ）、光譜（λ）、偏振P(DoP, AoP)等都是光的物理屬性，加上空間座標（x,y,z），這些量就構成了整個光場信息。

那麼，(θ, φ)哪裏去了？這兩個量其實是從光場相機引出來的，是光場相機裏由兩個面(x,y)和(u,v)計算出來的夾角描述“光線”的方向，從而計算出景深（Depth of View），獲得z這個深度信息。現在應該清楚了，空間座標（x,y,z）中的z就代表了(θ, φ)。這其實是一個問題從不同角度看而已。

同時，光場還隨着時間的變化而變化，在機器視覺的應用中其表現形式其實就是視頻。因此，我們可以給出光場的特點：光的物理屬性在空間和時間維度上的分佈特性。這就是説，光場實際上有三個維度集：物理維度集、空間維度集和時間維度。在這裏，物理維度集是最複雜的，有強度、相位、光譜、偏振、量子信息等，而這些物理量在很多時候是沒有辦法同時測量、甚至很多量是間接測量的。因此，測量“全”光場信息很難很難，同時，“全”光場信息在實際應用中沒有意義，這是因為我們往往關注的都是光場信息在若干維度上的投影，例如：圖像就是強度（色彩）信息在平面上的投影，視頻是強度（色彩）信息在時間維度和平面上的投影，偏振成像是強度（色彩）、偏振度、偏振角在平面上的投影，光場相機是做強度（色彩）在三維空間上的投影。

我們來看一個例子：當一個小球進入到“純淨”的空間背景時，光場會隨之發生變化，運動中的小球各種狀態都體現在光場的變化之中。這恰似一潭靜水，一滴水滴入後打破了原先的平靜，蕩起了漣漪，引起了水波的變化。正如我們可以從水波的變化中能夠還原水滴滴入的全過程一樣，光場的“漣漪”也能夠很好地還原小球在空間的運動狀態。

當這個小球的運動速度比較快時，如果快門速度不夠，會產生運動模糊而產生的拖尾；同時，我們還會發現一個問題，儘管我們可以用視頻記錄小球的運動狀態，但卻不能做空間定位。目前，成熟的解決方案是交會攝影，用兩個以上的相機進行交會測量，其精度與相機間的距離（基線）有關，核心是利用三角幾何關係解方程。現在，我們換一個思路考慮：如果能把小球做運動的光場信息記錄下來，那麼，我們就能從光場信息中解譯出目標的位置、運動速度。且一旦有了光場信息，那麼對於離焦、運動模糊這類常見的問題，在計算光學中將迎刃而解，因為我們記錄了相位信息。

再舉一個例子，能否用一台相機實現3D成像？機器視覺中獲取三維信息必須要有兩台以上的相機交會攝影才能完成，3D電影也是這樣拍攝出來的。那麼一台相機能否實現呢？答案是肯定的。按照傳統的方法，這幾乎不可能。答案肯定依然是光場起了決定性的作用。現在，行業裏很多人都知道偏振3D成像已經日趨成熟，這是正因為在傳統的幾何成像基礎上引入了偏振信息的結果。在光場中引入了偏振角信息，可以獲取法線方向，從而實現偏振3D成像。我們團隊已經研製了一台偏振3D成像的衞星載荷，計劃今年發射。另外一種方法是結構光三維成像，技術成熟度更高，通常以條紋形狀的結構光投射到物體表面,單相機拍攝後通過結構光偏移距離求解相位，得到物體的三維信息，這也是在光場中間接引入了相位信息。

補充一點：光場相機是基於幾何光學的，本質上最核心的原理就是初中物理課上我們學的透鏡成像公式：

精度上只能做到10-2到10-3，超出5米成像範圍後精度就會變差，幾乎不可用，這個在後面的系列中我會詳細講。另外，最早的光場相機其實是相機陣列的，之後是編碼孔徑的，現在多為微透鏡陣列的。

3

“全”光場的意義是什麼

既然“全”光場在應用上沒有意義，我們為什麼還要去研究“全”光場？請注意，我在這裏説在應用上沒有意義，並不是説在研究層面上沒有意義，恰好相反，在理論研究方面，“全”光場意義重大，這是因為我們研究的各種成像方式，其本質都是“全”光場在若干維度上的投影，也就是説，當我們獲得了“全”光場的信息，就可以在物理維度集、空間維度集和時間維度做各種投影，就可以實現偏振成像、三維成像、光譜成像等等；而如果我們把物理量、空間和時間做某些變換，再做光場在這些變換域上的投影，這就是新的計算光學成像方式，這就成了計算成像的活力源泉。

正所謂：有用的最沒用，沒用的最有用。因為我們對傳統的成像模式太熟悉，需要解決什麼問題，就開始從直接從哪個量、哪個維度入手。比如光譜成像，既然需要光譜，我們就用分光元件把寬譜光分解成光譜，再通過掃描、探測器分區域等部分獲得光譜圖像，因為平面探測器的原因，要麼犧牲時間換空間，要麼犧牲空間換時間。如果我們從數學的角度看問題，把這些量統一作為最優化的輸入輸出，做相應的變換，會獲得更優的成像維度，得到新的成像方法。這就像色度學裏的色彩空間常見的有RGB、HSI、CMYK和Lab，前三個色彩空間每個量都有其物理意義，而Lab這個只有L有其亮度的物理意義，a和b都是變換量，沒有物理意義，但我們知道，Lab的色域覆蓋範圍是最廣的。從這個例子上，我們能得到一個啓示：在計算光學中，我們也可以做類似的變換域，在變換域中解決問題，可能會獲得更多更好的結果。

既然光場那麼重要，我們就需要多瞭解光場，深入研究光場從光源到介質、光學系統、探測器各個鏈路上的分佈變化，更能夠凝練出光場的傳播規律，發展計算光學。從這個層面來看，光場就是作為計算光學的靈魂而存在的。

一方面，我們可以從理論上分析光場的分佈，另一方面，可以從實驗中獲取光場數據。物理光場的仿真研究很多，但多為部分物理量的仿真，覆蓋“全”光場的理論仿真我沒有見到，也不作為我們這篇文章的重點；在這裏，我們重點講述光場的如何測量問題。

4

如何測量“全”光場

既然“全”光場那麼重要，那麼，有沒有測量“全”光場的儀器呢？答案是沒有！那麼，研製一台“全”光場測量的科學儀器就非常重要了，儘管很難。

我在一次報告中講到：“研製多維物理光場特性的精密測量儀器旨在對複雜條件全光場信息進行測量，通過在自然環境中主動、被動光源及雲霧、煙塵、生物組織等複雜環境中光場傳輸物理仿真及光學傳輸特性測量，將不同維度的光學特性信息進行採樣與融合，可打破傳統光學探測手段的侷限性，提高光學成像手段的探測精度，更全面地揭示了光在複雜環境中的信息傳播機理，對於全天候、自適應、普適性、遠距離成像的民用及商用發展有着深遠意義。”

目前的光學成像手段往往利用的是光場信息在某個或某幾個維度的投影信息，且光場受信息採樣、量化的關係很大。例如基於光電效應的探測方式導致獲取目標信息的同時伴隨多維度信息的丟失：空間三維物體被投影為二維成像、振幅、偏振、相位、光譜等多物理維度信息變為單一強度信息；物理上連續的光場信息經採樣和量化後變為離散信息，引起信息數據量變化。

研製這樣的儀器，就是為了揭示光場信息傳遞、解譯的物理規律，通過在多種狀態下光場物理信息參量的高精度測量，完善成像“全”光場信息模型，分析光場信息解譯的邊界條件，為計算光學成像技術提供基礎數據，建立非線性成像模型，開拓計算光學的領域。從這個角度看，“全”光場的測量儀器太重要了！

該儀器主要由五部分組成：光源、介質、光學系統、多維度探測和信息存儲與處理，這幾部分都是可調控的，具有很高的自由度，涵括了相干光、非相干光、光譜、偏振等多種信息調控，實現對光場的振幅、相位、偏振、光譜、相關等多維度特徵參數測量。通過這個設備，我們通過改變光源、更換介質和光學系統等等，都會引起光場的變化，藉助於這些變化，就能夠分析出由一些已知條件中推演出照明、介質、光學系統等引起的光場變化特性，從而總結光場規律。

5

光場對計算光學的推動

為什麼説光場是計算光學的靈魂？

我們先看一個例子。在利用散斑自相關的透過散射介質成像實驗中，寬光譜一直是非常難以克服的問題。針對寬光譜的問題，我們用Shift and Add算法做過拓寬光譜範圍，也得到了一些比較好的結果，但也會受到一些條件的限制，當光譜太寬時，重建效果就會變差，甚至不再適用。後來，我們把偏振信息引入進來，結果發現：偏振能夠建立起寬光譜與散斑自相關的橋樑，再寬光譜都不成問題。

我們從這個例子上可以看出，由於引入了偏振信息，光場信息的維度提升，使得在低維度空間難以解釋的現象在高維度空間變得很簡單。這就像量子糾纏令人費解一樣。如果我們考慮一把由兩個圓環構成的椅子，當光照到椅子之後，在地面上會看到兩個圓；在三維空間中旋轉椅子時，你會發現地面上的一個圓在動，另外一個圓也會同時在動。如果單純從地面上看兩個圓的必然運動，很難發現其在高維空間中其實是椅子在旋轉。這種現象就像量子糾纏，糾纏雙光子一個發生變化，另外一個必然發生變化，其在高維空間是什麼樣，目前，我們還不清楚。

高維度光場也是如此，原先低維度光場無法解釋的問題，在高維度光場就不是什麼問題了，這也是我們要研究高維度光場的原因。

傳統成像中存在的很多限制，其實很多問題是因為我們在“低維度空間”看問題。一旦我們走到“高維度空間”，我們就站在了“上帝視角”，拿到了通往未來之路的鑰匙。正如偏振能架起了散射成像與寬光譜的橋樑，其他物理量如相位、光譜等也能填補其他成像的鴻溝。

大氣和水等介質對光電成像影響其實也是其對光場的作用，按照傳統的光電成像方法只接收能量，維度單一，自然就會造成“看不遠、看不清”的問題，同樣，生物組織亦是如此。現有的光學系統都是像差約束的，而未來的計算光學系統將是以信息為傳遞的光場形式出現；計算探測器也將不再是單一的強度探測模式，相位、偏振、光譜、甚至探測器的空間分佈（形狀與採樣模式）都會有相應的形式出現。

以上，我們還都是侷限於歐式空間在考慮問題，如果把光場變換到黎曼空間，我想，這裏一定會有新的發現，新技術也將層出不窮。同時，計算光學成像是以信息為傳遞的，而傳遞的手段就是光場。我在第一篇文章中講到，計算照明、計算介質、計算光學系統和計算探測器都涉及到光場的問題，通過對高維度高精度光場的測量，總結光場的傳播規律，針對“更高、更遠、更廣、更小、更強”的成像需求，從本質上解決問題，都離不開光場。在後續的文章裏，我將逐一詳細討論這些問題。

最後，我要説：光場太重要了！它作為靈魂出現，將在手機攝影、汽車自動駕駛、公共安全監控、生物醫學成像、深空探測及軍事應用等領域大放異彩。

本文經授權轉載自微信公眾號“西電科大光電成像工程中心”。

特 別 提 示

1. 進入『返樸』微信公眾號底部菜單“精品專欄“，可查閲不同主題系列科普文章。

2. 『返樸』提供按月檢索文章功能。關注公眾號，回覆四位數組成的年份+月份，如“1903”，可獲取2019年3月的文章索引，以此類推。