牆面變鏡子，畫面很清晰：斯坦福新算法高清還原死角里的障礙物，可達亞毫米級分辨率_風聞

魚羊 發自 凹非寺

量子位 報道 | 公眾號 QbitAI

在視覺盲區裏潛藏的障礙物，傳感器能“看”得到嗎？

答案是，不僅可以，分辨率甚至能達到亞毫米級別。

這項來自斯坦福、萊斯大學、普林斯頓和南衞理公會大學等高校的最新研究，僅採用商用相機和標準指示器中的激光光源，就隔着1米遠，利用AI看穿了拐角裏1釐米字母的模樣。

並且，只需要兩張 1/8s 曝光長度的圖像，就能達到300μm的分辨率。

作者之一的Prasanna Rangarajan解釋説，能以較短的實時成像曝光時間識別對象，這一點對於應用而言是至關重要的。

而另一位作者，普林斯頓大學計算機科學助理教授Felix Heide指出：

非視距成像在醫學成像、導航、機器人技術，以及國防領域都有重要的應用價值。

我們的工作推動該技術在各種應用領域更進一步。

分辨率達到亞毫米級別

實驗裝置是這樣設置的：

激光從光源射出，經過反射形成虛擬光源打到隱藏對象上，而後，隱藏對象反射的光會在粗糙牆壁上形成散射光（稱為虛擬探測器），研究人員會利用這些斑點圖案來重構被遮擋的對象。

虛擬探測器和視覺盲區裏的隱藏對象，距離約為1米。

激光光源為500mW，532nm的CW激光源（Azur Light Systems ALS-532）。鏡頭則採用了焦距180mm的佳能長焦微距鏡頭。

實驗中，研究人員移除了相機的保護玻璃，以減少內部反射。

結果表明，在CNN的“解謎”下，僅使用兩張 1/8s 曝光長度的圖像，就可以以300μm的分辨率，重建1m外的識別對象。

△「7」和「F」高度均為1cm用CNN解決嘈雜相位復原問題

此前，阻礙非視距（non-line-of-sight，NLoS）成像技術分辨率提升的，是相位復原（PR）的侷限性，PR方法通常對噪聲非常敏感。

為了充分利用低信噪比的測量數據，從漫反射斑點圖案中重建對象，研究人員開發了針對特徵噪聲合成數據進行訓練的AI算法。

具體改進如下：

使用頻譜密度估計的結果，分析與NLoS相關的噪聲分佈。

提出了一種生成PR訓練數據的新方法，無需實驗、建模場景語義。

為PR問題提出了一種新的映射，併為基於學習的PR提出並分析了新的平移不變損失函數。

證明CNN比傳統方法更快且更可靠。

研究人員使用稀疏的“非結構化”圖像數據集訓練CNN。數據集來自Berkeley Segmentation Dataset 500。

**△**上為邊緣探測器成像，下為其對應的自相關

相比於傳統PR算法，這一基於CNN的方法對噪聲更加魯棒。也就是説，新方法可以在更弱的光線下工作，幀速更高。

還原看不見的死角

利用傳感器消除視覺死角的研究，其實早已展開。

比如MIT人工智能實驗室的圖像重建算法：根據影子，還原看不見的死角。

去年，英特爾實驗室和斯坦福大學的科學家則受地震成像啓發，利用揚聲器和麥克風來捕獲聲波反射時間，還原隱藏對象的圖像。

而提高系統的分辨率，讓這項技術更早應用到自動駕駛等領域之中，解決實際問題，則是研究人員們持續努力的方向。