一台iPhone就能拍大片，攝影和建模師又要被捲了_風聞
差评-差评官方账号-05-08 07:41
本文原創於微信公眾號：差評作者：世超
最近國外有個博主發了一段非常酷炫的視頻。
視頻裏，攝影鏡頭彷彿搭上了筋斗雲，以各種不可思議的角度在車內車外飛來飛去，汽車周邊的場景就像進入了多元宇宙一般瞬間變換。。。
短短几十秒的視頻，靠着這瘋狂的運鏡，還有流暢的場景變換，竟收穫了超過40萬的播放量。
而在評論區，圍觀羣眾除了對這個視頻發出讚揚之外，還有一些人對這個製作過程產生了好奇，開始猜測這個視頻到底是怎麼做出來的。
於是我拿着這個視頻去找了咱們公司的攝影師，問他能不能也給咱也拍一個這類視頻？
結果，攝影師看了這個視頻，直呼不可能！
説這個肯定是用了什麼特效去做的，要麼做了什麼剪輯，你要是能在現實裏直接拍出這種效果，他當場辭職！這個攝影師幹不了了。
確實啊，咱們再回頭看看這個博主的推文，有提到這個視頻是採用一個叫做 NeRF 的最新技術製作的，並在文末@了一個叫 “ LumalabsAI ” 的賬號。
好傢伙，這名字，看來又是 AI 整的活！
於是咱順着這個“LumalabsAI”的賬號，摸到了它的官網。
首先映入眼簾的，就是它們的宣傳視頻，有一説一，這個宣傳視頻裏的運鏡，確實是有點那味了。
而所有的這些效果，都是由 LumalabsAI 開發的一個叫做 “ LumaAI ” 的 APP 來做的。
在這款應用的簡介中，它是這麼介紹自己的：
“Luma 是一種通過 AI 使用 iPhone 創建令人難以置信的逼真 3D 的新方法。無論您身在何處，都可以輕鬆捕捉產品、物體、風景和場景。從您的捕捉中創建電影產品視頻、TikTok 和現實中不可能的相機移動，或者只是重温那一刻。無需激光雷達或花哨的捕捉設備，您只需要一部 iPhone 11 或更新機型。”
簡單來説，就是隻要你有一部蘋果 11 以上型號的手機，那你只需要給場景周圍拍一些照片，就能利用這個 APP 生成拍照現場的 3D 場景。
看到這麼簡單，世超也有點心動了，於是也立馬下載了一個來試試。
打開應用，對着箱子上的橘子一頓卡卡亂拍，不出幾分鐘，就生成了一個這樣的場景。
整個場景雖然在遠處缺少照片信息的地方效果不大行，但是近處對焦部分，整個橘子和箱子的細節還是非常還原的。
在它的官網中還有很多用户上傳的場景演示。
比如下面這個銅象畫面，如果不告訴你，很難發現這居然是一個 3D 場景。
因為它不僅完美的還原了小象的細節，周圍的光照，陰影，甚至連透明玻璃的效果，都給完整復現了。
LumaAI 除了能還原銅像這種小場景外，它甚至還能給你還原使用航拍機拍攝的超大範圍場景。
比如就有用户使用航拍機拍攝了一個小鎮的全景，然後使用 LumaAI 將這整個小鎮 3D 還原，看看這效果，就突出一個“真”。
使用 LumaAI 創建出這些 3D 場景後，接下來只需要把場景置入 3D 軟件，然後添加一個虛擬攝像機，剩下的效果呈現，就看這些創作者的創意啦。
就像這個油管博主，他為了滿足自己變大的愛好，生成了一個場景，然後把自己身體放大，做出了一個類似巨人入侵的特效。
除了重建 3D 場景外，LumaAI 還能對單個 3D 模型重建，比如通過拍照直接生成高達模型，再放到虛幻引擎裏，整個場景瞬間就有了科技感。
這種建模方式相比傳統一點一線的建模方式，那可省了不少功夫。
其實像 LumaAI 這種做 3D 重建的軟件也不少，在 AppStore 裏的 Polycam 就能通過蘋果自帶的雷達掃描，來估算距離和點雲信息，從而重建出一個 3D 場景。
但 LumaAI 不僅不依賴雷達掃描，效果還這麼好。這其中離不開這麼一個技術，也就是開頭那個博主提到的 NeRF（神經網絡輻射場）。
這個 NeRF 最早發佈於 2020 年的 ECCV 會議，不但囊獲了當年的最佳論文，還成功的以一己之力，開啓了計算機視覺的另一個研究方向。
NeRF 的基本原理就是通過一大堆帶有位置信息的 2D 照片，來訓練得出一個神經輻射場模型。
通過這個模型，就能得出任意視角下的清晰照片，這也就意味着，你能通過這個訓練好的模型，重建出 3D 場景了。
而且這個論文自發布後，以 NeRF 為基礎的各種分支方向的技術也如雨後春筍般冒了出來。
華盛頓大學和谷歌就聯合提出了 HumanNeRF，主要用於人體 3D 重建，
還有用於場景風格遷移的 StylizedNeRF，通過拍攝照片，生成 3D 圖，然後再對整個場景風格進行轉換，變成自己想要的風格。
還有東京大學提出的動畫方向的 NeRF，這個項目就不單單是生成一個靜態的場景了，它甚至可以把運動的角色和物體都給你生成出來。
像這類的分支研究，已經多到一篇文章寫不下來了，世超就不再這裏一一展示了。
不過世超是巴不得 NeRF 這個方向的研究越來越卷，畢竟只需要通過照片就能生成一整個複雜的 3D 場景，這對於生產力解放的幫助可不要太大。
去年 Epic 收購的公司 Capturingreality，它們的產品主打的就是通過照片來生成高精度模型。
這種只需要一部手機，就能把現實搬進虛擬世界的技術，在未來，不僅僅是製作視頻的自由度更高。
遊戲行業，工業場景，甚至是在線教育，都可能迎來翻天覆地的變化。
到時候，虛擬和現實，可就真的傻傻分不清楚了。
圖片、資料來源：
Why THIS is the Future of Imagery (and Nobody Knows it Yet)
Lumalabs.AI
capturingreality.com
StylizedNeRF: Consistent 3D Scene Stylization as Stylized NeRF via 2D-3D Mutual Learning
