ControlNet作者新作爆火:P照片換背景不求人,AI打光完美融入_風聞
量子位-量子位官方账号-29分钟前
·衡宇 發自 凹非寺
量子位 | 公眾號 QbitAI
ControlNet作者新作,玩兒得人直呼過癮,剛開源就攬星1.2k。
用於操縱圖像照明效果的IC-Light,全稱lmposing Consistent Light。
玩法很簡單:
上傳任意一張圖,系統會自動分離人物等主體,選擇光源位置,填上提示詞,就能毫無破綻的融入新環境了!
趕緊來個王家衞式的打光:

不喜歡?
沒關係,換成窗外打進來的自然光,也就分分鐘的事。

目前,IC-Light提供兩類模型:文本條件重照明模型,還有背景條件模型。
兩種模型都需要以前景圖像作為輸入。
鑑於之前Controlnet太好玩兒,這次IC-Light一出現就頗受關注,還有網友迅速做出了ComfyUI插件。
(疑惑,大家這麼拼,都不睡覺的嗎??)

不管是期待值還是用後體驗,網友給得都很高:
Nice!迫不及待要上手玩了嘻嘻嘻嘻
。

**誰能幫我把這圖換個背景?**從遠古MCN到貼吧再到現在小紅書,各個時代,都不乏“誰能幫我換張背景”這種求助貼。

但熱心網友的幫助,往往是這樣子的:

就離譜。
不過説實在話,這種需求不僅存在於你我普通人之間,電商做商品海報,也常常有類似的需求。
有了IC-Light,好像一切都變得簡單起來。
上傳主體原圖+選擇光源位置+提示詞,完事兒。
來看效果——
這樣一張佛像原圖,加上提示詞“佛像、細緻的臉部、科幻RGB發光、賽博朋克”,再選擇“光從左側打來”。

就能得到一張嶄新的成品:

哪怕是日常場景也是適用的。
最後出的效果肉眼看還是比較自然:

根據網友分享的測評,動漫場景也適用……

背後技術如前所説,IC-Light現在提供兩類模型,兩種模型都需要以前景圖像作為輸入。
一類是文本條件重照明模型。
簡單來説就是用户可以通過輸入提示詞來搞定生成。
比如輸入“左側光線”“月光”等,模型會通過這些提示詞和初始潛變量,來生成符合要求和特徵的圖像。
另一類是背景條件模型。
這種就更簡單了,不需要複雜的提示詞,模型結合背景提示信息,對前景的物體進行不同風格的光照變化。

而其背後的技術原理,是通過潛在空間的一致性,確保模型輸出在不同光源組合下具有一致性,從而可以穩定地合成各種光照效果。
具體如下——
在HDR空間中,所有照明的光線傳輸都彼此獨立,不同光源的外觀混合效果與多光源直接作用下的外觀在數學上(也就是理想狀態下)是一致的。

以上面這張圖的燈光階段為例,來自“外觀混合”和“光源混合”的兩個圖像是一致的,(理想情況下,在HDR空間中數學上等效)。
因此,在訓練重新照明模型時,研究人員在潛在空間中使用多層感知機(MLP)讓不同光源的組合和傳輸具有一致性,並用來指導生成效果。
最終產生高度一致的重新光照效果。
由於模型使用了潛在擴散技術,因此可以在潛在空間內實現學習和重光照操作,從而在各種光照條件下產生高度一致的效果。
這些結果非常一致——儘管在訓練時,模型沒有直接使用法線圖數據,但可以將不同的重新光照合併為法線貼圖。
看下面這張圖,從左到右依次是輸入、模型輸出、重新照明、分割的陰影圖像和合並的法線貼圖。

感興趣的小夥伴可以前往下面地址試玩兒喲~
GitHub直通車:https://github.com/lllyasviel/IC-Light?tab=readme-ov-file
。