ICCV'23論文頒獎“神仙打架”！_風聞

克雷西 蕭簫 發自 凹非寺

量子位 | 公眾號 QbitAI

剛剛，計算機視覺巔峯大會ICCV 2023，在法國巴黎正式“開獎”！

今年的最佳論文獎，簡直是“神仙打架”。

例如，獲得最佳論文獎的兩篇論文中，就包括顛覆文生圖AI領域的著作——ControlNet。

自開源以來，ControlNet已經在GitHub上攬獲24k星。無論是對擴散模型、還是對整個計算機視覺領域而言，這篇論文獲獎都可以説是實至名歸。

而最佳論文獎榮譽提名，則頒給了另一篇同樣出名的論文，Meta的**「分割一切」**模型SAM。

自推出以來，「分割一切」已經成為了各種圖像分割AI模型的“標杆”，包括後來居上的不少FastSAM、LISA、SegGPT，全部都是以它為參考基準進行效果測試。

論文提名都如此重量級，這屆ICCV 2023競爭有多激烈？

整體來看，ICCV 2023一共提交了8068篇論文，其中只有約四分之一、即2160篇論文被錄用。

其中近10%的論文來自中國，除了高校以外也有不少產業機構的身影，像商湯科技及聯合實驗室有49篇論文入選ICCV 2023，曠視有14篇論文入選。

一起來看看這一屆ICCV 2023的獲獎論文都有哪些。

ControlNet獲ICCV最佳論文

首先來看看今年獲得最佳論文獎（馬爾獎）的兩篇論文。

ICCV最佳論文又名馬爾獎（Marr Prize），每兩年評選一次，被譽為計算機視覺領域的最高榮譽之一。

這一獎項因計算機視覺之父、計算機視覺先驅、計算神經科學的創始人David Courtnay Marr（大衞·馬爾）而得名。

第一篇最佳論文獎「Adding Conditional Control to Text-to-Image Diffusion Models」，來自斯坦福。

這篇論文提出了一種名叫ControlNet的模型，只需給預訓練擴散模型增加一個額外的輸入，就能控制它生成的細節。

這裏的輸入可以是各種類型，包括草圖、邊緣圖像、語義分割圖像、人體關鍵點特徵、霍夫變換檢測直線、深度圖、人體骨骼等，所謂的“AI會畫手”了，核心技術正是來自於這篇文章。

它的思路和架構如下：

ControlNet先複製一遍擴散模型的權重，得到一個“可訓練副本”（trainable copy）。

相比之下，原擴散模型經過幾十億張圖片的預訓練，因此參數是被“鎖定”的。而這個“可訓練副本”只需要在特定任務的小數據集上訓練，就能學會條件控制。

即使數據量很少（不超過5萬張圖片），模型經過訓練後條件控制生成的效果也很好。

“鎖定模型”和“可訓練副本”通過一個1×1的卷積層連接，名叫“0卷積層”。0卷積層的權重和偏置初始化為0，這樣在訓練時速度會非常快，接近微調擴散模型的速度，甚至在個人設備上訓練也可以。

例如一塊英偉達RTX 3090TI，用20萬張圖像數據訓練的話只需要不到一個星期。

ControlNet論文的第一作者Lvmin Zhang，目前是斯坦福博士生，除了ControlNet以外，包括Style2Paints、以及Fooocus等著名作品也出自他之手。

論文地址：https://arxiv.org/abs/2302.05543

第二篇論文「Passive Ultra-Wideband Single-Photon lmaging」，來自多倫多大學。

這篇論文被評選委員會稱之為“在主題（topic）上最令人驚訝的論文”，以至於其中一位評委表示“他幾乎不可能想到去嘗試這樣的事情”。

論文的摘要如下：

這篇文章討論瞭如何同時在極端時間尺度範圍內（從秒到皮秒）對動態場景進行成像，同時要求成像passively（無需主動發送大量光信號）並在光線非常稀少的情況下進行，而且不依賴於來自光源的任何定時信號。

由於現有的單光子相機的光流估計技術在這個範圍內失效，因此，這篇論文開發了一種光流探測理論，借鑑了隨機微積分的思想，以從單調遞增的光子檢測時間戳流中重建像素的時間變化光流。

基於這一理論，論文主要做了三件事：（1）表明在低光流條件下，被動自由運行的單光子波長探測器相機具有可達到的頻率帶寬，跨越從直流到31 GHz範圍的整個頻譜；（2）推導出一種新穎的傅立葉域光流重建算法，用於掃描時間戳數據中具有統計學顯著支持的頻率；（3）確保算法的噪聲模型即使在非常低的光子計數或非可忽略的死區時間（dead times）情況下仍然有效。

作者通過實驗證明了這種異步成像方式的潛力，包括一些前所未見的能力：（1）在沒有同步（如燈泡、投影儀、多脈衝激光器）的情況下，對以不同速度運行的光源同時照明的場景進行成像；（2）被動的非視域（non-line-of-sight）視頻採集；（3）記錄超寬帶視頻，可以在30 Hz的頻率下回放，展示日常運動，但也可以以每秒十億分之一的速度播放，以展示光的傳播過程。

論文一作Mian Wei，多倫多大學博士生，研究方向是計算攝影，目前的研究興趣在於基於主動照明成像技術改進計算機視覺算法。

論文地址：https://openaccess.thecvf.com/content/ICCV2023/papers/Wei_Passive_Ultra-Wideband_Single-Photon_Imaging_ICCV_2023_paper.pdf

「分割一切」獲榮譽提名

除了備受關注的ControNet之外，紅極一時的Meta「分割一切」模型獲得了此次大會的最佳論文獎榮譽提名。

這篇論文不僅提出了一個當前最大的圖像分割數據集，在11M圖像上擁有超過10億個遮罩（mask），而且為此訓練出了一個SAM模型，可以快速分割沒見過的圖像。

相比於之前比較零散的圖像分割模型，SAM可以説是對這一系列模型功能進行了“大一統”，而且在各項任務中都表現出了不錯的性能。

目前，這一開源模型已經在GitHub上攬獲38.8k星，可以説是語義分割工業界的「標杆」了。

論文地址：https://arxiv.org/abs/2304.02643項目主頁：https://segment-anything.com/

而在學生作品當中，Google提出的「追蹤一切」模型脱穎而出。

就像文章的標題一樣，這個模型可以在任何地點同時對圖像中的任意（多個）物體進行像素級追蹤。

該項目的第一作者是康奈爾大學的華人博士Qianqian Wang，目前正在UCB進行博士後研究。

論文地址：https://arxiv.org/abs/2306.05422項目主頁：https://omnimotion.github.io/

此外，開幕式上還公佈了由PAMITC委員會成員捐助的特別獎項，該委員會同時也捐助CVPR和WACV兩個計算機視覺領域會議的獎項。

這些獎項包括以下四個：

亥姆赫茲獎：十年前對計算機視覺研究產生重大影響的ICCV論文

Everingham獎：計算機視覺領域的進步

傑出研究者：對計算機視覺的進步做出重大貢獻的研究人員

Rosenfeld終身成就獎：在長期職業生涯中對計算機視覺領域做出重大貢獻的研究人員

其中獲得亥姆赫茲獎的是Meta AI的華裔科學家Heng Wang和Google的Cordelia Schmid。

他們憑藉2013年發表的一篇有關動作識別的論文獲得了這一獎項。

當時兩人都在法國國立計算機及自動化研究院（法語縮寫：INRIA）下屬的Lear實驗室工作，Schmid是當時該實驗室的領導者。

論文地址：https://ieeexplore.ieee.org/document/6751553

Everingham獎則頒發給了兩個團隊。

第一組獲得者是來自Google的Samer Agarwal、Keir Mierle和他們的團隊。

兩位獲獎者分別畢業於華盛頓大學和多倫多大學，獲獎的成果是計算機視覺領域廣泛使用的開源C++庫Ceres Solver。

項目主頁：http://ceres-solver.org/

另一項獲獎成果是COCO數據集，它包含了大量的圖像和註釋，有豐富的內容和任務，是測試計算機視覺模型的重要數據集。

該數據集由微軟提出，相關論文第一作者是華裔科學家Tsung-Yi Lin，博士畢業於康奈爾大學，現在英偉達實驗室擔任研究人員。

論文地址：https://arxiv.org/abs/1405.0312項目主頁：https://cocodataset.org/

獲得傑出研究者榮譽的則是德國馬普所的Michael Black和約翰森霍普金斯大學的Rama Chellappa兩位教授。

來自MIT的Ted Adelson教授則獲得了終身成就獎。

你的論文被ICCV 2023錄用了嗎？感覺今年的獎項評選如何？