NeurIPS'22傑出論文獎：3項研究出自華人團隊，AlexNet獲時間檢驗獎_風聞

Pine 發自 凹非寺

量子位 | 公眾號 QbitAI

就在今天，NeurIPS 2022傑出論文獎公佈了！與它一同公佈的還有數據集和測試基準（Datasets & Benchmarks）最佳論文獎以及時間測試獎。

NeurIPS 2022將於下週一在新奧爾良會議中心舉行，為期兩週，第一週線下進行，第二週線上進行。

傑出論文獎

對比去年，今年傑出論文的數量翻了一番，從去年的6篇變為今年的13篇。

在這些獲獎研究中，有3項研究成果出自華人研究團隊，其中有兩項研究的團隊成員均為華人。

當然，出現在獲獎名單中的也肯定少不了今年大火的擴散模型，就比如説谷歌的Imagen就赫然在列。

Is Out-of-distribution Detection Learnable?

文章來自華人研究團隊，提供了一個分佈外樣本（OOD）檢測的理論研究，並重點探究了在什麼條件下OOD檢測模型是可學習的。

獲獎理由：

提出了3個具體的不可能性定理，可以很容易地應用於實際環境中確定OOD檢測的可行性，為現有的OOD檢測方法提供了理論基礎。

這項工作也提出了新的理論問題，例如，關於近OOD檢測的學習性。因此，它在這一重要研究領域具有廣泛的理論和實踐影響的潛力。

論文地址：https://openreview.net/forum?id=sde_7ZzGXOE

Photorealistic Text-to-Image Diffusion Models with Deep Language Understanding

文章來自Google Research，介紹了Imagen，是一種使用擴散模型進行文本生成圖像的方法。

獲獎理由：

基於擴散過程的高質量圖像生成模型在機器學習內外都產生了巨大的影響。

這項工作代表了這種模型的藝術狀態之一，但也創新地展示了獨立訓練的大型語言模型與圖像解碼器在規模上的有效結合。

論文地址：https://openreview.net/forum?id=08Yk-n5l2Al

Elucidating the Design Space of Diffusion-Based Generative ModelsDownload

論文來自英偉達，關鍵詞為：去噪擴散，圖像生成等，研究將以前的擴散方法置於一個共同的框架之下，並提出對抽樣和訓練都普遍適用的改進，得出最先進的結果。

獲獎理由：

這篇論文不僅列出了研究結果，而且將先前的研究組織成一個連貫的共同框架，進而改進新的模型。

研究的重點是包含某種形式的擴散過程的圖像生成模型，這篇論文對擴散過程模型的理解和實現具有重要意義。

論文地址：https://openreview.net/forum?id=k7FuTOWMOc7

ProcTHOR: Large-Scale Embodied AI Using Procedural Generation

論文來自華盛頓大學和艾倫人工智能研究所，這項工作提供了一個框架，用於在大量數據上訓練具體的AI代理。

這個框架的核心是一個引擎，用於構建程序生成、支持物理的環境，代理可以與之交互，引擎與提供的數字資產和環境控制相結合，可以生成大量不同的環境組合。

獲獎理由：

作者證明這個框架可用於為多個具體化的AI任務訓練SOTA模型。

並且這項工作中使用的框架和代碼將是開源的，為研究社區提供了寶貴的資產。

論文地址：https://openreview.net/forum?id=4-bV1bi74M

Using natural language and program abstractions to instill human inductive biases in machines

論文來自普林斯頓大學神經科學研究所和DeepMind，展示了元學習主體如何通過與來自語言描述和程序歸納的表徵共同訓練來學習人類歸納偏置。

獲獎理由：

在程序抽象和自然語言方面的聯合訓練能夠將人的偏置融入到學習中。這是一種合併人為偏置的方法，但是對於抽象的程序也適用。

論文地址：https://openreview.net/forum?id=buXZ7nIqiwE

A Neural Corpus Indexer for Document Retrieval

來自微軟、清華大學、北京大學等，研究人員均為華人，提出了神經語料庫索引器（NCI），一種序列到序列的網絡，直接為指定的查詢生成相關的文檔標識符。

獲獎理由：

這個研究涉及到了一個規模不大但不斷增長的研究領域，該領域脱離了主流的高記憶稀疏檢索範式。

但值得注意的是，這種新的範式允許使用標準的深度學習算法和框架對目標應用程序的索引器進行基於梯度的優化。

文章中提出的方法引入了架構和訓練選擇，與以前的工作相比，這些選擇帶來了重大改進，表明了神經索引器作為一種可行替代方案的前景。

論文還討論了此次研究的侷限性和未解決的問題，對今後的研究有一定的啓示作用。

論文地址：https://openreview.net/forum?id=fSfcEYQP_qc

High-dimensional limit theorems for SGD: Effective dynamics and critical scaling

論文來自紐約大學和加州大學等研究機構，文章研究了在高維區域具有連續步長的SGD的標度極限。它顯示瞭如果步長很大，SGD是多麼複雜，並且研究還找到了步長的臨界縮放範圍。

論文地址：https://openreview.net/forum?id=Q38D6xxrKHe

Gradient Descent: The Ultimate Optimizer

論文來自MIT，研究的對象是梯度下降法，關鍵詞是超參數優化和自動微分。

獲獎理由：

論文提出了一種方法來優化超參數，並遞歸優化超—超參數，從而降低梯度下降法對超參數的敏感性。

由於梯度下降法無處不在，因此這項研究的潛在影響是巨大的。

論文地址：https://openreview.net/forum?id=-Qp-3L-5ZdI

Riemannian Score-Based Generative Modelling

論文來自巴黎大學和牛津大學，關鍵詞為擴散模型，生成模型和黎曼流形。

獲獎理由：

本文通過識別影響基於分數的生成模型（SGM）成功的主要因素，將歐幾里得空間中的SGM推廣到黎曼流形。

這種方法既是一種新穎的貢獻，也是一種在技術上有用的貢獻。

論文地址：https://openreview.net/forum?id=oDRQGo8I7P

Gradient Estimation with Discrete Stein Operators

論文來自斯坦福大學，清華大學，DeepMind等，由華人團隊主導，文章研究了分佈離散時的梯度估計問題。

獲獎理由：

大多數常見的梯度估計都存在過多的方差。為了提高梯度估計的質量，團隊引入了一種基於Stein算子的離散分佈方差縮減技術。

儘管Stein算子比較經典，但本文的工作為梯度估計提供了一個很好的解釋，並且在實驗中也顯示出實際的改進。

論文地址：https://openreview.net/forum?id=I1mkUkaguP

An empirical analysis of compute-optimal large language model training

文章來自DeepMind，研究了在給定的計算預算下，用於訓練transformer語言模型的最佳模型大小和token數。

獲獎理由：

這項工作為在語言模型的背景下思考尺度的方式提供了新的啓示，這可能對人工智能的其他領域也有幫助。

論文地址：https://openreview.net/forum?id=iBBcRUlOAPR

Beyond neural scaling laws: beating power law scaling via data pruning

來自斯坦福大學和Meta AI等研究機構。

獲獎理由：

最近關於尺度定律的工作已經把數據質量看作是統一的，並且集中在計算和數據之間的關係上，這項工作使我們重新關注選擇高質量數據的重要性。

它是通過一個精心設計的分析調查來完成的，該調查開發了一個關於數據質量影響的理論模型，與ImageNet上一系列數據過濾指標的經驗實例相一致。

這項工作是有見地的和及時的，並將形成關於在機器學習規模的多個維度的權衡的辯論。

論文地址：https://openreview.net/forum?id=UmvSlP-PyV

On-Demand Sampling: Learning Optimally from Multiple Distributions

論文來自加州大學，研究團隊利用隨機零和博弈中最小-最大均衡的發現，給出了幾個多分佈學習問題的最優樣本複雜性界限。

獲獎理由：

研究利用隨機零和博弈的方法研究了多重分佈學習問題。

對於具有接近最優結果的問題，這種技術會產生非常有趣的理論結果。

論文地址：https://openreview.net/forum?id=FR289LMkmxZ

數據集和測試基準最佳論文獎

去年，NeurIPS新設了一個數據集和基準測試最佳論文獎項，以表彰在數據領域的工作。

今年，該領域的2篇最佳論文獎分別是：

LAION-5B: An open large-scale dataset for training next generation image-text models

研究語言視覺架構（如CLIP和DALL-E）的訓練和能力需要包含數十億圖文對的數據集。到目前為止，還沒有這種規模的數據集被公開提供給更廣泛的研究團體。

而這篇論文介紹了LAION-5B數據集，該數據集由58.5億個CLIP過濾的圖像-文本對組成，旨在使大規模多模態模型的研究民主化。

此外，作者使用這些數據成功地複製了基礎模型，如CLIP，GLIDE和Stable Diffusion，提供了幾個最近鄰指數，以及改進的Web界面和水印，NSFW和有害內容檢測的檢測分數。

論文地址：https://openreview.net/pdf?id=M3Y74vmsMcY

MineDojo: Building Open-Ended Embodied Agents with Internet-Scale Knowledge

自治代理在Atari遊戲和圍棋等專業領域取得了長足進步，但通常無法泛化到廣泛的任務和功能。

這項工作介紹了MineDojo，這是一個基於流行的Minecraft遊戲構建的新框架。

它具有一個模擬套件，其中包含數千種不同的開放式任務，以及一個包含 Minecraft 視頻、教程、維基頁面和論壇討論的互聯網規模知識庫。

同時，它還提出了一種新穎的代理學習算法，能夠解決以自由形式語言指定的各種開放式任務。並且提供了一個開源仿真套件、知識庫、算法實現和預訓練模型，以促進對具有通用能力的具體代理的研究。

論文地址：https://arxiv.org/abs/2206.08853

AlexNet獲時間檢驗獎

時間檢驗獎，則頒給了圖靈獎得主Hinton團隊的AlexNet。

2012 年，AlexNet作為第一個在ImageNet挑戰賽上接受訓練的CNN被提出，遠遠超過了當時的最先進水平，此後它在機器學習社區產生了巨大的影響。

論文地址：https://proceedings.neurips.cc/paper/2012/file/c399862d3b9d6b76c8436e924a68c45b-Paper.pdf

值得一提的是，Hinton本人也將於12月4日星期四就這項研究和最近的研究發表受邀演講。

原文地址：https://blog.neurips.cc/2022/11/21/announcing-the-neurips-2022-awards/