如何利用物理思想幫助機器“升維學習”？_風聞

作者：John Pavlus

翻譯：xux

審校：Nuor

無論觀察角度如何變化，物理學定律都一如既往。如今，計算機基於這一理念，擁有了在更高維的彎曲空間中分析識別的能力。

新的深度學習技術有望比以前更準確地識別CT掃描中的肺部腫瘤，有朝一日可能實現更好的醫學診斷。

發展到現在，計算機已經可以駕駛汽車，稱霸象棋和圍棋之類的棋盤遊戲，甚至還可以撰寫散文。人工智能的革命很大程度上源於一種人工神經網絡的力量。這種神經網絡有些特殊，其設計靈感來自哺乳動物視覺皮層中神經元的“連接層”。事實證明，這些**“卷積神經網絡（convolutional neural network，CNN）”擅長學習二維數據中的模式——尤其是識別手寫的文字或者圖片中的物體。**

但是，在處理計算機三維動畫中形狀不規則的模型，或者自動駕駛汽車分析周邊環境而生成的“點雲”時，這種強大的機器學習架構表現得並不好。這些數據集中沒有內置的平面幾何形狀，超出了卷積神經網絡的能力範圍。2016年前後，出現了一種稱為幾何深度學習（geometric deep learning）的新學科，目的就是讓卷積神經網絡“離開平地”，擺脱只能處理二維數據的窘境。

最近，研究人員提供了一個新的理論框架，由此構建的神經網絡可以學習任意幾何表面上的圖案模式。由阿姆斯特丹大學和高通AI研究中心的塔可·科恩、莫里斯·韋勒、伯克利·基卡納奧格魯和馬克斯·韋林（Taco Cohen，Maurice Weiler，Berkay Kicanaoglu和Max Welling）開發的這些“等規卷積神經網絡 （gauge-equivariant convolutional neural networks）”，不僅可以檢測二維像素陣列中的模式，對檢測球體和不對稱的彎曲物體也不在話下。韋林説：“這個框架完美地解決了曲面深度學習的問題。”

全球氣候的模擬數據自然地映射到球面上。等規卷積神經網絡在學習這一模式方面，已經大大超越了它的前輩。對於可以在三維水平上捕捉物體的無人機和無人汽車，這一框架也有用武之地。心臟，大腦等器官是由不規則曲面構成的，在分析這些複雜數據的時候，等規卷積神經網絡同樣可以大施拳腳。

高通公司和阿姆斯特丹大學的機器學習研究者塔科·科恩是等規卷積神經網絡的首席設計師之一。

深度學習能夠跳出“平地”的解決方案，與物理學也有着深厚的聯繫。像阿爾伯特·愛因斯坦的廣義相對論和粒子物理學的標準模型那樣，描述世界的物理理論表現出一種稱為“規範不變性（gauge equivariance）”的性質。這意味着世間的物理量及它們之間關係，不依賴於任意的參照系（或“規範”）；無論觀察者是移動還是靜止不動，無論尺子上的數字差得多遠，它們都保持一致。在那些不同的儀器上進行的測量是可以相互轉換的，轉換公式藴含在彼此之間的內在關係中。

例如，以碼或者米為單位測量一個足球場的長度，得到的數字是不同的，但其中規律是不變的。同樣，兩位攝影師從兩個不同的位置拍攝物體，會產生不同的圖像，但是這些圖像可以彼此關聯。等規可確保物理學家的現實模型保持一致，無論觀察角度或測量單位如何。等規卷積神經網絡對數據做出了相同的假設。

紐約大學的物理學家凱爾·克蘭默（Kyle Cranmer）將機器學習用來研究粒子物理學。他説：“（物理學的）想法是，沒有哪個方向是特殊的。他們希望把這一原則用在神經網絡上，而且他們真的做到了。”

擺脱“平地”

倫敦帝國理工學院的計算機科學家邁克爾·布朗斯坦（Michael Bronstein）在2015年創造了“幾何深度學習”一詞，用以描述為“擺脱平地”而進行的初創工作，並設計了可以學習非平面數據模式的神經網絡。這個詞和研究工作很快流行起來。

布朗斯坦和他的合作者知道，超越歐幾里德平面將要求他們重新構想一種基本的計算程序，該程序首先應使神經網絡在二維圖像識別方面有效。此過程稱為“卷積”，它使神經網絡中的一層對輸入數據的每一塊執行數學運算，然後將結果傳遞到網絡中的下一層。

“大致上，你可以將卷積視為可以滑動的窗口，”布朗斯坦解釋説。卷積神經網絡將許多這些“窗口”作用到數據上，就像過濾器一樣，每一個都旨在檢測數據中的某種模式。如果是貓的照片，經過訓練的卷積神經網絡可能會使用檢測原始輸入像素中低級特徵（例如邊緣）的過濾器。這些特徵將傳遞到網絡中的其他層，執行另外的卷積操作，並提取更高階的特徵（例如眼睛，尾巴或三角形的耳朵）。

接受過識別貓訓練的卷積神經網絡最終將使用這些分層卷積的結果為整個圖像分配標籤（例如“貓”或“非貓”）。

1. 特徵檢測裝置在圖片上滑過，每個過濾器與圖片中每個塊之間的匹配度被記錄下來，產生一組特徵映射。2. 經過操作之後，特徵映射又可以利用卷積求解更高維的特徵。3. 最後，神經網絡學會辨別，正確分類圖片。

但是這種方法僅適用於平面。韋林説：“當要分析的表面變彎時，你就遇上麻煩了。”

在曲面（在幾何學上稱為流形）上進行卷積，就像在地球上拿着一小塊半透明的方格紙，試圖準確地追蹤格陵蘭島的海岸線。你不能在不使紙張起皺的情況下將正方形按在格陵蘭島上，這意味着當你再次將其放平時，你的圖形會變形。

同時，將紙與地球表面相切放置，然後穿過這張透明紙片描繪格陵蘭島的邊緣，這種方法（稱為Mercator投影）也會產生變形。

另外，你也可以索性將方格紙放在平坦的世界地圖上描邊，但是這相當於在複製這些變形——就像地圖的整個上邊緣其實只代表一個點（北極）。

如果流形並不像球體那樣是一個規則的球體，而是一個更復雜更不規則的東西，比如瓶子，或者摺疊的蛋白質，那麼在它上進行卷積就變得更加困難。

布朗斯坦和他的合作者在2015年找到了解決非歐氏流形上的卷積問題的一種解決方案，方法是將滑動窗口重新想象成類似圓形蜘蛛網的形狀，而不是一張方格紙。這樣就可以將其壓向地球（或任何彎曲的表面），而不會使其彎曲，拉伸或撕裂。

以這種方式改變滑動濾波器的屬性，能夠使卷積神經網絡更好地“懂得”某些幾何關係。例如，網絡可以自動識別出彎曲成兩個不同姿勢的三維形狀（例如，一個站立的人和一個抬起一條腿的人）是同一物體，而不是兩個完全不同的對象。這一變化也使神經網絡的學習效率大大提高。布朗斯坦説，常規的卷積神經網絡“需要花數週時間，使用數百萬個形狀示例進行訓練;我們使用了大約100種形狀的不同姿勢，並進行了大約半小時的訓練。”

同時，塔科·科恩和他在阿姆斯特丹的同事開始從相反的方向着手解決同一問題。2015年，當時還是研究生的科恩沒有研究如何將深度學習“帶離平地”。相反，他對一個他認為的實際工程問題很感興趣：數據效率，或者如何用比少於通常需要的數千或數百萬個示例來訓練神經網絡。科恩説：“深度學習方法是非常緩慢的學習者。”如果你正在訓練卷積神經網絡來識別貓（從互聯網上無休止地提供貓的圖像），那麼這幾乎沒有問題。但是，如果你希望網絡檢測到更重要的內容（例如肺組織圖像中的癌症結節），那麼找到足夠的訓練數據並非一件易事——這需要數據在醫學上有很好的準確性，已經被很好地貼標籤分好類，並且沒有隱私問題。訓練網絡所需的示例越少越好。

科恩知道，一種提高神經網絡數據效率的方法是預先給數據某些假設。例如，即使肺腫瘤在圖像中旋轉或翻轉，它仍然是肺腫瘤。通常，要想讓卷積網絡學會這一點，必須從頭開始，用許多“不同方向的同一物體”這樣的例子來訓練它。2016年，科恩和韋林合著了一篇論文，定義瞭如何將“幾何對稱”這樣的假設編碼為神經網絡。這種方法行之有效，2018年，科恩和共同作者瑪麗莎·温克爾斯（Marysia

Winkels）進一步推廣了該方法，將其應用在CT掃描中，用於識別肺癌，得到了很好的效果：他們的神經網絡僅使用訓練其他網絡所用數據的十分之一，即可得到該疾病的可見證據。

阿姆斯特丹的研究人員還在不斷推廣。這就是他們的通往規範不變性之路。

拓展不變性

物理和機器學習具有基本的相似性。正如科恩所説：“兩個領域都涉及進行觀測，然後建立模型來預測未來的觀測。”他指出，至關重要的是，這兩個領域都不在於尋求單個事物的模型。對氫原子有一種描述，對顛倒的氫原子有另一種描述，這是不可取的，這應當去描述屬於同一類別的東西。“當然，物理學在這方面已經非常成功。”

自愛因斯坦以來，物理學家們用等方差（或“協方差”，物理學家偏愛的術語）這一假設來推廣他們的模型。阿姆斯特丹大學的理論物理學家米蘭達·程（Miranda

Cheng）解釋説：“這只是意味着，如果要描述某種物理的規則，那麼它應該與你使用哪種‘標尺’，或更籠統地説，你是什麼樣的觀察者無關。”她與科恩等人撰寫了一篇論文，探討了物理學與等規卷積神經網絡之間的聯繫。就像愛因斯坦本人在1916年所説的那樣：“自然的一般定律應由對所有座標系都適用的方程式表示。”

阿姆斯特丹大學物理學家米蘭達·程。

卷積網絡通過利用該原理的一個簡單例子“平移不變性”，成為深度學習中最成功的方法之一。檢測圖像中特定特徵（例如垂直邊緣）的窗口過濾器，會在整張圖片上滑動（或“平移”），並對所有這些垂直邊緣的位置進行編碼；然後，它會創建一個標記這些位置的“特徵圖”，並將其傳遞到網絡的下一層。平移不變性使得創建特徵圖成為可能：神經網絡“假定”同一特徵可以出現在二維平面中的任何位置，並且無論垂直邊緣在右上角還是在左下角，都能夠將其識別出來。

韋勒説：“等變神經網絡的重點就是把這些明顯的對稱性放入網絡體系結構中，這就跟免費的午餐似的。”（譯者注：機器學習領域有“沒有免費的午餐”定理，代表沒有最優算法。這裏自然引入物理的對稱性，使得體系信息增加，更能達到最優化。）

到2018年，韋勒，科恩及其博士導師韋林擴大了“免費午餐”的範圍，將其他不變性包括在內。他們的“組等價的”（“group-equivariant”）卷積神經網絡可以在無需訓練的情況下檢測平面圖像中的旋轉或反射特徵；球面卷積神經網絡可以根據球體表面上的數據創建特徵圖，而無需將其變形為平面投影。

這些方法仍然不夠通用，無法處理凹凸不平的不規則結構上的數據。這些結構涵蓋了幾乎所有的幾何形狀，從土豆到蛋白質，再到人體，再到時空彎曲。對於神經網絡，這些類型的流形沒有“全局”對稱性來做出不變性假設。每個位置都是不同的。

標準卷積神經網絡不適用於彎面。一個在曲面上的邊緣檢測窗口經過滑動其取向會根據其路徑改變，而且過濾器在不同的情況下會產生不同的特徵。

挑戰在於，將扁平過濾器在表面上滑動會改變過濾器的方向，取決於其採用的路徑。想象一下設計用於檢測簡單圖案的過濾器：左側為深色斑點，右側為淺色斑點。在平面網格中上下左右滑動它，它將始終保持左深右淺。但是，即使在球體的表面上，這種情況也會改變。如果將濾鏡圍繞球體的赤道移動180度，則過濾器的方向將保持不變：左側為深色斑點，右側為淺色斑點。但是，如果從球體的北極將其滑動到同一點，結果卻是顛倒的。過濾器將不會在數據中檢測到相同的模式或編碼出同樣的特徵圖譜。不同路徑的結果可能是各個方向的。

幸運的是，自愛因斯坦以來，物理學家們面臨同樣的問題，並找到了解決方案：等規。

韋林解釋説，問題的關鍵是不去關注跟蹤過濾器沿不同路徑移動時其方向如何變化，而是選擇一個過濾器的取向（或規範），然後定義一種一致的方法，將所有其他方向轉換為該方向。

要注意的是，儘管可以在初始方向上使用任意規範，但將其他量規轉換為該參考系必須保留基本模式——就像將光速從每秒米轉換為每小時英里必須保留基礎物理量。韋林説，採用這種等量變方法，“雖然實際數字發生了變化，但是它們以完全可預測的方式發生了變化。”

科恩，韋勒和韋林在2019年將等規（最終的“免費午餐”）編碼到了他們的卷積神經網絡中。詳細來説就是，他們對神經網絡通過卷積的方法探測到的模式施加數學約束條件。只有規範不變的模式才會在網絡的各個層之間傳遞。韋林説：“基本上，你可以讓它處理任何表面”，從歐幾里德平面到任意彎曲的物體，包括諸如克萊因瓶或四維時空的奇異流形，“並且它會如魚得水地在該表面上進行深度學習。”

切實可行的理論

等規卷積神經網絡的理論非常通用，它自動合併了之前的幾何深度學習方法的內稟假設，例如旋轉不變性和球上的移位過濾器。即使是邁克爾·布朗斯坦的更早方法（讓神經網絡識別彎曲成不同姿勢的單個三維形狀）也納入了這一理論框架之中:“等規是一個非常廣泛的框架。我們在2015年所做的工作是其中一種設定。”

理論上，卷積神經網絡計可以在任何尺寸，任意彎曲的表面上工作，科恩和他的合作者已經在全球氣候數據上對其進行了測試，該數據必然具有潛在的三維球形結構。他們使用自己的等規框架構造了一個卷積神經網絡，該卷積神經網絡經過訓練，可以從氣候模擬數據中檢測出極端天氣模式，例如熱帶氣旋。2017年，政府和學術研究人員使用標準卷積網絡檢測數據中的旋風，準確性達到了74％；去年，規範卷積神經網絡探測到旋風的準確率達到了97.9％（超過了2018年專門為球體設計的幾何深度學習方法，該系統的準確度為94％）。

勞倫斯伯克利國家實驗室（Lawrence Berkeley National Laboratory）的氣候科學家瑪雅·穆迪貢達（Mayur Mudigonda）經常使用深度學習，他表示他將繼續關注規範卷積神經網絡。他説：“人類視覺能力的這一方面，”——準確地識別圖形而不論其方向如何——“這就是我們想要轉化到氣候領域的東西。”高通公司是一家芯片製造商，最近僱用了科恩和韋林，並收購了他們建立的一家初創公司，將其早期工作納入等規神經網絡中。該公司現在正計劃應用等規神經網絡理論來開發更優化的計算機視覺應用，例如可以一次“看到”360度的無人機。（環境的魚眼圖就像全球氣候數據一樣，可以自然地映射到球形表面上。）

同時，規範的卷積神經網絡在諸如克蘭默之類的物理學家中越來越受歡迎，他們計劃將其用於處理亞原子粒子相互作用的模擬數據。克蘭默説：“我們正在分析與強核力有關的數據，試圖瞭解質子內部發生了什麼。” 他説，數據是四維的，“因此，對於具有這種等規的神經網絡，我們擁有一個完美的使用場景。”

前物理學家裏西·康多（Risi Kondor）現在正在研究等規神經網絡，他説，這一框架的潛在科學應用可能比其在AI中的應用更為重要。

但是，儘管物理學家的數學方法啓發了人們對卷積神經網絡的瞭解，物理學家可能會為它們找到很多用處，但科恩指出，這些神經網絡本身並不會發現任何新的物理。他説：“我們現在能夠設計能夠處理非常奇特的數據的網絡，但是你必須事先知道該數據的結構是什麼。”換句話説，物理學家之所以可以使用規範的卷積神經網絡是因為愛因斯坦已經證明時空可以表示為四維彎曲流形。科恩的神經網絡將無法獨自“看到”該結構。他説：“學習對稱性是我們不要做的事情，”儘管他希望將來這件事成為可能。

產生了這一跨學科的直覺，進而以嚴格的數學方法證明了這一點，科恩不禁為此感到欣慰。他説：“我一直感覺機器學習和物理學正在做非常相似的事情。我覺得這真的很奇妙：我們只是從一個工程問題開始，在改進系統的過程中，逐漸發現了越來越多的聯繫。”

原文鏈接：

https://www.quantamagazine.org/an-idea-from-physics-helps-ai-see-in-higher-dimensions-20200109/