奇點降臨?_風聞
返朴-返朴官方账号-关注返朴(ID:fanpu2019),阅读更多!01-24 15:19
對於正在成長的年輕人而言,如何在AI的巨大沖擊下選擇未來的專業方向是一個影響深遠而又性命攸關的問題。
撰文 | 顧險峯
殘酷肅殺的虎年終於過去,温煦明媚的兔年迎面而來。紐約大年三十的除夕之夜,清冷寂寥,恰是回顧總結的好時機。在未來的歲月長河中,對於 2022 年是否成為人類歷史的奇點或許會有爭議,但是無人不承認 2022 年是人類歷史的拐點!全球範圍的瘟疫、俄烏戰爭、核聚變、AI,這些劇變都會給人類社會帶來革命性的影響。
生成模型(AIGC)
2022 年,AIGC 發展日益強大,OpenAI的DALL-E2, Stability AI的Stable Diffusion 生成模型和 ChatGPT 橫空出世,再度震懾整個人類,為人類智力提出了強有力的挑戰。Stable Diffusion 模型可以根據文字描述直接創作出具有驚人視覺效果的圖像,在藝術創業比賽中擊敗人類藝術家,正在顛覆人類創造藝術的方式。ChatGPT 可以根據上下文,生成可以通過圖靈測試的文本,行雲流水,妙筆生花,廣徵博引,恣肆汪洋,令人類寫手黯然失色。
這裏我們可以看到生成模型的本質是將語義信息和圖像信息解釋成特定流形上的概率分佈,從而計算兩個分佈之間的傳輸變換,或者更加廣泛的,兩個分佈之間的聯合概率分佈。傳輸變換可以用熱擴散,也可以用任意的傳輸變換,熱擴散只是方便計算單向的傳輸。同時熱擴散也必然帶來模式坍塌和模式混淆。
如果我們考慮 ChatGPT,那麼我們需要將所有可能的提問構成輸入,根據上下文的回答構成輸出,這時我們計算兩個語義分佈之間的聯合概率分佈。在當今時代,人類社會將所有可能出現的信息都保留在 Internet 之上,用如此包羅萬象、龐大無遺的自然語言數據庫訓練出來的 ChatGPT 表現了驚人的語言能力。在日常生活工作中,幾乎所有的模式化的文章都可以用 ChatGPT 來自動生成,並且其文章質量超乎手寫的平均水平。比如,如果我們需要寫一封措辭嚴謹,政治正確,態度謙恭,卻又綿裏藏針的 email,ChatGPT 寫的完勝人類。如果寫一篇高屋建瓴、氣勢如虹、激情澎湃卻又抽象空洞的演講稿,ChatGPT 也是信手拈來。由此可見,目前人類社會中絕大多數的私人信件、模式化公文和商務文章都可以由 ChatGPT 自動完成。很多媒體中的大量文章也可能都是由 ChatGPT 生成。
湧現與相變
基於概率統計的學習模型居然具有如此之高的智能,這是令人非常驚豔。迄今為止,其內在原因依然無法解釋。目前常見的觀點認為當預訓練模型的規模達到一定規模,就會發生所謂的“湧現”現象,從量變到質變,這個系統出現了“相變”,從而 GPT 具有了智能上的飛躍。物理上的伊辛模型用於解釋相變現象,伊辛模型描述鐵磁性物質的內部的原子自旋狀態及其與宏觀磁矩的關係。發生相變的系統一般是在分子之間有較強相互作用的系統,當系統温度達到臨界值的時候,整個物質會突然失去磁性。伊辛模型廣泛應用於整數優化,在 3D 視覺中起到關鍵作用。目前比較熱門的“滲流”理論是伊辛模型的某種推廣:我們考
概率。這和一個年輕人學習一門學問的過程比較類似,開始他接觸了很多概念和定理,對於這些知識點之間的聯繫有些模糊的理解。依隨學習思考的深入,討論交流的增加,知識點之間的聯繫得以加強,突然有一天,這位年輕人醍醐灌頂,融會貫通。嬰兒學習語言也是比較類似,牙牙學語的時候記憶了詞彙,但是無法理解,講的話也是詞不達意。但是依隨頻繁使用語言與大人交流,接觸文學作品,影視語言節目,詞彙之間的搭配日益固定下來,表達的精準度日益提升,終於有一天開始有了自己的特有文采。
但是,物理中的相變也有一些特點目前無法從AI中觀察到。例如,如果我們將鐵磁體做共形形變,那麼鐵磁體的臨界温度(居里點)並不發生變化。這在滲流理論中也有體現。這對於生成模型的湧現是否有意義,目前無法回答。在凝聚態物理中,纖維叢的陳示性類理論成功地解釋了並且預言了拓撲絕緣體中的相變,類似的思想為解釋AI中的湧現也提供了思路。筆者相信如何為湧現(相變)建立數學理論將會成為熱點問題。
拾人牙慧與獨立思考
ChatGPT很多時候表現得伶牙俐齒,左右逢源,但基本上是拾人牙慧,缺乏基本的邏輯推理,更談不上獨立思考。它就像一個兒童,通過模仿來學習,雖然經常機智搶答,但是隻有street smartness,而沒有wisdom。例如,我們問ChatGPT:“在藍色盒子中有一個蘋果,在藍色盒子中也有一個紅色盒子,紅色盒子有個盒蓋。如何拿到蘋果?”ChatGPT一本正經地回答:“攏共分兩步:1. 打開紅盒子的盒蓋,紅盒子在藍盒子內部;2. 將手探入紅盒子內部,取出蘋果。雖然過程很簡單,但是你要確保擁有取得蘋果的許可。”我們看到,ChatGPT缺乏基本的空間推理能力,但是擁有早熟的語言技巧。
如果我們問ChatGPT更加嚴肅的科學問題,ChatGPT就開始一臉無辜而又無比自信地胡説八道,並且萬般狡辯,卻又能夠自圓其説。例如我們問ChatGPT:“證明一下為什麼高斯曲率是內藴的?”ChatGPT給出貌似嚴格的推理:“攏共分5步:1. 從高斯曲率定義出發,高斯曲率等於兩個主曲率之積;2. 回想一下,曲面上某點的主曲率是該點處法向量變化速率的極大、極小值;3. 法向量的變化速率是曲面的內藴性質,不依賴曲面參數的選取;4. 因此主曲率是內藴的,它們之積也是內藴的;5. 因此,高斯曲率也是內藴的。”對於沒有真正理解微分幾何的人來説,ChatGPT的解答滴水不漏,極具欺騙性。微分幾何中的內藴是指由黎曼度量決定的性質,與曲面在三維歐氏空間中的嵌入無關。而法向量由曲面嵌入所決定,因此是外藴的。這意味着ChatGPT並不真正理解內藴的涵義。但是,我們再問ChatGPT:“何謂內藴?”它又給出正確的理解:“數學中的內藴是指由幾何物體本身所決定的性質,與其在更大空間中的嵌入無關。例如,兩點間的測地距離是內藴的,高斯曲率是內藴的,因為它不依賴曲面的參數化,也與曲面在三維空間的嵌入無關。”這種自相矛盾的回答表明ChatCPT只是鸚鵡學舌般地記住了微分幾何,並沒有融匯貫通地真正理解。
而成體系的數學理論,其內在的概念和定理之間是通過強邏輯推演彼此聯繫的,而非基於淺表語言層面,通過弱邏輯的聯合概率來推斷上下文。ChatGPT雖然在概率統計方向達到了自然語言理解的極至,但是在邏輯推演方面無法和人類匹敵,這必然是AI發展的未來方向。傳統AI中的機器定理證明,符號計算等方面其實早已達到了令人歎為觀止的程度。例如計算代數的Grobner基方法、吳方法等,這些方法將幾何命題轉換成代數表示,將命題的條件轉換成一個理想,將結論轉換成多項式,通過機械計算來判定結論多項式是否在條件理想之中。這種方法的效率和複雜度超過人類一般水平。如果將ChatGPT的自然語言理解和表達能力與符號演算、邏輯推理能力相結合,AI還會進一步超越人類。
對計算機科學的挑戰
ChatGPT具有令人恐怖的編程能力。如果命令它用C++編寫計算機科學本科高年級的經典算法,例如圖形學中的光線跟蹤算法,計算幾何中的Delaunay三角剖分算法,數值偏微分方程中的有限元方法等,ChatGPT稍加思索就洋洋灑灑地一揮而就,並且程序質量比較可靠。而一般的計算機系學生需要經過幾年的學習才能達到類似水平。這是否意味着計算機程序員很快會被AI所取代?
筆者在1990年代接受的計算機科學訓練,當時清華大學的訓練以嚴格而著稱。計算機程序等於數據結構加算法。我們系統學習了各種經典的數據結構,例如平衡二叉樹,哈希表、隊列、堆棧和堆,也學習了經典算法,例如圖論中的最大流、最小割,深度優先、寬度優先搜索算法。那時非常強調彙編語言的高效性,c語言的指針和內存管理。當時也系統學習了各種代數數值計算方法,物理方程有限元解法。在過去的30年間,計算機領域滄海桑田,地覆天翻,各種語言層出不窮,Java和Python目前大行其道,Go和Rust等新興語言日新月異,很多知識已經被時代所淘汰。
在寒假期間,筆者為了科研每天依然編程10小時左右。無時不刻不依賴基本的數據結構,例如有序隊列、哈希表等,但是卻從來沒有自己動手寫過底層的容器,而是直接用標準模板庫(standard template library)。自從我們學了形式語言和編譯原理,編譯器出現之後,筆者再也沒有寫過彙編程序。自從Matlab等數值分析程序庫成熟以來,筆者也沒有寫過底層的數值計算算法。但是,由於筆者的研究領域主要是拓撲幾何的算法,而表達流形最為有效的數據結構嚴重依賴於指針,筆者一直用c++編程,Java和python對於計算拓撲和幾何並不是得力工具。在寒假中,筆者主要編寫3維流形的拓撲算法,動態拓撲結構的複雜性超過日常的空間想象力,幾乎所有的精力都耗費在檢查指針鏈接的錯誤上面。同時,對於最優傳輸中的強烈非線性蒙日-安培方程,由於沒有通用的解法庫,並且依賴於動態高維多面體的單純復形數據結構,筆者只得自己動手編寫。這意味着不同的領域需要用到不同的計算機語言和科學工具。計算機工具的發展是漸進積累的,而非徹底顛覆的。基礎的知識體系和技能訓練依然需要。同時,由於筆者在研究的算法是目前尚未出現的算法,ChatGPT沒有學習資料,自然也無從競爭。
從另一個角度來看,計算機科學的發展將人類的理論知識轉化為算法,傳統的算法和數據結構被底層開發工具封裝。後面的開發者不需要理解已經被封裝的理論知識,而只需要懂得如何使用即可。例如幾乎所有的計算機視覺算法都被OpenCV所囊括,所有的計算幾何算法都被CGAL所封裝,所有的數值PDE方法都被MatLab所包括,所有的計算代數算法都被Mathematica、Maple所包括。這種人類智慧成果通過工業軟件來積累是歷史的必然,這強迫每一代的計算機科學家必須站在他那一代的前沿。每一代人需要開發不同的前沿,需要不同的知識體系和技能結構,而前沿在加速拓展。而針對落在前沿之後的傳統算法,人類將無法和ChatGPT競爭,因為ChatGPT可以通過Internet和龐大的科技文獻進行高效學習,人類將無法望其項背。這意味着AI將人類從庸常膚淺的智力勞動中解放出來,從而使人類可以集中精力於複雜深刻的智力勞動。
對年輕人的忠告
對於正在成長的年輕人而言,如何在AI的巨大沖擊下選擇未來的專業方向是一個影響深遠而又性命攸關的問題。恰如數控機牀的出現,淘汰了大量的手工作坊。在過去幾十年的IT領域,大量的工作是“重複發明輪子”,AI的發展會大量減少這個層次的工作機會。那麼年輕人應該學習什麼方向呢?
30年前,筆者求學階段,IT產業處於剛剛萌芽的原始階段,周圍人的主流觀點都強調“接地氣”,反對學習“屠龍術”,清華計算機系的教育也極其重視直接動手的工程能力。但是理論組的黃連升等老師堅持讓我們花費主要時間學習現代數學。通常,現代數學需要更加抽象的思維,概念理解的難度遠超過工程類的課程,一些同班同學因為強烈反對學習當時貌似毫無實用價值的“屠龍術”而轉班至其他方向。後來筆者一直在學術領域耕耘,深刻體會到年輕時代學習現代數學的重要性。
丘成桐先生多次教誨大家:“大自然是有內在結構的,人類文明的發展本質上就是認識理解這些自然結構,用數學和物理語言將這些結構表述出來。”而自然中具有根本重要性的結構並不很多,如果在生命中能夠發現或者釐清某個結構,那對於人類而言自然是功德無量,這正是基礎理論學者終身追求的目標。認識自然是第一步,改造自然更是人類的目的。將自然結構及其規律用算法語言來表達,將數學物理定律“固化”成計算機軟件,這正是計算機科學家的終極目標。在過去30年中,如果洞徹喧囂,我們可以看出整個計算機工業正是沿着這條路徑循序漸進地發展。例如,物理學的發展將各種自然物理規律總結成偏微分方程,工業軟件就是通過有限元來求解這些偏微分方程,從而幫助人們在力學、熱力、電磁、流體等領域的設計,推動機械、汽車、電機、航空等領域的發展。
筆者所從事的領域本質上是從算法角度來研究拓撲和幾何結構。筆者在1990年代的大學階段,代數拓撲和微分幾何還沒有滲透到計算機科學領域。1990年,陳省身先生訪問清華,到筆者所在的課堂上給了一個演講,那是筆者頭一次聽説纖維叢示性類和陳類的概念,但是並不真正理解。1993年,筆者學習曲面微分幾何,逐步理解高斯-博內定理實際上是曲面切叢的陳類。1996年左右,筆者在波士頓遇到一位音樂方面的朋友,得到了一本代數曲線方面的教程,接觸到黎曼-羅赫定理和阿貝爾-雅克比理論,但是不知所云。2000年左右,丘先生教導筆者系統地學習黎曼面理論,逐步認識到阿貝爾-雅克比理論本質上是黎曼面上的全純線叢的示性類理論,但是隻體會到智力上的美學價值,對於其工程上的實際用處嚴重懷疑。2015年左右,Tom Sederberg教授教授將筆者引薦給Tom Hughes教授,Hughes教授創建了等幾何分析(Isogeometric Analysis)領域,需要高質量CAD表示,而這歸結為結構化網格生成。2017年,在哥倫比亞大學遇到張首晟教授,向他請教拓撲絕緣體的理論,張教授回答一句話“就是陳類”。2020年左右,筆者和合作者們終於認識到結構化網格等價於某個特定全純線叢的全局截面,其奇異點等價於示性類,由阿貝爾-雅克比方程所控制。
再如1995年左右,丘先生教授筆者如何用蒙日-安培方程求解Minkowski問題。1997年左右,筆者學習計算幾何中的包絡算法。2013年左右,筆者遇到汪徐家教授從而瞭解了蒙日-安培方程和最優傳輸理論的關係。2013年開始,筆者和合作者用幾何變分法給出Alexandrov定理的構造性證明,開發了一系列算法求解最優傳輸問題。2020年左右,生成模型開始火爆全球,我們將生成模型中的模式坍塌歸結為蒙日安培方程的正則性理論。可以預見生成模型會持續發展,目前擴散模型中的熱力學擴散並非是本質的,用最優傳輸取代會帶來效率上的提升。
第三個例子,1993年筆者學習微分幾何,開始理解幾何中最為關鍵的結構就是黎曼度量,在計算機科學領域中大量的問題本質上都是關於如何挑選一個合適的黎曼度量,但是沒有任何算法來通過曲率構造黎曼度量。1998年左右,筆者發現個叫哈密爾頓的教授每個週末都來到哈佛,與丘先生整日整夜地討論所謂的Ricci流,當時只知道Ricci流是證明龐加萊猜想的關鍵,但並不理解Ricci流的理論細節。2002年在洛杉磯,劉克峯師兄家中為丘先生賀壽,遇到另一位周師兄,周師兄是Ricci流方面的專家,瞭解到Ricci流可以通過曲率構造黎曼度量。2003年左右拜訪羅峯教授,開始和羅教授將Ricci流理論推廣到離散情形。2007年直至2013年,一直髮展離散Ricci流算法,但是缺乏存在性、唯一性的理論證明。2013年,離散曲面Ricci流理論證明完成,2018年正式發表於Journal of Differential Geometry。2020年開始通過Hughes教授與工業界合作,2022年Beta-CAE首次用等幾何分析方法完成汽車碰撞數值模擬,其CAD模型就是用Ricci流生成。2022年,筆者訪問北美工業軟件的頭部公司,發現公司招募的一些年輕人多次學習了筆者線上課程“計算共形幾何”,而在公司中的主要任務就是開發Ricci流相關的軟件。迄今為止,黎曼度量結構的唯一構造性算法就是離散Ricci流,剛剛開始滲透到工業界。
通過這些親身經歷,筆者感慨良多。筆者一向認為這些自然結構的存在與人類社會無關,其客觀規律遲早會被人類所認識並且利用。例如,工業界所有的幾何問題都無法迴避黎曼度量結構,因此人們遲早會認識到Ricci流算法的根本重要性。但是,人類社會具有非常現實和世俗的一面,真正深刻的理論被工業界認可依賴於社會環境、技術和商業的發達程度。例如工業軟件領域,很多年來一直沒有突破性進展,似乎與現代幾何拓撲發展絕緣。但是近10年來,由於Tom Hughes發展出的等幾何分析方法比有限元方法更具優勢,Ansys,Beta-cae,Honda等公司開始力推這種方法進行汽車模擬仿真,由此對CAD建模提出了更高的要求,Ricci流方法開始顯現不可替代的重要性,具有數百年曆史的Abel-Jacobi理論才最終得以在工業界應用。筆者和工業軟件頭部公司的技術總管深入交流,發現CAE技術瓶頸不再是偏微分方程的數值解法,而是前端幾何網格剖分和樣條構造問題,而這些問題不再是傳統機械力學、數值偏微分方程的問題,而是涉及到剛剛發展出來的微分幾何、代數幾何和3-流形拓撲理論。
如果我們問ChatGPT有關計算機編程的工程方面的問題,ChatCPT對答如流;如我們問ChatGPT關於代數拓撲、幾何方面的算法,ChatGPT無法給出令人滿意的回答。可以預見,AI的發展迫使人類從事更加複雜深刻、更加需要創造性的智力勞動,而這需要更加先進現代的基礎理論作為支撐。過去幾年,筆者有幸遇到了很多有才華、充滿理想主義的年輕人。筆者鼓勵他們本科期間多學基礎數學和物理,到研究生階段再根據自己的志趣選擇偏學術或者偏實用的方向。
年終小結
2022年筆者繼續堅持線上的公開課程“計算共形幾何”,也涵蓋了“最優傳輸理論”。因為工業軟件的迅猛發展和AI特別是AIGC生成模型的爆火,課程吸引了數萬名同學。非常感謝廣大同學們的大力支持!課程主要介紹了曲面代數拓撲、微分幾何和共形幾何的基本概念、定理和計算方法,也給出了代數曲線、黎曼面理論的一些關鍵定理,基本上是用比較初等的方法證明黎曼-羅赫定理和阿貝爾-雅克比定理。最優傳輸理論涵蓋了經典的Monge-Kantorovich-Brenier理論,凸幾何中的Minkowski-Alexandrov理論,流體力學的Benamou-Brenier理論。也解釋了單純復形的dart數據結構,持續同調算法,Hodge分解算法,Ricci流算法,幾何變分的最優傳輸算法等等。今年筆者計劃堅持開課,或許加一些三維流形拓撲算法,纖維叢示性類算法。
這篇文章的封面插圖由OpenAI的DALL-E2生成,筆者輸入的提示是:“AI正在產生人類歷史的奇點。”DALL-E2生成了一張正在破碎的人類少女的臉,而少女的食指指着一張正在生長的機器人的臉。AI生成的圖像的確非常切題而傳神,傳神到直接描繪了人類被取代的恐懼。這令筆者感到了DALL-E2的挑釁意味。
最後,筆者需要證明這篇博文的確是由人類完成,而非由ChatGPT所炮製。於是筆者詢問ChatGPT:“如何證明一篇文章是由人類寫就,而非你所完成?”ChatGPT熱情地建議到:“你可以包括一些語法錯誤,人類經常犯,而AI語言模型通常不會。”這又讓筆者感到了ChatCPT隱隱的嘲諷。不爽之餘,筆者覺得最好還是包括一句ChatGPT的語料訓練庫中還沒有包括的2022網絡流行語:對所有的人類讀者説一聲“栓Q”!
本文經授權轉載自微信公眾號“老顧談幾何”。
特 別 提 示
1. 進入『返樸』微信公眾號底部菜單“精品專欄“,可查閲不同主題系列科普文章。
2. 『返樸』提供按月檢索文章功能。關注公眾號,回覆四位數組成的年份+月份,如“1903”,可獲取2019年3月的文章索引,以此類推。