吳思:從人工神經網絡的發展中,看我們腦網絡如何訓練得更好_風聞
CC讲坛-CC讲坛官方账号-创新引领未来,传播改变世界。03-21 10:38
大家好,我叫吳思,來自北京大學心理與認知科學學院。
我想這段時間引起社會最大震動的一件事情就是ChatGPT的橫空出世(ChatGPT是一種語言加工和對話的人工智能系統),ChatGPT它目前表現出來的智能水平超過幾乎所有專家學者的預期。比爾·蓋茨甚至説,ChatGPT帶來的改變,可以類比於我們個人電腦、智能手機、互聯網對社會引起的變革。

其實在此之前,人工智能已經給整個社會帶來了震動。比如説在圖像識別方面,它的水平已經超過了我們人類,人臉識別已經在社會各個方面得到了應用,AlphaGo已經擊敗了我們人類的世界冠軍,AlphaFold在蛋白質結構解析方面,取得了革命性的突破,這些所有的技術革命,正在不斷地改變着我們這個社會。
這一切從某種意義上來説也是一種恐慌,我想從我自己的科研的角度,來談一談人工智能技術的底層邏輯。其實,大家都覺的人工智能非常強大。其實,在很多技能上,人工智能還有很多的不足。

這裏我演示了一個圖片,是在學術界經常用的一個例子,表現了人工智能對噪音的魯棒性的缺乏,這是一個熊貓,我加一點點特別設計的噪音,我們人是沒有問題輕鬆的識別這是一個熊貓,但是機器它卻認為是一個長臂猿,在這個帶有噪音的魯棒性的圖片識別上,它比我們人還差得很遠。
左下角是13個動點,這是一個人在走動是吧,13個點代表人的走動,這個任務對我們人類來説很輕鬆,但是對於目前的人工智能,還是一個很挑戰的問題。
右下角是一個熊的圖像,我們人類丟掉了細節,只是抓住了熊的一個整體輪廓,就能識別出來這是個熊,但是對於目前的人工智能的識別還是很困難。

我們人還具有小樣本學習的能力,比如説一個小朋友,也許就看了幾張兔子的照片,在生活中所有的兔子他都能識別了,這就是舉一反三的小樣本學習的能力,目前的人工智能還需要大數據的訓練。
還有右邊顯示的就是一種概念學習,我們在讀書的時候,我們是拿着書本來學習知識,這些知識都是一種抽象的概念,我們人都沒有問題,我們都在讀書中學習了知識、認識世界,但是目前的人工智能還需要大數據,需要具體的例子才能幹好這樣的事情。

**所以,雖然目前人工智能在一些專項技能上取得了長足進步,但是它對比我們人腦,實際上還有很多的不足。**我們依然可以説,人腦仍然是宇宙中最智能的信息的加工機器。這個機器讓我們能感知這個世界,能讓我們學習,能讓我們產生記憶,能進行推理抉擇,能產生情緒喜好,這都是我們大腦幹的事情。

大腦要實現這些複雜的認知功能,它最核心的計算特點就是網絡計算。在我們的大腦中有上千億個神經元,每個神經元平均的連接數是上萬,這些複雜的網絡,就構造了一個特別複雜的信息加工的網絡,我們大腦實現各種智能任務,都是靠這個網絡進行的信息加工的。

我的研究領域叫計算神經科學,它的就是要用數學建模和計算機仿真的方法,來分析大腦網絡工作的基本原理,從而能發展更好的人工智能。
既然大腦是用這種複雜的神經網絡進行信息加工,所以很自然的一個想法是,我們為什麼不模仿大腦網絡的特點,來構造一個人工的計算系統來處理信息呢?

其實,這就是當前人工智能的最核心技術,人工神經網絡的思想誕生的源泉,就是要模仿大腦的網絡怎麼做計算,我們模仿這樣一個網絡,我們就構造了一個計算的框架,但是當我們在做具體任務的時候,我們需要訓練這個網絡,所謂訓練就是我要給它學習的樣本,我有一些輸入和輸出的,就是已知答案的學習樣本,然後我把這個樣本就餵給這個網絡,然後我調節這個網絡神經元之間連接的權重和它的結構,使得這個網絡的輸出如我所願,這就是所謂的訓練的過程。
大家談到大數據的訓練,其實都隱含了這樣一個你給它大的數據,它作為學習的樣本來調節網絡的結構和參數,使得它能實現你想要完成的任務。

**其實,我們人的一生也是一個訓練腦網絡的過程。**我們在嬰幼兒的時期,就通過各種玩耍學習怎麼去感知世界,比如説在運動時,就學會了手眼的協調,到了讀書期間,我們就讀書本上的知識,要知道在每一個學習的過程中,我們大腦的神經網絡的連接都在發生着變化,實際上我們的網絡也像人工神經網絡,是在被訓練的過程。

終其一生,我們通過生活,學習和工作,實際上是不斷地激發我們大腦內部在發生變化,我們實際上在訓練我們的腦網絡,只是我們可能沒有意識到我們是如何形成了我們的世界觀,人生觀的。
孔子説得很好,十有五而志於學,二十弱冠,三十而立,四十不惑,五十而知天命,但後面還有,因為我現在只到50歲,我就在這stop了。
現在的人工智能已經發展了很多的算法和技巧來優化人工神經網絡,我們也許可以從人工神經網絡的發展中,反過來去看我們腦網絡是怎麼訓練得更好,同時給我們人生的發展提供一些啓示。

要訓練好一個人工神經網絡,我們第一步就要選擇一個目標函數,所謂目標函數 就是我們要定量化,定什麼樣的人工神經網絡訓練是好是壞,我們要定量化地刻畫它,在數學上就叫目標函數,這個目標函數選的好與壞,就直接決定了最終你這個網絡的上限。對應着我們的人生就是我們要選擇一個人生的目標,這個目標既要實現我人生的個人價值,同時也要服務這個社會。
有了一個好的目標,我們的人生才有一個好的發展,可以説我們的人生的目標,實際上決定了我們腦網絡訓練的上限,我們一定要定好我們人生的目標,我們人生的路才能走得好。

有了目標函數就要開始訓練網絡,所謂訓練,就是你給這個網絡提供一個樣本,然後你要調節這個網絡的參數,使得這個網絡的輸出如你所願,在AI中,就是要講究用海量的數據,用所謂大數據海量的樣本,來訓練這個網絡,**比如説,**現在火的ChatGPT,它能成功的一個很大原因,就是它用了互聯網的海量的數據,比如説,它用了大量書本上的知識,還有互聯網上大量的文本知識,訓練了上千億的參數,訓練完了以後,就出現了一些智能的行為。
訓練人工神經網絡數據特別關鍵,所以叫數據為王。
對應着我們人生,我們要訓練好我們的網絡意味着什麼呢,我們需要豐富多彩的人生給我們腦網的訓練提供素材,就是所謂的讀萬卷書、行萬里路,豐富多彩的人生經歷,實際上為我們訓練好腦網絡提供了樣本。尼采有一句話是我自己特別喜歡的,他説:“****每一個不曾起舞的日子,都是對生命的荒廢”。
用人工智能的術語就是説,你又浪費了一天,你沒有收集訓練你腦網絡的素材。
有了目標函數,有了大樣本,在訓練的時候,你還有很多訓練的技巧,在人工神經網絡訓練中,大家就發展了一些數學上的技巧,比如,人工神經網絡訓練的一個最基本的算法叫做誤差反傳算法,它的本質思想是我給一個樣本,我就做個輸出,我發現這個網絡的輸出和我想要的結果之間的誤差,把這個誤差反傳來調整我的網絡,這就相當於我們在學習中,我們需要從試錯中去學習。

更先進一點的算法叫動量加速算法,這個算法説的意思就是我在調節網絡參數的時候,我不僅依賴於當前的樣本,我還依賴過去的歷史,對於我們人生的學習就是説,我們要不思反省,我們要總結經驗來提高我們腦網絡的訓練。
此外,在人工神經網絡中還有模仿學習,就是你在訓練一個網絡的時候,你可以模仿一個已經訓練好的網絡,然後你來通過學習,來更好地提高你對一個新網絡的訓練,那麼這對我們人生來説就是,三人行,必有我師,我們要從他人的優點中學習。
總結起來就是説,**我們人生要敢於試錯,要不思反省,要學習他人的優點,其實和我們人生的發展一樣。**我們在人工神經網絡訓練中,也不是一帆風順的,你會碰見各種各樣的難題。
人工神經網絡這個領域,它也發展了一些數學技巧來解決這個難題,我這就舉兩個例子,一個就是你在訓練人工神經網絡的時候,你訓練的所謂的能量函數,會落入一個局部極小,簡單説就是網絡的表現很難再提高了,那麼,我們人工智能的專家怎麼做呢,我們會重置網絡參數,從頭再訓練,對應着我們人生來説就是,我們人生可能在某個時候陷入一個困境,這個時候我們要勇於求變,重新開始。

在人工神經網絡中也是,我們會有一種所謂的平台期,你進入那個平台期了,你會發現你訓練很長時間,你網絡的表現都提高不了,然後你鍥而不捨堅持訓練的話,在某一時刻,網絡的表現就會突然有個大的提高,這就相當於我們人生中,你碰見了一個低谷,你不要輕言放棄,你要鍥而不捨,最終能從低谷中逃脱出來。
最後一個類比,我想講的是人工智能中現在面臨一個挑戰,我們真正的目的是當我訓練好了後,來了個新的從來沒見過的樣本,我們這個網絡依然表現很好,在人工神經網絡中這叫泛化能力,這才是我們真正關心的問題,因為我們訓練的樣本是已知答案的,我們在網上都能找到的答案,我們真正的關心的是,網絡對新的沒見過的樣本,它依然還表現好,就是個泛化能力。在人工神經網絡領域怎麼才能有網絡的泛化能力是個很難的問題,也是還沒有解決的問題。
我們經常會碰見一個經典的難題叫做過擬合現象。就是,如果一個神經網絡,你用樣本去訓練它的時候,你訓練得越久,可能反而泛化能力越差,就是你的網絡的參數,過度的擬合了你學習的樣本,最後你對新樣本的表現就會很差,這個就叫過擬合現象。
**這個對應着我們教育的目的,**我們在讀書的時候,我們做了很多題,但我們做題目的的本身不是隻記住死的知識,我們是希望一個能力,一種創造性的能力,當遇到一個新的沒見過的問題的時候,我們還會做它,那麼在訓練中就面臨着一個很大的挑戰,如果我們過度訓練,所謂的題海戰術,我們實際上是隻記住了死的知識,反而導致過度的訓練,像神經網絡的過擬合一樣,我們反而會失去了創造性,造成了思維的定式。
所以説,這是人工智能這個領域,它目前還沒解決的問題。
怎麼有針對性地提高訓練的泛化性,只是有些數學技巧來避免實現過擬合,這個對我們的教育也是個難題,大家都在説,我們要培養學生的創造性,但怎麼培養呢,也沒有給出一個明確的答案,關於教育的本質的話,愛因斯坦説了一個特別有哲理的話,“教育是一個人,忘記了他在學校裏學到了一切知識之後剩下的東西”。就是你通過學習已知答案的東西,但你要忘掉它,你真正需要掌握的是泛化的能力,對新知識的解決的能力。

在我們中國的哲學裏面,也有類似的思想,我這裏就把金庸的《倚天屠龍記》裏面暗含了這種思想的一段特別精彩的對話分享給大家。當魔教攻上了武當山,由於張三丰受傷沒法應戰,他需要在短時間內,讓張無忌學會太極拳,下面徒孫倆的對話。
張三丰做演示,張無忌快速學習。演示以後,張三丰問,無忌,我教你的東西還記得多少。張無忌就回答説,回太師爺,我只記得一大半。張三丰説,那你繼續練吧,過了一會兒,張三丰又問,那現在呢?張無忌説,已經剩下一小半了。又過了一會兒,張三丰説,那現在呢,張無忌説,我現在已經把所學的全忘掉了,張三丰説,好,你可以上了!最後他出戰,把魔教的玄冥二老給擊敗了。
這裏面暗含了一個思想,就是張三丰只是給張無忌提供了一個樣板,實際上張無忌最終是學會了一種人工神經網絡的泛化能力,或者説太極拳的精髓。這裏實際上和愛因斯坦的想法是一樣的,我們學習的本質是通過樣本,從某種意義上來説是一個悖論。
我們要學習,我們需要樣本,但是我們不希望這個樣本,破壞我們的創造性,所以説這是我們教育面臨的難題,也是我們學習的難題。人工智能這個領域,大家都在關心怎麼提高這個神經網絡的泛化能力,也許有一天,人工神經網絡把這個泛化能力給解決了,它反過來可以反饋我們什麼樣的教育方式是最好的。

最後,我總結一下,人工智能它是模擬我們大腦的網絡,通過大數據的訓練優化我們的人工神經網絡,我們人是在學習和工作中來訓練大腦的網絡來實現自我的價值,這兩者都是在訓練一個網絡,都是在實現一種智能,只不過一個是人工智能,一個是生物智能,所以,我們每個人其實都是我們自身網絡的訓練者。
當我們今天在驚歎於人工智能高速發展的同時,請不要忘了我們自己大腦,是一個更強大、更有潛力的網絡,它需要也更值得我們去訓練好它,因為訓練好大腦的網絡,就意味着我們度過了一個美滿幸福的人生,謝謝大家。
編輯:王海龍