以假亂真的硅神經元，能複製人腦嗎_風聞

撰文 | Sandeep Ravindran

譯者 | 顧凡及

**********編輯 **|EON

來源：神經現實

2012年，計算機科學家達曼德拉·莫達（Dharmendra Modha）用一台強大的超級計算機仿真了超過5000億個神經元的活動，其數目甚至超過了人腦中850億個左右的神經元數。這是莫達近十年工作的頂峯，在這十年裏，莫達從仿真齧齒動物和貓的腦開始直到仿真有人腦規模的系統。

該仿真消耗了巨大的計算資源，它用了150萬個處理器和1.5PB（150萬GB）的存儲器，然而其速度仍然慢得令人抓狂，比腦計算速度要慢1500倍。莫達估計，如果要使它和生物的實際運行速度一樣快，就需要12吉瓦的能量，大約是胡佛大壩最大供電量的6倍。加州北部IBM阿爾馬登研究中心（IBM Almaden Research Center）的腦啓發計算首席科學家莫達説：“然而，這對腦來説只是小菜一碟。”這種仿真遠遠無法複製人腦的功能，而人腦的功率與一個20瓦的燈泡差不多。

自2000年初以來，硬件的改進以及實驗和理論神經科學的進步，使研究人員能夠創建更大、更精細的腦模型。但這些仿真越複雜，就越會受到傳統計算機硬件的限制，莫達極度耗電的模型就説明了這一點。

莫達的人腦仿真是在勞倫斯·利弗莫爾國家實驗室（Lawrence Livermore National Lab）的藍基因/Q紅杉超級計算機（Blue Gene / Q Sequoia supercomputer）上運行的，這台計算機是傳統計算機硬件的一個無比強大的集合體：它的工作要靠一大堆傳統的計算機芯片，這些芯片是指甲大小的硅片，其中包含數百萬個晶體管。傳統計算機芯片的結構和功能原則與我們的腦完全不同。

計算機的“思考”與我們的腦截然不同，這一事實讓它們在處理數字運算等任務時具有優勢，同時也讓它們在其他一些領域裏明顯顯得很原始，比如理解人類的語言或從經驗中學習。如果科學家們想要仿真腦，使其能與人類智力相媲美，更不用説超越人類智力，他們可能就必須先要研製更好的構件——某些受我們腦啓發的計算機芯片。

聰明芯片（SMART CHIP）：由物理學家卡爾海因茨·邁爾（Karlheinz Meier）領導的海德堡小組設計的神經形態芯片（neuromorphic chip）。該芯片有384個人工神經元，由10萬個突觸相互連接，運行速度比腦計算速度快約10萬倍。

—

HEIDELBERG UNIVERSITY

所謂的神經形態芯片（neuromorphic chips）複製了腦的架構，也就是説，它們通過類似於神經元動作電位的“神經鋒電位”相互交流。這種發放鋒電位的行為方式使得芯片的功耗非常小，即使將其拼接成非常大規模的系統，也能保持高能效。

滑鐵盧大學的理論神經科學家克里斯·伊萊亞史密斯（Chris Eliasmith）説道：“在我看來，最大的優勢是可擴展性。”在他的《如何構建腦》（How to Build a Brain）一書中，伊萊亞史密斯描述了他創建並命名為“語義指針架構統一網絡”（Spaun）*的功能腦的大規模模型**[1]**。當伊萊亞史密斯運行Spaun的初始版本時，該模型有250萬個“神經元”，即使在最好的傳統芯片上運行，它的運行速度也比生物神經元要慢20倍。他説道：“每當我們增加幾百萬個神經元時，它就會變慢那麼多。”當伊萊亞史密斯在數字神經形態硬件上運行他的一些仿真時，他發現它們不僅速度快得多，而且功效也提高了50倍左右。更妙的是，隨着伊萊亞史密斯仿真更多的神經元，神經形態平台變得更加高效。這也是神經形態芯片要從自然界複製過來的方式中之一，在自然界，隨着規模的擴大，比如説，從蠕蟲腦的300個神經元擴大到人腦的850億個左右，腦似乎會同時增加功率和效率。

***譯者注：**Spaun是Semantic Pointer Architecture Unified Network的縮寫。

神經形態芯片在執行復雜的計算任務時，功耗極低，這引起了科技行業的關注。神經形態芯片的潛在商業應用包括高能效超級計算機、低功耗傳感器和自學習機器人。但生物學家心中有一種不同的應用：構建一個功能齊全的人腦複製品。

今天的許多神經形態系統，從IBM和英特爾開發的芯片，到作為歐盟人腦計劃一部分所創建的兩種芯片，研究人員都可以使用，他們可以遠程訪問它們來運行他們的仿真。研究人員正在用這些芯片創建單個神經元和突觸的精細模型，並解讀各單元如何聚集在一起以創建更大的腦子系統。這些芯片允許神經科學家在實際硬件上檢驗視覺、聽覺和嗅覺如何工作的理論，而不僅僅是用軟件仿真。最新的神經形態系統也使研究人員得以開始進行更具挑戰性的任務，即複製人類如何思考和學習。

現在還只是起步階段，要真正釋放神經形態芯片的潛力將需要理論、實驗和計算神經科學家以及計算機科學家和工程師的共同努力。但最終的目標非常宏偉，並不亞於弄清楚腦的各個組成部分是如何共同創造思想、感情甚至意識。

英特爾神經形態計算實驗室主任、計算機工程師邁克·戴維斯（Mike Davies）説道：“通過逆向工程複製腦，是我們能接受其挑戰的最雄心勃勃的技術難題之一。”

問題全在於架構

加州理工學院的科學家卡弗·米德（Carver Mead）在20世紀80年代創造了“神經形態”（neuromorphic）一詞，因為他注意到，與作為現代計算機芯片構件的數字晶體管不同，模擬晶體管更接近神經元的生物物理性質。具體來説，仿真電路中非常微小的電流（微小到電路實際上處於 “關閉 “狀態）表現出類似於生物神經元中離子流過通道的動力學性質，而這種流動並不導致動作電位。

賈科莫·因迪維裏（Giacomo Indiveri）對米德及其同事們的工作很感興趣，90年代中他決定到加州理工學院做博士後研究。現在，因迪維裏是瑞士蘇黎世大學的一名神經形態工程師，他所領導的研究小組是少數幾個延續米德使用低電流模擬電路方法的研究小組之一。因迪維裏和他的團隊手工設計芯片的佈局，這個過程可能需要幾個月的時間。他説道：“因為我們試圖提出巧妙的解決方案來實現神經動力學，這仍然是鉛筆和紙張的工作。如果你在做模擬，那麼這在很大程度上仍然是一門藝術。”

一旦確定了佈局，他們就會將設計通過電子郵件發送給代工廠，這是一家制造智能手機和電腦芯片的精密金屬鑄造工廠。最終的結果看起來大致上就像智能手機芯片一樣，但它的功能就像“神經元”組成的網絡，通過幾個節點傳播電脈衝。在這些模擬神經形態芯片中，信號是通過實際的電脈衝來中繼的，這些脈衝的強度可以不同。就像在腦中一樣，信息是通過不同神經元的脈衝定時（timing）來傳遞的。

因迪維裏説道：“如果你把其中一個神經元的輸出給神經生理學家看，他將無法告訴你這究竟是來自硅神經元還是來自生物神經元。”

這些硅神經元代表了複製神經系統有機濕件（wetware）的不完美嘗試。生物神經元是模擬-數字混合系統；它們的動作電位模仿數字硬件的離散脈衝，但它們也是模擬的，因為神經元中的電壓水平會影響傳輸的信息。

模擬神經形態芯片的特點是硅神經元與生物神經元的物理行為非常相似，但它們的模擬性質也使它們傳輸的信號不那麼精確。雖然在進化上我們的腦已經找到了補償其組件不精確的方法，但研究人員卻將其基本概念帶入了數字領域。IBM和英特爾等公司都專注於數字神經形態芯片，其硅神經元複製了生物神經元中的信息流動方式，但物理原理不同。之所以採取不同的物理原理，這和傳統數字芯片佔據了我們絕大多數計算機和電子產品的原因相同，緣於其更高的可靠性和更容易製造。

-JeremyUNISEM歐洲有限公司 -

構建模塊：每個SpiNNaker芯片與存儲器封裝在一起（左上角），然後拼接成較大的設備，如右上角的48節點板。多個板子可以連接在一起，形成更大的SpiNNaker系統（上圖）。

—

曼徹斯特大學，史蒂夫·弗伯（Steve Furber）和同事們

但這些數字芯片在體現腦架構的方式上保持了其神經形態狀態。在這些數字神經形態芯片中，鋒電位以信息包的形式出現，而不是實際的電壓變化脈衝。戴維斯説道：“這與我們傳統上在計算機裏設計的所有東西都有很大的不同。”

不管鋒電位的形狀如何，系統只有在輸入達到一定閾值時才會轉發信息，這使神經形態芯片得以間斷地少量消耗電力，而非不間斷地大量消耗。這類似於腦的神經元在任何時候都會進行交流，而不是聽從計時員的命令。另一方面，傳統芯片大多是線性的，在嚴格的內部時鐘控制下，在存儲數據的存儲硬件和計算數據的處理器之間穿梭往返傳遞數據。

當莫達在設計IBM的神經形態芯片（名為“真北”[TrueNorth]）時，他首先分析了獼猴和人腦中的長距離佈線圖，該圖映射了不同腦區之間的連接方式**[2]。他説道：“它真正開始告訴我們長距離連接、短距離連接，以及關於神經元和突觸的動力學性質。”到2011年，莫達創造了一個包含256個硅神經元的芯片，與蠕蟲秀麗隱杆線蟲（C.elegans）的腦規模相同。利用最新的芯片製造技術，莫達將神經元包裝得更加緊密，以縮小芯片的體積，並將這些芯片中的4096個芯片平鋪在一起，最終在2014年發佈了真北，它包含100萬個合成神經元，這與蜜蜂腦的規模差不多，而且功耗比傳統芯片低幾百倍**[3]。

- Matt Chinworth -

真北等神經形態芯片的人工神經元之間具有非常高的連接性，類似於在哺乳動物腦中看到的情況。大規模並行的人腦的850億個神經元通過大約1萬億個突觸高度互聯。

真北要簡單得多，其中有2.56億個 “突觸”，連接其100萬個神經元。通過將多個真北芯片拼接在一起，莫達創造了兩個更大的系統：一個仿真了1600萬個神經元和40億個突觸，另一個有6400萬個神經元和160億個突觸。目前許多機構的200多名研究人員可以免費使用真北。

除了神經形態芯片的高度互聯和發放脈衝這兩大特性外，它們還複製了生物神經系統的另一個特徵：與傳統計算機芯片不同，傳統計算機芯片將處理器和存儲器放在不同的地方，而****神經形態芯片往往有很多微小的處理器，每個處理器都有少量的本地內存。這種配置類似於人腦的組織，神經元同時負責數據存儲和處理。研究人員認為，神經形態架構的這一要素可以讓用這些芯片構建的模型更好地複製人類的學習和記憶。

學習能力是英特爾洛以希（Loihi）芯片*關注的一個重點，該芯片於2017年9月首次發佈，並在2018年1月與研究人員分享據**[4]**。洛以希芯片旨在仿真約13萬個神經元和1.3億個突觸，這種芯片結合了鋒電位時間依賴性可塑性（STDP）的模型，STDP是腦中由突觸前和突觸後鋒電位的相對定時介導突觸強度的一種機制。一個神經元如果在第二個神經元發放之前發放，就會加強它與第二個神經元之間的連接，而如果發放順序相反，連接強度就會減弱。這些突觸強度的變化被認為在人腦的學習和記憶中起着重要作用。

***譯者注：**以夏威夷海底山Loihi命名。

領導開發洛以希芯片的戴維斯表示，其目的是為了學會我們腦擅長的快速、終身學習能力，而目前的人工智能模型卻還不具備。和真北一樣，也向許多不同的研究人員分發了洛以希芯片。隨着越來越多的團體使用這些芯片來仿真腦，戴維斯説：“希望可以逐漸搞清楚某些較為普遍的原理，由此得以解釋可在腦中看到的一些驚人能力。”

神經形態工程學

對於其所有潛在的科學應用來説，真北和洛以希芯片並不是專門為神經科學家打造的。它們主要是研究芯片，旨在測試和優化神經形態架構，以提高其能力和易用性，並探索各種潛在的商業應用。其範圍從語音和手勢識別到高能效機器人和設備上的機器學習模型，這些模型可以支持開發更聰明的智能手機和自動駕駛汽車。歐盟的人腦計劃（Human Brain Project）則開發了兩種神經形態硬件系統，它們都有明確的目標：認識腦。

2016年推出的“神經形態混合系統腦啓發多尺度計算”（BrainScaleS）項目*，**[5]**把許多芯片都集成在一個大硅片上，其形狀更像是一隻超薄的飛盤而不是指甲。每個晶圓包含384個模擬芯片，它們的工作方式頗像因迪維裏的模擬芯片的升級版，這種芯片針對速度而不是低功耗進行了優化。每個晶圓都仿真了約20萬個神經元和4900萬個突觸。

*譯者注：BrainScaleS是Brain-Inspired Multiscale Computation in Neuromorphic Hybrid Systems的縮寫。

BrainScaleS與歐盟的另一個神經形態系統“脈衝發放神經網絡構築”系統（SpiNNaker）*一起，都得益於作為人腦計劃的理論、實驗和計算神經科學家大家庭的一分子。與這一社羣的互動將導致發現可能幫助科學家的新特性，並讓這兩個系統的新發現迅速回饋到該領域。

***譯者注：**SpiNNaker是Spiking Neural Network Architecture的縮寫。

曼徹斯特大學的計算機工程師史蒂夫·弗伯（Steve Furber）在20年前就構思了SpiNNaker，為此他已經設計了十多年。弗伯表示，在對作為SpiNNaker基礎的小型數字芯片進行了大約6年的努力之後，他和他的同事們在2011年實現了全部功能。從那時起，他們的研究團隊一直在將芯片組裝成規模不斷擴大的機器，最終在2018年底建成了有百萬處理器的機器**[6]**。弗伯預計，SpiNNaker應該能夠對小鼠腦中的1億個神經元進行實時建模，而傳統的超級計算機做起來要慢一千倍左右。

目前，學術實驗室可以免費使用歐盟人腦計劃系統。神經科學家們開始在SpiNNaker硬件上運行自己的程序，以仿真腦特定子系統（如小腦、皮層或基底神經節）中所進行的高級處理。例如，研究人員正試圖仿真一個小的重複結構單元——皮層微柱，微柱是位於腦外層的負責大多數高級功能的結構單元。弗伯説道：“雖然微柱很小，但它仍然有8萬個神經元和25億個突觸，所以要想對此建模並非輕而易舉。”

他補充説，“接下來，我們開始考慮系統層面的問題，而不僅僅是單個的腦區。”我們正逐步接近作為人智能之源的、有850億個神經元的器官的全腦模型。

模仿腦

達特茅斯學院的計算神經科學家理查德·格蘭傑（Richard Granger）表示，利用神經形態硬件對腦進行建模，可以揭示神經計算的基本原理。神經科學家可以非常詳細地測量神經元的生物物理和化學特性，但很難知道這些特性中究竟是哪些性質才真正對腦的計算能力重要。雖然神經形態芯片中使用的材料與人腦中的細胞物質完全不同，但使用這種新硬件的模型可以揭示腦如何往返傳送和評估信息的計算原理。

用硅複製簡單的神經迴路，幫助因迪維裏發現腦在設計上的隱性好處。他曾經給過一位博士生一塊神經形態芯片，這塊芯片具有鋒電位的頻率適應性，這是一種讓人習慣於持續性刺激的機制。由於芯片空間緊張，這位學生決定不要這一特性。然而，當他努力降低對芯片的帶寬和功率要求時，他最終得到了實際上與他所刪除的鋒電位頻率適應相同的東西。因迪維裏和他的同事們還發現，長距離發送模擬信號的最佳方式並不是，例如説，將其表示為連續可變的流，而是將其表示為脈衝串或脈衝序列，正像神經元所做的一樣。因迪維裏説道：“如果你想把功率和帶寬降到最低，神經元所使用的原來就是傳輸信號的最佳技術。”

神經形態硬件還可以讓研究人員檢驗他們關於腦功能的理論。康奈爾大學計算神經科學家托馬斯·克萊蘭（Thomas Cleland）建立了嗅球模型，以闡明嗅覺機制的原理。使用洛以希芯片使他能夠建立足夠快的硬件模型，以模仿生物。當從化學傳感器（作為我們氣味受體的人工版本）獲得數據時，系統學會了只要接受一個樣本就能識別氣味，這要優於傳統的機器學習方法，並接近嗅覺最靈敏的人。

戴維斯説道：“通過像這樣成功的模仿，並實際展示可以用神經形態芯片做到這一點，這確實證實了你真的搞懂系統了。”

-Zoë van Dijk -

克萊蘭的嗅覺模型並不總是如預期的那樣成功，但那些“失敗”的實驗也同樣具有啓示意義。傳感器有時會覺得氣味輸入與模型預測的不同，這可能是因為氣味比預期的要更復雜或更嘈雜，或者是因為温度或濕度干擾了傳感器。他説道：“輸入會變得有點不穩定，我們知道這騙不了我們的鼻子。”研究人員發現，通過關注氣味輸入中以前被忽視了的“噪音”，嗅覺系統模型可以正確檢測出更多種類的輸入。這一結果使克萊蘭更新了他的嗅覺模型，研究人員現在可以觀察生物系統，看看它們是否也使用這種以前未知的技術來識別複雜或嘈雜的氣味。

克萊蘭希望對他的模型進行改進，使模型能以生物實時運行，以分析來自數百甚至數千個傳感器的氣味數據，而這在非神經形態硬件上運行可能需要幾天時間。他説道：“只要我們能把算法用到神經形態芯片上，那麼它就能很好地工作。”“對我來説，最令人興奮的是當我們真的做了這些改進之後，我們就能夠運行這些16000個傳感器數據集，看看算法會變得多麼好。”

SpiNNaker、真北和洛以希芯片都能以生物的實際速度運行對神經元和腦的仿真，這意味着研究人員可以使用這些芯片來實時識別刺激，如圖像、手勢或聲音，並立即進行處理和作出響應。除了讓克萊蘭的人工鼻處理氣味外，這些能力還可以讓機器人實時感知環境並做出反應，同時只消耗極少的電力。這比大多數傳統的計算機有很大的進步。

- Matt Chinworth -

對於某些應用來説，比如建立學習過程的模型可能需要數週、數月甚至數年的時間，如果速度能快一點，就會有所幫助。這就是BrainScaleS的優勢所在，它的運行速度大約是生物腦的1000至10000倍。而且這個系統只會越來越先進。它正處於升級到BrainScaleS2的過程中，正在與神經科學家密切合作以開發新版本所用的新處理器。

新系統將能夠更好地模仿學習和化學過程，比如多巴胺對學習的影響，而這些都是其他神經形態系統無法複製的。研究人員表示，它還將能夠建模各種神經元、樹突和離子通道，以及結構可塑性的一些特徵，如突觸的丟失和生長。也許有一天，該系統甚至能夠接近人的學習和智能。幫助開發BrainScaleS的海德堡大學生物物理學家約翰內斯·舍梅爾（Johannes Schemmel）説道：“理解生物智能，我認為是本世紀迄今為止最大的問題。”

參考文獻

[1] C. Eliasmith et al., “A large-scale model of the functioning brain,” Science, 338:1202–05, 2012.

[2] D.S. Modha, R. Singh, “Network architecture of  the long-distance pathways in the macaque brain,” PNAS,  107:13485–90, 2010

[3] P.A. Merolla et al. “A million spiking-neuron integrated circuit with a scalable communication network and interface,” Science, 345:668–73, 2014.

[4] M. Davies et al. “Loihi: A neuromorphic manycore processor with on-chip learning,” IEEE Micro, 38:82–99, 2018.

[5] J. Schemmel et al., “A wafer-scale neuromorphic hardware system for large-scale neural modeling,” Proc 2010 IEEE Int Symp Circ Sys, 2010.

[6] S.B. Furber et al., “The SpiNNaker Project,” Proc IEEE, 102:652–65, 2014.

譯者評論

神經形態芯片是近年來神經技術方面非常值得注意的一個領域，它在計算原理方面突破了馮諾依曼架構，在節能和仿真腦的計算速度方面具有優勢，很有可能在對節能要求特別高的領域如航天，以及硬件實現神經迴路或某些相對簡單的腦子系統模型時發揮重要作用。這篇文章是對神經形態芯片現狀的一篇較好也較全面的綜述。不過譯者認為對神經形態芯片在重視的同時，也不能估計過高。

第一，有腦規模的模型並不等同於腦模型，有腦規模的模型只是説其中的元件數和元件之間的聯結數可以和腦相比，但是其元件只是對神經元的一種很粗糙的模擬，聯結也可能與腦中的實際聯結很不一樣，因此無論從結構和功能兩方面來説都和生物腦相去甚遠。

第二，神經形態芯片在細胞水平能很好模擬神經元，這是因為有了霍奇金-赫胥黎方程這樣可靠的理論基礎，對於一些相對簡單的腦子系統，如嗅球、小腦、視網膜等也可望作出很好的模型研究。但是對於現在還完全沒有任何理論框架的全腦問題，現在就想通過逆向工程建立全腦模型是不現實的。在譯者看來在可預見的未來還做不到“構建硅腦”，而只能構建腦某些子系統的硅模型。

第三，腦和計算機的工作原理不一樣，擅長的功能也不一樣，計算機擅長的數值計算和邏輯推理是生物腦所不擅長的，而腦所擅長的模式識別、小樣本學習等方面也是馮諾依曼計算機所不擅長。在譯者看來馮諾依曼計算機和神經形態系統應該是互補的關係，而不是誰取代誰的關係。

第四，關於神經形態系統能否發展成新一代計算機的問題，不僅取決於這一技術本身，取決於是否能開發出豐富的應用生態系統，而且也取決於有多少工程技術人員願意拋棄他們駕輕就熟的傳統計算機技術，而重新投入大量精力和物力重新學一門與前完全不同的新技術。