計算激變:當華為跨過一切走向星空_風聞
脑极体-脑极体官方账号-从技术协同到产业革命,从智能密钥到已知尽头2019-11-28 20:29
“恆有二者,餘畏敬焉。位我上者,燦爛星空;道德律令,在我心中。”
這句寫在《純粹理性批判》一書和康德墓碑上的話,可以被看作是康德哲學思想的精煉。其中康德將外部世界概括為Starry heaven——充滿星星的蒼穹。在很多時候,人們對於這個世界的探索精神,都被抽象成了對星辰大海的追逐。星星為什麼會閃耀?星河的黑暗之處,又隱藏着什麼秘密?這些疑問,是我們與生俱來的好奇心的最好表現。
在天性的指引之下人類不斷踏平一切阻礙,去踐行探索。例如用豐富的交通工具踏平物理距離,讓人類可以真正地踏步星雲之中,或是用數字化記錄踏平時間的阻隔,把一切轉瞬即逝記錄成永生的數據。
在跨越空間與時間障礙之後,下一個攔在我們與星空之間的障礙,便是計算了。
讓星光穿越大洋洲
故事要從一個天文望遠鏡説起。
從17世紀開始,天文望遠鏡就成了人們觀測宇宙星空的絕佳工具。隨着技術不斷發展,直到今天,這一工具讓我們的目光更加深遠,透徹地瞭解到宇宙與星體。到了如今的射電天文觀測時代,我們已經能通過望遠鏡接受宇宙中的無線電波,捕捉光年之外的信號。但從自然科學的角度來説,很多時候工具越發達、我們發現的信息越多,也就愈發認識到自己的渺小。
想象一下,當考古學家們發現龐大的墓羣時,除了驚喜與驚歎,他們所做的更多是潛心研究,不斷推翻自己的認知體系。同樣天文望遠鏡所捕捉到的每一點信息,也都值得被分析研究。尤其和靜止於時空中的文物不同,無線電波處於動態之中,有時需要對大面積星空進行實時觀測,才能捕捉到天文現象。而這其中所需要的算力支持,幾乎是難以想象的。
基礎研究並不會因為配套設施的不足而停止,近年以來,我們進入了“SKA時代”。
所謂SKA既平方公里射電陣(Square Kilometre Array),由眾多碟形天線構成的巨型射電望遠鏡陣列。
憑藉超高靈敏度、超大視場、超快巡天速度和超高分辨率來獲取、觀測到那些以往未知的信息,甚至有望在宇宙起源、生命起源、宇宙磁場起源、引力本質、地外文明等“終極問題”中獲得突破。
而SKA望遠鏡所產生的數據也是巨大的,資料顯示SKA建成後每年存檔大約600PB的數據,遠超於今天的互聯網。
這樣龐大體量的數據,先不提計算,光是傳輸就是一個巨大的問題。曾經有一種説法稱,把100PB的數據從北京傳輸到上海,最快的速度是順豐快遞。這並非是笑談。
而目前SKA望遠鏡的兩個中心區域一個在澳大利亞一個在南非,我們要如何將這些數據跨越大洋洲與其他研究機構共享,是飛機?輪船?或是傳説中的6G網絡?
數據熔爐中,宇宙與星空之秘
我們已經有了能力將宇宙中的訊號記錄成數據,但如果無法從這些數據中得出結論,它們便會塵封於數據庫之中,像一個個未解的謎團。
如何解開這些數據謎團,挖掘其中的價值信息?上海天文台給出了答案——華為雲AI。
如果參加過今年華為HC大會的人一定記得,在現場展示了華為雲與上海天文台合作利用華為雲AI昇騰集羣服務對南半球星空的射電星系進行搜索和識別, SKA先導項目所產生的海量數據被安置在了雲端,華為雲AI昇騰集羣服務如同一座鋼鐵熔爐,輸入數據燃料,煉出關於宇宙與星空的秘密。
在最近的SKA上海大會暨第六屆SKA工程大會上,我們得以瞥見有關這一答案的更多消息,也能看到華為雲AI究竟是如何帶領人類破壁,解密星空。
作為當前全球最大的科研項目,SKA項目所面臨的問題其實也集科研領域於一處。
首要的,是計算能力本身。正如前文所説,科研數據往往體量巨大,甚至超出現有計算能力。對這些數據進行挖掘、將其訓練成AI模型以提升未來的研究效率更是困難;其次還有科研協作。龐大數據量不僅僅受計算能力影響,同時也在影響協作效率。很多天文類的科研項目都和SKA一樣,需要把望遠鏡或望遠鏡陣列建設在世界各地,對於這些科研項目來説,想要實現分佈式的協作研究,往往要耗費大量成本在本地建立數據中心。最後還有軟件效率,面對深度學習這一新興工具,科研項目所建立的AI模型是否兼備高性能和高實用性,更重要的是是否具備可移植性。然而這一切都是伴隨海量數據而來的問題。
從計算宇宙到計算世界:華為給出的三層方法論
在和上海天文台的合作上,華為雲給出了很好的解答樣本。我們不妨從雙方的合作中提煉出若干方法論,看看這些方法論是否能在人類探索世界的整個過程中奏效。
第一層方法論,是巨大計算引擎本身帶來的效率升級。
基於Atlas900,華為雲AI昇騰集羣服務在合作過程中起到重要作用。它是當前全球最快的AI訓練集羣,由上千顆有“最強AI處理器”之稱的昇騰910 AI處理器搭建而成。強大計算力匯聚之下,讓它獲得了世界頂級算力。當“地表最強”集羣服務碰撞上同樣“地表最強”的科研項目,帶來的結果是非常震撼的。
就拿宇宙中星體定位、分類這一項工作來説,在處理SKA先導項目星空觀測數據時,使用傳統方法天文學家需要169天才能完成一次對南半球星空中大約20多萬顆星體的定位和識別。而在上海天文台與華為的合作中,通過深度學習方法訓練AI模型,並利用華為雲AI昇騰集羣服務,僅需10秒就能完成任務。
從169天到10秒,其效率提升的意義無異於穿梭於時空之間的時間機器。
第二層方法論,來自全新的部署未來。
華為雲之於SKA項目的意義,一方面來自於昇騰910帶來的強大算力,另一方面則來自於“雲”。我們都知道雲化對於產業帶來的意義——將數據跨越空間進行寫作部署,根據自身需求變化彈性化的購置資源,隨時在雲端共享軟件能力的更新……但一旦涉及科研這種數據量巨大的領域,似乎很難依賴於雲端。實際上昇騰集羣採用的100G以太高速集羣互聯網絡,可以讓星海高速行走於雲間,便於諸如澳洲-上海之間的科研協作。
這種彈性存儲的部署模式,相比建立數據庫成本更加低廉、效率也更高,同時也降低了數據的訪問門檻。或許未來其他科研機構也可以登錄雲端平台訪問SKA數據,從星海之中找到自己想要的答案。
第三層方法論,來自AI這一出發點。
海量天文數據,需要的是暴力的計算,同樣也需要“聰明的計算”。在華為雲的全棧AI能力之下,上海天文台也得以將更多AI能力帶入科研之中。例如現在,華為雲和上海天文台正在嘗試使用AI對射電望遠鏡接收的脈衝星信號進行識別。倚仗華為雲AI能力和數以萬計脈衝星信號數據,昇騰集羣在短時間內完成訓練並建立AI脈衝星識別模型,判斷圖像是否為脈衝星信號,精準率和召回率均高達98%以上。
暴力計算解放人力,讓科學家們將時間投入到更多有價值的研究領域中。而智能則解放算力,算的更聰明,就能算的更高效。
探索之途,停在下個時代門前
這一系列方法論,顯然不只適用於天文一個領域。
康德將一切外物定義為“燦爛星空”,是因為人類探索一切,就像探索星空。實際上SKA項目上出現的巨大計算需求,僅僅是人類探索世界過程中的一個階段縮影。
之所以會出現算力需求的裂谷,是因為我們走向了數字化的頂峯。傳感器與互聯網的遍佈,加上基礎科學的進步,讓我們有了將宇宙中的一切轉換成數據的能力。大到用射電望遠鏡捕捉光年之外的脈衝信號,小到一條公路的智慧化,甚至一顆藥物的研發,幾乎都可以利用數據化模擬整個過程。自動駕駛、氣象研究、地質研究、工業數字孿生……這些領域正在各自形成數據洪流,滾滾向前。
更何況我們還有此前累積下的海量數據——2018年Forrest報告稱,大多數公司認為自己只分析了12%的大數據。也就是説,這個世界上有88%的大數據都被塵封了起來,在悶熱的機房中無聲嘆息。
這一切或許不會都像天文領域一樣,能夠通過暴力計算獲得如此巨大的改變。但當前的計算供應,與未來趨勢一定是不匹配的。
算力硬件不僅昂貴,從生產者到應用者之間還包含着多個複雜的產業環節。甚至即使其中加工者無數,最後的解決方案也不一定能很好的適應場景需求。更何況還有複雜的配套搭建過程——動輒佔地上百平米的數據中心和複雜的日常運維,無一不需要週期漫長的資金和人力投入。
萬事萬物的數字化明明到來的那麼自然,為什麼在下一個時代的門口會出現如此難以跨越的門檻?
激變發生、打破桎梏:觸碰星空的華為雲
這個世界的奇妙之處就在於,我們似乎一直在闖關升級,難以解決的矛盾一旦集中起來浮出水面,便會得以解決。
華為雲AI昇騰集羣服務的出現就是如此。
如果華為雲AI昇騰集羣服務提早幾年出現,我們可能會認為這隻“AI算力怪獸”有炫技之嫌。而在2019年,我們真正直觀的感受到了SKA項目帶來的海量天文數據,看到近在咫尺的自動駕駛,看到5G網絡即將帶來的萬物互聯,才真正感知到,人類的計算力,還需要更強一點。
同樣華為也是在這一年發佈了他們的計算戰略——一邊是利用基礎研究創新架構,推出適應算力增長的達芬奇架構,另一邊推出了昇騰、鯤鵬、麒麟、鴻鵠四款分別應對AI計算、通用計算、移動終端和智慧屏需求的芯片。加上對於華為雲AI昇騰集羣服務在AI訓練計算的佈局,華為已經對未來計算市場形成了一種籠罩式的佈局,預判產業的下一步發展,然後做好準備。
就拿SKA項目為例,華為雲給出的三條方法論實際上已經顛覆了“算力”這種資源的獲取方式,將算力和存儲從數據中心、超算中心轉移到雲上,無異於把蘋果樹苗變成貨架上的蘋果。獲取地表最強的算力,不再需要漫長的植樹耕耘,只需隨手拿取。這種激變,如同刀耕火種與食品工業化的對照。
激變還發生在更多地方。
我們看到達芬奇架構在改變每一款芯片中矩陣計算的效率;看到不同領域的芯片正在鉚住產業關節,深深植入計算;看到工程能力、網絡技術等等其他儲備也與計算集羣或芯片結合,去解決散熱、集成等等問題。
星空當前,華為雲正在集中一切力量去打破計算的桎梏。
或許在五年或十年之後,以華為云為代表的桎梏打破者會為我們的生活帶來天翻地覆的變化,我們可能在AI的幫助下從宇宙中捕捉到另一個種族的聲音,可能能夠預測很多自然災害,或是精準預知明年的天氣變化……但當我們把歷史的座標拉長,再回頭看看,可能早已對這一切習以為常。今天的一切幻想,總有一天會變成不起眼的日常細節。於是我們才不停探索,永遠嚮往未知。
但人們總會記得,在一次悄然無息或轟轟烈烈的計算升級後,我們距離頭頂的星空,又近了一點。
在這場旅途之中,我們每一個人都是探索者。而華為也提供了我們與其他探索者相遇的機會——2020年2月11日到12日,華為將在深圳面向開發者召開華為開發者大會2020(Cloud)。參與者可以與開發高手現場交流,並體驗豐富的黑科技。宇宙旅途,時刻發生。