計算激變：當華為跨過一切走向星空_風聞
脑极体-脑极体官方账号-从技术协同到产业革命，从智能密钥到已知尽头2019-11-28 20:29
“恆有二者，餘畏敬焉。位我上者，燦爛星空；道德律令，在我心中。”
這句寫在《純粹理性批判》一書和康德墓碑上的話，可以被看作是康德哲學思想的精煉。其中康德將外部世界概括為Starry heaven——充滿星星的蒼穹。在很多時候，人們對於這個世界的探索精神，都被抽象成了對星辰大海的追逐。星星為什麼會閃耀？星河的黑暗之處，又隱藏着什麼秘密？這些疑問，是我們與生俱來的好奇心的最好表現。
在天性的指引之下人類不斷踏平一切阻礙，去踐行探索。例如用豐富的交通工具踏平物理距離，讓人類可以真正地踏步星雲之中，或是用數字化記錄踏平時間的阻隔，把一切轉瞬即逝記錄成永生的數據。
在跨越空間與時間障礙之後，下一個攔在我們與星空之間的障礙，便是計算了。
讓星光穿越大洋洲
故事要從一個天文望遠鏡説起。
從17世紀開始，天文望遠鏡就成了人們觀測宇宙星空的絕佳工具。隨着技術不斷發展，直到今天，這一工具讓我們的目光更加深遠，透徹地瞭解到宇宙與星體。到了如今的射電天文觀測時代，我們已經能通過望遠鏡接受宇宙中的無線電波，捕捉光年之外的信號。但從自然科學的角度來説，很多時候工具越發達、我們發現的信息越多，也就愈發認識到自己的渺小。
想象一下，當考古學家們發現龐大的墓羣時，除了驚喜與驚歎，他們所做的更多是潛心研究，不斷推翻自己的認知體系。同樣天文望遠鏡所捕捉到的每一點信息，也都值得被分析研究。尤其和靜止於時空中的文物不同，無線電波處於動態之中，有時需要對大面積星空進行實時觀測，才能捕捉到天文現象。而這其中所需要的算力支持，幾乎是難以想象的。
基礎研究並不會因為配套設施的不足而停止，近年以來，我們進入了“SKA時代”。
所謂SKA既平方公里射電陣（Square Kilometre Array），由眾多碟形天線構成的巨型射電望遠鏡陣列。
而SKA望遠鏡所產生的數據也是巨大的，資料顯示SKA建成後每年存檔大約600PB的數據，遠超於今天的互聯網。
這樣龐大體量的數據，先不提計算，光是傳輸就是一個巨大的問題。曾經有一種説法稱，把100PB的數據從北京傳輸到上海，最快的速度是順豐快遞。這並非是笑談。
而目前SKA望遠鏡的兩個中心區域一個在澳大利亞一個在南非，我們要如何將這些數據跨越大洋洲與其他研究機構共享，是飛機？輪船？或是傳説中的6G網絡？
數據熔爐中，宇宙與星空之秘
我們已經有了能力將宇宙中的訊號記錄成數據，但如果無法從這些數據中得出結論，它們便會塵封於數據庫之中，像一個個未解的謎團。
如何解開這些數據謎團，挖掘其中的價值信息？上海天文台給出了答案——華為雲AI。
如果參加過今年華為HC大會的人一定記得，在現場展示了華為雲與上海天文台合作利用華為雲AI昇騰集羣服務對南半球星空的射電星系進行搜索和識別， SKA先導項目所產生的海量數據被安置在了雲端，華為雲AI昇騰集羣服務如同一座鋼鐵熔爐，輸入數據燃料，煉出關於宇宙與星空的秘密。
作為當前全球最大的科研項目，SKA項目所面臨的問題其實也集科研領域於一處。
首要的，是計算能力本身。正如前文所説，科研數據往往體量巨大，甚至超出現有計算能力。對這些數據進行挖掘、將其訓練成AI模型以提升未來的研究效率更是困難；其次還有科研協作。龐大數據量不僅僅受計算能力影響，同時也在影響協作效率。很多天文類的科研項目都和SKA一樣，需要把望遠鏡或望遠鏡陣列建設在世界各地，對於這些科研項目來説，想要實現分佈式的協作研究，往往要耗費大量成本在本地建立數據中心。最後還有軟件效率，面對深度學習這一新興工具，科研項目所建立的AI模型是否兼備高性能和高實用性，更重要的是是否具備可移植性。然而這一切都是伴隨海量數據而來的問題。
從計算宇宙到計算世界：華為給出的三層方法論
在和上海天文台的合作上，華為雲給出了很好的解答樣本。我們不妨從雙方的合作中提煉出若干方法論，看看這些方法論是否能在人類探索世界的整個過程中奏效。
第一層方法論，是巨大計算引擎本身帶來的效率升級。
基於Atlas900，華為雲AI昇騰集羣服務在合作過程中起到重要作用。它是當前全球最快的AI訓練集羣，由上千顆有“最強AI處理器”之稱的昇騰910 AI處理器搭建而成。強大計算力匯聚之下，讓它獲得了世界頂級算力。當“地表最強”集羣服務碰撞上同樣“地表最強”的科研項目，帶來的結果是非常震撼的。
就拿宇宙中星體定位、分類這一項工作來説，在處理SKA先導項目星空觀測數據時，使用傳統方法天文學家需要169天才能完成一次對南半球星空中大約20多萬顆星體的定位和識別。而在上海天文台與華為的合作中，通過深度學習方法訓練AI模型，並利用華為雲AI昇騰集羣服務，僅需10秒就能完成任務。
從169天到10秒，其效率提升的意義無異於穿梭於時空之間的時間機器。
第二層方法論，來自全新的部署未來。
華為雲之於SKA項目的意義，一方面來自於昇騰910帶來的強大算力，另一方面則來自於“雲”。我們都知道雲化對於產業帶來的意義——將數據跨越空間進行寫作部署，根據自身需求變化彈性化的購置資源，隨時在雲端共享軟件能力的更新……但一旦涉及科研這種數據量巨大的領域，似乎很難依賴於雲端。實際上昇騰集羣採用的100G以太高速集羣互聯網絡，可以讓星海高速行走於雲間，便於諸如澳洲-上海之間的科研協作。
這種彈性存儲的部署模式，相比建立數據庫成本更加低廉、效率也更高，同時也降低了數據的訪問門檻。或許未來其他科研機構也可以登錄雲端平台訪問SKA數據，從星海之中找到自己想要的答案。
海量天文數據，需要的是暴力的計算，同樣也需要“聰明的計算”。在華為雲的全棧AI能力之下，上海天文台也得以將更多AI能力帶入科研之中。例如現在，華為雲和上海天文台正在嘗試使用AI對射電望遠鏡接收的脈衝星信號進行識別。倚仗華為雲AI能力和數以萬計脈衝星信號數據，昇騰集羣在短時間內完成訓練並建立AI脈衝星識別模型，判斷圖像是否為脈衝星信號，精準率和召回率均高達98%以上。
暴力計算解放人力，讓科學家們將時間投入到更多有價值的研究領域中。而智能則解放算力，算的更聰明，就能算的更高效。
探索之途，停在下個時代門前
這一系列方法論，顯然不只適用於天文一個領域。
康德將一切外物定義為“燦爛星空”，是因為人類探索一切，就像探索星空。實際上SKA項目上出現的巨大計算需求，僅僅是人類探索世界過程中的一個階段縮影。
之所以會出現算力需求的裂谷，是因為我們走向了數字化的頂峯。傳感器與互聯網的遍佈，加上基礎科學的進步，讓我們有了將宇宙中的一切轉換成數據的能力。大到用射電望遠鏡捕捉光年之外的脈衝信號，小到一條公路的智慧化，甚至一顆藥物的研發，幾乎都可以利用數據化模擬整個過程。自動駕駛、氣象研究、地質研究、工業數字孿生……這些領域正在各自形成數據洪流，滾滾向前。
這一切或許不會都像天文領域一樣，能夠通過暴力計算獲得如此巨大的改變。但當前的計算供應，與未來趨勢一定是不匹配的。
算力硬件不僅昂貴，從生產者到應用者之間還包含着多個複雜的產業環節。甚至即使其中加工者無數，最後的解決方案也不一定能很好的適應場景需求。更何況還有複雜的配套搭建過程——動輒佔地上百平米的數據中心和複雜的日常運維，無一不需要週期漫長的資金和人力投入。
萬事萬物的數字化明明到來的那麼自然，為什麼在下一個時代的門口會出現如此難以跨越的門檻？
激變發生、打破桎梏：觸碰星空的華為雲
這個世界的奇妙之處就在於，我們似乎一直在闖關升級，難以解決的矛盾一旦集中起來浮出水面，便會得以解決。
華為雲AI昇騰集羣服務的出現就是如此。
如果華為雲AI昇騰集羣服務提早幾年出現，我們可能會認為這隻“AI算力怪獸”有炫技之嫌。而在2019年，我們真正直觀的感受到了SKA項目帶來的海量天文數據，看到近在咫尺的自動駕駛，看到5G網絡即將帶來的萬物互聯，才真正感知到，人類的計算力，還需要更強一點。
同樣華為也是在這一年發佈了他們的計算戰略——一邊是利用基礎研究創新架構，推出適應算力增長的達芬奇架構，另一邊推出了昇騰、鯤鵬、麒麟、鴻鵠四款分別應對AI計算、通用計算、移動終端和智慧屏需求的芯片。加上對於華為雲AI昇騰集羣服務在AI訓練計算的佈局，華為已經對未來計算市場形成了一種籠罩式的佈局，預判產業的下一步發展，然後做好準備。
就拿SKA項目為例，華為雲給出的三條方法論實際上已經顛覆了“算力”這種資源的獲取方式，將算力和存儲從數據中心、超算中心轉移到雲上，無異於把蘋果樹苗變成貨架上的蘋果。獲取地表最強的算力，不再需要漫長的植樹耕耘，只需隨手拿取。這種激變，如同刀耕火種與食品工業化的對照。
我們看到達芬奇架構在改變每一款芯片中矩陣計算的效率；看到不同領域的芯片正在鉚住產業關節，深深植入計算；看到工程能力、網絡技術等等其他儲備也與計算集羣或芯片結合，去解決散熱、集成等等問題。
星空當前，華為雲正在集中一切力量去打破計算的桎梏。
或許在五年或十年之後，以華為云為代表的桎梏打破者會為我們的生活帶來天翻地覆的變化，我們可能在AI的幫助下從宇宙中捕捉到另一個種族的聲音，可能能夠預測很多自然災害，或是精準預知明年的天氣變化……但當我們把歷史的座標拉長，再回頭看看，可能早已對這一切習以為常。今天的一切幻想，總有一天會變成不起眼的日常細節。於是我們才不停探索，永遠嚮往未知。
但人們總會記得，在一次悄然無息或轟轟烈烈的計算升級後，我們距離頭頂的星空，又近了一點。
在這場旅途之中，我們每一個人都是探索者。而華為也提供了我們與其他探索者相遇的機會——2020年2月11日到12日，華為將在深圳面向開發者召開華為開發者大會2020（Cloud）。參與者可以與開發高手現場交流，並體驗豐富的黑科技。宇宙旅途，時刻發生。