讓超算再升級的存儲系統，華為憑什麼？
摘要：不同於上世紀計算機的向下平民化，這次 HPC 向上擁抱更為複雜的業務負載。
世界上第一台計算機叫什麼？很多人可以不假思索地回答——“埃尼阿克” (ENIAC)。
那麼，“埃尼阿克”最初被用來幹什麼呢？少有人知道，1946年，“埃尼阿克” 是為了解決彈道計算問題而生，賓夕法尼亞大學花費40萬美元巨資才研製出“埃尼阿克”，當時的計算機是一種戰略物資。
在很長一段時間後，個人PC的普及才讓計算機逐漸進入大眾視野，IBM和Apple都是第一代家用電腦廠商，而計算機作為戰略物資的屬性以另一種名字保留了下來，也就是 HPC (High Performance Computing，高性能計算)。
HPC成為計算機科學的一個分支，使用超級計算機和並行處理技術解決複雜計算問題，主要瞄準大規模科學問題的計算和海量數據的處理，如科學研究、氣象預報、計算模擬、CFD/CAE、生物製藥、基因測序、圖像處理等等。每年的全球HPC Top 500高性能計算機排行榜都備受矚目。
近年來，大數據和AI等新興應用催生 HPC 發生另一種變化，不同於上世紀計算機的向下平民化， HPC 向上擁抱更為複雜的業務負載，使得傳統HPC開始向 HPDA (High Performance Data Analytics)方向演進。
在2021年華為全聯接大會上，華為常務董事、ICT產品與解決方案總裁汪濤介紹了數字基礎設施七大創新與客户實踐，其中業界首個面向HPDA的分佈式存儲OceanStor Pacific引起熱議，何謂高性能數據分析HPDA，HPDA又需要什麼樣的分佈式存儲？不妨一觀。
HPDA*：從數據中攫取價值*
我們手中智能手機的算力，遠超NASA在1969年登月計劃中最先進計算機的算力，但相較於手機，HPC所要解決業務的複雜水平，也呈現指數級發展，一大變化就是數據的爆炸式增長，使得原有HPC架構的存儲不堪其重。
傳統HPC主要從仿真物理模型中計算價值，需求是無與倫比的大算力，而HPDA泛指利用HPC資源的數據密集型負載，典型特點是數據量大、時效性強以及算法複雜，從數據本身提取價值，兩者業務邏輯不同，導致存儲需求不同。
例如地震勘探從二維向三維的演進中，數據量增加了5-10倍；電影渲染從2K升級到8K的革命中，數據量增長16倍；衞星測繪領域，探測精準度由20米縮小到2米，數據量同比增長70倍。海量的數據，需要高性能的存儲，這是HPC向HPDA演進要解決的根本性問題。
傳統HPC的存儲主要用來文件共享、Scratch和歸檔，AI業務負載則涉及到數據收集、輸入、清洗、訓練、推理和歸檔一系列複雜操作，原有存儲系統並不是為這種存儲工作流程而設計的，自然也就無法很好滿足新存儲的需求。
在關鍵性能要求上，傳統HPC負載通常基於順序大I/O型，AI業務負載需要順序大和隨機小I/O型的混合，用於AI訓練的數據存取需要快速的隨機小I/O型。
應用場景的變化催生了各種耐用性和彈性解決方案需求。例如歸檔需要極具高性價比的解決方案，沒有苛刻的性能要求；傳統的臨時應用需要將臨時結果轉移到持久存儲，需要高性能以防止出現故障；HPDA 解決方案需要混合存儲需求同時滿足高性能、瞬態存儲和持久彈性存儲的不同要求。
此外，當存儲系統變得複雜化，內部多種協議發展為另一種壁壘，不同數據採用不同的訪問方式，每種訪問方式都需要獨特的協議支持，橫亙在業務負載中消耗通信時間和計算資源。
據IDC統計，全球67%的高性能計算中心（HPC）已經在使用AI、大數據相關技術，HPC與AI、大數據加速融合，如何從海量數據中更高效、更經濟地釋放更大的數據價值，成為迫切訴求，存儲系統的改變至關重要。
找尋HPDA**存儲新的平衡點
HPDA推動了存儲架構的改變，從而匹配新業務負載的同步、空間分佈式計算和存儲需求，矛盾聚焦於不同 I/O 模型、支持多協議訪問、各種數據訪問頻率、高密度高效設計等方面，歸根究底是找尋存儲性能、成本和效率新的平衡點。
華為發佈了Huawei OceanStor Pacific 9950、Huawei OceanStor Pacific 9550兩款新品，華為OceanStor Pacific系列高性能分佈式存儲，就是為打破HPC產業三重壁壘量身打造的HPDA存儲系統。
第一重壁壘是高性能，HPC在不同流程階段面臨帶寬型、OPS型業務負載需求，HPDA場景下這一情況會更加常態化，傳統存儲僅支持單一負載模型，形成了性能孤島，使得流程間的數據需要在不同存儲間遷移，降低了整體流程效率。
華為技術專家夏飛博士介紹，華為OceanStor Pacific系列存儲搭載新一代分佈式文件系統，一套存儲即可實現2倍大文件高帶寬，5倍小文件高IOPS性能，大大提高性能水平，同時該文件系統也能支持多種業務負載，既能兼顧客户原有的常規業務，也能很好適配企業對大數據和AI等新業務的探索，實現面向混合負載的全場景加速。
第二重壁壘是多協議無損互通，在以自動駕駛為代表的HPDA場景中，不同的流程階段可能用到文件、大數據、對象多種服務，如何實現流程的高效數據訪問成為用户面臨的一大挑戰。
華為OceanStor Pacific系列存儲能夠匹配多樣化算力需求，一套系統支持多種協議，實現數據互通，減少中間環節，並且資源統一管理和運維，支撐業務敏捷響應。
第三重壁壘是大容量，隨着HPDA的快速發展，海量數據的價值被進一步挖掘，用户願意更長更久地保留數據，這對機房空間、功耗、存儲成本都提出了新的挑戰。
基於這種挑戰，華為OceanStor Pacific全新推出了系列化超高密硬件，支持不同硬件間的數據自動分級，單位空間容量提升20%，全面降低HPC場景的存儲成本。華為OceanStor Pacific系列高密大容量產品在5U空間裏支持120個 3.5寸硬盤，通過高密實現60%以上的機櫃空間節省，讓海量數據不再成為負擔。
越是基礎的，越是核心的
中石油東方物探正行進在通過HPDA挖掘數據價值的路上。
自19世紀40年代至今，人類為探尋石油和天然氣能源用上了最先進的理論和技術，其中高性能計算必不可少，在油氣地震勘探數據採集、處理、解釋的三大環節中，都需要大量的高性能計算、海量數據分析等平台，不同架構和規模的數據存儲在不同系統部署，數據需要在和平台之間頻繁傳輸拷貝，產生了額外的花銷和不必要的時間損耗。
中石油東方物探有限責任公司教授級高級工程師、數據中心原總工程師賴能和在會上講到，以中東某探區為例，3259平方公里三維地震勘探，190萬個激發、採集數據量1049TB。東方物探用了近12個月時間順利完成數據處理任務。據瞭解，這也是目前為止已完成的單體數據量最大的油氣地震勘探數據處理項目。
要支持如此之大的數據處理，東方物探選擇了規模化集中部署華為OceanStor Pacific存儲系統，其天然適合HPDA的設計在勘探場景下最大化程度得到發揮，不僅解決油氣地震勘探不斷增長的海量數據對存儲容量的巨大需求的挑戰，而且還可以保證存儲性能和容量的線性增長，同時簡化IT基礎設施的複雜度，又可減少IT日常運維的工作量。
“華為OceanStor Pacific存儲支持系統間遠程直接訪問、混合負載和多協議互通等功能，可大大減少數據拷貝時間和拷貝次數；同時滿足大文件高併發、高帶寬、小文件高IOPS的性能平衡要求；可實現一套存儲同時供高性能計算、人機交互、資料解釋、數值模擬、人工智能等多個不同技術應用平台共享。存儲資源利用率提高30%以上；生產效率提升15%以上。”賴能和補充道。
越是基礎的，越是核心的，不論是HPDA所要解決的問題，還是存儲技術的突破，都再次證明了這一論斷。
不止於油氣勘探，從基因測序到自動駕駛研發，從天氣預報到生物製藥等等，這些場景要麼是全新誕生的複雜業務，要麼是舊技術難以解決的老大難問題，他們存在一個共性——關乎國計民生，解決問題之道在於底層基礎技術的突破。
華為OceanStor Pacific存儲支持着最頂尖的科研項目，同時這些科研項目的成果又讓最廣泛的人羣受益，天氣預報的及時預警，新藥的快速開發，自動駕駛車輛的算法升級，存儲的升級換代成為數字基礎設施革命的必要因素，其帶來的結果變化一點點傳導到普羅大眾的感知。