華為OceanStor Pacific斬獲IO500榜單第二，數據存儲的時與勢_風聞

根據世界經濟論壇的估算，2020年全世界產生了超過44ZB的數據量，而在十年前全球的數據總量還只有1ZB。

數據量的指數級增長，預示着人類文明徹底進入了數字化時代，數據已經成為人類存在的另一種方式。特別是在新基建、數字經濟等宏觀話題大行其道的當下，數據的存儲、挖掘、應用早已和經濟直接掛鈎。

11月18日的國際超級計算大會SC21上，正式公佈了最新的全球IO500榜單。其中華為OceanStor Pacific存儲在IO500榜單和10節點榜單中均名列第二，刷新了華為覇榜IO500的新紀元。

作為存儲性能最權威的世界排行榜之一，IO500包括總榜單和10節點榜單兩大類別。由於10節點榜單將基準性能測試限制為10個計算節點，可以準確反應存儲系統為實際程序提供的I/O性能，被視為衡量超級計算機應用效率的核心指標。

當華為OceanStor Pacific代表的企業佔領IO500榜單的頭部，乃至將榜單前三名均收入囊中的時候，對整個存儲市場意味着什麼？

01 高性能計算三部曲

想要理解數據存儲性能的價值所在，似乎有必要回顧下高性能計算（HPC）的進化歷程。畢竟在人類從工業文明邁向信息文明的過程中，HPC扮演了不可或缺的角色，甚至説是科技創新的典型標杆。

以往在覆盤HPC進化史的時候，不少人習慣按照時間軸進行整理，直觀地展現算力上的爆炸性增長。倘若從需求驅動的思路審視HPC的發展史，或許可以找到一個新的視角，即應用需求深度影響了HPC的進化方向。

最早的“超級計算機”屬於政府主導的項目，第一台電子計算機ENIAC的誕生為起點，HPC在長達幾十年的時間裏被應用於高能物理、流體力學等學術領域，數值計算的場景決定了HPC不斷提升計算能力的演變軌跡。

隨着越來越多的商業公司進入到計算產業，HPC的應用場景逐步向油氣勘探、氣象預測、芯片研發等領域傾斜，模擬仿真的需求漸漸超過了數值計算，HPC的進化不再只是主攻算力，而是存儲、網絡等多元化的性能。

到了2020年前後，自動駕駛、基因測序、深空探索等商業智能蓬勃向上，HPC的應用場景也進一步轉變：需要卷積更多的歷史數據參與計算分析，不斷提升分析的精度，對數據存儲的性能需求逐漸上升到了新的高度。

正是在這樣的大背景下，John Bent、Julian Kunkel、Jay Lofstead在內的學者紛紛推動IO性能的測試方法、基準測試程序和規則，通過模擬應用需要的不同IO模型，驗證數據帶寬（GIB/s）和元數據(KIOP/S)兩個關鍵維度的性能表現，並在一些TOP500計算機上進行了測試。

2017年的國際超級計算大會上，VI4IO組織公佈了第一份IO500榜單，約定每年在SC和ISC大會上各更新一次排名。

IO500榜單的出現就像是一道江湖集結令，拉開了各路英雄角逐存儲性能的序幕：新興存儲硬件層出不窮，新興文件系統應運而生，標準和架構也不斷推陳出新，數據存儲進入了羣雄逐鹿的年代。

畢竟HPC領域的所有玩家都明白一個道理：現實中許多場景參與計算的數據量已經達到了PB級，計算過程中需要頻繁進行訪存操作，存儲性能直接影響着計算的效率，同時對數據可靠性和安全性的要求也越來越高。數據存儲性能預料之中的成了高性能計算的聚焦點，也是各大廠商的必爭之地。

02 HPDA的產業態勢

為何IO500榜單有這麼大的魔力？答案還要從需求的變化説起。就像在HPC的進化歷程中，一個明顯的態勢是從“以計算為中心”到“以數據為中心”的轉變，進入到了“數據密集型”的新階段。

國際權威分析師機構Hyperion Research，曾在2020年對全球HPC市場的增速做出預測：2019年到2024年的時間週期內，存儲市場的複合增長率有望達到12.1%，遠高於服務器、中間件、應用、服務等市場。

之所以給出這樣的判斷，離不開一個特定的產業共識：在自動駕駛、氣象預測、宇宙探索等熱門的應用場景中，HPC和AI、大數據的融合越來越緊密，HPC向HPDA（數據密集型超算）的演進，屢屢成為行業論壇上的主流議題。

可以找到的例子有很多。

過去地震勘探是二維的，從二維到三維的演進中，採集和處理的數據量增加了5—10倍；電影渲染逐漸從2K向4K乃至8K過渡，對應的數據量增加了16倍；衞星測繪領域的精度從20米縮小到2米，數據量同比增長了70倍……再加上數據分析處理的算法越來越複雜，採集、存儲、處理、存檔的數據量呈現出爆炸式增長。

然而傳統的HPC存儲主要用於建模和仿真，包括項目文件共享、搜索、歸檔等等，主要是結構化的數據，且通常是基於順序的大I/O型。但人工智能的工作流程涉及到數據收集、注入、訓練、推理和歸檔，不僅涵蓋結構化和非結構化的數據，數據存取的場景也更加複雜，AI負載需要順序大I/O型和隨機小I/O型的組合，特別是AI數據集標註的元數據管理，需要快速的隨機小I/O型。

也就是説，推動數據存儲性能不斷提升的因素，絕不只是IO500榜單，而是隱藏在榜單背後的市場需求。傳統HPC的數據存儲已經跟不上需求，能否打破數據存儲、性能、效率的限制，已經是HPC產業革新的掣肘因素。

按照Hyperion Research在《HPDA趨勢白皮書》中的建議，針對HPDA負載中經常出現的非結構化數據，數據存儲應該進行針對性的創新，包括支持不同的I/O模型、支持多協議訪問、支持各種數據訪問頻率、高密度高效設計等等，不斷提升數據利用率，進一步釋放數據潛力。

恰恰是數據存儲的新一輪革命，為華為等企業提供了重拾話語權的機會，並趁機進行直線超車。

03 華為越級的硬實力

也就解釋了文初的一幕：幾年前的IO500榜單還被Intel、DDN、IBM等企業佔領，當HPC向HPDA演進的時候，華為OceanStor Pacific等新勢力頻頻出現，而且就拿到了讓人振奮的位次。

如同中國超算力量的強勢崛起，華為OceanStor Pacific斬獲IO500榜單全球第二的消息並不令人意外。在這場技術硬實力的較量中，華為OceanStor Pacific的“越級”離不開4000多位研發人員夜以繼日的努力，以及3000多項專利構成的技術創新，打破了HPC產業的三重壁壘：

一是多業務混合負載能力。傳統HPC存儲只支持單一負載，形成了性能上的孤島，導致流程間的數據需要在不同存儲間遷移，可以説是效率降低的“元兇”。

華為OceanStor Pacific存儲搭載了新一代並行文件系統，針對傳統HPC的問題進行了對症下藥：採用目錄DHT分區、大IO直通小IO聚合、多粒度磁盤空間管理列技術，一套存儲同時實現了大文件高帶寬、小文件高IOPS，配合分佈式並行客户端技術，輕鬆滿足了客户對多業務混合負載的需求。

二是多協議無損互通方案。在數據處理過程中，多樣性的數據轉化、拷貝、加載等環節就佔據了35%以上的時間，人為製造了阻礙效率升維的格式壁壘。

華為OceanStor Pacific的切入點是協議互通，通過統一的數據管理系統和硬件資源池，文件、對象、大數據客户端可以同時讀寫同一個文件，不需要協議轉換的過程，讓數據分析的效率提升了30%以上，並且避免了數據拷貝產生的冗餘副本，節省了端到端的存儲資源，讓硬件發揮出極限性能。

三是超高密設計的硬件。當海量數據的價值被進一步分析挖掘，就需要保留更多更長久的數據資源，對機房空間、功耗、存儲成本等都提出了新的挑戰。

為了解決這些“癢點”，華為OceanStor Pacific推出了系列化超高密硬件，支持不同硬件間的數據自動分級，全面降低了HPC場景的存儲成本。以華為OceanStor Pacific 9950為例，每個5U機箱可容納8個存儲節點，提供128TB至614.4TB裸容量，節省了60%以上的機櫃空間和能耗。

可以看到，華為OceanStor Pacific的軟硬件創新，填補了HPC向HPDA轉型的數據存儲短板，無形中為HPDA進程按下了“快進鍵”，也為站在轉型節點上的企業，提供了迎合數據密集型趨勢的“理想之選”。

04 寫在最後

衡量一款產品、一家企業的價值標杆，絕非是這樣或那樣的榜單，倘若只是靜靜地躺在榜單上，再好的結果也沒有太大的意義。儘管是IO500榜單上一鳴驚人的新秀，但華為OceanStor存儲並不讓人陌生。

中石化物探研究院採用華為OceanStor存儲的服務，降低了30%的數據存儲成本，勘探效率提升了16%，運維管理成本降低了50%；上海天文台在華為OceanStor存儲的幫助下，搭建了世界首台SKA原型機，性能較傳統存儲提升了10倍；華大基因將華為OceanStor存儲用於無創產前基因檢測業務模型中，數據存儲性能提升了30%左右，基因檢測報告從15天壓縮到了7天……

相較於那些為了衝榜而送測的企業，華為OceanStor Pacific正在以一種潤物細無聲的方式滲透進社會生活的方方面面，幫助千行百業解決數據密集型升級帶來的挑戰，IO500榜單第二的殊榮不過是水到渠成的結果。