數據為核 華為構建面向多樣化數據應用的可靠存儲底座
【環球網報道 記者 張陽】數字經濟正在成為世界經濟發展轉型的重要方向,數據逐漸成為經濟發展的重要生產資料,而經濟生活中每天產生的海量數據都需要先被記錄存儲下來,然後才能進行大數據技術的加工處理,進而產生價值。在這個過程中數據存儲作為核心基礎能力就顯得格外重要。
可以説,進入數字經濟時代,數據成為改變人類生活和推動企業產業升級的核心要素,數據存儲正成為加速數字化轉型的堅實底座。
擁抱數字化時代多樣數據應用需求
6月16日,在“華為夥伴暨開發者大會2022”數據存儲夥伴論壇上,華為中國政企數據存儲業務總經理唐浩表示,“回顧過去三十年存儲發展歷史,數據存儲一直是高價值數據的最佳底座,並伴隨着數據應用的發展而發展。進入新時代,數據應用日新月異,以分佈式數據庫、大數據、AI、高性能數據分析HPDA為代表的新興應用不斷湧現。華為存儲將深入踐行‘以數據為中心’的理念,積極擁抱數字化時代日新月異的多樣化數據應用需求。”

華為早在2002年就開始對數據存儲技術進行研發投入,經過20年的持續創新研發,華為存儲逐漸從入門跟隨,逐漸領先行業,如今華為存儲在全球佈局了12個研發中心,擁有超過3000項存儲專利,主導和參與30+國際產業組織,是推動數據存儲產業前進的重要力量。目前華為存儲產品齊全,包括OceanStor Dorado全閃存存儲,專為海量數據場景設計的OceanStor Pacific系列分佈式存儲,OceanProtect專用備份存儲以及FusionCube超融合基礎設施等。
唐浩介紹稱,“華為OceanStor Dorado全閃存已經廣泛服務於各行業的核心生產應用,樹立了高可靠和高性能的業界口碑,華為OceanStor Dorado全閃存存儲基於原生全閃存架構,包含大量創新。例如:為了滿足極致的業務可靠性訴求,採用獨特的SmartMatrix全互聯架構,通過硬件全互聯和部件全冗餘,將故障域降至最低。同時華為OceanStor Dorado全閃存採用獨創的FlashLink智能算法,充分發揮閃存性能,做到了高達2100萬SPC-1 IOPS以及0.05ms極致低時延,可以説是業界最快的全閃存存儲。如今,全新一代OceanStor Dorado,在領先的SAN基礎上,持續增強NAS能力。以防勒索、WORM為代表的豐富安全特性,實現文件跨部門安全共享。業界唯一支持AA架構SAN/NAS一體化雙活,保障業務持續在線。”

“面向海量數據存儲場景,華為推出全新OceanStor Pacific系列分佈式存儲。全新一代OceanStor Pacific有三大特點:面向混合負載的架構設計,一套存儲同時支撐高性能計算、大數據分析、AI多樣化負載;通過硬件的高密設計和軟件的高利用率EC算法,實現海量數據存儲的最優投資回報率;通過多數據中心多活和節點故障快速切換,實現永遠在線的數據服務。”
相比於面向數據中心的通用型存儲產品,華為FusionCube產品則是面向場景化的超融合產品。在資源效率、綠色節能、新興應用上實現了進一步增強。
唐浩介紹稱,“華為FusionCube目前有兩大系列產品,FusionCube 1000 是面向數據中心打造的全棧一體化解決方案,通過融合計算、存儲、網絡等資源為數據中心應用提供極簡、高效、可靠的虛擬化環境;通過預集成實現快速整櫃交付,支持業務快速上線,靈活擴展;FusionCube 500是針對企業分支場景環境複雜、空間緊湊、IT人員配備不足、標準機房建設困難而設計的一款小型化新品,集計算、網絡、存儲、AI、安全等數據中心所需元素於一體, 單設備僅5U高度,較業界普遍採用的標準機櫃+通用硬件部署方式,節約54%空間佔用;低噪音(低至53dB),辦公環境亦可部署,無需專業機房;即插即用,遠程可視可控可管,分支站點無人值守。”
唐浩認為,數據已經成為企業重要的資產,數據保護迫在眉睫。自然災害、病毒攻擊和非法入侵等都有可能引發數據事故,造成經濟損失。因此備份存儲是實現數據保護的重要手段。
華為全面升級OceanProtect專用備份存儲系列產品,就是專為數據保護而打造的,它具有備份快、恢復快,用量省,高可靠的特點。唐浩表示,華為OceanProtect的備份帶寬達155TB/小時,是業界3倍,恢復帶寬172TB/小時,是業界5倍,這些亮麗的產品能力背後是一系列創新架構和算法突破。例如,華為OceanProtect採用了創新的多流引擎技術,多節點分佈式並行架構,消除單點備份性能瓶頸,實現多流並行備份處理。通過多層在線變長重刪和特徵壓縮等創新算法突破,持續提升數據縮減率,在同等空間內能多備份20%的數據。同時華為OceanProtect採用AA架構,實現高可靠,單控制器故障秒級恢復,備份任務不中斷。
有了配置豐富且性能可靠的存儲產品用以形成數據資產的寶庫,與之相配套的存儲軟件管理則是打開這座寶庫的鑰匙。以數據管理引擎DME為例,創新引入了AI的能力,希望能夠逐步實現自管理、自調優、自修復的自動駕駛存儲。
“除了存儲設備的集中統一管理,我們還致力於實現從規劃、建設、維護、優化全生命週期運維場景的自動化。預期可以帶來超過20%的資源效率提升;降低20%的OPEX,以及縮短10倍的業務上線週期。”唐浩説。
唐浩以銀行業務變更流程舉例説,“在傳統方式上業務變更之前需要IT運維工程師出具設計腳本,單一任務的腳本準備需要約45分鐘,在變更執行過程中為了確保萬無一失,還得需要安排5名工程師待命以應對突發問題。藉助DME自動化後,在變更準備階段,通過數據的歸一化蒐集和自動化的命令執行,單任務腳本準備時間從45分鐘降低到10分鐘,準備效率提高了75%;而在變更執行階段,通過自動化能力的引入,變更前預審時間從20分鐘直接鋭減到半分鐘。另外,針對變更執行過程中可能產生的人力成本,DME能夠實現所有任務的併發執行,極大的減少人力的投入,整體降低了60%的變更成本。”
在數據中心基礎設施層面,華為DCS數據中心虛擬化的目標就是幫助企業構建輕量彈性、多元開放的數據中心基礎設施,讓數據中心的資源獲取及運維管理更敏捷高效,將開發運維人員從繁瑣的資源管理和設備維護工作中解放出來。
“DCS有四大亮點:敏捷應用。自研的高性能&高安全的iSula容器引擎,保證業務安全,滿足時間敏感業務需求;容器&虛擬化提供雙棧基礎設施能力,同時支持兩地三中心容災架構,可以最大化的保障業務連續性及核心數據的安全可靠;輕量彈性。DCS支持2節點無仲裁節點技術,實現輕量化起步,所有功能支持平滑演進,為客户提供整體TCO最低的資源池解決方案;智能管理。通過華為自研的統一管理&智能調度平台,可以實現從應用、虛擬機&容器到基礎設施的端到端管理;多元生態。面對企業客户現網已普遍多雲場景,DCS方案北向開放REST API對接多廠商雲管實現無縫融入,降低管理複雜度;南向兼容多樣化算力等異構硬件資源,保護客户既有投資。” 唐浩在演講時如此表示。
在解決方案架構創新層面,唐浩分享了兩個案例予以説明,“傳統的大數據應用通常是採用服務器計算存儲一體化架構,當數據量增加時,計算、存儲只能同時擴容,造成資源不匹配,華為大數據存算分離架構將計算與存儲解耦,實現了算力不足擴計算、容量不足擴存儲,不僅實現了服務器、存儲設備數量的大幅減少,而且還讓計算資源跟存儲資源都得到了很好地利用。”在這一過程中華為創新採用了大小I/O自適應數據流設計:大I/O直接寫存儲層,小I/O在緩存層聚合後再寫入,大小文件智能預取,極大提升數據訪問效率;SmartTakeover智能納管第三方HDFS集羣,能平滑地接入傳統Hadoop計算存儲一體化架構,實現數據0遷移,應用0改造;華為大數據存算分離方案兼容主流大數據分析平台及組件,包括Cloudera、Hortonworks、星環等,滿足企業級大數據分析需求。
另一則分享案例則是關於分佈式數據庫存算分離方案的創新。在演講中唐浩提到,分佈式數據庫是目前新興業務部署的主流架構,但在金融和運營商等行業進行分佈式改造的實踐過程中發現,基於通用服務器提供計算和存儲資源存在突出的問題,因此,華為分佈式數據庫存算分離方案,存儲按需配置,有效提升資源利用率。當主節點發生故障,系統恢復時長從24小時降低到2小時,有效提升運維效率。同時通過採用RoCE網絡,時延接近本地盤。
在全社會節能降碳的大背景下,作為數據中心的重要組成部分,華為存儲同樣有所作為。在生產製造上,華為存儲製造工廠大規模使用光伏發電,產品大量使用鋁、錫等可再生材料;在產品使用端,華為存儲產品通過提升硬件密度、縮減數據總量、提升資源利用率,極大減少存儲產品自身碳排放。
開放、共享堅持被集成
隨着數字經濟的澎湃發展,數字產業的持續深化,數據的存儲與處理能力正成為加速數字化轉型的堅實底座。但是,就如土地與莊稼的關係一樣,土地肥力再強也無法直接被消費者享用,只有在肥沃的土地上長出的莊稼才是消費者所需。
正是基於這樣的理解華為數據存儲開啓了與合作伙伴構建聯合解決方案的思考。在打造行業解決方案的過程中,華為越發認識到開放、共享,持續做好被集成,是華為數據存儲解決方案融入千行萬業的必經之路。
華為數據存儲與機器視覺產品線產業發展專家郭鵬在數據存儲分論壇上表示,“基於華為數據存儲的一系列產品,華為在聯創環境、專家支持、合作激勵這三方面對服務能力進行了全方位的升級,幫助合作伙伴實現價值創造。”
“在聯創環境方面,華為打造了生態使能實驗室,通過開放軟硬件測試資源,以降低夥伴開發成本,縮短解決方案開發週期。
生態使能實驗室可提供的硬件資源涵蓋了OceanStor Dorado、OceanStor Pacific等華為數據存儲全系列產品,並通過版本的持續更新,為夥伴提供最新的存儲產品特性。能夠提供如X86、通用GPU,以及以鯤鵬、昇騰為代表的算力資源,能夠提供如萬兆以太網、FC網絡、IB網絡等典型的前後端網絡環境。在基礎軟件方面,生態使能實驗室能夠提供常用的操作系統、數據庫、虛擬化等基礎軟件,為夥伴提供完備的測試環境。在專家支持方面,華為數據存儲有強大的研發團隊和專家資源,在全球佈局了12個研發中心,有4000多人從事研發工作,其中數據存儲場景化解決方案團隊有300多人支持聯合方案設計、驗證、調優等工作,能夠很好的幫助合作伙伴進行聯合方案的創新孵化。在合作激勵方面,為幫助華為的合作伙伴基於華為數據存儲快速構建場景化解決方案,華為可提供包括工具資料、開發平台、賦能平台、創新基金、技術和營銷在內的全方位的支持,覆蓋從聯合方案設計、測試、方案調優、到聯合方案發布各個環節。
為了讓華為存儲的合作伙伴們,能夠更容易的獲取拓展存儲市場所需的各種資料裝備,更高效的 交付與維護華為存儲產品,華為在此次新數據存儲分論壇上推出了“華為存儲在線”,這是一款面向合作伙伴打造的,一站式存儲營、銷、服信息服務工具。
華為數據存儲與機器視覺產品線副總裁楊柏梁表示,華為存儲在線,以支持好合作夥伴為設計目標,集成產品方案、售前設計、交付維護、培訓賦能四大能力,實現存儲營、銷、服資源一站式整合,使得拓展及交付維護相關資源更容易獲取。
在產品方案模塊,華為存儲在線面向不同夥伴設置了產品專區,通過熱門產品推送和資源整合,讓合作伙伴更容易獲取到感興趣的產品信息。與以往不同,平台還集成了產品3D爆炸圖,可以更直觀、更快速地瞭解產品的硬件結構。
在售前設計模塊,華為存儲在線整合了面向售前的系列化工具,打造易獲取、易使用的售前工具集。通過自動化、嚮導式的工具整合,幫助合作伙伴大幅降低規劃設計的門檻,還可以通過手機隨時隨地訪問。特別的是,在售前階段還集成了組網助手和存儲配置嚮導工具eDesigner,可以高效支持客户業務需求,提升工作效率。
在交付與運維階段,華為存儲在線整合了開局交付、例行維護、故障處理、持續運營4大場景能力,提供SmartKit現場服務工具箱和eService遠程運維平台,支撐夥伴獨立、高效的完成交付與維護工作。
在培訓賦能模塊,華為存儲在線打造了面向夥伴的移動化存儲課堂,整合數據存儲學院、時習之、華為官網等多個平台的培訓內容,實現了一站式的存儲培訓資源整合。夥伴可以藉助手機隨時隨地獲取學習資源,充分利用碎片化時間持續提升專業能力。
“華為存儲在線希望能持續高效地為合作伙伴提供全場景營、銷、服作戰資源,幫助合作伙伴賣好存儲,共同服務好客户。” 楊柏梁説。