駛向智能海洋深處,華為存儲的無盡想象_風聞
脑极体-脑极体官方账号-从技术协同到产业革命,从智能密钥到已知尽头2020-06-01 21:53
1519年9月20日,葡萄牙航海家麥哲倫率領探險隊經直布羅陀海峽,開始環球航行。
一年多以後,他們穿越了一個狂風巨浪、險灘暗礁的海峽,來到了一片茫茫無際的大洋。在其中航行了三個月,從南美洲越過關島,抵達菲律賓羣島,始終沒有遇到一次大的風浪。這羣世界上第一批全球航行的隊員,將這片安全的海域稱之為“太平洋”。
可以説,太平洋具備了海洋最高級的一切特徵——深邃、寬廣、巨大。在科技的語境中,它和今天新基建環境下的數據洪流如出一轍。
既然海洋並不是在任何時候都平靜美麗,地震、海嘯、颱風……自然之力曾無數次向人類宣示它的瘋狂。那麼,憑什麼我們會認為海量數據的暴漲也會乖乖被人類所蟄伏呢?
雲計算、大數據、人工智能等新一代信息技術的產業化,讓數據以前所未有的爆炸式增長,奔湧到各行各業面前,需要更強大的基礎設施來應對海量數據。
(華為重磅發佈OceanStor存儲Pacific系列)
最近,華為發佈的OceanStor存儲 Pacific系列,就針對最壯闊、也最險峻的海量數據場景,揚起了迎擊驚濤的風帆。這意味着,數據存儲不再是一件“看天吃飯”的事,正在被人力一點一滴地擺渡至彼岸。
靜謐中醖釀驚濤:存儲海量數據的產業暗湧
如果我們用誠實而謙遜的視角來審視即將到來的智能時代,會發現海量數據正如同季風一樣,既帶來了充沛的智能雨水,也埋藏着不穩定的因素。
簡單總結一下的話,存儲海量智能數據的海域中,可能導致哪些自然災害:
首先,暴漲的洪流。5G、AI、IoT等的廣泛應用,讓現在各行各業對數據存儲的量級需求越來越大,數據如海浪般席捲而來,不僅讓機房和數據中心的存儲成本日漸上升,而且在傳統的服務器支撐下,已經出現了部分硬性數據存儲不下的現實問題。
比如1小時8K超高清視頻佔用的存儲空間,是1080P高清視頻的40倍以上;5G讓工業互聯、遠程診療、自動駕駛成真的同時,也給運營商帶來了10倍以上數據增長壓力;基因測序的商業化普及,日產出的數據高達6TB。
如果這些數據都無法被存儲,或是迫於空間成本有限而限期刪除,那麼對其的挖掘、訓練、利用自然也成了無水之源、無本之末。而調查顯示,由於傳統存儲系統架構與成本的限制,當前企業數據僅有不到2%被保存。
如何將爆發式增長的數據以高性價比儲存、妥帖挖掘,就成了存儲行業的新任務。
其次,異構的暗礁。
智能時代的多場景複雜部署,數據庫面臨的分佈式架構挑戰,數據的異構性正在衝擊存儲的極限。
有的數據被儲存在不同結構的計算硬件中,大型機、小型機、工作站、PC、手機、傳感器等等,一切皆有可能。數據的格式也在增多,從傳統的數據庫、二維數據,逐漸擴展到語音、圖像、視頻等等新型多結構數據,還可能被分別存儲在世界各地的不同地點……調查顯示,到2025年180ZB規模的數據中,有95%是非結構化的數據,它們以分散的、不完整、不規則的形式,被接入到數據平台中。
比如智慧城市的建設過程中,就既有來自登記信息、地理信息系統這樣的結構化數據,也有傳感器檢測這樣來源多樣的數據,以及行為描述等難以被記錄的數據。想要對異構數據進行交換和共享,也對當下互聯網存儲系統提出了新的挑戰。
最後,產業板塊的地震帶。
太平洋是離我們最親近的海洋,而環抱着它的板塊擠壓地帶,也成為地球上最不穩定的部分。圍繞千行萬業的基座——數據存儲,在託舉起產業智能的時候,也可能引發行業的地震。
一方面,數據的暴漲帶來存儲瓶頸,會直接引發全社會對數據空間的爭奪,存儲成本的上漲與數字化不可逆轉的潮流相摩擦,將使不少行業面臨困局;
另外,數據存儲的本質意義是為了更高效地處理、分析、利用,所以數據存儲行業不僅要將局部分散的數據建立起全局、統一的邏輯能力,解決數據的分片機制;還要讓數據管理使能社會經營業務流程,打破不同存儲協議之間的孤島,讓海量數據得以在整個計算海域內自由可靠地奔湧、流轉、共享,轉化成新的產業競爭力。
如果説,麥哲倫一行憑藉幸運,恰好遇上了這片海域最風平浪靜的時刻,那麼產業數字化的席捲,可能需要多一點審慎的思考,思考如何征服數據存儲這片疆域,讓萬物智能驅動風帆駛向更遠處。
鍛造存儲巨輪:華為OceanStor存儲Pacific系列的渡海之旅
既然作為數字海洋基座的數據,驅動着智能技術使能全社會的轉型升級。深耕智能基建的華為,自然不會缺席。
華為最新一代OceanStor存儲Pacific系列,就是幫助產業者安全橫渡數據海洋所打造的一艘現代化巨輪。在三個核心部件,鍛造出了全新的價值想象:
一是技術的桅杆。
數據的多源異構、應用場景的廣泛覆蓋、跨硬件的架構難題,是產業應用數據、冶煉智能、賦能業務的核心阻礙。所以在華為 OceanStor存儲Pacific系列中,華為就用前沿的技術矩陣打造了一個創新的桅杆,成為數字航海強有力的支撐。
首先,華為OceanStor存儲此次推出的全新一代Pacific系列,就針對海量數據場景,打造了專用硬件高密大容量存儲,可以在5U空間裏支持120塊硬盤,密度達到業界通用存儲型服務器的2.67倍,空間節省62.5%;
除了硬件之外,華為還結合多協議融合互通、高效縮減算法、多級可靠機制等軟件創新,將硬件的能力充分調動起來,提供了傳統服務器所無法承載的能力。比如依託系列化硬件,以分佈式超容量擴展為主體,結合下一代彈性EC算法、多協議無損互通等,可以讓存儲資源在面對AI、HPC、視頻等不同高併發數據數據時,提供更可靠的解決方案。與業界開源系相比,可以達到93%的有效利用率。
軟硬件的協同作用,讓華為OceanStor存儲Pacific系列的桅杆,既堅固可靠,又柔韌有彈性,同時滿足海量存儲與不同場景部署的訴求,也成為業界技術變革的風向標。
二是高效的發動機。
數據存儲就如同航母的發動機,怕它不動,又怕它亂動。既不能停擺,又需要足夠的能效來保障船隻行駛的更遠,因此,華為率先推出可得容量的商業模式,基於領先的數據冗餘保護和縮減技術,幫助用户降低海量存儲的採購和使用門檻。
在性能和可靠性不降低的前提下,內部vNode技術可讓磁盤利用率達到93%,相比業界平均水平領先40%以上。熱、温、冷數據按需自動分級到閃存、磁盤和藍光介質,數據自由流動無需人工干預,進一步降低運維成本。
而通過業界首個文件、大數據、對象協議無損互通,華為OceanStor存儲Pacific系列解決了傳統網關方式的性能和語義損失問題,讓一套存儲可以支撐多個業務環節的數據處理,直接幫助客户節省空間。
這些效率效能上的加持,打破了數據存儲的服務邊界,讓更多行業可以大膽擁抱數據基礎設施,向智能時代全速前進。
三是產業的船錨。
正如前面所説,華為OceanStor存儲Pacific系列的誕生,是華為智能計算戰略佈局下,海量數據存儲與產業數字化之間的重要通道。因此,與行業場景聯動的能力也就至關重要。
目前看來,華為OceanStor存儲Pacific系列產品並不侷限於當一個沒有感情的數據容器,而是通過眾多技術手段來幫助企業釋放數據價值,反哺數字化轉型。
比如推出的數據管理系統DMS,就打破了華為存儲系統和第三方架構的藩籬,將幾種協議數據面融合互通,讓企業數據的平台化應用更簡單,擺脱數據孤島的困境。整體架構的設計也不斷不斷進行調優和變化,部分分佈式場景還支持虛擬化和雲平台的場景應用……
通過這些手段,充分滿足海量數據場景不同的存儲需求,簡化數據應用的門檻,把數據的利用價值提升到最大限度。
因此,存儲得以由單一硬件向數據產業進化,融入到整個新基建浪潮的時代洪流機遇之中。
萬物智能的海洋深處,華為存儲的無盡想象
華為OceanStor存儲Pacific系列的推出,除了推動社會數字化大航海,也帶動了存儲市場自身進入了升級序列。這也引發了我們的好奇,華為存儲是如何在數年間,突破層層技術難關與產業高地,走到引領行業蝶變,實現價值自證的極限?
太平洋上,曾經爆發過不少知名的戰爭。而華為在數據存儲市場的航海,背後的戰略部署在無形中也與海域作戰不謀而合。或許我們可以從三場戰役,來理解華為深入存儲賽道的核心戰力。
第一戰:車輪行動。
在一場針對洛斯內格羅斯島的空襲戰鬥中,面對敵人佔據優勢的戰況,麥克阿瑟選擇了開啓一場“賭博”,要求偵察部隊“迅速打擊,出奇制勝”。也就是著名的車輪行動,即如果沒有不必要的傷亡,就繼續前進,佔領附近的機場,並迅速予以增援。經過一週的戰鬥,最終憑藉車輪行動徹底贏得了戰鬥。
這與華為整個存儲產品的成長史異曲同工。可以説華為存儲的發展進程,就是不斷攻佔存儲的技術高地,幫助客户解決問題,進而實現自我價值。
比如2014年,華為率先提出了融合存儲的概念,把存儲、備份等五個大點進行融合,引發了市場跟風效應。也是在此時,華為存儲一躍成為國內市場的排行第一。
再比如海量存儲的需求,自2009年首次發佈第一代文件存儲以來,華為持續投入海量數據存儲領域。2019年華為就發佈了 OceanStor存儲Pacific系列的前身,與勘探、金融、基因測序、運營商等開始共同構築場景案例。而華為OceanStor存儲Pacific系列更是集結了華為在存儲軟、硬件方面的多年積累。
在此基礎上,華為還砸探索新的存儲系統能力,比如嘗試打造顆粒級、內核級可靠性,進一步優化內存與CPU之間的互聯互通……基於基礎能力、不間斷的技術迭代,也讓華為存儲得以在“新基建”的機遇關頭,成為數字化的產業基石。
2.冰山行動。
在沖繩島上,曾經爆發過太平洋戰場中規模最大的兩棲登陸行動。航空轟炸+地面登陸,最終為二戰勝利奠定了基礎。
而在華為存儲的戰略中,我們也看到了對軟件與硬件的協同作戰,發揮到了極致。
前面我們提到,華為OceanStor存儲Pacific系列的高密度硬件+多個軟件創新,引領了整個存儲產業的航向標。
實際上,早在2008年,華為就開始探索軟硬件協同的存儲系統方案。當時,華為將底盤和控制器的軟件結合起來,通過盤庫配合把性能方面做到極致。
2015年,華為又推出了雙活解決方案,把華為存儲能力和華為DWDM能力進行融合,在醫院、金融、運營商的系統中得到了廣泛應用。
在軟件定義的時代,華為也堅持保留自己硬件定義的能力。這與很多存儲的SDS廠商不同,但在今天海量數據的極限場景下,卻藉由華為 OceanStor存儲Pacific系列展現出了硬件工藝與軟件算法所能達到的新高度。
3.攻佔硫磺島。
“一島定乾坤”的故事,沒少在太平洋中上演,比如著名的中途島,以及少有人知的硫磺島。敵方頑強堅守的硫磺島,最終憑藉浴血奮戰,得以成為打開本土戰場的重要通道。
而在存儲領域裏, AI是行業迭代的主旋律,也是華為所必須拿下的硫磺島。
所以在OceanStor智能分佈式存儲系統中,“Storage for AI”(為AI而存)和“AI in Storage”(存儲智能)就成為整個戰略部署的主線。
像在華為OceanStor存儲Pacific系列中,就將AI融入存儲全生命週期管理。比如利用AI算法的能力,加上智能存儲管理系統,以及整個華為雲的智慧能力,將軟、硬、雲三個AI有機體結合在一起,對不同的負載場景進行反覆學習,不斷提高存儲效率和資源利用率,從而管理上儘可能減少人工操作,避免人為故障。
值得一提的是,這些AI模型還會在華為自己的業務流程和IT系統中進行實踐,確保算法模型成熟度之後,在華為OceanStor存儲Dorado系列、Pacific系列等不同系列裏面進行推廣和使用,保障整體的可靠性。
而為了讓AI應用平台能夠更好地作業,華為存儲的Storage for AI也努力發揮最大效益,在自動駕駛、環境監測、智慧交通等複雜的海量數據場景中,通過協議的互通,在管理面還是數據面進行打通,減少了數據的搬遷,可以直接縮短算法的訓練成型時間,讓萬物智能距離現實更進一步。

我們常説數據是智能時代的“石油”,它的採集、存儲、運輸、冶煉、使用等等,整合在一起決定了新的生產力能效。
正如華為數據存儲與機器視覺產品線總裁周躍峯所説,海量數據在企業數字化轉型中扮演着越來越重要的角色,然而當前只有2%的數據被保存、保存下來的數據只有10%得到分析利用。
存儲看起來只是一件小事,卻決定着數據能不能被安全、有效、低成本地抵達產業中樞,轉化為服務千行萬業的燃料。
華為存儲的探索,或許可以幫我們在沉沉海霧之中,踏實地航行在智能時代的無限路途。