從望塵莫及到奮起直追,中國存儲突圍記!_風聞
大数据在线-1小时前
“把存儲這件事情吃透,就像揹負着一個沉重的十字架前行,必須要有為產業創造價值、為國家提升競爭力的責任感。”--李國傑院士在《第四支柱:先進存力崛起》一書中如是説。
存儲,一個涉及到大量底層核心技術的信息領域,長期以來頗為低調卻又無比重要,因為涉及到數據的保存與安全,且技術攻堅難度大、市場壁壘高,讓不少人“望而卻步”。隨着數字經濟的興起,數據要素成為第五生產要素,以及深度學習、大模型等人工智能技術的迅猛發展,肩負起數據保存、管理和應用的存儲愈發重要,也讓以存儲系統為基礎的數據綜合處理能力--先進存力獲得社會各界的密切關注。
正如《第四支柱:先進存力崛起》一書所言,進入到人工智能時代,存力已成為除算法、算力、數據以外的第四股力量和第四根支柱。加速先進存力的打造與建設,已然成為社會各界的共識。這其中,全閃存又是先進存力不可或缺的組成部分,其相關創新不僅關係着數據存儲範式的轉換,更影響着存儲產業格局未來的重塑。
值得欣慰的是,曙光、華為等一羣中國存儲產業的築夢人,並未被固有的產業壁壘和技術壁壘所嚇住,起步雖稍晚,甚至有些步履蹣跚,卻腳踏實地在風雨中堅定前行,近年來更抓住難得的產業變革機遇,憑藉極大勇氣在全閃存領域奮起直追、大膽創新,上演一場精彩的產業突圍記。
從硬盤、混閃到全閃存:數據存儲範式轉換在傳統機械硬盤時代,存儲產業的創新一直由國際廠商所主導。
1956年,IBM研製出第一塊機械硬盤,“磁盤存儲時代”開啓;1988年,IBM首次將RAID技術應用於存儲系統上,大幅提升系統可靠性;1990年,EMC推出Symmetrix 4200,將RAID和Cache兩項技術在高端存儲中發揚光大;1993年,NetApp首次提出NAS存儲概念;2000年,HDS推出交換式架構的高端存儲HDS 9900;2003年,EMC推出直連矩陣架構Symmetrix DMX;2009年,EMC推出世界上第一個為虛擬環境而設計的高端存儲VMAX……
毋庸置疑,經過多年積累與創新,國際廠商們已在企業級存儲市場中建立起足夠高的技術壁壘、品牌壁壘;而中國企業則從2000年前後才開始起步,處於絕對的追趕者位置,一時只能望其項背。
另一方面,2000年之後互聯網、移動互聯網浪潮陸續到來,不僅帶來業務線上化、數字化的趨勢,也直接推動數據持續的爆炸性增長,進入對於數據處理速度、容量、安全、可靠等存儲需求產生諸多新需求,而存儲系統依賴機械硬盤和Cache堆疊的方式逐漸落伍,整個存儲產業亟待新的創新與突破。
而閃存的興起,讓存儲產業遊戲規則徹底改變。閃存屬於半導體技術,無需機械部件,不依賴磁盤和磁頭讀寫數據,讀寫速度遠超機械硬盤,並且耐用性、功耗、噪音等方面均優於機械硬盤。顯然,從機械硬盤到閃存是數據存儲一次重要的範式轉換。正如托馬斯·庫恩在《科學革命的結構》中所提出,範式轉換即某一領域在基本理論、方法和觀念上發生的根本性變革。
自此,閃存逐漸在存儲系統中獲得應用,存儲系統也開啓全新的進化方向,從過去硬件架構、軟件堆棧完全基於機械硬盤,進化到基於硬盤和閃存混合的混閃系統,再到完全基於閃存且軟硬件技術棧全新的全閃存系統,徹底為數據中心基礎設施帶來一次重塑,產業意義深遠。
存力新基建:全閃高速公路為何全閃存系統在現代數據中心基礎設施中會如此重要?
相比於傳統存儲系統,全閃存系統具備高密度、高可靠、高性能、低延遲、低能耗、智能化等特徵,不僅是先進存力建設中不可或缺的組成部分,更乃當下數據中心基礎設施的主力軍。
如果將存力比作一個數據傳輸、處理的交通體系,那麼全閃存系統無疑是整個體系中最先進的部分--高速公路網絡,肩負着海量數據傳輸與處理的重任。與高速公路網絡是一個有機的整體系統類似,全閃存系統的打造絕非簡單的閃存盤堆疊,而需要採取軟硬一體化的整體設計,並且軟硬件技術棧需要徹底重構。
在全閃存系統這條“數據處理高速公路”網絡中:
閃存介質就像高速公路網絡的基石。相比機械硬盤、磁帶等“省道”、“縣道”,閃存介質的數據存取、處理速度遠勝其他存儲介質,確保海量數據的高速處理,進而讓數字化應用可以快速響應業務需求。隨着閃存介質容量的不斷提升,以及價格的持續降低,全閃存的“高速公路網絡”也在數據中心中加速普及。NVMe等存儲新協議則讓數據處理的“車道”更寬與更多、“通過性”更強,從而方便更多數據進行存儲與處理。像機械硬盤時代遺留下來的SAS等協議複雜、解析過多、隊列併發能力差,顯然不適合數據處理“高速公路”的需求,而NVMe協議就像是為全閃存系統量身定製,端到端的NVMe 全閃存更能夠徹底突破限制,充分發揮閃存的性能潛力。系統架構就是“高速公路網絡”整體設計能力,決定着海量數據存取和處理的整體效率。例如,分佈式全閃系統採用分佈式架構,具備優秀的擴展性,當遇到數據的“交通峯會”之際,可以快速、無縫通過增加“車道”、“路線”來匹配應用的數據處理需求。全閃存系統重刪壓縮、數據保護、複製、容災等豐富的軟件功能則像是高速公路網絡的應急車道、收費站、服務區、智能化調度系統等各種服務功能,確保整個“高速公路網絡”中數據安全、可靠和有序的處理,並且一旦發生“故障”,能夠快速、高效的恢復“通行”。當前,隨着閃存介質的容量持續攀升,價格不斷逼近機械硬盤,以及軟硬件技術棧走向成熟,全閃存系統得以獲得越來越多用户的青睞,並廣泛進入到各類業務場景之中,不僅支撐起數據庫、ERP、虛擬化等傳統業務應用,還在自動駕駛、大模型、大數據分析、分佈式數據庫等新興應用大顯身手,已然成為各類組織與企業數智轉型升級的基石。
2023年則是全閃存發展的標誌性一年。Gartner數據顯示,該年第一季度中的全球外部存儲市場中,全閃存系統的市場規模首次超過非全閃系統,佔整個市場收入的50.4%。這意味着經歷十多年發展,產業界投入大量資金、人力和精力進行技術與產品的創新,全閃存已然發展成為整個存儲產業界的主流賽道。
全閃新賽道:中國起步晚、配速高2001年,TMS(Texas Memory System)發佈面向企業的第一代全閃存產品RamSan-520,正式開啓全球全閃存產品的創新之旅;2005年,ViolinMemory成立,並在2009年發佈自己的第一代全閃存產品,成為接下來幾年熾手可熱的全閃存初創公司;2008年,Nimble Storage成立;2009年,XtremIO、PureStorage分別成立;2010年,Kaminario 和Teglie System分別成立……
回顧全閃存的發展歷程,全球初創企業之多、創新活力之高、產品種類之豐富、市場匯聚資金之豐富,實屬罕見。但仔細分析,這些初創企業和產品品牌在後面的市場中幾乎“消失殆盡”,僅PureStorage一家公司碩果僅存。為何市場洗牌會如此之快?初創公司競爭力如此不堪?
歸根結底,在傳統機械硬盤時代構築起巨大市場壁壘的EMC、IBM、NetApp、HPE等巨頭們,並不會輕易放棄自身的市場地位,於是這些大企業紛紛祭出“併購”這項法寶,將一眾具備技術優勢的初創企業收入囊中,以達到快速補充產品線和拓展市場銷售的目的。
例如,XtremIO在第一代產品尚未上市即被EMC收購,其X-Brick全閃存產品憑藉EMC強大的品牌和市場資源,僅用6個季度即實現10億美元的訂單收入;連一向以技術自研著稱的NetApp,在研發全閃存產品多年進展不利之後,也通過收購SolidFire來填補產品線空白;HPE則接連將3PAR、Nimble Storage收入囊中;IBM則併購了TMS……
此時,併購成為國際存儲大廠的一項“常規操作”。併購這種方式,雖然“療效”快,短期內快速彌補產品線的不足,卻往往“治標難治本”,且容易上癮,長此以往會遇到內部的技術、產品路線整合難題,尤其是大企業內部產品線眾多、競爭激烈。另外,技術創新與研發的延續性受到影響,很多初創公司人才往往在併購結束之後就陸續離開,導致產品後續創新乏力,像XtremIO在EMC產品線的地位逐步下滑,後期“泯然眾人”。
與之相反的是,像曙光存儲、浪潮存儲、宏杉科技等中國企業在閃存領域起步稍晚,更沒有足夠的併購資金和渠道,卻以高配速和十足的後勁,最終在市場中迎頭趕上。
例如,多家中國企業多次入圍Gartner主存儲魔力象限,競爭力、品牌力、技術前瞻性等均獲得國際全球機構的廣泛認可;又如,曙光存儲、華為數據存儲、浪潮存儲、宏杉科技等全閃存產品近年來進步巨大,在SPC、IO500、MLPerf等全球產品權威測試中一改過去陪跑的角色,多次奪魁,展現出極強的產品力。
更加重要的是,中國企業逐漸開始引領全閃存產品的架構、技術創新。像曙光存儲2024年推出的FlashNexue全閃存,融合集中式存儲和分佈式存儲的多項優勢,實現256個控制器擴展能力和7個9的可靠性,並且在全球首次實現億級IOPS的性能能力;隨後不久,華為數據存儲也發佈其億級IOPS全閃存產品,中國企業將全閃存產品提升到一個全新的高度。
突圍的第一性原則:堅守底層自研創新“在發現創新策源地的過程中,掌握底層核心技術是存儲產業突圍的第一性原則。”李國傑院士在《第四支柱,先進存力崛起》中闡述道。
的確,存儲是一門專門與數據打交道的信息技術領域,容不得半點“投機”,在數據成為核心生產要素的今天,存儲直接關係着數據的安全與企業的命運。存儲的技術研發與產品打造,不僅涉及到各種底層協議、存儲介質、芯片,還需要與操作系統、數據庫緊密配合,甚至需要與上層應用場景聯動,難度可見一斑。
對於全閃存這條新賽道,由於底層存儲介質的徹底改變,過去的軟硬件技術堆棧走向重構成為必然,更加需要大量的人才、精力、時間在技術創新和產品打磨上。相比於全球存儲初創企業優渥的資本條件,中國企業幾乎是“一窮二白”起家,從0到1的突破更加艱難,篳路藍縷、爬坡過坎多年才取得如今的成績。事實上,中國企業在全閃存領域的崛起,恰恰證明了存儲領域沒有“捷徑”可走,不走捷徑就是最好的捷徑。
首先,像曙光、華為等中國企業進軍存儲領域相對較晚,卻幾乎都不約而同選擇底層技術自研的路線,避開了“開源魔改”的捷徑,從戰略層面上選擇了一條起步艱難卻前途光明之路,為後續在全閃存領域的爆發夯實了基礎。
例如,曙光存儲在打造分佈式文件系統時,就堅持從底層代碼一行行地開發構建,視掌握底層技術為核心競爭力。曙光存儲沒有選擇“開源路線”,而是保持着持續的研發投入,短期內固然是對時間、成本的考驗,從長遠來看對自身人才培養、研發體系完善、產品持續創新都大有裨益。後續事實也證明,機會是留給有準備的人,曙光存儲對於底層核心技術自研的堅持,使得其後續的創新厚積薄發、多點開花,並且在全閃存等領域勢如破竹。
其次,存儲在整個數據中心基礎設施領域都屬於偏底層,遠不如上層應用那麼光鮮靚麗,加上底層核心技術的自研很難一蹴而就,必須要有足夠的耐心和堅持,這就需要足夠的戰略定力和持續的戰略投入。以曙光存儲為例,其存儲業務在2012年尚處起步發展階段,但當年研發投入即佔中科曙光公司整體研發費用的三分之一,多達50%的研發人員投入到存儲產品的研發創新之中。
事實上,像曙光、華為等存儲產業頭部企業,無一例外均在存儲領域堅持投入達到20年,以小步積為大步、以小勝積為大勝,通過底層技術的持續積累,實現後續產品的持續突破。
以全閃存領域至關重要的糾刪碼技術為例,相比傳統RAID技術,糾刪碼能夠降低存儲開銷、減少冗餘數據和提升數據存儲的可靠性,對於優化全閃存系統的性能、增強數據可靠性和降低維護成本具有重要價值,非常適合雲計算、大數據等應用場景,堪稱全閃存系統研發必須攻克的難題。對於糾刪碼,像曙光存儲等中國企業也是從0開始,經過多年的研發與打磨,在攻堅克難中不斷積累經驗,才逐漸掌握了該項核心技術,進而在後續的ParaStor、FlashNexus等全閃存系統中發揮關鍵作用。
全閃存是一個兼具複雜軟件和複雜硬件的系統,卻擁有極為廣泛的應用場景,而全球真正掌握核心技術棧的企業並不多。如今,在多年自研的堅持下,中國企業已將核心技術掌握在自己手中,為數字經濟時代的競爭構築起堅實的數字底座。
中國市場助力突圍:應用場景牽引如果產品研發與技術創新是從0到1的突破,那麼應用場景需求則乃產品技術從1到100持續迭代與創新的關鍵。
眾所周知,應用場景需求是創新之母。在中國,各大行業各種應用場景往往具備比其他國家更為龐大的規模化、複雜性和特殊性;另一方面,隨着數智轉型的深入,以及像雲計算、大數據、人工智能等技術的應用,中國行業場景自身續期也在不斷的更新,這些恰恰是產品技術迭代優化最為優良的土壤,它能夠讓中國存儲企業洞悉出業務的真實需求、自身的產品技術差距甚至競爭對手的優缺點。
因此,以應用場景為牽引、推動全閃存系統的創新,正是中國存儲企業的另一大成長法寶。
以HPC場景為例,像生物製藥、地球氣象、芯片設計與製造、科學研究等諸多場景過去屬於傳統HPC場景,依賴大量算力進行模擬計算;如今,均在加速向數據密集型轉變,除了需要大算力之外,還需要採集大量、多維度的海量數據,在海量數據中探索科研成果。
事實上,中國存儲產業的起步很大程度上發端於HPC。一直以來,HPC應用都屬於整個IT領域最前沿、最高端的應用,不僅需要最先進的計算資源,對於存儲的性能、可靠性、穩定性等也要求極高。作為HPC領域當之無愧的領導者,曙光存儲的母公司中國曙光從上個世紀90年代開始即在各種HPC項目中跟IBM、EMC等存儲進行配合,深刻感受到“數據珍貴、不容有失”和存儲的重要性,並開啓了自己的自研存儲之路。
紮根HPC多年,曙光存儲深刻感受到HPC應用的變化趨勢。曙光存儲ParaStor分佈式全閃的產品性能、延遲、擴展性、穩定性也在各種HPC場景中得到不斷錘鍊成長,最終得以成為整個分佈式全閃領域的佼佼者。
運營商同樣是一個變化巨大的行業。與國外運營商不同,中國運營商轉型更加明顯和快速,既有各種傳統的運營商業務,同時也在積極向雲計算等數字化服務轉型;此外,運營商自身也擁有着豐富的數據資源,既是重要的數據生產者、傳輸者,也是數據價值的呈現者。因此,圍繞“數據”做文章將是運營商未來十年的第二增長曲線,對於存儲這個數字底座有着更為苛刻和全面的要求,既需要對傳統BOSS計費等業務有着良好支撐,又需要能夠支撐起雲計算、大數據等新興業務應用。
例如,中國移動2020-2021年的分佈式存儲集採是歷來採購規模最大的一次,中國移動歷時2個月對各種存儲系統的功能、可靠性、性能、可擴展性等進行12大類36項的全面測試。最終,曙光存儲脱穎而出,其ParaStor分佈式全閃成為中國移動數字底座中的關鍵組成部分,這些年經受住業務的嚴苛考驗。
中國的金融行業也面臨着鉅變,從過去櫃面業務為主的時代全面轉型數字銀行,基於數據的新業務、新場景大量湧現,業務數據也呈現出海量化、即時化、多樣化、數據價值化等特徵,PB級數據規模正在成為新常態。此外,自主可靠和信創也成為越來越多金融機構必須擁抱的趨勢。
例如,眾多金融機構的傳統核心交易系統的遷移成為大勢所趨,中國企業的全閃存系統在此過程中承擔起越來越重要的作用。
林林總總,隨着數字中國建設的持續開展,在中國各大行業數智轉型升級的過程中,中國存儲企業緊緊圍繞行業場景需求,以此為抓手,推動了全閃存產品的持續創新,並且在各個應用場景中練就了過硬的產品力,真正從‘Me too,But cheaper’成長為‘Me too,But Better’。
AI時代,中國全閃再上新台階不可否認,在很長時間裏,中國存儲企業都處於跟隨者的角色,採取“Me too”跟隨戰略,競爭對手做什麼,就跟着做什麼。
進入到AI時代,深度學習、大模型等人工智能技術快速崛起,不僅加速改變千行百業,而且對於數據存儲的容量、性能、多協議支持、可靠性、數據管理等帶來前所未有的變化。例如,大模型具備高併發、複雜IO的存儲特徵,存儲側的創新對於提升數據訪問和檢索速度有着巨大提升空間;另外,大模型涉及到海量異構數據的採集、訓練、推理、歸檔不同場景,不僅需要確保多源異構海量數據的融合,還需要實現語義一致和性能無損的訪問;更加重要的是,隨着AI集羣數量越來越多、規模越來越大,以及AI應用呈現出井噴的趨勢,存算協同的重要性也會進一步突出。
毫無疑問,在AI時代裏,全閃存系統的重要性會進一步突出,以全閃存為代表的先進存力對於推動AI產業發展有着重要的作用。事實上,人工智能巨頭Meta花費巨資購買數千PB PureStorage的全閃存已經證明了全閃存在AI時代的巨大價值。此時此刻,中國存儲企業需要去探索全新的架構、技術和功能,走出一條差異化的優勢之路,尤其是全閃存的創新值得持續探索。
如今,在百模大戰的推動下,中國已經成為全球人工智能創新與發展的熱土。面對AI對於數據存儲帶來的巨大變革,曙光、華為、浪潮信息等中國存儲企業紛紛出招,在存儲層帶來一系列的創新成果。
以曙光存儲ParaStor分佈式全閃為例,其業內獨創的“五級加速方案”實現本地內存、Burst Buffer加速層、網絡層(RDMA-Based)、存儲節點高速層( NVMe SSD-Based )、應用層(存儲直達GPU)的五層加速,搭配全路徑AI親和機制,成為當下最懂AI的存儲平台,支持AI場景性能加速20倍以上。
值得關注的是,曙光存儲ParaStor分佈式全閃和FlashNexus全閃存同根同源,曙光存儲在分佈式、集中式和全閃存等領域的技術積累,正在AI時代成為產品創新的策源地,引領着AI時代存儲產品的發展趨勢。
顯然,隨着人工智能技術與千行百業的深度融合,存儲作為數據處理的基石,不僅將持續為人工智能提供堅實的支持,還必然會對於賦能千行百業在智能時代發展發揮關鍵作用。
面向未來,中國全閃如何開啓更大舞台信通院《全球數字經濟白皮書(2024)》顯示,中國是當前全球少數引領數字經濟快速發展的國家,5G、人工智能、大數據與千行百業正在加速融合,數字化探索正在發生系統性、深層次變革,“數據+數字化技術”成為支撐產業創新演變和形成新增長動力的新模式。
這一切都為中國先進存力、全閃存開啓了更大舞台和市場空間。不過,中國存儲產業仍然需要百尺竿頭更進一步,隨着中國存儲產業初具規模、中國企業基本掌握先進存力的核心底層技術,在未來的先進存力建設與發展中,已然需要以全閃存為核心抓手,推動三個核心難題的攻克。
其一、逐步形成完善的全閃產業鏈。由於存儲介質方面受到外部因素的影響,中國閃存介質廠商近年來放緩了發展步伐,如何提升閃存介質工藝,這需要產業界各方齊心協力、共同努力,花時間、花精力去解決。
其二、需要推動全閃存的普及、提升先進存力佔比。先進存力已然成為繼算力、算法、數據之後的數字經濟發展第四支柱。與歐美髮達國家很高的全閃存普及率相比,我國還有很大的提升空間,如何讓更多行業、更多用户和更多場景認識到全閃存的價值,並積極採用全閃存,這也是擺在產業界的一個挑戰。
其三、中國存儲企業需要勇敢走出去,參與更多全球市場競爭。中國存儲企業不僅僅需要走出去,在海外市場與其他競爭對手PK,更需要全方位參與到全球各種權威機構的評測、評估之中,讓中國技術、中國創新惠及全球。
時光荏苒、白駒過隙,中國存儲產業已然走過二十餘載,逐步實現從無到有、從弱到強的產業突圍。作為產業築夢者,中國存儲人這些年負重前行,既是對夢想的追求,也是產業責任的擔當,更是技術夢想的沉澱。雖然起步有些步履蹣跚,卻也腳踏實地,在風雨中堅定前行,並抓住全閃存帶來的產業變革機遇,奮起直追開啓產業新篇章。