生成式AI時代，數據存儲管理與成本如何不失控？_風聞
大数据在线-昨天 23:08
無數據，不AI。
由生成式AI掀起的這一次人工智能浪潮，對企業的產品、服務乃至商業模式都有着顛覆性的影響。因此，在多雲、大數據、生成式AI等多元技術的驅動下，數據要素變得愈發重要的同時，企業對於數據存儲的需求也在發生深刻變化。
那麼，生成式AI帶來哪些顯著不同的數據存儲需求？究竟什麼樣的數據存儲適合構建企業未來的數字底座？面對迅猛的生成式AI浪潮，企業在數據存儲層面需要做好哪些準備，從而讓成本不失控？
近日，在數據存儲領域深耕多年的廠商Hitachi Vantara帶來了它的答案：Hitachi iQ AI解決方案和單一混合雲平台Virtual Storage Platform One。正如Hitachi Vantara亞太區首席技術官Matthew Hardman所言：“與其他廠商相比，Hitachi Vantara不僅僅是數據存儲技術的提供商，更依靠日立集團多年的行業經驗和運營技術經驗，為眾多行業用户帶來各種行業解決方案。”
AI時代數據需求發生鉅變
數據是企業在AI時代取得成功的關鍵。
此絕非虛言。隨着數據要素的價值愈發突出，每家企業所積累的數據以及自身的數據能力，正成為其數智化轉型升級中最為關鍵的差異化能力。
尤其是多雲環境和生成式AI浪潮的興起，數據乃企業生成式AI應用創新的關鍵。Gartner預測，到2026年，超過80%的企業將使用生成式AI的API或模型，或在生產環境中部署支持生成式AI的應用，這將對企業數據存儲需求產生根本性影響。
具體來看，隨着多雲環境成為越來越多企業的基礎設施環境標配，以及企業逐步對生成式AI應用進行嘗試與實踐，首先帶來的就是遠比過往復雜的數據環境。例如，多雲環境必然會帶來企業數據的分散式分佈；而生成式AI涉及到數據收集、預處理、訓練和推理等階段，也進一步讓企業數據環境走向複雜化。
更加關鍵的是，數據存儲作為底座，所扮演的角色在發生轉變——除了安全存儲和管理好數據之外，還需要承擔起數據供給的重任。以多雲環境為例，數據要素只有流動起來才能更好地發揮出價值，這需要底層存儲提供保障；而生成式AI同樣需要數據與模型的快速結合，這離不開存儲系統的數據供給。
Matthew Hardman認為，今天很多企業都在考慮應用包括生成式AI在內的AI技術，也並不缺乏數據，甚至擁有了太多數據，但仍然受困於如何從數據中獲取價值，“Hitachi Vantara的目標就是從實際需求的角度來提供合適的產品與解決方案，幫助企業解決AI、大數據、多雲環境等具體數據存儲的挑戰，並迅速獲得有益的成果。”
生成式AI不能讓成本失控
毫無疑問，生成式AI已成為確定性趨勢。
但不能否認，生成式AI的應用作為一項複雜的工程化項目，依然面臨着極為複雜的技術門檻和相當高昂的成本，這也是很多企業對生成式AI“望而卻步”的根本原因。
以存儲為例，當前絕大部分企業在生成式AI應用上依然採用煙囱式的建設模式，數據獲取、數據預處理、模型訓練與評估、模型部署應用四個階段都有獨立的存儲集羣，各個階段的數據流通、協同充滿挑戰，而且不得不承擔極高的數據存儲成本。
Matthew Hardman直言：“很多企業正處於對生成式AI的早期採納探索階段，非常容易就出現成本失控的情況。”
因此，存儲層面需要化繁為簡，並且針對大模型的訓練、調優等承擔起數據供給的重任。Gartner《Top Storage Recommendations to Support Generative AI》報告就認為，到2028年，四分之三擁有生成式 AI 訓練數據的組織將部署單一存儲平台來存儲數據，這一比例顯著高於 2024 年的 10%。
顯然，“GenAI in a box”融合存儲解決方案在未來會愈發重要，它通過一套存儲來承載AI數據處理全流程的業務，實現數據的高效流通與協同，並且集成了主流的GPU硬件、軟件能力，大幅降低生成式AI部署與應用的難度，實現開箱即用。
為此，Hitachi Vantara基於NVIDIA最新的AI技術，並結合Hitachi Vantara的下一代存儲平台，帶來了Hitachi iQ AI解決方案。
Hitachi iQ AI解決方案不再是單一的產品，而是從客户實際需求出發，提供不同規模和配置的選項，以滿足不同企業、不同場景的差異化需求。眾所周知，目前數據與大模型主要有三種方式：檢索增強生成（RAG）、微調和持續預訓練，每種方式對於基礎設施、企業能力要求是不盡相同的，因此Hitachi iQ AI解決方案可以從靈活性、可用性等方面來幫助各種類型的企業。
“在生成式AI的早期探索階段，其實很多企業是不清楚自身具體需求和使用場景的。此時，利用Hitachi iQ AI解決方案來進行早期驗證就非常合適，它不僅能夠快速部署應用，還能夠控制成本，而且一旦驗證成熟，就可以進行大規模投資。”Matthew Hardman介紹道。
不僅如此，Hitachi Vantara還會依託Hitachi在各行各業的豐富經驗、研發和實驗室資源，來幫助各行各業的用户找到他們AI應用的場景和用例，從而幫助企業在AI時代找到快速獲益的途徑或方式。
多雲時代需更好釋放數據價值
除了生成式AI之外，多雲環境下的數據管理也迅速成為企業不可忽視的挑戰。
眾所周知，隨着微服務、容器等技術的迅猛發展，越來越多現代化應用不斷湧現。現代化應用往往具有部署環境廣泛、業務彈性多變、管理複雜和安全性要求極高等特徵，對於企業的數據流動、數據協同和數據安全的要求大幅提升。
因此，一個統一的數據存儲平台在未來會成為必須。統一的數據存儲平台需要對包括結構化數據、非結構化數據、第三方存儲數據等進行統一管理，簡化數據管理等工作，提升數據的可用性，從而驅動數據的高效流動與協作。
為此，Hitachi Vantara推出了Virtual Storage Platform One（簡稱：VSP One）平台。VSP One產品包括：VSP One SDS塊存儲、VSP One SDS雲存儲和VSP One文件存儲。
Matthew Hardman認為，VSP One的核心理念是幫助企業構建起統一的數據生態系統，通過統一的數據平面和管理平台，以及Data Fabric技術，消除數據孤島和碎片化現象，實現跨所有數據類型、支持所有環境部署的全面數據管理。
例如，依託日立存儲虛擬化操作系統（SVOS），VSP One可以確保數據實現跨設備和跨地點的收集、整合與訪問，使得企業可以輕鬆獲得數據，並利用數據驅動業務發展；在防勒索方面，VSP One將數據庫備份到對象存儲之中，利用對象存儲數據不可逆的特性，使得企業在遇到勒索風險時可快速恢復數據；再如，在數據保護方面，VSP One塊存儲具有動態磁盤保護（Dynamic Drive Protection，DDP）功能，可以實現對存儲資產的最高級別保護，並顯著加快重建速度。
“VSP One是一個數據平台，接下來還將融入更多技術，幫助企業在現有環境中不斷獲得最新的技術創新，從而為數智化轉型與升級注入更多動力。”Matthew Hardman最後表示道。