騰訊雲發佈數據湖產品：開箱即用 構建時間減少60%
作者：勃潺
【環球網科技綜合報道 記者 勃潺】5月13日，騰訊雲首次對外展示完整雲端數據湖產品圖譜，並推出兩款“開箱即用”數據湖產品，數據湖計算服務DLC和數據湖構建DLF。
騰訊雲大數據產品中心副總經理雷小平表示：“伴隨着企業對於數據洞察敏捷度要求的不斷提升，騰訊雲正在不斷探索更智能、更靈活、更高性價比的大數據工具。我們看到，數據湖架構已經成為在數據智能時代的新趨勢，而云是數據湖最佳的實踐場所。騰訊雲原生智能數據湖將助力各行各業解決多元化數據分析場景的新需求，更好地激發大數據在企業數字化升級過程中的價值。”
六大層級產品構築全方位數據湖服務
騰訊雲此次展示的完整雲原生數據湖產品矩陣包括數據湖存儲、數據湖算力調度、數據湖大數據分析、數據湖AI能力、以及數據湖應用和雲上基礎服務六個層面，提供一體化的全方位服務。
數據湖存儲以對象存儲COS服務為核心，理論上可以存儲任意規模的異構數據，具有高可靠性和高持久性，同時也支持將其他雲端數據設施作為數據湖的存儲服務。在數據湖算力調度方面，基於騰訊雲彈性容器服務EKS，開放的容器化的分析架構讓數據分析功能可組合性更強，擴展性更強，資源利用率更高。
在數據分析層，騰訊雲數據湖既提供半托管的泛Hadoop服務，滿足用户自定義需求，也提供全託管的數據服務，便於用户獲取海量數據的洞察力。此外，用户還可利用騰訊雲提供的數據協作工具對計算服務進行編排和調用，大幅度提升企業數據的便捷性和敏捷度。
值得一提的是，針對越來越多的音視圖文數據，騰訊雲數據湖包含豐富的AI服務，為圖像處理、音頻處理、自然語言處理、視頻處理等提供有力的數據支撐。在數據應用服務中，騰訊雲推出基於數據湖的數據應用服務，比如企業畫像、聯邦計算、商業智能分析等。
最後，雲原生的基礎服務為騰訊雲數據湖體系提供了有力的保障。
雷小平表示，這六大層面基本涵蓋了客户的諸多需求，此外，騰訊雲還在不斷的研發更多的數據湖產品，以完善雲原生智能數據湖矩陣。
兩款“開箱即用”數據湖新品 消除數據孤島
為了幫助客户快速構建和分析數據湖，騰訊雲此次正式推出兩款開箱即用的數據湖產品：數據湖計算服務（Data Lake Compute，簡稱DLC）和數據湖構建（Data Lake Formation ，簡稱DLF）。
數據湖計算服務作為敏捷高效的的數據湖分析引擎，採用無服務器架構設計，用户無需關注底層架構或維護計算資源，使用標準 SQL 即可完成對象存儲服務及其它雲端數據設施的聯合分析。此外，用户無需進行傳統的數據分層建模，大幅縮減了海量數據分析的準備時間，有效提升了企業數據敏捷度。
數據湖構建則能幫助用户快速高效的構建企業數據湖技術架構，包括統一元數據管理、多源數據入湖、任務編排、權限管理等數據湖構建工具。同時，藉助數據湖構建，用户可以極大提高數據入湖準備的效率，方便地管理散落各處的孤島數據。
雷小平表示，基於這兩款數據湖產品，相比於本地自建大數據集羣，數據湖構建時間減少了60%，數據分析計算性能提升35.5%，雲端數據湖架構投入使用後可使存算數據量增長75%，配合其他大數據服務，在業務峯值期可以節約30%的硬件資源，以及一半的大數據工程師和運維工程師。
三大趨勢催生雲原生智能數據湖
據瞭解，騰訊雲此次推出雲原生智能數據湖的背後，是數智時代的數據分析新趨勢，包括以雲計算為中心、以數據驅動業務及可組合式數據架構。
預計到2021年低，雲將承載80%的應用開發和部署。與此同時，數據驅動業務的浪潮席捲了各行各業，據知名諮詢機構統計，到2025年全球數據總量將超過160ZB，全球數據總量的近 20% 將成為影響日常生活的關鍵數據，近 10% 將變為超關鍵數據。
為此，企業迫切需要可以利用多個數據源、使用不同的大數據分析技術，快速構建靈活友好的數據架構，解決多元化分析場景的數據需求。”
“面對這些變化，騰訊雲原生智能數據湖應勢而生。”雷小平認為：“雲原生智能數據湖，能夠很好的擴展計算和存儲資源，同時能極大地降低運維管理難度，實現業務靈活部署。
騰訊云云原生智能數據湖具備更高的數據敏捷度、更優的數據性價比、更強的數據智能化能力，可以更好地激發數據業務價值。同時，它天然具備雲服務的眾多優勢，包括多租户的權限管控、存儲計算資源彈性伸縮、底層資源免運維、雲端服務高可用高可靠、僅需按照使用量付費等。
在應用方面，騰訊雲正在積極推動數據湖在政務、工業、零售等領域的大規模落地。騰訊雲數據湖體系已服務眾多內外部客户，其整體算力彈性資源池已達500萬核，存儲數據超過100PB，每日分析任務數達1500萬，每日即時計算次數超過萬億，能支持上億維度的數據訓練。
業內人士認為：“作為數智時代的新引擎，雲原生智能數據湖能夠為用户帶來更多的可能性，挖掘更大的數據潛能。在新一輪的產業互聯網浪潮中，政企都需要掛上新引擎，實現更好的數智化轉型。”