站到全球統一“起跑線” 中國數據庫“分佈式”突圍
作者:李文瑶
【環球網科技報道 記者 李文瑤】11月9日,2022世界互聯網領先科技成果在烏鎮揭曉,全球共15個技術項目從近300項優秀成果中脱穎而出,入選此次領先科技成果。其中,螞蟻集團自主研發的原生分佈式關係數據庫OceanBase成為數據庫領域的唯一入選案例。
這也讓原生分佈式關係數據庫進入了大眾視野。作為數字經濟時代不可或缺的底層技術支持,數據庫的能力也代表着國家的基礎技術實力。2021年工信部印發《“十四五”信息化和工業化深度融合發展規劃》,明確提出加速分佈式數據庫、混合事務分析處理數據庫、共享內存數據庫集羣等產品研發和應用推廣,從政策層面點明瞭數據庫的發展方向。
數據庫為何如此重要?自研分佈式數據庫為何能夠入選代表全球領先技術的世界互聯網領先科技成果?這也可以從OceanBase首席科學家的發言中一見端倪。
螞蟻集團副總裁、OceanBase首席科學家陽振坤在發言中如此介紹數據庫的重要性:“作為關鍵的信息基礎設施,關係數據庫的安全、穩定、可靠、性能、容量等對國計民生有着根本性的影響。數字經濟和數字化轉型對關係數據庫提出了更高的要求。”
“分解”數據庫
分佈式數據庫的關鍵點,還是在“分”上。與傳統關係型數據庫不同,分佈式數據庫作為新一代數據庫形式,將傳統“串聯”的數據庫處理關係轉化為“並聯”的處理關係。
這是怎樣的一個概念?作為傳統“串聯”的關係型數據庫,如果幹路上的一個環節出現問題,那麼整體的數據庫工作將出現宕機等高風險問題。但分佈式數據庫採用“並聯”的處理方式,將各個支路上的處理信息彙總到幹路上,單獨支路的“堵塞”並不會影響其他支路和幹路的工作,同時,可以隨時根據工作量的需要來增加支路以保證整體高效處理信息的能力,大幅提升運行效率,分散風險,降低成本。
隨着雲計算技術的發展,雲原生技術也為分佈式數據庫提供了新的技術助力,在雲上基於雲研發的原生應用讓分佈式數據庫在即時應用、及時調整、可擴展等方面,都展現了優異的應用優勢。
這些特點和優勢都解決了傳統關係型數據庫部署成本高,且在數字經濟下無法靈活應對爆發式數據增長的難題。
單從OceanBase來看,在歷經三次大版本的迭代與升級後,其已經在功能豐富性、系統安全性、產品易用性上向國際頂尖產品看齊,並具有數據強一致、高可用、高性能、在線擴展、高度兼容SQL標準和主流關係數據庫、低成本等特點。
例如,OceanBase首創了數據庫系統的無損容災技術和“三地五中心”城市級故障無損自動容災方案,實現了在多數派副本正常的情況下保證數據不丟失和服務不中斷。同時,OceanBase研發了每秒千萬次事務處理能力的分佈式事務處理技術,實現了關係數據庫的無限水平擴展和分佈式事務的強一致性。
今年8月,OceanBase發佈最新的4.0版本。據OceanBase首席執行官楊冰介紹,OceanBase 4.0已經可以運行在如名片般大小的電腦樹莓派開發板上。而且,單機部署同樣具備分佈式數據庫所具備的完整功能,同等硬件條件下,性能超越甲骨文關係型數據庫MySQL。
金融行業的技術“基石”
分佈式數據庫的技術能力在金融場景應用中的價值體現更加明顯。
作為國家經濟主動脈的金融行業,因為其特殊的重要性對底層技術的穩定性要求極高,容錯率極低,一點點不穩定因素都將給國家經濟帶來不可估量的影響。這也是金融行業在選擇技術解決方案時極其嚴苛、謹慎的原因。
隨着中國數字經濟的快速發展,金融行業的數字化轉型也在加快推進。從政策層面來看,今年1月中國銀保監會印發了《關於銀行業保險業數字化轉型的指導意見》(以下簡稱《指導意見》),明確指出以數字化轉型推動銀行業和保險業高質量發展,構建適應現代經濟發展的數字金融新格局,不斷提高金融服務實體經濟的能力和水平,有效防範化解金融風險。同時,要從健全數據治理體系、增強數據管理能力、加強數據質量控制、提高數據應用能力等四個方面提升數據治理與應用能力。
這其中,起到關鍵技術支撐作用的便是數據庫。
從業務層面來看,隨着數字化轉型的加快,金融行業數字業務的不斷增多,金融行業面對越來越多的數據處理需求,保證數據安全、應對數據增長壓力、對數據進行及時分析和風控管理,都是金融行業需要從技術層面解決的難題。
而這又將需求直指數據庫建設。
由此來看,數據庫可以説是金融行業的技術“基石”。而分佈式數據庫提供給金融行業更好的解決方案。相比傳統關係型數據庫,分佈式數據庫的模式擁有與生俱來的容災能力。其中,OceanBase原生分佈式設計之初假定硬件資源是不可靠的,每個模塊的設計和實現都考慮主動容災和故障防禦。支持多個數據副本分散存儲在不同地域,實現跨地域容災部署。OceanBase能夠支持強一致性事務,數據修改在多個地域保證提交成功,因此當災難發生時,數據不會丟失,達到國家標準定義和最高級別容災標準。
同時,OceanBase數據庫使用一套系統支撐海量交易和海量分析,基於分佈式架構做好交易處理場景的同時,能夠完成分析、跑批等分析型場景,真正一套引擎支持OLTP+OLAP工作負載,同時實現兩套系統功能,大幅降低企業成本。
值得關注的是,OceanBase還打破了分佈式數據庫的技術限制,推出首個單機分佈式一體化架構,可像單機數據庫一樣使用。這意味着,單機部署不損失數據庫性能,在需要分佈式部署時,也能實現多機性能自動擴展,無論是高頻的交易業務,還是批量數據處理,均能很好支持。這對於金融行業來説,無論是穩定性、技術性、處理數據能效、成本等方面,都得到了最大的優化和支持。
中國數據庫“分佈式”突圍
數字經濟和數字化轉型對關係數據庫提出了更高的要求。過去,數據庫領域幾乎由國外企業佔據主導地位。從上世紀80年代數據庫興起,甲骨文、微軟、IBM等企業便一直佔據優勢地位,難以撼動。
這一情況在2010年左右出現了改變。移動互聯網的興起讓中國抓住了發展機遇,互聯網應用繁榮發展,倒逼了數據庫等底層技術的研發創新,分佈式數據庫模式應運而生。在十年多的時間裏,國內便湧現了一批極具競爭力的數據庫產品,其中就包括OceanBase。
傳統金融行業要解決數字化轉型的關鍵問題,只能從基礎技術構架上入手,更高容錯率、更快相應速度、更便捷開放流程等都在重塑全球金融行業技術秩序和發展模式。對於中國來説,跟上這一技術變革,將抓住發展機遇,助推經濟發展,增強國家實力。
目前,中國技術力量在全球評比中也得以體現。根據全球權威 IT 諮詢機構 Forrester 發佈的 2022 年度 Translytical 數據平台廠商選型報告顯示,國內自主研發的原生分佈式數據庫 OceanBase 成功入選。該報告針對數據庫技術給業務和客户所帶來的影響提供務實和具有前瞻性的建議,是業界公認的極具價值的權威報告。除 OceanBase 以外,甲骨文、IBM、微軟等數據庫廠商都位列其中,這也是中國廠商首次入選該報告。
在應用落地方面,中國自研分佈式數據庫已經融入了中國金融系統,包括工商銀行、蘇州銀行、招商證券、中國人民保險、中華保險等企業,都採用了我國自研分佈式數據庫系統。
而面對豐富的應用場景和複雜的技術需求,分佈式數據庫的應用也從金融行業向通信、能源、政務等多個領域拓展。
這也讓國家層面的政策推進有了技術支撐。中國人民銀行印發《金融科技發展規劃(2022-2025年)》(以下簡稱《規劃》)。《規劃》指出,要佈局先進高效的算力體系,深化關鍵核心技術應用,穩妥推進信息系統向多節點並行運行、數據分佈存儲、動態負載均衡的分佈式架構轉型,為金融業務提供跨地域數據中心資源高效管理、彈性供給、雲網聯動、多地多活部署能力,實現敏態與穩態雙模並存,分佈式與集中式互相融合。
跳出行業場景,從市場規模來看,中國的數據庫市場規模非常龐大,中國需要自己的數據庫自研力量。根據中國信通院測算,2020 年全球數據庫市場規模671億美元,其中中國數據庫市場佔全球 5.2%,約35億美 元。預計到 2025年,全球數據庫市場規模將達到798億美元。中國 IT 總支出在全球佔比為12.3%。而2025年中國數據庫市場預計在全球的佔比接近中國IT支出在全球的佔比,因此2025年中國數據庫市場總規模將達到 688億元,年複合增長率(CAGR)23.4%。
值得關注的是,我國自研數據庫的市場佔有率也在不斷擴大。根據 IDC 數據,2021年下半年國內數據庫廠商在關係型數據庫市場的市佔率繼續擴大。其中公有云模式市場前五有三家國內廠商,兩家海外廠商份額均下降,騰訊、華為市場份額都擴大。在本地部署模式市場 ,國內廠商也正在快速追趕甲骨文、IBM等海外廠商。
政策支持、應用需求、企業研發投入增加,都讓我國的分佈式數據庫得到了快速發展。而自研分佈式數據庫在解決數字經濟發展的底層技術支撐問題的同時,也讓中國的技術企業與全球巨頭站在了同一起跑線上,有了一較高下的機會,而這些企業的不斷強大也正在加強我國最底層科技競爭實力。