對話交通銀行：中國金融業數據倉庫有哪些重要趨勢？_風聞
大数据在线-2022-12-16 14:38
數字經濟時代，什麼才是金融機構的核心競爭力？筆者訪談了交通銀行軟件開發中心總經理劉雷。劉雷指出：“數據和數據能力是金融機構發展的核心競爭力”。
當下，金融機構的數字化轉型正邁入縱深階段，使得兩大核心訴求更加清晰：其一、通過數字化轉型重塑核心競爭力，讓營銷、風控、管理等傳統業務煥發生機，走向高效化；其二、利用數字化技術拓展新的業務領域，在商業模式上實現創新與突破。
無一例外，這兩大核心訴求的基礎都是數據。隨着各大金融機構數據量持續爆炸性增長，新業務場景的井噴以及數據要素化的提速，也讓金融行業數據分析平台核心--數據倉庫逐步融入各種核心業務之中，其價值與作用愈發突出。
劉雷提到：“數據作為數字經濟時代新的生產要素，要像土地、人力、資本、技術等其他要素那樣，不斷流動、交換和共享，進而推動經濟社會發展。在這個過程中，一方面，要通過數據標準的制定，加強數據治理和數據管理能力，提高數據質量，提升數據生產服務能力；另一方面，利用多方安全計算、人工智能、大數據等技術建立跨平台、跨企業、跨領域的數據倉庫體系，按照數據不出域、可觸達的要求，實現數據的交換和共享。”
那麼，中國金融業的數據倉庫應用現狀如何？中國金融機構在數據倉庫上都遇到哪些新挑戰？又會有哪些重要的新趨勢？
近日，由金融信息化研究所聯合交通銀行在內的多家金融機構及華為雲正式發佈了《金融數據倉庫發展報告（白皮書）》（以下簡稱：白皮書），從政策、全球、技術、歷史五個維度綜合分析我國金融數據庫技術發展現狀和問題，並提出了金融數據倉庫七大關鍵技術和十大發展趨勢，對於金融機構未來建設、升級優化數據倉庫極具參考價值。
數據倉庫應用現狀如何
在眾多行業中，金融行業是最早部署數據倉庫的行業之一。
早在信息化時代，數據倉庫在各大金融機構的業務中就發揮着關鍵作用；進入到數字化時代，數據驅動成為金融機構的轉型目標，業務運營與創新均與數據息息相關。數據猶如金融機構的血液，流動到每個組織和業務之中，為其帶來“養分”，數據倉庫承載着數據的存儲與分析，自然就成為金融機構數字化轉型建設的剛需。
白皮書調研數據驗證了這一現狀：當前，銀行、證券、保險等不同領域的金融機構普遍建設了數據倉庫。其中，銀行業建設數據倉庫佔比最高，除了區域性城商行尚有部分機構未建設之外，國有大行、股份制銀行等均建設了數據倉庫；而證券業和保險業建設數據倉庫佔比均接近90%。
具體來看，我國數據倉庫產品在金融機構的佔比正不斷提升，尤其是在銀行業的佔比較高。白皮書的數據顯示，國有大行基本都在使用我國數據倉庫產品或採取自研數據倉庫模式，佔比高到83.33%；而股份制銀行採用我國數據倉庫產品的佔比也高達66.67%。
在投入方面，有86.75%的金融機構的數據倉庫投入在所有數據庫投入中的佔比小於50%。從側面反應出，很多金融機構的數據倉庫建設未來依然有較大提升空間。
白皮書還對不同類型金融機構當前使用數據倉庫痛點和使用訴求進行了調研。在痛點方面，國有大行因其海量數據，帶來容量瓶頸問題；相對國有大行，其他金融機構數據治理體系還不完善，面臨數據質量等系列問題。在使用訴求方面，不同類型金融機構也不盡相同，主要集中在T+0分析、數智融合、湖倉一體、存算分離以及數據共享等方面。
這些關鍵技術和趨勢不容小覷
“未來的金融服務無處不在，就是不在銀行網點。”--《Bank 4.0》一書對未來金融做出大膽預測。
真實情況恰如預測那樣。如今，移動支付、電子貨幣、互聯網保險、大數據徵信、智能投顧、智能客服、雲櫃枱等新金融業務正大量湧現，對於金融機構傳統的網點、渠道、產品、流程產生了極大的衝擊和改變，並且加速向金融業務中後端和全鏈條滲透，引發金融行業全業態變革。
新場景、新技術和新需求在驅動金融數據倉庫加速變革。傳統數據倉庫軟硬一體的封閉架構、高昂成本、實時處理能力不足等弱點不斷凸顯，不僅無法實現跨部門、跨系統、跨渠道、跨場景的數據共享與應用整合，讓數據無法得到充分的挖掘與分析；更無力幫助金融機構構建起完善的數據資產體系。
“金融業數據倉庫在經歷了描述型數倉、探索型數倉、運營型數倉三個階段之後，正在加速向智慧型數倉邁進，從僅支持批量報表服務，到支持數據探索、實時分析、數智融合，支撐業務長期演進和持續創新。”華為雲EI服務產品部總經理尤鵬介紹道。
白皮書也指出，當前經過金融業的探索與實踐，圍繞分佈式和雲原生的架構主體，來構建數智融合的數據倉庫成為大勢所趨，具體包括七大關鍵技術：超大規模並行處理滿足海量數據的算力、高可用及容災技術實現數據永遠在線、動態負載管理滿足多樣化負載統一管理、數據安全技術保障數據合規訪問、融合分析技術打通結構化與非結構化數據分析邊界、彈性擴展技術滿足系統在線按需擴展和管控一體的智能運維釋放運維壓力。
例如，“人人用數”是當前很多金融行業重點踐行的方向。以某大型股份制銀行為例，其以“零售之王”著稱於業內，超過2W名員工屬於重度數據消費者，從全渠道獲取、精準營銷到客户精細化運營、風險控制，日常業務中時時刻刻都需要用到數據做決策。“人人用數”帶來了各種海量並行操作，對於數據倉庫的超大規模並行處理能力、彈性擴展能力和運維能力挑戰極大。
事實上，白皮書還對全國百餘家金融機構進行了充分調研，提出了金融行業數據倉庫十大發展趨勢，主要包括“融合”和“普惠”。“融合”主要有T+0分析、湖倉一體、數智融合、存算分離、高維分析、HTAP等；“普惠”則包括數據共享、數據網格（Data Mesh）、數據編織（Data Fabric）、現代數據棧（Modern Data Stack）等。
當前，金融機構數據量、數據類型和數據來源都遠勝以往，並且數據分佈在數據倉庫或者數據湖之中，從而造成數據重複存儲、數據管理與分析挑戰巨大。因此，金融數據倉庫很重要的一大趨勢就是走向湖倉一體，湖倉之間互相配合、取長補短，幫助企業構建起統一元數據、數據管理和訪問入口的數據平台，從而滿足各種業務的用數需求。
“湖倉一體等技術目的是讓數據和數據模型自由流轉，真正讓數據供給側和使用側的對接變得更加容易。”劉雷表示道。
又如，很多金融機構在智慧營銷、智能風控、智能投研、OCR等業務場景中開始加大AI技術的應用，數據平台與AI平台的融合正在開啓，形成能力互補。
劉雷認為，“數據倉庫數據管理能力與AI平台流程會形成生命週期管理的結合。數據倉庫將關係型的數據開放給AI，並作為AI流程中數據準備、特徵工程等強數據處理負載的分析引擎；非結構化數據（如圖像、視頻、語音、文字）處理和模型訓練由AI平台承載，訓練生成的模型可直接部署在數據倉庫中，由數據倉庫來實現推理，並可以直接與數倉中關係型數據關聯分析。”
再如，數據倉庫也在加速走向“普惠”。“普惠”意味着使用門檻降低和廣泛的使用人羣，自然會帶來靈活性與統一的難題。隨着接入數據源越來越多和數據量越來越大，數據倉庫等數據平台需要在統一元數據的基礎上，採取更加靈活和敏捷的數據治理，推動了數據倉庫向數據網格（Data Mesh）、數據編織（Data Fabric）等方向發展。
“金融行業業務場景本身也在走向普惠化、實時化和智慧化，數據規模每年保持了30%以上的增長的速度。因此，基於開放平台和雲原生分佈式架構的數據倉庫，將是各大金融機構數據倉庫演進的方向”尤鵬總結道。
白皮書對於金融數字化轉型意義幾何
《金融科技發展規劃（2022—2025年）》明確提出要“激活金融數據要素潛能”、“加強數據能力建設”等內容。面向未來，構建強大的數據能力是所有中國金融機構一門必修課。
一直以來，中國金融機構在業務發展和科技能力上深受IBM、Oracle、Teradata為代表的國際頂級廠商所影響。近年來，在新場景、新需求和新技術等多重因素的交織下，產業變革加劇，很多中國金融機構熱切期盼了解數據倉庫未來建設方向、技術趨勢以及產業現狀。
眾所周知，當前數據倉庫的建設正在成為金融機構數字化轉型的剛需，而與數據倉庫相關的技術又處於爆發期，從數據治理、數據處理到數據分析、數據智能等技術紛繁眾多，國內眾多金融機構普遍存在一定程度的迷茫，對於產業現狀和技術趨勢瞭解不夠，導致了產品選型時普遍遇到困難。
其次，中國金融機構地域分佈廣泛、類型多樣，導致不同金融機構在數據倉庫、數據平台等方面建設情況千差萬別，嚴重缺乏行業參考。例如，國有大行和股份制銀行已經進行了多年的數據倉庫建設，現在正加速向數智融合的智慧型數據倉庫邁進，其很多實踐經驗和方法值得省聯社、城商行了解與學習。
白皮書則通過國內上百家全行業金融機構的調研，提取了多家同業夥伴數據倉庫建設情況和寶貴意見，通過典型案例形成行業參考，為不同類型的金融機構提供極具價值的參考。
第三，白皮書揭示了中國數據倉庫產品的崛起，像華為雲等公司的數據倉庫產品在國有大行最為複雜、苛刻的場景中得到充分驗證和考驗，其實時分析、邏輯數倉、HTAP、湖倉一體和數智融合等一系列企業級關鍵特性也能夠滿足複雜金融場景的演進需求，為中國金融業的數據倉庫建設和數字化轉型帶來了全新視角和思路。
總體來看，在新場景和新技術的雙輪驅動下，數據倉庫在金融業的應用正處於一個變革期。《金融數據倉庫發展報告（白皮書）》很好地剖析了當前數據倉庫在中國金融業的建設情況和未來發展趨勢，對於中國金融業數字化轉型大有裨益。面向未來，隨着中國數字經濟持續發展，中國金融業的數字化轉型對於支持經濟長遠發展至關重要，數據倉庫也必然會發揮更大的價值與作用。