聚焦技術發展及開源生態 騰訊全面揭秘大數據平台演進之路

11月7日，騰訊Techo開發者大會的“騰訊大數據”分論壇上，圍繞大數據的新技術進展及開源生態，騰訊大數據團隊進行了詳細解讀，包括由集羣規模化與異構化挑戰所引發的漂移計算等新技術創新，越來越普遍的即時計算需求以及新架構的實踐，能夠無限彈性擴展的、面向未來的數據湖體系結構，大數據技術發展的新趨勢與新挑戰等。

騰訊也通過開源和廣大開發者共享技術成果，並希望推動業界共同加入構建開源正生態。在前一天的大會主論壇上，騰訊雲副總裁、騰訊數據平台部總經理蔣傑博士宣佈資源管理平台核心TKE和分佈式數據庫TBase正式對外開源，騰訊正在走向大數據領域全面開源之路。

十年技術演進 從引進到自研

蔣傑指出，自2009年起，騰訊大數據平台已完成三次迭代，從以Hadoop為核心的離線計算時代到以Storm、Spark、Flink為核心的即時計算時代，再到如今的機器學習和深度學習時代。經過10年的積累，騰訊大數據平台的算力資源池目前已有超過20萬台的規模，每天即時數據計算量超過30萬億條，騰訊已經成為中國即時數據計算量最大的公司。

從開始的技術引進、局部優化到如今的自主創新，騰訊的大數據技術在實踐中不斷優化、不斷完善。隨着系統演進和數據增長，異構集羣、異構數據源問題凸顯，為了降低數據使用壁壘，漂移計算平台研發負責人張韶全博士表示：“騰訊大數據去年自研了漂移計算引擎SuperSQL，滿足跨地區、跨集羣、跨數據源的聯邦數據需求，通過解決數據孤島、優化資源使用，能夠極大地降低數據聯合分析的使用門檻，提升數據使用效率，最大化數據使用的價值。”

2015年起，騰訊就開始對大數據進行即時化的改造，到現在騰訊內部所有產品都已經廣泛開始使用即時計算的模式。據實時計算平台研發負責人施曉罡博士介紹，Oceanus是騰訊基於Flink打造的集開發、測試、部署和運維於一體的一站式可視化即時計算平台。目前Oceanus在內部支持了包括微信、QQ、騰訊遊戲、騰訊視頻、微信支付、財付通和CDN在內的多個重要產品，並在騰訊雲上為公有云和私有云用户提供可靠的即時計算服務。圍繞着內部海量業務，oceanus團隊同時將現網面臨的各類問題以及解決手段反饋給社區，目前已經貢獻了超過300多個的patch，為flink穩定性、擴展性、易用性以及高性能做出重要貢獻。

而隨着數據應用越來越深入，騰訊對數據挖掘的需求也越來越多。2015年初，騰訊開始自研高性能的分佈式機器學習 平台Angel，採用PS架構，能支持10億維度，目前Angel發展到3.0版本，能支持萬億維度，也可以兼容Spark、PyTorch、TensorFlow等生態。從1.0到3.0，Angel從一個單一的模型訓練平台發展到涵蓋機器學習各個流程的全棧機器學習 平台，並且已應用於微信支付、QQ、騰訊視頻、騰訊社交廣告及用户畫像挖掘等業務。

目前，騰訊正在探索以批流融合、ABC融合、以及數據湖和聯邦學習為方向的下一代大數據平台的研究,該平台將具備混合部署、跨域數據共享和邊緣計算等能力。

大數據平台全面開源 助力構建開源生態

今年，在內部開源協同的戰略推動下，騰訊在大數據開源領域的開源逐步加速。此次在Techo大會現場，騰訊重磅宣佈正式開源資源管理平台核心TKE和分佈式數據庫TBase，至此完成了騰訊大數據核心能力全開源，並期望推動業界一起構建繁榮的開源生態。

其中，TKE是基於Kubernetes 的開源容器平台，在大數據，深度學習，通用服務等現網業務的實踐和打磨下，可以同時服務公有云和私有云，並且在易用性，可靠性，安全性，通用性等方面領先業界。目前TKE已應用於騰訊內外部遊戲、銀行、汽車等多項業務。

TBase則是在開源的PostgreSQL基礎上自主研發的企業級分佈式HTAP數據庫管理系統，具備高擴展性、SQL高兼容度、提供分佈式全局事務一致性功能支持、多級容災能力以及多維度資源隔離能力的高安全性等特徵，同時支持關係模型下的在線交易+分析型業務。自2015年上線以來，TBase已在騰訊內外部包括政務、銀行、保險、證券、微信支付等多個行業提供底層數據庫支撐。

在大數據領域，從2014開始，騰訊將第一代大數據平台的核心，騰訊版的Hive進行了開源，2017年，更是把第三代平台的核心Angel開源並捐獻給Linux基金會。2個月前，在ApacheCon 2019上，騰訊面向全球開發者正式宣佈開源即時數據採集平台TubeMQ，並捐獻給Apache社區。

在蔣傑看來，構建開源生態，一方面可以吸引更多的優秀開發者加入騰訊，一起推動技術研發更加進步;另一方面，整個開源生態的繁榮，能夠讓開源軟件的功能更加完善，也能夠更好的支撐騰訊的業務發展。如騰訊不斷在雲端演進和豐富大數據產品矩陣，目前已有數百萬活躍開發者在雲端學習、討論、建設，其聯合行業合作伙伴共同打造了覆蓋19個行業的100多個行業解決方案，共同服務的客户數達到了20多萬家，個人客户60多萬家。

“開源是希望更好的回饋社區，希望開源生態能有更大的繁榮，騰訊的大數據將全面開源。”蔣傑表示。