從引進到自研，騰訊大數據平台每日數據計算量超30萬億

在11月6日召開的Techo開發者大會上，騰訊雲副總裁、騰訊數據平台部總經理蔣傑博士正式對外披露騰訊大數據平台10年技術演進歷程。經過10年的積累，騰訊大數據平台的算力資源池目前已有超過20萬台的規模，每天即時數據計算量超過30萬億條，騰訊已經成為中國即時數據計算量最大的公司。並且，隨着資源管理平台核心TKE和分佈式數據庫TBase正式對外開源，騰訊正在成為大數據領域開源最全面的公司。

作為全球最大的互聯網公司之一，騰訊的數據量在短短5、6年時間增長了幾千倍，目前每天產生的數據量超過幾十萬億條數據在產生。為了應對這種爆炸式增長，騰訊走出了一條技術引進+改造+自研的道路。經過長達十年的不斷升級和完善，騰訊大數據平台已經經歷了四代演進。針對最新的大數據和人工智能技術發展趨勢，騰訊正在下一代計算平台中，探索批流融合、ABC融合以及數據湖和聯邦學習等前沿技術。

十年四次升級 建立“大數據+AI”雙引擎技術架構

騰訊內部目前有超過100萬台服務器，騰訊雲聯合所有業務部門，利用業務空閒資源打造一套算力共享平台，該算力彈性資源池有20萬的規模，大數據平台每天有1500萬的分析任務、30萬億次的即時計算量，並且每天數據接入條數達35萬億條數據。此外，騰訊雲的分佈式機器學習 平台，能支撐1萬億維度的數據訓練。

能支撐如此大規模數據的接入和運算，是騰訊在大數據技術領域超過10年的積累，其核心的大數據平台已經完成了三次迭代。從以Hadoop為核心的離線計算時代到以Spark、Storm、Flink為核心的即時計算時代，再到如今的機器學習和深度學習時代，騰訊從無到有研發了分佈式的機器學習引擎Angel，以及一站式AI開發平台智能鈦TI，用來解決數據訓練和算法的問題。目前，騰訊正在研究以批流融合、ABC融合、以及數據湖和聯邦學習為方向的下一代大數據平台的研究,該平台將具備混合部署、跨域數據共享和邊緣計算等能力。

據瞭解，為支撐海量業務發展，騰訊已經建立了“大數據+AI”的雙引擎技術架構，其中，最底層為分佈式存儲層，存儲結構化及非結構化數據，第二層是資源調度層，做CPU、GPU和FPGA的管理，第三層是計算層、分析層、數據採集層，而頂層則是業務應用層。通過四層完整的技術架構，自下而上為騰訊的整個應用生態保駕護航，保障億萬用户能安全順暢地享受到騰訊的優質服務。

從局部優化到自主研發 在實踐中不斷創新

從開始的技術引進、局部優化到如今的自主創新，騰訊的大數據技術在實踐中不斷完善、不斷創新。十年前，騰訊管理幾百個節點都很困難，調度性能差，規模上不去。為了有效解決計算能力和大規模集羣問題，騰訊自研調度器，相對原生調度器性能提升150倍，提升了集羣可擴展性。2016年，騰訊打破Sort Benchmark四項世界紀錄，標誌着算力已經達到世界領先水平。

由於騰訊20萬台彈性資源池的機器分佈在多個數據中心，不同地區甚至是不同國家，為了降低數據使用壁壘，去年自研了漂移計算引擎SuperSQL，作為統一的數據分析入口，通過智能CBO優化器，將計算下推到分佈在各地的異構數據源，數據分析性能提高很多倍，並且數據量越大優勢越明顯。

數據應用越來越深入，騰訊對數據挖掘的需求也越來越多。隨着模型的增大，最初用來做數據訓練的MR、Spark已經不能滿足上億的模型維度的需求。2015年初，騰訊開始自研高性能的分佈式機器學習 平台Angel，採用PS架構，能支持10億維度。目前Angel發展到3.0版本，能支持萬億維度，也可以兼容Spark、PyTorch、TensorFlow等生態，進一步降低了使用門檻。此外，Angel今年還新增了對深度學習、圖計算等的支持。

騰訊正成為大數據領域開源最全面廠商

技術迭代不斷加速，企業建設大數據平台和機器學習 平台，不僅成本高昂，而且缺乏相應的專業人才，面臨種種問題。

雲時代，這些問題得到有效解決。目前，騰訊已經把網絡、存儲、數據庫等IaaS能力，大數據、機器學習等PaaS的能力，以及上層的圖像、語音、NLP、BI等SaaS能力，通過騰訊雲對外開放。在大數據和AI兩個領域，騰訊推出了以TBDS和智能鈦TI為首的雙引擎。讓每個企業，不需要專業的大數據和AI團隊，也能便捷用上領先的大數據和AI的能力。

另外，騰訊也通過開源和廣大開發者共享技術成果。從2014開始，將第一代平台的核心，騰訊版的Hive進行了開源，2017年，更是把第三代平台的核心Angel開源。今年，騰訊加快了開源的腳步，在內部推開源協同的戰略推動下，騰訊所有的技術棧，後續會越來越開放。

2個月前，騰訊在ApacheCon 2019上，面向全球開發者正式宣佈開源自身核心平台——即時數據採集平台TubeMQ，並捐獻給Apache社區。此次在Techo大會現場，再次重磅宣佈正式開源資源管理平台核心TKE和分佈式數據庫TBase，隨着在大數據開源領域的開源逐步加速，騰訊正在成為中國大數據領域開源最全面的廠商。

“目前，已經有數百萬的開發者在騰訊雲上構建應用，相信後面會有越來越多開發者加入，我們將和所有開發者一起，共建雲上的應用生態”，蔣傑表示。