開源、雲原生時序數據庫TDengine 3.0發佈,打造極簡時序數據平台
北京2022年8月16日 /美通社/ -- 2022 年 8 月 13 日,領先的企業級開源時序數據庫廠商濤思數據正式發佈 TDengine 3.0。TDengine 3.0 是真正的雲原生時序數據庫(Time Series Database),重構了分佈式架構,引入 RAFT 一致性協議,可以支持 10 億個時間線、100 個節點;完善並優化了對消息隊列、流式計算和緩存的支持,可作為一個極簡的時序數據處理平台;重新設計了計算引擎,可提供便捷、完備的數據分析功能。
TDengine 是一款開源的時序數據庫,專為物聯網、工業互聯網、金融、IT 運維監控等場景設計並優化。作為一款業界領先的時序數據庫產品,TDengine 從設計之初就引入了"一個設備採集點一張表" “超級表"等創新概念,支持 SQL、開源集羣功能,集成了消息隊列、流式計算和緩存等功能,使其得到大量用户的青睞,TDengine 1.6,TDengine 2.0 成為最具代表性的版本。
從 2019 年 7 月開源至今, TDengine 在 GitHub 上已經收穫 18.8k star,每天有超過 1000 人次克隆代碼,在開發者社區已經形成了一定的影響力。目前已經有大量的企業客户和社區用户將 TDengine 部署在其核心業務場景中。日常有大量的社區開發者基於自己的業務需求,提出 issue,貢獻功能,社區非常活躍。
十四五以來,數字化轉型加速,物聯網、工業互聯網等場景需要處理的時序數據成指數級增長,這對數據處理架構提出了越來越高的要求。基於大量的用户反饋,基於對未來技術發展趨勢的判斷和對時序數據處理的深刻理解,經過一年多時間的努力開發,濤思數據團隊正式推出了 TDengine 3.0。
新版本提供了以下核心功能。
1. 雲原生 (Cloud Native):
a. 時序數據與元數據處理全部採用分佈式技術,實現計算和存儲分離,具備水平擴展能力,存儲和計算資源可動態擴容或縮容
b. 支持 10 億個時間線,支持 100 個以上節點,整個集羣的啓動速度可以控制在一分鐘以內,完全解決時序數據業內的 High Cardinality 的問題
c. 支持多副本,採用了 RAFT 一致性協議,保證系統的高可用。另外通過 WAL 來保證數據存儲的高可靠
d. 支持容器和 Kubernetes 部署,具備完善的可觀測性(Observability),讓系統的運營維護變的輕鬆簡單
2. 極簡時序數據平台(Simplified Solution):
a. 支持消息隊列,可指定各種過濾條件,應用可以僅僅訂閲滿足條件的數據,而且對外提供的 API 與 Kafka 類似,無學習成本
b. 支持流式計算,除連續查詢外,也支持事件驅動的流計算,採用 SQL 語法,支持自定義函數,讓流計算的學習成本幾乎為零
c. 支持緩存,每條時間線的最新數據全部緩存,通過 SQL 函數就可快速獲取,無需再集成 Redis 等緩存軟件
d. 通過對緩存、流式計算、消息隊列的支持,採用 TDengine 的時序數據處理系統,不再需要集成Kafka、Redis、Spark 和 Flink 等軟件,技術架構將大為簡化,部署、運營維護成本將大為降低。TDengine 不只是一個時序數據庫,還是一個極簡的時序數據處理平台
3. 便捷的數據分析(Easy Data Analytics):
a. 重新設計了計算引擎,支持標準 SQL,支持嵌套查詢,支持自定義函數,支持 Information Schema 系統數據庫
b. 針對時序數據的處理進行擴展,提供累計求和、時間加權平均、移動平均、變化率、session/state 窗口等眾多時序數據分析功能
c. 通過標籤快速索引,通過分區、分片技術,通過計算節點的彈性伸縮,支持對海量時序數據的多維度的高效聚合分析
d. TDengine 不僅能即時地處理數據的寫入和查詢,也能作為強大的時序數據分析工具
除上述三大特色外,TDengine 還提供了眾多的輔助功能:支持更強大靈活的標籤索引、基於時間段的預計算、支持 Schemaless 以及更多的寫入協議、支持 Grafana、Google Data Studio 等眾多第三方工具,支持數據增量備份、異地容災、邊雲協同等。
目前,TDengine 已經廣泛運用於物聯網、車聯網、工業互聯網、IT 運維、金融等領域,全球免費客户已經超過 13 萬,付費客户數已經超過 100。TDengine 3.0 的發佈,將極大提升 TDengine 產品的競爭力以及全球的影響力,TDengine 有望成為時序數據處理的事實標準。