天天色成人-天天色成人网-天天色色色-天天色色网-久久99欧美-久久99青青久久99久久

Hologres V2.1版本發(fā)布,新增計算組實例構建高可用實時數(shù)倉

   2024-01-16 7312
核心提示:Hologres 是阿里云自研一站式實時數(shù)倉,統(tǒng)一數(shù)據(jù)平臺架構,將OLAP查詢、即席分析、在線服務、向量計算多個數(shù)據(jù)應用構建在統(tǒng)一存儲之上,實現(xiàn)一份數(shù)據(jù),多種計算場景。
 Highlight

產(chǎn)品介紹

Hologres 是阿里云自研一站式實時數(shù)倉,統(tǒng)一數(shù)據(jù)平臺架構,將OLAP查詢、即席分析、在線服務、向量計算多個數(shù)據(jù)應用構建在統(tǒng)一存儲之上,實現(xiàn)一份數(shù)據(jù),多種計算場景。

V2.1 版本簡介

新增彈性計算組實例,解決實時數(shù)倉場景下分析性能、資源隔離、高可用、彈性擴縮容等核心問題,同時新增多種用戶分析函數(shù)與實時湖倉Paimon格式支持,COUNT DISTINCT優(yōu)化顯著提升查詢效率。

升級說明:Hologres支持熱升級,跨大版本升級建議停機升級。

彈性計算組(warehouse)構建高可用實時數(shù)倉

功能說明:

Hologres彈性計算組(warehouse)采用Shared Data 架構,存儲共用一份,計算資源分解為不同的計算組(Warehouse),每個計算組可獨立彈性擴展,計算組之間共享數(shù)據(jù)、元數(shù)據(jù)。

 

 

應用場景:

彈性計算組有多種使用方式,用戶可以實現(xiàn)高可用、負載隔離與降本,并顯著提升故障恢復速度及使用易用性。

● 隔離與高可用:計算組之間物理隔離,不同部門業(yè)務之間實現(xiàn)讀讀隔離、寫寫隔離、讀寫隔離,同時避免計算組之間的相互影響,減少業(yè)務抖動。

● 成本與彈性:存算分離,存儲共享一份,計算組可動態(tài)熱擴縮容,顯著降低成本。

● 易用性:對應用只暴露一個Endpoint,新增與銷毀、故障實例切換等操作通過簡單SQL即可快速實現(xiàn),實現(xiàn)故障自動路由。

其他核心能力

實時湖倉新增Paimon格式

功能說明:

Hologres實時湖倉能力在之前版本支持ORC、Parquet、CSV、SequenceFile、HUDI、Delta、Parquet等多種格式,V2.1 版本新增Paimmon格式,Apache Paimon是流批統(tǒng)一的湖存儲格式,支持高吞吐的寫入和低延遲的查詢,促進數(shù)據(jù)在數(shù)據(jù)湖上真正實時的流動,并為用戶提供基于湖存儲的實時離線一體化的開發(fā)體驗。

應用場景:

Flink +Paimon+ Hologres 實時湖倉。基于Flink將數(shù)倉以Paimon這種 Table Format 形式在湖上構建,上層可以使用 Flink進行流計算,使用 Hologres 對所有層次做統(tǒng)一的OLAP查詢或者是最上面的ADS層做在線分析。方案中Paimon可以實現(xiàn)高吞吐的入湖,F(xiàn)link 可以實現(xiàn)全鏈路的實時計算,Hologres 可以實現(xiàn)高性能的OLAP查詢,所以整個鏈路從實時性、時效性、成本幾個方面都可以取的比較好的平衡。

 

 

向量計算新增計算巢方案,5分鐘拉起企業(yè)級知識庫

功能說明:

基于計算巢能力,5分鐘一鍵拉起Hologres向量計算+PAI部署大模型所需資源,直接通過WebUI與示例數(shù)據(jù),進行大模型+向量計算對話。

應用場景:

企業(yè)級對話知識庫構建。將專屬行業(yè)知識向量化處理后,存儲到向量引擎,通過向量計算結(jié)合大模型推理求解,輸出專屬領域準確答案,減少大模型問答幻覺,完成實時知識更新并提高問答速度。

 

 

自動優(yōu)化CountDistinct,提升查詢效率

功能說明:

Hologres從V2.1版本開始,針對Count Distinct場景做了非常多的性能優(yōu)化(包括單個Count Distinct、多個Count Distinct、數(shù)據(jù)傾斜、SQL沒有Group By字段等場景),無需手動改寫成UNIQ,即可實現(xiàn)更好的性能。

應用場景:

在PV、UV計算等場景提升精確去重查詢效率

 

 

對比V2.1與V2.0版本,V2.1在單條及多條Count Distinct的內(nèi)存消耗、CPU使用、耗時上都有顯著差異。

 

 

優(yōu)化Runtime Filter能力,顯著提升Join效率

功能說明:

Hologres V2.0版本支持1個join字段的Runtime Filter,V2.1開始支持多字段Join的Runtime Filter。在Join過程中,Hologres根據(jù)build端的數(shù)據(jù)特征和分布以及最終Join的數(shù)據(jù)量和原始掃描數(shù)據(jù)量,自動對probe端的數(shù)據(jù)進行裁剪,從而減少對probe端的數(shù)據(jù)掃描和Shuffler,以此來提升Join性能。

 

 

應用場景:

多字段join時,自動優(yōu)化大小表join效率,如以下示例SQL,V2.1版本可以提升30%-100%查詢速度。

 

 

Runtime Filter是自動觸發(fā)的能力,無需手動開啟。觸發(fā)條件如下:

.probe端的數(shù)據(jù)量在100000行及以上。

.掃描的數(shù)據(jù)量比例:build端 / probe端 <= 0.1(比例越小,越容易觸發(fā)Runtime Filter)。

.Join出的數(shù)據(jù)量比例:build端 / probe端 <= 0.1(比例越小,越容易觸發(fā)Runtime Filter)。

新增漏斗、留存、路徑等函數(shù),簡化用戶行為分析

功能說明:

用戶漏斗分析、留存分析、路徑分析是常見的用戶行為數(shù)據(jù)分析場景,Hologres新增漏斗、留存、路徑函數(shù),可以幫助用戶更加簡單、高效地完成行為分析。

應用場景:

用戶漏斗分析,計算每個階段行為轉(zhuǎn)化率。Hologres原生支持漏斗函數(shù),也支持區(qū)間漏斗函數(shù),這樣不僅可以看到每個階段的漏斗結(jié)果,也可以分組展示漏斗的結(jié)果,不需要寫額外的各種擴展語法。

 

 

用戶留存分析,計算近3天、7天用戶等留存。Hologres支持留存函數(shù)和留存擴展函數(shù),方便業(yè)務可以高效的分析產(chǎn)品留存率,助力進一步業(yè)務決策。

 

 

用戶路徑分析,計算用戶產(chǎn)品使用路徑分布情況。Hologres路徑函數(shù)可以基于事件,統(tǒng)計用戶訪問行為的流入留出,快速搭建用戶路徑桑基圖。

 

 

BSI+RB函數(shù)助力高效畫像分析

功能說明:

Hologres原生支持Roaring Bitmap函數(shù),將用戶ID構建成Bitmap實現(xiàn)屬性標簽的快速分析;同時在2.1版本開始支持BSI函數(shù),通過BSI的高效壓縮和切片索引,實現(xiàn)行為標簽的高效分析,同時在查詢時可以通過二進制原理和Roaring Bitmap交并差運算進行快速計算,支持對高基數(shù)行為標簽的壓縮存儲和低延遲查詢,從而實現(xiàn)“屬性標簽”和“行為標簽”的高效聯(lián)動分析。

應用場景:

通過BSI函數(shù)+RB函數(shù)實現(xiàn)高效的行為分析與畫像分析。例如在一張用戶屬性表,一張用戶收入表,表結(jié)構如下:

 

 

若要計算出“廣東、男用戶的GMV總和”,傳統(tǒng)的Join語法,數(shù)據(jù)量大時容易OOM,通過高效bitmap壓縮,避免join即可聯(lián)合分析。

 

 

若要計算出“昨日廣東男用戶消費金額Top K”,傳統(tǒng)語法對GMV排序要消耗大量資源,BSI+RB自帶TopK函數(shù),分析更高效。

 

 

支持單實例Shard多副本,提升吞吐量,實現(xiàn)查詢高可用

功能說明:

單實例Shard多副本是Hologres一直Beta中的能力,在V2.1版本正式發(fā)布,可以實現(xiàn)單實例內(nèi)高可用及負載均衡擴吞吐場景,可容忍部分機器故障及熱點不均衡問題。

應用場景:

多副本高吞吐場景

小部分Worker計算資源使用率很高,其他Worker很低,有可能是查詢不均導致的,此時增加Shard的副本數(shù)量,使更多的Worker上有Shard的副本,有效提高資源利用率和QPS。

多副本高可用場景

因為單Shard Failover時導致查詢不可用情況,增加副本數(shù)量后,某個worker發(fā)生故障時,由于仍存在完整的Shard副本,實例可以繼續(xù)。

 

 

結(jié)合DataWorks增強數(shù)據(jù)同步、血緣、地圖、傳輸加密等能力

功能說明:

Hologres與DataWorks深度集成,在過去的MySQL、Oracle、PolarDB、SQLServer等數(shù)據(jù)源的基礎上,V2.1版本新增支持ClickHouse整庫全量、ADB整庫同步、Kafka實時同步到Hologres。同時在DataWorks中可以采集Hologres元數(shù)據(jù),查看Hologres表血緣和字段血緣信息。

更多完整功能列表請查看Hologres V2.1功能發(fā)布記錄

 
分享到: 0
收藏 0
 
更多>同類資訊
免責申明
推薦資訊
點擊排行
最新資訊更多>
最新供應更多>
網(wǎng)站首頁  |  聯(lián)系方式  |  關于我們  |  問題解析  |  版權隱私  |  使用協(xié)議  |  網(wǎng)站地圖  |  排名推廣  |  廣告服務  |  積分換禮  |  網(wǎng)站留言  |  RSS訂閱  |  違規(guī)舉報  |  粵ICP備1207862號

中國智能化網(wǎng)(zgznh®)--引領工業(yè)智能化產(chǎn)業(yè)發(fā)展 共享智能化+優(yōu)質(zhì)平臺

版權所有:深圳市智控網(wǎng)絡有限公司 學術指導:深圳市智能化學會

粵ICP備12078626號

深公網(wǎng)安備案證字第 4403101901094 號 | 粵公網(wǎng)安備 44030702001206號