作者:胡刀 阿里云運(yùn)維專家
創(chuàng)新互聯(lián)服務(wù)緊隨時(shí)代發(fā)展步伐,進(jìn)行技術(shù)革新和技術(shù)進(jìn)步,經(jīng)過(guò)十多年的發(fā)展和積累,已經(jīng)匯集了一批資深網(wǎng)站策劃師、設(shè)計(jì)師、專業(yè)的網(wǎng)站實(shí)施團(tuán)隊(duì)以及高素質(zhì)售后服務(wù)人員,并且完全形成了一套成熟的業(yè)務(wù)流程,能夠完全依照客戶要求對(duì)網(wǎng)站進(jìn)行成都網(wǎng)站建設(shè)、網(wǎng)站制作、建設(shè)、維護(hù)、更新和改版,實(shí)現(xiàn)客戶網(wǎng)站對(duì)外宣傳展示的首要目的,并為客戶企業(yè)品牌互聯(lián)網(wǎng)化提供全面的解決方案。
舟濟(jì) 阿里云解決方案架構(gòu)師
實(shí)時(shí)歷史庫(kù)需求背景
在當(dāng)今
的數(shù)字化時(shí)代,隨著業(yè)務(wù)的迅速發(fā)展,每天產(chǎn)生的數(shù)據(jù)量會(huì)是一個(gè)驚人的數(shù)量,數(shù)據(jù)庫(kù)存儲(chǔ)的成本將會(huì)越來(lái)越大,通常的做法是對(duì)歷史數(shù)據(jù)做歸檔,即將長(zhǎng)期不使用的數(shù)據(jù)遷移至以文件形式存儲(chǔ)的廉價(jià)存儲(chǔ)設(shè)備上,比如阿里云OSS或者阿里云數(shù)據(jù)庫(kù)DBS服務(wù)
。
然而在部分核心業(yè)務(wù)的應(yīng)用場(chǎng)景下,針對(duì)幾個(gè)月甚至幾年前的“舊”數(shù)據(jù)依舊存在實(shí)時(shí)的,低頻的查詢甚至更新需求,比如淘寶/天貓的歷史訂單查詢,企業(yè)級(jí)辦公軟件釘釘幾年前的聊天信息查詢,菜鳥(niǎo)海量物流的歷史物流
訂單詳情等。
如果這時(shí)從歷史備份中還原后查詢,那么查詢時(shí)間將會(huì)是以天為單位,可接受度為0
如果將這些低頻但實(shí)時(shí)的查詢需求的歷史數(shù)據(jù)與近期活躍存儲(chǔ)在同一套分布式數(shù)據(jù)庫(kù)集群下,那么又會(huì)帶來(lái)以下兩大挑戰(zhàn)
-
存儲(chǔ)成本巨大
,進(jìn)而導(dǎo)致成本遠(yuǎn)大于收益,比如釘釘聊天信息數(shù)據(jù)量在高度壓縮后接近50PB,很難想象這些數(shù)據(jù)不做壓縮會(huì)帶來(lái)多大的資金開(kāi)銷
-
性能挑戰(zhàn)巨大
,隨著數(shù)據(jù)量越來(lái)越大,即使針對(duì)數(shù)據(jù)做了分布式存儲(chǔ),單實(shí)例容量超過(guò)大概5T以后性能也會(huì)急劇下滑,進(jìn)而影響到近期活躍數(shù)據(jù)的查詢性能,拖垮整個(gè)集群
-
運(yùn)維難度巨大
,比如針對(duì)海量數(shù)據(jù)下發(fā)一個(gè)表數(shù)據(jù)結(jié)構(gòu)變更操作,很難想象全部完成需要多長(zhǎng)時(shí)間
實(shí)時(shí)歷史庫(kù)場(chǎng)景需求分析
通過(guò)上面的分析,不管是冷備份還是在線歷史數(shù)據(jù)混合存儲(chǔ)在同一張物理表上的方法都是不可取的,一般實(shí)時(shí)查詢歷史數(shù)據(jù)庫(kù)的場(chǎng)景,一般需要有以下幾個(gè)關(guān)鍵特性
成本可控
,歷史數(shù)據(jù)的存儲(chǔ)成本無(wú)法接受和在線庫(kù)一樣線性增長(zhǎng)
實(shí)時(shí)查詢
,歷史數(shù)據(jù)的查詢RT要做到與在線活躍庫(kù)幾乎一致
查詢頻次較低
,一般來(lái)說(shuō),越“舊”的數(shù)據(jù)查詢頻率越低
統(tǒng)一查詢?nèi)肟?/strong>
,不管是活躍數(shù)據(jù)還是歷史數(shù)據(jù),查詢?nèi)肟诒3忠恢?/p>
改造成本需要盡可能低
,最好能做到不做任何應(yīng)用代碼修改,可以認(rèn)為歷史庫(kù)對(duì)程序開(kāi)發(fā)人員來(lái)說(shuō)是完全透明的
可能存在歷史數(shù)據(jù)更新需求
數(shù)據(jù)規(guī)模較大
,一般在100TB以上
X-Engine引擎介紹
X-Engine是阿里云數(shù)據(jù)庫(kù)產(chǎn)品事業(yè)部
自研
的聯(lián)機(jī)事務(wù)處理OLTP(On-Line Transaction Processing)數(shù)據(jù)庫(kù)存儲(chǔ)引擎。作為自研數(shù)據(jù)庫(kù)PolarDB 的存儲(chǔ)引擎之一,已經(jīng)廣泛應(yīng)用在阿里集團(tuán)內(nèi)部諸多業(yè)務(wù)系統(tǒng)中,包括交易歷史庫(kù)、釘釘歷史庫(kù)等核心應(yīng)用,大幅縮減了業(yè)務(wù)成本,同時(shí)也作為雙十一大促的關(guān)鍵數(shù)據(jù)庫(kù)技術(shù),挺過(guò)了數(shù)百倍平時(shí)流量的沖擊。
與傳統(tǒng)的InnoDB引擎不同,X-Engine使用分層存儲(chǔ)架構(gòu)(LSM-Tree)。分層存儲(chǔ)有兩個(gè)比較顯著的優(yōu)點(diǎn):
相比InnoDB引擎,依據(jù)數(shù)據(jù)特征,使用X-Engine存儲(chǔ)空間可降低至
10%~50%
,我們?cè)谥腖ink-Bench和阿里巴巴內(nèi)部交易業(yè)務(wù)兩個(gè)數(shù)據(jù)集上測(cè)試了X-Engine的存儲(chǔ)空間效率。在測(cè)試中,對(duì)比開(kāi)壓縮的InnoDB引擎,X-Engine有著
2倍
空間優(yōu)勢(shì),而對(duì)比未開(kāi)壓縮的InnoDB,X-Engine則有著
3~5倍
的優(yōu)勢(shì)。
實(shí)時(shí)歷史庫(kù)方案,為何選擇
X-Engine
1.通常我們默認(rèn)MySQL是當(dāng)今最流行的開(kāi)源數(shù)據(jù)庫(kù),大概率是在線核心數(shù)據(jù)庫(kù)集群的首選。相比其他高壓縮的存儲(chǔ)引擎,引入X-Engine完全無(wú)需做任何SQL代碼改造,并且支持事務(wù),接入成本最低,學(xué)習(xí)成本幾乎為0
2.寫(xiě)入性能更強(qiáng),X-Engine相比同為L(zhǎng)SM-tree架構(gòu)的Rocksdb,有超過(guò)10倍的性能提升。
3.在存儲(chǔ)層引入數(shù)據(jù)復(fù)用技術(shù)等,優(yōu)化Compaction的性能,降低傳統(tǒng)LSM-tree架構(gòu)中Compaction動(dòng)作對(duì)系統(tǒng)資源的沖擊,保持系統(tǒng)性能平穩(wěn)
4.引入多個(gè)層級(jí)Cache,同時(shí)結(jié)合Cach回填和預(yù)取機(jī)制,利用精細(xì)化訪問(wèn)機(jī)制和緩存技術(shù),彌補(bǔ)傳統(tǒng)LSM-tree引擎的讀性能短板,X-Engine的點(diǎn)查詢能力幾乎與Innodb持平
下圖是X-Engine與主流歷史數(shù)據(jù)存儲(chǔ)方案對(duì)比
實(shí)時(shí)歷史數(shù)據(jù)庫(kù)架構(gòu)設(shè)計(jì)和實(shí)現(xiàn)
基于上文對(duì)實(shí)時(shí)歷史庫(kù)和X-Engine的介紹,阿里云數(shù)據(jù)庫(kù)團(tuán)隊(duì)推出以X-Engine引擎為歷史數(shù)據(jù)存儲(chǔ)核心,同時(shí)生態(tài)工具DTS作為在線/歷史數(shù)據(jù)流轉(zhuǎn)通道,DMS作為歷史數(shù)據(jù)無(wú)風(fēng)險(xiǎn)刪除的完整“實(shí)時(shí)在線-歷史庫(kù)”方案,針對(duì)不同的業(yè)務(wù)場(chǎng)景和客戶需求,在具體實(shí)現(xiàn)上可能會(huì)有所不同,我們提供了多種實(shí)時(shí)歷史庫(kù)方案的具體實(shí)現(xiàn)。主體架構(gòu)圖如下,核心思路為:
久經(jīng)考驗(yàn)的Innodb引擎作為OLTP在線庫(kù)核心引擎,主要處理高頻查詢/更新請(qǐng)求,滿足在線活躍數(shù)據(jù)高并發(fā),高性能,強(qiáng)范圍查詢的業(yè)務(wù)需求
阿里巴巴數(shù)據(jù)庫(kù)團(tuán)隊(duì)自研的高壓測(cè)存儲(chǔ)引擎X-Engine作為歷史庫(kù)核心引擎,主要響應(yīng)歷史數(shù)據(jù)入庫(kù)/查詢/更新請(qǐng)求,滿足歷史數(shù)據(jù)冷熱數(shù)據(jù)頻次不一,低存儲(chǔ)成本,高性能的業(yè)務(wù)需求(范圍查詢可能性能受限)
統(tǒng)一DB接入層,根據(jù)設(shè)置的業(yè)務(wù)時(shí)間屬性將請(qǐng)求分別轉(zhuǎn)發(fā)至不同的存儲(chǔ)引擎。針對(duì)特殊場(chǎng)景下的跨引擎訪問(wèn),在應(yīng)用層做聚合展示
在線-歷史數(shù)據(jù)通過(guò)阿里云提供的生態(tài)體系工具做歷史數(shù)據(jù)遷移和過(guò)期數(shù)據(jù)刪除,確保鏈路更為穩(wěn)定可靠
一般來(lái)說(shuō),需要使用到實(shí)時(shí)歷史庫(kù)的場(chǎng)景,數(shù)據(jù)量都足夠大到單臺(tái)宿主機(jī)存放不了。在線數(shù)據(jù)庫(kù)可能是根據(jù)業(yè)務(wù)水平或垂直拆分的多個(gè)RDS,也可能是一個(gè)規(guī)模較大的DRDS集群。為了盡可能地保證在線庫(kù)的性能,推薦將在線庫(kù)/歷史庫(kù)完全拆分解耦
?
歷史庫(kù)集群存儲(chǔ)全量數(shù)據(jù)
?
通過(guò)DTS鏈路打通在線庫(kù)和歷史庫(kù),實(shí)時(shí)同步
?
可直接使用新版DMS配置歷史數(shù)據(jù)定期刪除
源端為DRDS集群
a.數(shù)據(jù)同步鏈路走RDS
? 多條DTS鏈路打通底層RDS節(jié)點(diǎn),同步性能強(qiáng)
? RDS數(shù)量較多可支持API批量創(chuàng)建和配置
? 鏈路穩(wěn)定性更好
? 需要保證源端目標(biāo)端庫(kù)表數(shù)量一致,數(shù)據(jù)路由規(guī)則一致
b.數(shù)據(jù)同步鏈路走DRDS
? 只需要配置一條DTS鏈路,方便省錢
? 數(shù)據(jù)同步性能較差
? 源端DRDS擴(kuò)容會(huì)影響到DTS同步鏈路
? 源端目標(biāo)端的實(shí)例數(shù)量和數(shù)據(jù)路由規(guī)則可自由配置
源端為多個(gè)RDS
a.目標(biāo)端為多個(gè)RDS
? 業(yè)務(wù)代碼無(wú)需任何改造
? 運(yùn)行后期歷史庫(kù)節(jié)點(diǎn)磁盤(pán)容量存在風(fēng)險(xiǎn)
b.目標(biāo)端為DRDS集群
數(shù)據(jù)同步鏈路走RDS
在線庫(kù)/歷史庫(kù)拆分方案相對(duì)較為復(fù)雜,RDS支持同一實(shí)例混用存儲(chǔ)引擎。針對(duì)總數(shù)據(jù)量不是特別大的場(chǎng)景,可以考慮同一實(shí)例下Innodb&X-Engine引擎混合使用
使用DMS-->數(shù)據(jù)工廠-->數(shù)據(jù)編排功能可以輕松地實(shí)現(xiàn)同一實(shí)例內(nèi)的數(shù)據(jù)流動(dòng)和過(guò)期數(shù)據(jù)刪除,架構(gòu)示意圖如下。
實(shí)現(xiàn)簡(jiǎn)單靈活
混用存儲(chǔ)引擎,在數(shù)據(jù)庫(kù)內(nèi)核參數(shù)優(yōu)化上難以兼顧兩者性能
歷史數(shù)據(jù)compact階段可能對(duì)整個(gè)實(shí)例產(chǎn)生性能抖動(dòng)
同一實(shí)例下的庫(kù)或者表無(wú)法重名,涉及到輕量業(yè)務(wù)改造
DTS賦能在線/歷史數(shù)據(jù)流轉(zhuǎn)
DTS不僅支持全量&增量同步,支持不同數(shù)據(jù)庫(kù)產(chǎn)品之間的數(shù)據(jù)同步,在在線/歷史庫(kù)解決方案中,DTS強(qiáng)大的"條件過(guò)濾"功能是非常重要的一環(huán),通過(guò)配置DTS任務(wù)可以非常便捷地實(shí)現(xiàn)過(guò)濾Delete操作,動(dòng)動(dòng)鼠標(biāo)點(diǎn)兩下即可實(shí)現(xiàn)自定義的數(shù)據(jù)同步策略。
DMS賦能在線庫(kù)過(guò)期數(shù)據(jù)刪除
在線庫(kù)的過(guò)期數(shù)據(jù)刪除既要保障刪除效率,也要保證刪除過(guò)程中對(duì)在線庫(kù)不會(huì)造成性能上的抖動(dòng),新版DMS支持創(chuàng)建“歷史數(shù)據(jù)清理”的數(shù)據(jù)變更任務(wù),通過(guò)該任務(wù)可以非常方便地完成以下工作
? 歷史數(shù)據(jù)定期刪除,指定調(diào)度時(shí)間和一次調(diào)度時(shí)長(zhǎng)
? 大事務(wù)拆分,減少事務(wù)執(zhí)行過(guò)程中鎖表時(shí)間過(guò)長(zhǎng),避免主備延遲
? 清理遭遇異常中斷可重試
? 支持查看任務(wù)運(yùn)行狀態(tài)和失敗原因分析
? 配置方面簡(jiǎn)潔
如果沒(méi)有使用DMS生態(tài)工具,也自行實(shí)現(xiàn)過(guò)期數(shù)據(jù)刪除,但實(shí)現(xiàn)較為復(fù)雜。一般較為通用的設(shè)計(jì)思路為將表的主鍵按照大小做拆分,保證一次刪除"恰當(dāng)數(shù)量"的數(shù)據(jù),既保證刪除效率又不影響線上服務(wù)
? 在線庫(kù)的歷史數(shù)據(jù)刪除策略(假設(shè)主鍵為id,數(shù)據(jù)保存180天,時(shí)間屬性列為date_col)
初始化數(shù)值Y=select min(id) from $table_name
到了業(yè)務(wù)低峰期以后,DELETE FROM $table_name WHERE date_col< SUBDATE(CURDATE(),INTERVAL 180 DAY) and id >= Y and id <=
Y+100000 ,執(zhí)行成功后代碼層重新賦值 Y=Y+100000
程序sleep 3s,重復(fù)步驟b
時(shí)間到了業(yè)務(wù)高峰期以后,停止執(zhí)行,記錄下當(dāng)前的數(shù)值Y,第二天執(zhí)行時(shí)直接從Y開(kāi)始注意
? 在線庫(kù)歷史數(shù)據(jù)清理注意點(diǎn)
-
代碼上注意不要出現(xiàn)高并發(fā)刪除的情況,即步驟b還沒(méi)跑完,新的步驟b又進(jìn)來(lái)了
-
程序sleep的具體秒數(shù),要通過(guò)測(cè)試,取一個(gè)最合適的數(shù)值,主要看主備是否存在較大延遲,3只是估值
-
100000也是一個(gè)估值,實(shí)際取值最好也通過(guò)測(cè)試,取一個(gè)效率最高,對(duì)業(yè)務(wù)影響最小的數(shù)值。因?yàn)閐rds的序列不是單點(diǎn)遞增1的,所以這里的10w不代表10w條記錄。
-
假設(shè)刪除程序中途崩潰了,或者執(zhí)行很多天后發(fā)現(xiàn)部分?jǐn)?shù)據(jù)沒(méi)有刪除。
那么可以手工先刪除一小部分殘留的數(shù)據(jù),比如預(yù)估下id<100w的記錄還有多少條,不多的話直接執(zhí)行DELETE FROM
logs_trans WHERE reqdate < SUBDATE(CURDATE(),INTERVAL 30 DAY) and id<100w 然后初始化整個(gè)程序,這樣保證重新初始化以后不會(huì)做很多無(wú)用功,即反復(fù)執(zhí)行刪除條目很少的sql
在臨界時(shí)間處理上,實(shí)時(shí)歷史庫(kù)方案可能遭遇極端場(chǎng)景導(dǎo)致業(yè)務(wù)可能存在歷史庫(kù)的臟讀問(wèn)題,假設(shè)在線庫(kù)數(shù)據(jù)保存180天
更新179天前23時(shí)59分59秒的數(shù)據(jù),請(qǐng)求路由至在線庫(kù)
數(shù)據(jù)同步鏈路異常中斷或鏈路存在延遲,該更新請(qǐng)求未能及時(shí)到達(dá)歷史庫(kù)
這時(shí)業(yè)務(wù)查詢?cè)摂?shù)據(jù)時(shí),由于已經(jīng)數(shù)據(jù)已經(jīng)"舊"到超過(guò)180天,請(qǐng)求路由至歷史庫(kù),由于鏈路異常,歷史庫(kù)查到了臟數(shù)據(jù)
? 配置鏈路異常告警,及時(shí)發(fā)現(xiàn)及時(shí)處理
? 預(yù)計(jì)影響的數(shù)據(jù)范圍為DTS鏈路恢復(fù)前的臨界時(shí)間點(diǎn)附近數(shù)據(jù),建議從業(yè)務(wù)邏輯上訂正數(shù)據(jù)
? 建議過(guò)期數(shù)據(jù)刪除設(shè)置保守一點(diǎn),比如臨界時(shí)間為180天,過(guò)期數(shù)據(jù)只刪除190天以后的數(shù)據(jù),方便在極端場(chǎng)景下對(duì)比源端目標(biāo)端的數(shù)據(jù)情況進(jìn)行數(shù)據(jù)訂正
最佳實(shí)踐參考
1.X-Engine如何支撐釘釘躍居AppStore第一
2.淘寶萬(wàn)億級(jí)交易訂單背后的存儲(chǔ)引擎
3.將DRDS中的InnoDB引擎轉(zhuǎn)換為X-Engine引擎
鏈接:
https://help.aliyun.com/document_detail/161316.html
本文名稱:深度|實(shí)時(shí)歷史數(shù)據(jù)庫(kù)存儲(chǔ)成本驚人,怎么破?
網(wǎng)站網(wǎng)址:http://aaarwkj.com/article12/pdepdc.html
成都網(wǎng)站建設(shè)公司_創(chuàng)新互聯(lián),為您提供電子商務(wù)、云服務(wù)器、靜態(tài)網(wǎng)站、手機(jī)網(wǎng)站建設(shè)、移動(dòng)網(wǎng)站建設(shè)、商城網(wǎng)站
廣告
聲明:本網(wǎng)站發(fā)布的內(nèi)容(圖片、視頻和文字)以用戶投稿、用戶轉(zhuǎn)載內(nèi)容為主,如果涉及侵權(quán)請(qǐng)盡快告知,我們將會(huì)在第一時(shí)間刪除。文章觀點(diǎn)不代表本網(wǎng)站立場(chǎng),如需處理請(qǐng)聯(lián)系客服。電話:028-86922220;郵箱:631063699@qq.com。內(nèi)容未經(jīng)允許不得轉(zhuǎn)載,或轉(zhuǎn)載時(shí)需注明來(lái)源:
創(chuàng)新互聯(lián)