【演講實(shí)錄】銀行PB級(jí)別海量非結(jié)構(gòu)化數(shù)據(jù)管理實(shí)踐

站在用戶的角度思考問(wèn)題，與客戶深入溝通，找到隨縣網(wǎng)站設(shè)計(jì)與隨縣網(wǎng)站推廣的解決方案，憑借多年的經(jīng)驗(yàn)，讓設(shè)計(jì)與互聯(lián)網(wǎng)技術(shù)結(jié)合，創(chuàng)造個(gè)性化、用戶體驗(yàn)好的作品，建站類型包括：網(wǎng)站設(shè)計(jì)、成都網(wǎng)站建設(shè)、企業(yè)官網(wǎng)、英文網(wǎng)站、手機(jī)端網(wǎng)站、網(wǎng)站推廣、國(guó)際域名空間、雅安服務(wù)器托管、企業(yè)郵箱。業(yè)務(wù)覆蓋隨縣地區(qū)。

郝大為

近期，巨杉數(shù)據(jù)庫(kù)的技術(shù)總監(jiān)郝大為受邀在第七屆數(shù)據(jù)技術(shù)嘉年華中做了“銀行PB級(jí)別海量非結(jié)構(gòu)化數(shù)據(jù)管理實(shí)踐”為主題的演講，分享了巨杉數(shù)據(jù)庫(kù)有關(guān)金融行業(yè)數(shù)據(jù)庫(kù)管理以及金融級(jí)數(shù)據(jù)庫(kù)技術(shù)與應(yīng)用的一些實(shí)踐及思考。

數(shù)據(jù)爆炸：數(shù)據(jù)呈現(xiàn)急劇增長(zhǎng)，對(duì)數(shù)據(jù)存儲(chǔ)的數(shù)據(jù)量，并發(fā)性和響應(yīng)速度都提出了更高要求。以大型商業(yè)銀行為例，通常它們擁有成百上千個(gè)業(yè)務(wù)系統(tǒng)以及上億用戶的海量數(shù)據(jù)，且數(shù)量呈現(xiàn)指數(shù)級(jí)增長(zhǎng)，從TB級(jí)別增加到PB級(jí)別，未來(lái)很快就會(huì)增加至EB級(jí)別，這些都需要有效的管理以及實(shí)現(xiàn)實(shí)時(shí)訪問(wèn)。

數(shù)據(jù)融合：不僅是金融行業(yè)，在過(guò)去，各個(gè)業(yè)務(wù)的數(shù)據(jù)都是以孤島的形式獨(dú)立存在，而我們需要的是跨業(yè)務(wù)、跨業(yè)務(wù)系統(tǒng)的數(shù)據(jù)統(tǒng)一管理和維護(hù)，甚至需要統(tǒng)一架構(gòu)支撐下的數(shù)據(jù)溝通交流。打破數(shù)據(jù)孤島就成為金融行業(yè)的切實(shí)需求。

非結(jié)構(gòu)化數(shù)據(jù)：非結(jié)構(gòu)數(shù)據(jù)在金融行業(yè)數(shù)據(jù)量上的占比逐漸占絕對(duì)優(yōu)勢(shì)的一種數(shù)據(jù)存在的形式。圖像、圖片、語(yǔ)音、有格式的文檔都是非結(jié)構(gòu)化數(shù)據(jù)，非結(jié)構(gòu)化數(shù)據(jù)量每年增長(zhǎng)80%左右。數(shù)據(jù)量的快速增加，再加上對(duì)銀行業(yè)兩地三中心數(shù)據(jù)安全的要求，對(duì)非結(jié)構(gòu)化數(shù)據(jù)的存儲(chǔ)和管理的要求就提高了。這也是金融業(yè)的行業(yè)需求。

隨著銀行遠(yuǎn)程開(kāi)戶、柜面無(wú)紙化、雙錄、會(huì)計(jì)檔案管理等系統(tǒng)的建立和升級(jí)，影像系統(tǒng)除了滿足商業(yè)銀行在線業(yè)務(wù)系統(tǒng)不斷提升的訪問(wèn)性能需求外，還需要提供作為在線系統(tǒng)的高可用、災(zāi)備甚至“雙活”能力，以保證系統(tǒng)數(shù)據(jù)絕對(duì)安全。

金融級(jí)數(shù)據(jù)庫(kù)核心能力

面對(duì)金融行業(yè)的新需求，新一代金融級(jí)數(shù)據(jù)庫(kù)需要在分布式架構(gòu)、非結(jié)構(gòu)化數(shù)據(jù)管理、多模式數(shù)據(jù)處理、標(biāo)準(zhǔn)化數(shù)據(jù)訪問(wèn)、數(shù)據(jù)可靠性、與混合負(fù)載等幾個(gè)角度對(duì)傳統(tǒng)數(shù)據(jù)庫(kù)架構(gòu)進(jìn)行重新定義。

1）分布式架構(gòu)

由于傳統(tǒng)數(shù)據(jù)庫(kù)的單點(diǎn)架構(gòu)無(wú)法滿足新型金融科技應(yīng)用對(duì)數(shù)據(jù)量與并發(fā)能力的需求，新一代金融級(jí)數(shù)據(jù)庫(kù)必須采用分布式架構(gòu)來(lái)應(yīng)對(duì)該類挑戰(zhàn)。分布式架構(gòu)，將海量數(shù)據(jù)均勻存儲(chǔ)在多臺(tái)物理設(shè)備中，以避免單一設(shè)備所造成的瓶頸。同時(shí)，分布式數(shù)據(jù)庫(kù)的靈活擴(kuò)展能力，為金融業(yè)務(wù)增長(zhǎng)提供了彈性的容量與性能支持，在大規(guī)模數(shù)據(jù)應(yīng)用中具有明顯的技術(shù)優(yōu)勢(shì)。

我們以巨杉分布式架構(gòu)為例，無(wú)論是數(shù)據(jù)還是文件系統(tǒng)等元數(shù)據(jù)都要進(jìn)行分布式存儲(chǔ)，同時(shí)元數(shù)據(jù)的管理也應(yīng)該是分布式、高可用、沒(méi)有單點(diǎn)故障的。分布式架構(gòu)必須具備彈性拓展和性能線性增長(zhǎng)，同事分布式架構(gòu)可以有效降低TCO、總體應(yīng)用成本。分布式架構(gòu)有很好的管理能力，可以降低開(kāi)發(fā)運(yùn)維的成本。

2）多模式數(shù)據(jù)管理---非結(jié)構(gòu)化數(shù)據(jù)管理

如今，在金融業(yè)務(wù)“互聯(lián)網(wǎng)化”和“零售化”的趨勢(shì)下，金融機(jī)構(gòu)開(kāi)始向用戶提供更多個(gè)性化、定制化的產(chǎn)品與服務(wù)。特別是非結(jié)構(gòu)化數(shù)據(jù)，增長(zhǎng)最為迅猛。

通常來(lái)說(shuō)，結(jié)構(gòu)化數(shù)據(jù)特指表單類型的數(shù)據(jù)存儲(chǔ)結(jié)構(gòu)，典型應(yīng)用包括銀行核心交易等傳統(tǒng)業(yè)務(wù)；而半結(jié)構(gòu)化數(shù)據(jù)則在用戶畫像、物聯(lián)網(wǎng)設(shè)備日志采集、應(yīng)用點(diǎn)擊流分析等場(chǎng)景中得到大規(guī)模使用；非結(jié)構(gòu)化數(shù)據(jù)則對(duì)應(yīng)著海量的的圖片、視頻、和文檔處理等業(yè)務(wù)，在金融科技的發(fā)展下增長(zhǎng)迅速。

為了實(shí)現(xiàn)金融業(yè)務(wù)數(shù)據(jù)的統(tǒng)一管理和數(shù)據(jù)融合，新型數(shù)據(jù)庫(kù)需要具備多模式（Multi-Model）數(shù)據(jù)管理和存儲(chǔ)的能力，以滿足應(yīng)用程序?qū)τ诮Y(jié)構(gòu)化、半結(jié)構(gòu)化、非結(jié)構(gòu)化數(shù)據(jù)的管理需求。

多模式數(shù)據(jù)管理能力，使得金融級(jí)數(shù)據(jù)庫(kù)能夠進(jìn)行跨部門、跨業(yè)務(wù)的數(shù)據(jù)統(tǒng)一存儲(chǔ)與管理，實(shí)現(xiàn)多業(yè)務(wù)數(shù)據(jù)融合，支撐多樣化的金融服務(wù)。

3）標(biāo)準(zhǔn)數(shù)據(jù)訪問(wèn)與混合負(fù)載

根據(jù)Gartner的最新定義，混合負(fù)載（HTAP Hybrid Transactional/Analytical Processing）在保留原有在線交易功能的同時(shí)，也強(qiáng)調(diào)了數(shù)據(jù)庫(kù)原生計(jì)算分析的能力。支持混合負(fù)載的數(shù)據(jù)庫(kù)能夠避免在傳統(tǒng)架構(gòu)中，在線與離線數(shù)據(jù)庫(kù)之間大量的數(shù)據(jù)交互，同時(shí)也能夠針對(duì)最新的業(yè)務(wù)數(shù)據(jù)進(jìn)行實(shí)時(shí)統(tǒng)計(jì)分析。

為了避免在線實(shí)時(shí)讀寫與批處理作業(yè)之間的資源干擾，混合負(fù)載型數(shù)據(jù)庫(kù)通常使用讀寫分離或內(nèi)存處理技術(shù)實(shí)現(xiàn)。一般來(lái)說(shuō)，分布式數(shù)據(jù)庫(kù)的多副本架構(gòu)天然支持讀寫分離技術(shù)，而基于傳統(tǒng)架構(gòu)的數(shù)據(jù)庫(kù)往往采用內(nèi)存處理技術(shù)進(jìn)行實(shí)現(xiàn)。

4）數(shù)據(jù)安全

伴隨著在企業(yè)內(nèi)部?jī)r(jià)值的不斷提升，數(shù)據(jù)已經(jīng)成為了金融企業(yè)的生命線與核心資產(chǎn)。作為承載著企業(yè)關(guān)鍵數(shù)據(jù)的數(shù)據(jù)庫(kù)，其安全性、可靠性、穩(wěn)定性一直是金融級(jí)數(shù)據(jù)庫(kù)的核心價(jià)值。

數(shù)據(jù)安全領(lǐng)域重要的一個(gè)概念是容災(zāi)能力，銀監(jiān)會(huì)就要求銀行業(yè)要符合兩地三中心的要求。這其實(shí)是一個(gè)數(shù)據(jù)多副本的思想，任何一個(gè)副本丟失我們還有其他副本可以支撐數(shù)據(jù)管理的需求，數(shù)據(jù)服務(wù)的需求。這對(duì)于金融企業(yè)顯得尤其重要。

金融級(jí)數(shù)據(jù)庫(kù)應(yīng)用案例

1）銀行業(yè)分布式影像平臺(tái)

銀行業(yè)影像平臺(tái)案例，是在某大型股份制銀行實(shí)施的，該平臺(tái)底層基于巨杉數(shù)據(jù)庫(kù)，目前已經(jīng)投入生產(chǎn)。

巨杉數(shù)據(jù)庫(kù)適合于結(jié)構(gòu)化、非結(jié)構(gòu)化、半結(jié)構(gòu)化數(shù)據(jù)存儲(chǔ)。在應(yīng)用層面提供對(duì)外的影像文件管理服務(wù)能力，有兩臺(tái)或者更多臺(tái)具備負(fù)載均衡和高可用能力的應(yīng)用服務(wù)器，服務(wù)器上對(duì)接的是銀行內(nèi)部業(yè)務(wù)系統(tǒng)，當(dāng)需要查非結(jié)構(gòu)化數(shù)據(jù)時(shí)就可以接入影像管理平臺(tái)，巨杉數(shù)據(jù)庫(kù)支撐的是PB級(jí)的數(shù)據(jù)存儲(chǔ)，同時(shí)支持了高可用。

此外，巨杉數(shù)據(jù)庫(kù)支持多索引，毫秒級(jí)別實(shí)時(shí)數(shù)據(jù)訪問(wèn)，這么大數(shù)據(jù)量下依然提供這么大的訪問(wèn)性能，總體應(yīng)用成本跟過(guò)去影像平臺(tái)對(duì)比可以降低三分之一，這是整個(gè)巨杉數(shù)據(jù)庫(kù)分布式的架構(gòu)決定的。

2）證券超高并發(fā)數(shù)據(jù)訪問(wèn)

證券交易主要特點(diǎn)是頻度高，每天可能有上億條交易數(shù)據(jù)。證券交易場(chǎng)景一般都是結(jié)構(gòu)化數(shù)據(jù)，大量結(jié)構(gòu)化數(shù)據(jù)進(jìn)入系統(tǒng)提高高并發(fā)的結(jié)構(gòu)能力。

這個(gè)系統(tǒng)可以幫助用戶查詢證券交易的所有歷史交易明細(xì)，并且查詢的返回速度依然很高，在海量數(shù)據(jù)情況下可能做到百毫秒以內(nèi)的查詢范圍。

實(shí)現(xiàn)結(jié)果:

·         平均每日超過(guò)2億條記錄寫入

·         高峰時(shí)段，同時(shí)有超過(guò)百億級(jí)別的數(shù)據(jù)需要被檢索、調(diào)用

·         系統(tǒng)保存3年內(nèi)所有交易和持有數(shù)據(jù)

·         峰值并發(fā)量超過(guò)10000

·         高峰時(shí)段，查詢返回時(shí)間小于100ms

3）銀行海量數(shù)據(jù)管理

關(guān)于銀行海量數(shù)據(jù)的管理平臺(tái)，實(shí)際上是銀行多業(yè)務(wù)系統(tǒng)的結(jié)構(gòu)化數(shù)據(jù)組成一個(gè)統(tǒng)一的查詢平臺(tái)，用戶可以通過(guò)這個(gè)平臺(tái)去查詢業(yè)務(wù)，而不再需要查詢?cè)袠I(yè)務(wù)系統(tǒng)，這樣原有業(yè)務(wù)系統(tǒng)數(shù)據(jù)庫(kù)的負(fù)載就降下來(lái)了。原有業(yè)務(wù)系統(tǒng)數(shù)據(jù)庫(kù)只保存需要在線交易的那部分?jǐn)?shù)據(jù)，其他的數(shù)據(jù)全部?jī)?chǔ)存在巨杉數(shù)據(jù)庫(kù)。

SequoiaDB利用其橫向擴(kuò)展、支持標(biāo)準(zhǔn)SQL以及雙引擎的機(jī)制，能夠在存儲(chǔ)海量歷史數(shù)據(jù)的同時(shí)對(duì)外提供在線查詢與分析能力，這就使得銀行能將傳統(tǒng)的離線數(shù)據(jù)做到近線化，將冷數(shù)據(jù)有效地使用起來(lái)。

巨杉數(shù)據(jù)庫(kù)的多家銀行客戶使用SequoiaDB提供高并發(fā)的數(shù)據(jù)查詢和訪問(wèn)功能，使銀行客戶能夠在柜臺(tái)、網(wǎng)銀、手機(jī)銀行上隨時(shí)隨地查詢開(kāi)戶以來(lái)所有的交易歷史。同時(shí)，該平臺(tái)可以提供司法查詢的能力，使銀行IT部門不需要為了復(fù)雜多變的查詢請(qǐng)求，在歷史帶庫(kù)與數(shù)據(jù)庫(kù)之間疲于奔命。

4）其他案例

在政府行業(yè)，巨杉數(shù)據(jù)庫(kù)可以對(duì)電子證件進(jìn)行集中存儲(chǔ)和查詢，可以幫助行政服務(wù)大廳或者其他政府部門查詢信息，提升工作的效率。

在交通領(lǐng)域，大量攝像頭實(shí)時(shí)采集的圖片和視頻數(shù)據(jù)需要存儲(chǔ)，并且現(xiàn)在還增加了實(shí)時(shí)處理分析套牌違規(guī)等行為，這背后也需要強(qiáng)大的數(shù)據(jù)存儲(chǔ)管理查詢或者存儲(chǔ)引擎支撐海量的數(shù)據(jù)，巨杉數(shù)據(jù)庫(kù)能夠有效滿足這種需求。

網(wǎng)頁(yè)名稱：【演講實(shí)錄】銀行PB級(jí)別海量非結(jié)構(gòu)化數(shù)據(jù)管理實(shí)踐-創(chuàng)新互聯(lián)
文章起源：http://aaarwkj.com/article28/dpjjcp.html

成都網(wǎng)站建設(shè)公司_創(chuàng)新互聯(lián)，為您提供Google、移動(dòng)網(wǎng)站建設(shè)、網(wǎng)站制作、網(wǎng)站改版、動(dòng)態(tài)網(wǎng)站、網(wǎng)站內(nèi)鏈

廣告

聲明：本網(wǎng)站發(fā)布的內(nèi)容（圖片、視頻和文字）以用戶投稿、用戶轉(zhuǎn)載內(nèi)容為主，如果涉及侵權(quán)請(qǐng)盡快告知，我們將會(huì)在第一時(shí)間刪除。文章觀點(diǎn)不代表本網(wǎng)站立場(chǎng)，如需處理請(qǐng)聯(lián)系客服。電話：028-86922220；郵箱：631063699@qq.com。內(nèi)容未經(jīng)允許不得轉(zhuǎn)載，或轉(zhuǎn)載時(shí)需注明來(lái)源： 創(chuàng)新互聯(lián)