背景介紹：

為博望等地區(qū)用戶提供了全套網(wǎng)頁設(shè)計制作服務，及博望網(wǎng)站建設(shè)行業(yè)解決方案。主營業(yè)務為成都網(wǎng)站設(shè)計、網(wǎng)站制作、博望網(wǎng)站設(shè)計，以傳統(tǒng)方式定制建設(shè)網(wǎng)站，并提供域名空間備案等一條龍服務，秉承以專業(yè)、用心的態(tài)度為用戶提供真誠的服務。我們深信只要達到每一位用戶的要求，就會得到認可，從而選擇與我們長期合作。這樣，我們也可以走得更遠！

作為一名 Infra，管理平臺的各種基礎(chǔ)組建以及基本的服務質(zhì)量是必修的功課，而如何對復雜和繁多的基礎(chǔ)平臺，甚至包括上面運行的 Ops 系統(tǒng)、業(yè)務系統(tǒng)，其穩(wěn)定性的各項指標都是衡量 Infra 是否稱職的非常重要的標準。

單純離散的指標本身是沒有實際意義的，只有將離散的指標通過某種方式進行存儲，并支持對終端用戶友好的查詢以及聚合，才會真正的有意義。因此，一個性能足夠的，分布式的，用戶友好且方便下面 DevOps 團隊進行部署的 TSDB ( Time Series Database )就成了一個不可缺少的系統(tǒng)。

常見的 TSDB 包括 InfluxDB , OpenTSDB , Prometheus 等，其中，開源版本的 InfluxDB 雖然優(yōu)秀，但并不支持集群部署，且 TICK Stack 本身對數(shù)據(jù)清洗的靈活性支持并不太好，直接使用開源版本，會有統(tǒng)計信息被收集并上報；而 OpenTSDB 由于基于 HBase ，在部署時成本過高，且本身并不是一套完整的監(jiān)控系統(tǒng)，而基于 Prometheus 與 TiKV 進行開發(fā)的話，整個系統(tǒng)可在保持最簡潔的同時，也有非常豐富的生態(tài)支持。

因此，基于實際情況，融云最終選擇 TiPrometheus 作為 Infra 部的監(jiān)控平臺存儲方案。

項目簡介：

上圖為 Prometheus 的官方系統(tǒng)架構(gòu)圖，而實現(xiàn) TiPrometheus ，用到了上圖中沒有體現(xiàn)到的一個 Prometheus 的功能：Remote Storage ，如其名所示，其主要功能是給 Prometheus 提供了遠程寫的能力，這個功能對于查詢是透明的，主要用于長存儲。而我們當時的 TiPrometheus 實現(xiàn)了基于 TiKV 以及 PD 實現(xiàn)的 Prometheus 的 Remote Storage 。

核心實現(xiàn)

Prometheus 記錄的數(shù)據(jù)結(jié)構(gòu)分為兩部分 Label 及 Samples 。 Label 記錄了一些特征信息，Samples 包含了指標數(shù)據(jù)和 Timestamp 。

Label 和時間范圍結(jié)合，可以查詢到需要的 Value 。

為了查詢這些記錄，需要構(gòu)建兩種索引 Label Index 和 Time Index ，并以特殊的 Key 存儲 Value 。

l Label Index

每對 Label 為會以 index:label:<name>#<latency> 為 key ，labelID 為 Value 存入。新的記錄會 "," 分割追加到 Value 后面。這是一種搜索中常用的倒排索引。

l Time Index

每個 Sample 項會以 index:timeseries:<labelID>:<splitTime> 為 Key，Timestamp 為 Value ，SplitTime 為時間切片的起始點。追加的 Timestamp 同樣以","分割。

l Doc 存儲

我們將每一條 Samples 記錄以 timeseries:doc:<labelID>:<timestamp> 為 Key 存入 TiKV ，其中 LabelID 是 Label 全文的散列值。

下面做一個梳理：

寫入過程

1. 生成 labelID

2. 構(gòu)建 time index，index:timeseries:<labelID>:<splitTime>"ts,ts"

3. 寫入時序數(shù)據(jù) timeseries:doc:<labelID>:<timestamp> "value"

4. 寫入時序數(shù)據(jù) timeseries:doc:<labelID>:<timestamp> "value"

查詢過程

1. 根據(jù)倒排索引查出 labelID 的集合，多對 Label 的查詢會對 labelID 集合求交集。

2. 根據(jù) labelID 和時間范圍內(nèi)的時間分片查詢包含的 Timestamp 。

3. 根據(jù) labelID 和 Timestamp 查出所需的 Value 。

Why TiPrometheus

該項目最初源于參加 PingCAP 組織的 Hackathon ，當時希望與參與者一起完成大家腦海里的想法，其實最重要的事情就是，做出來的東西并不是為了單純的 Demo ，而是要做一個在實際工作中應用于生產(chǎn)環(huán)境的實際能力，且能解決生產(chǎn)中的問題。

剛開始還有過各種奇思妙想，包括在 TiSpark 上做一套 ML ，Hadoop over TiKV 等，不過這些想法實現(xiàn)起來都有些過于硬核，對于只有兩天工作時間就需要完成的項目來說，可能性太?。换蛘哒f，如果希望實現(xiàn) Demo ，所需 Hack 的點過多。而 GEO 全文檢索在融云現(xiàn)有的生產(chǎn)上，以及現(xiàn)有的系統(tǒng)中，也并沒有需要去填補的大坑，因此，也就沒有什么必要去在這方面花費力氣去解決一個并不存在的問題。

由于 IM 服務是一種計算密集型的服務，且服務質(zhì)量是融云的核心競爭力；而目前存儲資源呈現(xiàn)出零散分布的節(jié)點，且每個節(jié)點的存儲資源使用率并不高，為了大化利用現(xiàn)有的閑置資源，融云最終設(shè)計并實現(xiàn)了這套 TiPrometheus 系統(tǒng)。

Result

打通了 TiKV 與 Prometheus ，為基于 K , V 存儲的時序數(shù)據(jù)庫設(shè)計提供了一個可行的思路。

為 Prometheus 的長存儲提供了一套實用的解決方案。

另外有需要云服務器可以了解下創(chuàng)新互聯(lián)cdcxhl.cn，海內(nèi)外云服務器15元起步，三天無理由+7*72小時售后在線，公司持有idc許可證，提供“云服務器、裸金屬服務器、高防服務器、香港服務器、美國服務器、虛擬主機、免備案服務器”等云主機租用服務以及企業(yè)上云的綜合解決方案，具有“安全穩(wěn)定、簡單易用、服務可用性高、性價比高”等特點與優(yōu)勢，專為企業(yè)上云打造定制，能夠滿足用戶豐富、多元化的應用場景需求。

文章題目：【融云分析】從過剩存儲資源到分布式時序數(shù)據(jù)庫的長存儲-創(chuàng)新互聯(lián)
網(wǎng)站路徑：http://aaarwkj.com/article38/cojdsp.html

成都網(wǎng)站建設(shè)公司_創(chuàng)新互聯(lián)，為您提供自適應網(wǎng)站、App設(shè)計、網(wǎng)站制作、品牌網(wǎng)站建設(shè)、全網(wǎng)營銷推廣、品牌網(wǎng)站制作

廣告

聲明：本網(wǎng)站發(fā)布的內(nèi)容（圖片、視頻和文字）以用戶投稿、用戶轉(zhuǎn)載內(nèi)容為主，如果涉及侵權(quán)請盡快告知，我們將會在第一時間刪除。文章觀點不代表本網(wǎng)站立場，如需處理請聯(lián)系客服。電話：028-86922220；郵箱：631063699@qq.com。內(nèi)容未經(jīng)允許不得轉(zhuǎn)載，或轉(zhuǎn)載時需注明來源： 創(chuàng)新互聯(lián)