最近工作上有個需求,需要把prometheus 采集到的數(shù)據(jù)上報到kafka消息隊列,看了下官方實現(xiàn),prometheus 支持remote_write / remote_read 的方式擴(kuò)展,可以在此基礎(chǔ)上做文章。
成都創(chuàng)新互聯(lián)公司專注于企業(yè)營銷型網(wǎng)站、網(wǎng)站重做改版、印臺網(wǎng)站定制設(shè)計、自適應(yīng)品牌網(wǎng)站建設(shè)、H5網(wǎng)站設(shè)計、商城建設(shè)、集團(tuán)公司官網(wǎng)建設(shè)、成都外貿(mào)網(wǎng)站建設(shè)公司、高端網(wǎng)站制作、響應(yīng)式網(wǎng)頁設(shè)計等建站業(yè)務(wù),價格優(yōu)惠性價比高,為印臺等各大城市提供網(wǎng)站開發(fā)制作服務(wù)。? github 上面有個現(xiàn)成的插件,看了一下,主要存在以下一些問題:? ? ? ??
1、從環(huán)境變量讀取配置(不夠靈活,后續(xù)不好優(yōu)化,不能做到配置熱加載)? ? ? ??
2、把client 對象創(chuàng)建的邏輯放到了http handler里面(每次prometheus 調(diào)用/write 接口,都要new一個對象...)? ? ? ??
3、使用golang kafka 插件sarama 的同步生產(chǎn)者方式寫數(shù)據(jù)(數(shù)據(jù)量大的情況下,性能可能跟不上)
? 于是自己動手寫一個插件,練練手。
? 代碼比較簡單,就是以插件的方式部署適配器,接收prometheus 產(chǎn)生的數(shù)據(jù)并通過異步kafka 生產(chǎn)者模式,將數(shù)據(jù)輸送給kafka。
? 大致邏輯是這樣:? ? ? ??
1、從配置文件中獲取kafka相關(guān)配置? ? ? ??
2、本地監(jiān)聽9201 端口提供http 服務(wù)供prometheus 寫入數(shù)據(jù)? ? ? ??
3、從/write API 獲取到prometheus監(jiān)控數(shù)據(jù)后,將數(shù)據(jù)寫入到channel? ? ? ??
4、起一個kafka 異步生產(chǎn)者,從channel里面讀取監(jiān)控數(shù)據(jù),并寫入到kafka
? 代碼具體代碼:
? https://gitee.com/pmghong/prometheus-kafka-adapter
創(chuàng)新互聯(lián)www.cdcxhl.cn,專業(yè)提供香港、美國云服務(wù)器,動態(tài)BGP最優(yōu)骨干路由自動選擇,持續(xù)穩(wěn)定高效的網(wǎng)絡(luò)助力業(yè)務(wù)部署。公司持有工信部辦法的idc、isp許可證, 機(jī)房獨有T級流量清洗系統(tǒng)配攻擊溯源,準(zhǔn)確進(jìn)行流量調(diào)度,確保服務(wù)器高可用性。佳節(jié)活動現(xiàn)已開啟,新人活動云服務(wù)器買多久送多久。
當(dāng)前文章:Prometheuskafka消息隊列適配器-創(chuàng)新互聯(lián)
本文來源:http://aaarwkj.com/article24/ccdeje.html
成都網(wǎng)站建設(shè)公司_創(chuàng)新互聯(lián),為您提供微信公眾號、商城網(wǎng)站、建站公司、標(biāo)簽優(yōu)化、營銷型網(wǎng)站建設(shè)、App設(shè)計
聲明:本網(wǎng)站發(fā)布的內(nèi)容(圖片、視頻和文字)以用戶投稿、用戶轉(zhuǎn)載內(nèi)容為主,如果涉及侵權(quán)請盡快告知,我們將會在第一時間刪除。文章觀點不代表本網(wǎng)站立場,如需處理請聯(lián)系客服。電話:028-86922220;郵箱:631063699@qq.com。內(nèi)容未經(jīng)允許不得轉(zhuǎn)載,或轉(zhuǎn)載時需注明來源: 創(chuàng)新互聯(lián)
猜你還喜歡下面的內(nèi)容