這篇文章給大家分享的是把ELK日志系統(tǒng)改進(jìn)成ELFK的方法，相信大部分人都還沒學(xué)會(huì)這個(gè)技能，為了讓大家學(xué)會(huì)，給大家總結(jié)了以下內(nèi)容，話不多說，一起往下看吧。

創(chuàng)新互聯(lián)建站主營(yíng)相山網(wǎng)站建設(shè)的網(wǎng)絡(luò)公司,主營(yíng)網(wǎng)站建設(shè)方案,成都app開發(fā),相山h5小程序開發(fā)搭建,相山網(wǎng)站營(yíng)銷推廣歡迎相山等地區(qū)企業(yè)咨詢

剛來公司的時(shí)候，我們公司的日志收集系統(tǒng)ELK經(jīng)常會(huì)出現(xiàn)查詢不了最新的日志的情況，后面去查發(fā)現(xiàn) ES的節(jié)點(diǎn)經(jīng)常也是yellow或者red的情況。有時(shí)候會(huì)收到開發(fā)的投訴。這一套ELK系統(tǒng)也是另外一個(gè)同事搭建的，

其中ElasticSearch 是三臺(tái)服務(wù)器構(gòu)成的集群，

其中ElasticSearch的版本為 6.2.x 的版本，Logstash跑在每個(gè)服務(wù)器上，各種日志通過Logstash搜集，Grok，Geoip等插件進(jìn)行處理然后統(tǒng)一送到ElasticSearch的集群。

Kibana做圖形化的展示。

我們之前的elk架構(gòu)比較簡(jiǎn)單，也存在一些問題：

1、Logstash依賴Java虛擬機(jī)占用系統(tǒng)的內(nèi)存和CPU都比較大，

2、Logstash在數(shù)據(jù)量較大的時(shí)候容易導(dǎo)致其他業(yè)務(wù)應(yīng)用程序崩潰，影響業(yè)務(wù)正常使用

3、隨著時(shí)間的積累，es空間不能滿足現(xiàn)狀

4、Kibana沒有安全管控機(jī)制，沒有權(quán)限審核，安全性較差。

5、ElasticSearch 主節(jié)點(diǎn)也是數(shù)據(jù)節(jié)點(diǎn)，導(dǎo)致有時(shí)候查詢較慢

ElasticSearch的版本，我們還是選擇原來的 6.2.x的版本，然后重新搭建了一套ELK的日志系統(tǒng)。

ElasticSearch 6.x 的版本如果要做用于鑒權(quán)的話，必須依賴X-Pack，但是X-pack是付費(fèi)的產(chǎn)品，于是我們?cè)诰W(wǎng)上尋找破解補(bǔ)丁，然后對(duì)ElasticSearch 6.x 進(jìn)行破解。

架構(gòu)圖解如下:

整個(gè)架構(gòu)的具體的改進(jìn)方法如下:

1、客戶端選用更輕量化的Filebeat，F(xiàn)ilebeat 采用 Golang 語言進(jìn)行編寫的，優(yōu)點(diǎn)是暫用系統(tǒng)資源小，收集效率高。

2、Filebeat 數(shù)據(jù)收集之后統(tǒng)一送到多個(gè) Logstatsh進(jìn)行統(tǒng)一的過濾，然后將過濾后的數(shù)據(jù)寫入ElasticSearch集群。

3、將原有的3個(gè)es節(jié)點(diǎn)增加至6個(gè)節(jié)點(diǎn)，其中3個(gè)ES節(jié)點(diǎn)是master節(jié)點(diǎn)，其余的節(jié)點(diǎn)是數(shù)據(jù)節(jié)點(diǎn)，如果磁盤不夠用可以橫向擴(kuò)展數(shù)據(jù)節(jié)點(diǎn)。

4、引入x-pack，實(shí)現(xiàn) Index 級(jí)別的權(quán)限管控，確保數(shù)據(jù)安全。

5、ElasticSearch集群的硬盤采用 SSD的硬盤

到此，我們的日志系統(tǒng)算暫時(shí)是正常并且能滿足日志查日志的需求了，也很少出現(xiàn)卡頓的現(xiàn)象了，并且服務(wù)器的資源使用率直接下降了一半。

但是要查幾個(gè)月之前的數(shù)據(jù)還是會(huì)慢，于是我們?cè)谏厦娴幕A(chǔ)上又做了下面幾個(gè)優(yōu)化:

6、ElasticSearch 做冷熱數(shù)據(jù)分離

7、60天之前的索引數(shù)據(jù)進(jìn)行關(guān)閉，有需要用的時(shí)候手工打開

8、ElasticSearch的版本采用ElasticSearch 7.x的版本，用戶鑒權(quán)采用其免費(fèi)的 basic 認(rèn)證實(shí)現(xiàn)（因?yàn)?.x的新版本在性能上優(yōu)化，查詢和寫入速度會(huì)更快）

因?yàn)槲覀兊闹饕獦I(yè)務(wù)的開發(fā)語言是PHP，PHP產(chǎn)生的 日志并不多，但是PHP畢竟是解釋性的語言，運(yùn)行效率并不高，但是我們公司業(yè)務(wù)并發(fā)卻非常高。并發(fā)至少有10萬以上。有些業(yè)務(wù)是Java，比如位置上報(bào)的業(yè)務(wù)，微服務(wù)也是公司自己開發(fā)的，可能是框架也不完善，不像Spring Boot那樣成熟，打出的日志特別多，一個(gè)Java的微服務(wù)每天就要產(chǎn)生就幾個(gè)T的數(shù)據(jù)。有些微服務(wù)的日志還是info級(jí)別的。

隨著時(shí)間的積累，日志量有幾百T以及有PB級(jí)別的日志量了。

同時(shí)大數(shù)據(jù)部門也是查ElasticSearch集群的接口，導(dǎo)致ElasticSearch的壓力特別大。這樣導(dǎo)致有時(shí)候查詢歷史日志會(huì)很慢。

目前采用的 Filbeat + Logstash+ ElasticSearch+ Kibana的架構(gòu)已經(jīng)無法滿足需求了。于是我們想到使用MQ進(jìn)行緩沖，消息隊(duì)列進(jìn)行緩沖那應(yīng)該選哪個(gè)產(chǎn)品了，消息中間件考慮的幾個(gè)軟件又 Redis，Rabitmq，ActiveMq，Kafka等，對(duì)于這幾個(gè)的考慮我們毫不猶豫的選擇了Kafka，因?yàn)镵afak的吞吐量比其他都高，Kafka性能遠(yuǎn)超過ActiveMQ、RabbitMQ等。

架構(gòu)圖解如下:

整個(gè)架構(gòu)的具體的改進(jìn)方法如下:

1、Filebeat數(shù)據(jù)收集之后存放于kafka，然后用 Logstash來逐條消費(fèi)，寫入es，確保數(shù)據(jù)的完整性。

2、Logstash 跑多個(gè)節(jié)點(diǎn)多個(gè)進(jìn)程以及多線程進(jìn)行消費(fèi)。

3、Kafka 多Topic 多分區(qū)存儲(chǔ)，從而保證吞吐量。

4、大數(shù)據(jù)部門從開始的直接查ElasticSearch集群的接口，改成直接消費(fèi)Kafka的數(shù)據(jù)，這樣ElasticSearch的壓力降低了不少。

到此，就目前的架構(gòu)已經(jīng)滿足企業(yè)的PB級(jí)的日志需求了，查歷史日志也不卡了，也能滿足日常的需求。

當(dāng)我們通過 Kafka—Manager 去監(jiān)控和 管理 Kafka 的狀態(tài)信息的時(shí)候，發(fā)現(xiàn)在業(yè)務(wù)高峰期的時(shí)候，Kafka的topic有很少量的堆積，

但是并不影響開發(fā)和運(yùn)維查日志。于是愛折騰的我，決定自己手工寫程序代替 Logstash消費(fèi)，于是有了下面的內(nèi)容。

如果自己寫程序代替 Logstash消費(fèi)，自己熟悉的語言是Python 和 Golang，于是決定用這兩者中的其中一個(gè)進(jìn)行編寫，考慮到Python是解釋性語言，有全局鎖的限制。而 Golang 是編譯型語言，而且天生支持協(xié)程。支持并發(fā)。所以采用 Golang進(jìn)行kafka消費(fèi)

架構(gòu)圖解如下:

整個(gè)架構(gòu)的具體的操作方法如下:

1、不同的日志類型建立不同的 topic

2、Filebat打不同的tag采集數(shù)據(jù)到不同的 topic

3、Golang 開啟協(xié)程消費(fèi)不同的 topic發(fā)送到ElasticSearch集群

到此我們?cè)偈褂?Kafak-Manager去查看Kafka的狀態(tài)信息之后，即便再高峰期也不會(huì)出現(xiàn)消息少量堆積的情況了

關(guān)于把ELK日志系統(tǒng)改進(jìn)成ELFK的方法就分享到這里了，希望以上內(nèi)容可以對(duì)大家有一定的幫助，可以學(xué)到更多知識(shí)。如果喜歡這篇文章，不如把它分享出去讓更多的人看到。

另外有需要云服務(wù)器可以了解下創(chuàng)新互聯(lián)scvps.cn，海內(nèi)外云服務(wù)器15元起步，三天無理由+7*72小時(shí)售后在線，公司持有idc許可證，提供“云服務(wù)器、裸金屬服務(wù)器、高防服務(wù)器、香港服務(wù)器、美國(guó)服務(wù)器、虛擬主機(jī)、免備案服務(wù)器”等云主機(jī)租用服務(wù)以及企業(yè)上云的綜合解決方案，具有“安全穩(wěn)定、簡(jiǎn)單易用、服務(wù)可用性高、性價(jià)比高”等特點(diǎn)與優(yōu)勢(shì)，專為企業(yè)上云打造定制，能夠滿足用戶豐富、多元化的應(yīng)用場(chǎng)景需求。

分享標(biāo)題：怎樣把ELK日志系統(tǒng)改進(jìn)成ELFK-創(chuàng)新互聯(lián)
文章出自：http://aaarwkj.com/article42/hochc.html

成都網(wǎng)站建設(shè)公司_創(chuàng)新互聯(lián)，為您提供網(wǎng)站維護(hù)、外貿(mào)網(wǎng)站建設(shè)、云服務(wù)器、企業(yè)網(wǎng)站制作、微信公眾號(hào)、Google

廣告

聲明：本網(wǎng)站發(fā)布的內(nèi)容（圖片、視頻和文字）以用戶投稿、用戶轉(zhuǎn)載內(nèi)容為主，如果涉及侵權(quán)請(qǐng)盡快告知，我們將會(huì)在第一時(shí)間刪除。文章觀點(diǎn)不代表本網(wǎng)站立場(chǎng)，如需處理請(qǐng)聯(lián)系客服。電話：028-86922220；郵箱：631063699@qq.com。內(nèi)容未經(jīng)允許不得轉(zhuǎn)載，或轉(zhuǎn)載時(shí)需注明來源： 創(chuàng)新互聯(lián)