使用Fluentd+MongoDB構(gòu)建實(shí)時(shí)日志收集系統(tǒng)

Fluentd是一個(gè)日志收集系統(tǒng)，它的特點(diǎn)在于其各部分均是可定制化的，你可以通過簡(jiǎn)單的配置，將日志收集到不同的地方。

目前開源社區(qū)已經(jīng)貢獻(xiàn)了下面一些存儲(chǔ)插件：MongoDB, redis, CouchDB,Amazon S3, Amazon SQS, Scribe, 0MQ, AMQP, Delayed, Growl 等等。

本文要介紹的是在Fluentd的最新版中已經(jīng)內(nèi)置的MongoDB支持。主要通過一個(gè)收集Apache日志的例子來說明其使用方法：

機(jī)制圖解

安裝

為了完成相關(guān)的測(cè)試，需要安裝下面一些組件：

Fluentd with MongoDB Plugin
MongoDB
Apache (with the Combined Log Format)

在Fluentd的最新安裝包中已經(jīng)包含了MongoDB插件，你也可以用命令

gem install fluent-plugin-mongo

來進(jìn)行安裝

Debian Package
RPM Package
MongoDB Downloads

配置

如果你是使用上面的deb/rpm包安裝的Fluentd，那么配置文件位置在：/etc/td-agent/td-agent.conf，否則其位置應(yīng)該在：/etc/fluentd/fluentd.conf

首先我們編輯配置文件中的source來設(shè)置日志來源

<source>
  type tail
  format apache
  path /var/log/apache2/access_log
  tag mongo.apache
</source>

其中：

type tail: tail方式是 Fluentd 內(nèi)置的輸入方式，其原理是不停地從源文件中獲取新的日志。
format apache: 指定使用 Fluentd 內(nèi)置的 Apache 日志解析器。
path /var/log/apache2/access_log: 指定日志文件位置。
tag mongo.apache: 指定tag，tag被用來對(duì)不同的日志進(jìn)行分類

下面再來編輯輸出配置，配置日志收集后存儲(chǔ)到MongoDB中

<match mongo.**>
  # plugin type
  type mongo
  # mongodb db + collection
  database apache
  collection access
  # mongodb host + port
  host localhost
  port 27017
  # interval
  flush_interval 10s
</match>

match標(biāo)簽后面可以跟正則表達(dá)式以匹配我們指定的tag，只有匹配成功的tag對(duì)應(yīng)的日志才會(huì)運(yùn)用里面的配置。配置中的其它項(xiàng)都比較好理解，看注釋就可以了，其中flush_interval是用來控制多長(zhǎng)時(shí)間將日志寫入MongoDB一次。

測(cè)試

用ab工具對(duì)Apache進(jìn)行訪問，以產(chǎn)生相應(yīng)的訪問日志以供收集

$ ab -n 100 -c 10 http://localhost/

然后我們?cè)贛ongoDB中就能看到收集到的日志了

$ mongo
> use apache
> db.access.find()
{ "_id" : ObjectId("4ed1ed3a340765ce73000001"), "host" : "127.0.0.1", "user" : "-", "method" : "GET", "path" : "/", "code" : "200", "size" : "44", "time" : ISODate("2011-11-27T07:56:27Z") }
{ "_id" : ObjectId("4ed1ed3a340765ce73000002"), "host" : "127.0.0.1", "user" : "-", "method" : "GET", "path" : "/", "code" : "200", "size" : "44", "time" : ISODate("2011-11-27T07:56:34Z") }
{ "_id" : ObjectId("4ed1ed3a340765ce73000003"), "host" : "127.0.0.1", "user" : "-", "method" : "GET", "path" : "/", "code" : "200", "size" : "44", "time" : ISODate("2011-11-27T07:56:34Z") }

來源： blog.treasure-data.com
翻譯： http://blog.NOSQLfan.com/html/3521.html

本文標(biāo)題：使用Fluentd+MongoDB構(gòu)建實(shí)時(shí)日志收集系統(tǒng)
URL分享：http://aaarwkj.com/article6/iggdog.html

成都網(wǎng)站建設(shè)公司_創(chuàng)新互聯(lián)，為您提供網(wǎng)站設(shè)計(jì)公司、網(wǎng)站維護(hù)、標(biāo)簽優(yōu)化、ChatGPT、做網(wǎng)站、App設(shè)計(jì)

聲明：本網(wǎng)站發(fā)布的內(nèi)容（圖片、視頻和文字）以用戶投稿、用戶轉(zhuǎn)載內(nèi)容為主，如果涉及侵權(quán)請(qǐng)盡快告知，我們將會(huì)在第一時(shí)間刪除。文章觀點(diǎn)不代表本網(wǎng)站立場(chǎng)，如需處理請(qǐng)聯(lián)系客服。電話：028-86922220；郵箱：631063699@qq.com。內(nèi)容未經(jīng)允許不得轉(zhuǎn)載，或轉(zhuǎn)載時(shí)需注明來源：創(chuàng)新互聯(lián)

猜你還喜歡下面的內(nèi)容

欧美一级特黄大片做受成人-亚洲成人一区二区电影-激情熟女一区二区三区-日韩专区欧美专区国产专区

使用Fluentd+MongoDB構(gòu)建實(shí)時(shí)日志收集系統(tǒng)

機(jī)制圖解

安裝

配置

測(cè)試