日志主要包括系統(tǒng)日志、應(yīng)用程序日志和安全日志。系統(tǒng)運(yùn)維和開(kāi)發(fā)人員可以通過(guò)日志了解服務(wù)器軟硬件信息、檢查配置過(guò)程中的錯(cuò)誤及錯(cuò)誤發(fā)生的原因。經(jīng)常分析日志可以了解服務(wù)器的負(fù)荷，性能安全性，從而及時(shí)采取措施糾正錯(cuò)誤。

創(chuàng)新互聯(lián)憑借在網(wǎng)站建設(shè)、網(wǎng)站推廣領(lǐng)域領(lǐng)先的技術(shù)能力和多年的行業(yè)經(jīng)驗(yàn)，為客戶提供超值的營(yíng)銷型網(wǎng)站建設(shè)服務(wù)，我們始終認(rèn)為：好的營(yíng)銷型網(wǎng)站就是好的業(yè)務(wù)員。我們已成功為企業(yè)單位、個(gè)人等客戶提供了成都網(wǎng)站制作、成都網(wǎng)站建設(shè)服務(wù)，以良好的商業(yè)信譽(yù)，完善的服務(wù)及深厚的技術(shù)力量處于同行領(lǐng)先地位。

通常，日志被分散的儲(chǔ)存不同的設(shè)備上。如果你管理數(shù)十上百臺(tái)服務(wù)器，你還在使用依次登錄每臺(tái)機(jī)器的傳統(tǒng)方法查閱日志。這樣是不是感覺(jué)很繁瑣和效率低下。當(dāng)務(wù)之急我們使用集中化的日志管理，例如：開(kāi)源的syslog，將所有服務(wù)器上的日志收集匯總。

集中化管理日志后，日志的統(tǒng)計(jì)和檢索又成為一件比較麻煩的事情，一般我們使用grep、awk和wc等Linux命令能實(shí)現(xiàn)檢索和統(tǒng)計(jì)，但是對(duì)于要求更高的查詢、排序和統(tǒng)計(jì)等要求和龐大的機(jī)器數(shù)量依然使用這樣的方法難免有點(diǎn)力不從心。

開(kāi)源實(shí)時(shí)日志分析ELK平臺(tái)能夠完美的解決我們上述的問(wèn)題，ELK由ElasticSearch、Logstash和Kiabana三個(gè)開(kāi)源工具組成。官方網(wǎng)站：https://www.elastic.co

Elasticsearch 是個(gè)開(kāi)源分布式搜索引擎，它的特點(diǎn)有：分布式，零配置，自動(dòng)發(fā)現(xiàn)，索引自動(dòng)分片，索引副本機(jī)制，restful風(fēng)格接口，多數(shù)據(jù)源，自動(dòng)搜索負(fù)載等。

Logstash 是一個(gè)完全開(kāi)源的工具，他可以對(duì)你的日志進(jìn)行收集、分析，并將其存儲(chǔ)供以后使用（如，搜索）

kibana 也是一個(gè)開(kāi)源和免費(fèi)的工具，他Kibana可以為 Logstash 和 ElasticSearch 提供的日志分析友好的 Web 界面，可以幫助您匯總、分析和搜索重要數(shù)據(jù)日志。

開(kāi)源實(shí)時(shí)日志分析ELK平臺(tái)部署流程：

1、安裝Logstash依賴包JDK

 Logstash的運(yùn)行依賴于Java運(yùn)行環(huán)境， Logstash 1.5以上版本不低于java 7推薦使用最新版本的Java。由于我們只是運(yùn)行Java程序，而不是開(kāi)發(fā)，下載JRE即可。首先，在Oracle官方下載新版jre，下 載地址：http://www.oracle.com/technetwork/java/javase/downloads/jre8-downloads-2133155.html

# tar -zxf jdk-8u45-linux-x64.tar.gz -C /usr/local/
設(shè)置環(huán)境變量 /etc/profile，添加一下代碼
  export JAVA_HOME=/usr/local/jdk1.8.0_45
  export PATH=$PATH:$JAVA_HOME/bin
  exportCLASSPATH=.:$JAVA_HOME/lib/tools.jar:$JAVA_HOME/lib/dt.jar:$CLASSPATH
 # source /etc/profile
測(cè)試是否安裝成功
 # java -version

2、安裝Logstash （日志收集、分析，并將其存儲(chǔ)供以后使用）

下載并安裝Logstash，安裝logstash只需將它解壓的對(duì)應(yīng)目錄即可，例如：/usr/local下：

下載地址https://www.elastic.co/downloads/logstash

  # https://download.elastic.co/logstash/logstash/logstash-2.4.0.tar.gz
  # tar –zxf logstash-2.4.0.tar.gz -C /usr/local/

安裝完成后運(yùn)行如下命令啟動(dòng)logstash：

• 普通方式啟動(dòng)

# logstash -e 'input { stdin { } } output { stdout {} }'
 Settings: Default pipeline workers: 2
 Pipeline main started
 等待輸入: hello world
 2016-09-06T06:22:50.326Z localhost.localdomain hello world 
 我們可以看到，我們輸入什么內(nèi)容logstash按照某種格式輸出，其中-e參數(shù)參數(shù)允許Logstash直接通過(guò)命令行接受設(shè)置。這點(diǎn)尤其快速的幫助我們反復(fù)的測(cè)試配置是否正確而不用寫配置文件。使用CTRL-C命令可以退出之前運(yùn)行的Logstash。

 使用-e參數(shù)在命令行中指定配置是很常用的方式，不過(guò)如果需要配置更多設(shè)置則需要很長(zhǎng)的內(nèi)容。

 這種情況，我們首先創(chuàng)建一個(gè)簡(jiǎn)單的配置文件，并且指定logstash使用這個(gè)配置文件。

 例如：在logstash安裝目錄下創(chuàng)建一個(gè)“基本配置”測(cè)試文件logstash-test.conf，文件內(nèi)容如下：

 # cat logstash-test.conf
     input { stdin { }}
     output { stdout { codec=> rubydebug }}

  Logstash使用input和output定義收集日志時(shí)的輸入和輸出的相關(guān)配置，本例中input定義了一個(gè)叫"stdin"的input，output定義一個(gè)叫"stdout"的output。

 無(wú)論我們輸入什么字符，Logstash都會(huì)按照某種格式來(lái)返回我們輸入的字符，其中output被定義為"stdout"并使用了codec參數(shù)來(lái)指定logstash輸出格式。 

• 開(kāi)啟debug模式啟動(dòng)

   使用logstash的-f參數(shù)來(lái)讀取配置文件然后啟動(dòng)，執(zhí)行如下開(kāi)始進(jìn)行測(cè)試：(debug方式啟動(dòng))

# /usr/local/logstash-2.3.4/bin/logstash agent -f /usr/local/logstash-2.3.4/conf/logstash-test.conf
   Logstash startup completed
   Tue Jul 14 18:07:07 EDT 2015 hello World   #該行是執(zhí)行echo “`date`hello World” 后輸出的結(jié)果，直接粘貼到該位置，然后會(huì)輸出下面結(jié)果
    {
         "message" => "Tue Sep  6 14:25:52 CST 2016 hello world",
         "@version" => "1",
         "@timestamp" => "2016-09-06T06:26:31.270Z",
         "host" => "localhost.localdomain"
     }

2.1、logstash輸出信息到redis數(shù)據(jù)庫(kù)中

 剛才我們是將信息直接顯示在屏幕上了，現(xiàn)在我們將logstash的輸出信息保存到redis數(shù)據(jù)庫(kù)中,

  logstash輸出信息存儲(chǔ)到redis數(shù)據(jù)庫(kù)中,redis其實(shí)就充當(dāng)一個(gè)消息隊(duì)列，并不作為存儲(chǔ)，等待elasticsearch的消費(fèi)

  前提是本地安裝有redis數(shù)據(jù)庫(kù)，那么下一步我們就是安裝redis數(shù)據(jù)庫(kù).

# cat /usr/local/logstash-2.3.4/conf/logstash_index_redis.conf  將信息存儲(chǔ)到redis
      input { stdin { } }
      output {
          stdout { codec => rubydebug }
          redis {
              host => '10.2.8.45'
              port => 6379
              data_type => 'list'
              key => 'logstash'
          }
      }

  logstash的默認(rèn)端口號(hào)9301

   # netstat -tnlp |grep 9301

    服務(wù)端的redis收集日志配置文件

# cat logstash_index_redis.conf 從redis讀取信息，并且發(fā)送到elasticsearch
  input {                       
      redis {
          host => "10.2.8.45"
          port => 6379
          data_type => "list"
          key => "logstash"
          codec => "json"
      }
  }
  output {
      stdout { codec => rubydebug }
      elasticsearch { hosts => "10.2.8.45" }
  }

 客戶端將收集的信息存儲(chǔ)到redis的配置文件

# cat logstash_agent.conf
  input {
      file {
          path => [ "/var/log/messages", "/var/log/*.log" ]
          type => "system"
          start_position => beginning
      }
  }
  output {
      stdout { codec => rubydebug }
      redis {
          host => "10.2.8.45"
          port => 6379
          data_type => "list"
          key => "logstash"
      }
  #    elasticsearch { hosts => "10.2.8.45" }
  }

3、安裝Elasticsearch   

 下載地址 https://www.elastic.co/downloads/elasticsearch

 建立啟動(dòng)elasticsearch的普通用戶(默認(rèn)情況下不能使root用戶啟動(dòng)elasticsearch)

# groupadd elk
# useradd elasticsearch -g elk

 安裝

 # tar zxvf https://download.elastic.co/elasticsearch/release/org/elasticsearch/distribution/tar/elasticsearch/2.4.0/elasticsearch-2.4.0.tar.gz -C /usr/local/
 # 修改配置文件 /usr/local/elasticsearch-2.3.5/config/elasticsearch.yml
   network.host: 10.2.8.45   # 端口綁定ip地址
   http.port: 9200

 啟動(dòng)(注意! 默認(rèn)是不能使用root用戶啟動(dòng)，要使用普通用戶)

# su - elasticsearch
# nohup /usr/local/elasticsearch-2.3.5/bin/elasticsearch > nohup &
# netstat -anp |grep :9200
# curl http://localhost:9200  #查看當(dāng)前elastcisearch狀態(tài)

 接下來(lái)我們?cè)趌ogstash安裝目錄下創(chuàng)建一個(gè)用于測(cè)試logstash使用elasticsearch作為logstash的后端的測(cè)試文件logstash_elasticsearch.conf，

 該文件中定義了stdout和elasticsearch作為output，這樣的“多重輸出”即保證輸出結(jié)果顯示到屏幕上，同時(shí)也輸出到elastisearch中。

 # cat /user/local/logstash-2.3.4/conf.d/logstash_elasticsearch.conf
   input { stdin { } }   # 手動(dòng)輸入內(nèi)容
   output {
      elasticsearch {hosts => "localhost" } # 輸出到elasticsearch
      stdout { codec=> rubydebug }         # 輸出到屏幕上
   }

執(zhí)行如下命令

# logstash agent -f /user/local/logstash-2.3.4/conf.d/logstash_elasticsearch.conf
 hello logstash  # 輸入
 輸出如下結(jié)果
   {
      "message" => "hello logstash",
      "@version" => "1",
      "@timestamp" => "2016-09-06T06:49:39.654Z",
      "host" => "localhost.localdomain"
   }

我們可以使用curl命令發(fā)送請(qǐng)求來(lái)查看ES是否接收到了數(shù)據(jù)：

# curl http://localhost:9200/_search?pretty

至此，已經(jīng)成功利用Elasticsearch和Logstash來(lái)收集日志數(shù)據(jù)了

3.1、安裝elasticsearch插件

  Elasticsearch-kopf插件可以查詢Elasticsearch中的數(shù)據(jù)，安裝elasticsearch-kopf，只要在你安裝Elasticsearch的目錄中執(zhí)行以下命令即可：

# cd /usr/local/elasticsearch-2.3.5/bin
# ./plugin install lmenezes/elasticsearch-kopf

執(zhí)行插件安裝后會(huì)提示失敗，很有可能是網(wǎng)絡(luò)等情況..
若下載失敗可以手動(dòng)下載該軟件，不通過(guò)插件安裝命令...
 # cd /usr/local/elasticsearch-2.3.5/plugins
 # wget https://github.com/lmenezes/elasticsearch-kopf/archive/master.zip
 # unzip master.zip
 # mv elasticsearch-kopf-master kopf
安裝完成后在plugins目錄下可以看到 kopf 目錄
瀏覽器訪問(wèn)kopf頁(yè)面訪問(wèn)elasticsearch保存的數(shù)據(jù) http://10.2.8.45:9200/_plugin/kopf/

4、安裝Kibana

# wget https://download.elastic.co/kibana/kibana/kibana-4.6.0-linux-x86_64.tar.gz
修改配置文件 /usr/local/kibana-4.6.0-linux-x86_64/config/kibana.yml
    elasticsearch.url: "
 啟動(dòng)(后臺(tái)啟動(dòng))
   # nohup /usr/local/kibana-4.6.0-linux-x86_64/bin/kibana > nohup.out &
 默認(rèn)端口 5601 
   # netstat -tnlp |grep 5601

ELK默認(rèn)端口
logstash  9301
elasticsearch  9200 9300
kibana   5601

瀏覽器訪問(wèn) http://10.2.8.45:5601

 頁(yè)面錯(cuò)誤提示： 

1、This version of Kibana requires Elasticsearch ^2.4.0 on all nodes. I found the following incompatible nodes in your cluster: Elasticsearch v2.3.5 @ 10.2.8.45:9200 (10.2.8.45)
   說(shuō)明是Kibana版本和elasticsearch的版本不匹配，查看官網(wǎng)，安裝匹配版本
2、unable to fetch mapping. 這就說(shuō)明logstash沒(méi)有把日志寫入到elasticsearch。
   檢查logstash與elasticsearch之間的通訊是否有問(wèn)題，一般問(wèn)題就在這。修改完成后重啟應(yīng)用

使用 http://kibanaServerIP:5601訪問(wèn)Kibana，登錄后，首先，配置一個(gè)索引，默認(rèn)，Kibana的數(shù)據(jù)被指向Elasticsearch，使用默認(rèn)的logstash-*的索引名稱，并且是基于時(shí)間的，點(diǎn)擊“Create”即可

然后點(diǎn)擊“Discover”，可以搜索和瀏覽Elasticsearch中的數(shù)據(jù)，默認(rèn)搜索的是最近15分鐘的數(shù)據(jù)?？梢宰远x選擇時(shí)間。

到此，說(shuō)明你的ELK平臺(tái)安裝部署完成。

客戶端安裝

客戶端只需要安裝logstash即可，安裝方法如上1和2（必須要安裝jdk）

然后在/usr/local/logstash-2.3.4/conf/添加logstash_agent.conf配置文件(可按需修改)

# cat logstash_agent.conf
  input {
      file {
          path => [ "/var/log/messages", "/var/log/*.log" ]  # 要收集的日志文件
          type => "system"                 # 自定義類型，會(huì)在kibana中顯示
          start_position => beginning
      }
  }
  output {
      stdout { codec => rubydebug }
      redis {
          host => "10.2.8.45"
          port => 6379
          data_type => "list"
          key => "logstash"
      }
  #    elasticsearch { hosts => "10.2.8.45" }
  }
后臺(tái)運(yùn)行
 # nohup /usr/local/logstash-2.3.4/bin/logstash agent -f /usr/local/logstash-2.3.4/conf/logstash_agent.conf > /usr/local/logstash-2.3.4/logstash.log 2>&1 &
查看進(jìn)程
 # ps -ef|grep java

網(wǎng)頁(yè)名稱：ELK(ElasticSearch+Logstash+Kibana)+redis日志收集分析系統(tǒng)
文章路徑：http://aaarwkj.com/article12/ijhedc.html

成都網(wǎng)站建設(shè)公司_創(chuàng)新互聯(lián)，為您提供定制網(wǎng)站、搜索引擎優(yōu)化、自適應(yīng)網(wǎng)站、手機(jī)網(wǎng)站建設(shè)、網(wǎng)站內(nèi)鏈、網(wǎng)站策劃

廣告

聲明：本網(wǎng)站發(fā)布的內(nèi)容（圖片、視頻和文字）以用戶投稿、用戶轉(zhuǎn)載內(nèi)容為主，如果涉及侵權(quán)請(qǐng)盡快告知，我們將會(huì)在第一時(shí)間刪除。文章觀點(diǎn)不代表本網(wǎng)站立場(chǎng)，如需處理請(qǐng)聯(lián)系客服。電話：028-86922220；郵箱：631063699@qq.com。內(nèi)容未經(jīng)允許不得轉(zhuǎn)載，或轉(zhuǎn)載時(shí)需注明來(lái)源： 創(chuàng)新互聯(lián)