本篇內(nèi)容主要講解“如何使用logstash multi pipeline”，感興趣的朋友不妨來看看。本文介紹的方法操作簡單快捷，實(shí)用性強(qiáng)。下面就讓小編來帶大家學(xué)習(xí)“如何使用logstash multi pipeline”吧!

成都創(chuàng)新互聯(lián)公司-專業(yè)網(wǎng)站定制、快速模板網(wǎng)站建設(shè)、高性價(jià)比西吉網(wǎng)站開發(fā)、企業(yè)建站全套包干低至880元,成熟完善的模板庫,直接使用。一站式西吉網(wǎng)站制作公司更省心,省錢,快速模板網(wǎng)站建設(shè)找我們，業(yè)務(wù)覆蓋西吉地區(qū)。費(fèi)用合理售后完善，10多年實(shí)體公司更值得信賴。

一、背景

假設(shè)我們需要從多個(gè)渠道來收集數(shù)據(jù)，比如：1、從文件收集。2、從tcp收集。不同的渠道收集過來的數(shù)據(jù)需要做不同的處理。那么我們這個(gè)時(shí)候應(yīng)該如何處理呢？

二、解決方案

1、方案一：

使用同一個(gè) logstash 實(shí)例，然后將在一個(gè) pipeline 中，接收多個(gè)輸入，比如：

input {
	file {}
	file {}
	tcp {}
}

這樣雖然可以實(shí)現(xiàn)，但是我們 在 filter 和 output階段如果不同的輸入存在不同的過濾、輸出等，那么這個(gè)文件將會(huì)非常復(fù)雜，需要進(jìn)行各種判斷，不好維護(hù)。

2、方案二：

使用多個(gè) logstash 實(shí)例，每個(gè) logstash 實(shí)例處理不同的輸入。這樣雖然可以實(shí)現(xiàn)，但是 logstash 稍微有點(diǎn)耗費(fèi)性能，也是不可取的。

3、方案三：

在同一個(gè) logstash 實(shí)例中，使用多個(gè) pipeline，每個(gè) pipeline 處理不同的 input,filter和out。即配置分散在多個(gè)配置文件中。

三、實(shí)現(xiàn)步驟

> 此處采用上方的 方案三 來實(shí)現(xiàn)。

1、編寫 pipeline 文件

1、從文件收集，輸出到控制臺(tái)

vim file-pipeline.conf

input {
    file {
        path => ["/Users/huan/soft/elastic-stack/logstash/logstash/pipeline.conf/multi-pipeline/file-pipeline.log"]
        start_position => "end"
        sincedb_path => "/Users/huan/soft/elastic-stack/logstash/logstash/pipeline.conf/multi-pipeline/sincedb.db"
        sincedb_write_interval => "15 seconds"
        mode => "tail"
        type => "file-pipeline"
    }
}

filter {
    
}

output {
    stdout {
        codec => rubydebug {
            metadata => true
        }
    }
}

2、從socket收集，輸出到控制臺(tái)

vim tcp-pipeline.conf

# 開啟一個(gè)tcp監(jiān)聽在9092端口
# id 的值建議設(shè)置成唯一的值，這在多個(gè)tcp input時(shí)，使用監(jiān)控api時(shí)非常有用的。
input {
    tcp {
        port => 9202
        host => "127.0.0.1"
        mode => "server"
        type => "tcp-pipeline"
        id => "console-tcp"
    }
}

filter {
    
}

output {
    stdout {
        codec => line {
            charset => "UTF-8"
        }
    }
}

注意??：

1、tcp 中的 id的值建議設(shè)置成一個(gè)唯一的值，這個(gè)當(dāng)我們有多個(gè) tcp 輸入時(shí)，在我們使用監(jiān)控api會(huì)非常有用。

2、修改 pipelines.yml 配置文件

vim LS_HOME/config/pipelines.yml

- pipeline.id: file-pipeline
  path.config: "/Users/huan/soft/elastic-stack/logstash/logstash/pipeline.conf/multi-pipeline/file-pipeline.conf"
- pipeline.id: tcp-pipeline
  queue.type: persisted
  path.config: "/Users/huan/soft/elastic-stack/logstash/logstash/pipeline.conf/multi-pipeline/tcp-pipeline.conf"

注意??：

1、如果上方的配置文件使用的是一個(gè) pipeline，比如刪除下方的 tcp-pipeline,將 file-pipeline的 path.config 的值修改成 .../*.conf,

那么此時(shí)會(huì)共用 output，會(huì)發(fā)現(xiàn)數(shù)據(jù)重復(fù)。

即修改成：

# 這樣是多個(gè)配置文件共用一個(gè) pipeline，filter\output等會(huì)共享。
- pipeline.id: file-pipeline
  path.config: "/Users/huan/soft/elastic-stack/logstash/logstash/pipeline.conf/multi-pipeline/*.conf"

3、啟動(dòng)logstash

bin/logstash

注意??：

1、此處的啟動(dòng)命令后不可跟 -e或-f，如果跟了，則不會(huì)使用默認(rèn)的 config/pipelines.yml。

4、測試

1、測試 file 收集

cd /Users/huan/soft/elastic-stack/logstash/logstash/pipeline.conf/multi-pipeline
echo "觀察控制臺(tái)輸出" >> file-pipeline.log

2、測試從 tcp 收集

nc 127.0.0.1 9202
123456 -> 觀察控制臺(tái)輸出

3、結(jié)果

到此，相信大家對“如何使用logstash multi pipeline”有了更深的了解，不妨來實(shí)際操作一番吧！這里是創(chuàng)新互聯(lián)網(wǎng)站，更多相關(guān)內(nèi)容可以進(jìn)入相關(guān)頻道進(jìn)行查詢，關(guān)注我們，繼續(xù)學(xué)習(xí)！

當(dāng)前名稱：如何使用logstashmultipipeline
網(wǎng)站鏈接：http://aaarwkj.com/article40/psoheo.html

成都網(wǎng)站建設(shè)公司_創(chuàng)新互聯(lián)，為您提供企業(yè)建站、Google、軟件開發(fā)、網(wǎng)站改版、小程序開發(fā)、網(wǎng)頁設(shè)計(jì)公司

廣告

聲明：本網(wǎng)站發(fā)布的內(nèi)容（圖片、視頻和文字）以用戶投稿、用戶轉(zhuǎn)載內(nèi)容為主，如果涉及侵權(quán)請盡快告知，我們將會(huì)在第一時(shí)間刪除。文章觀點(diǎn)不代表本網(wǎng)站立場，如需處理請聯(lián)系客服。電話：028-86922220；郵箱：631063699@qq.com。內(nèi)容未經(jīng)允許不得轉(zhuǎn)載，或轉(zhuǎn)載時(shí)需注明來源： 創(chuàng)新互聯(lián)