這篇文章將為大家詳細講解有關(guān)如何安裝部署flume1.4，小編覺得挺實用的，因此分享給大家做個參考，希望大家閱讀完這篇文章后可以有所收獲。

我們提供的服務(wù)有：網(wǎng)站設(shè)計、成都做網(wǎng)站、微信公眾號開發(fā)、網(wǎng)站優(yōu)化、網(wǎng)站認證、康樂ssl等。為上1000+企事業(yè)單位解決了網(wǎng)站和推廣的問題。提供周到的售前咨詢和貼心的售后服務(wù)，是有科學(xué)管理、有技術(shù)的康樂網(wǎng)站制作公司

一、引言

flume-ng是一個分布式、高可靠和高效的日志收集系統(tǒng)，flume-ng是flume的新版本的意思，其中“ng”意為new generate(新一代)，目前來說，flume-ng 1.4是最新的版本。flume-ng與flume相比，發(fā)生了很大的變化，因為之前一直在flume0.9的版本，一直沒有升級到flume-ng，最 近因為項目需要，做了一次升級，發(fā)現(xiàn)了一些問題，特記錄下來，分享給大家。

二、版本說明

flume-ng 1.4.0

三、安裝步驟

　　下載、解壓、安裝JDK、設(shè)置環(huán)境變量部分已經(jīng)有很多介紹性的問題，不做說明。需要特別說明之處的是，flume-ng不需要要zookeeper，無需設(shè)置。

四、flume-ng bug　　

安裝完成后運行flume-ng會出現(xiàn)錯誤信息，這主要是因為shell腳本的問題，我將修改后的flume-ng完整的上傳如下，其中標注：#zhangzl下面的行是需要修改的部分。

五、測試配置文件

　　在conf目錄下創(chuàng)建example-conf.properties文件，屬性如下所示：　　

 1 # Describe the source 
 2 a1.sources = r1 3 a1.sinks = k1 4 a1.channels = c1 5  6 # Describe/configure the source 7 a1.sources.r1.type = avro 8 a1.sources.r1.bind = localhost 9 a1.sources.r1.port = 4444410 11 # Describe the sink12 # 將數(shù)據(jù)輸出至日志中13 a1.sinks.k1.type = logger14 15 16 # Use a channel which buffers events in memory17 a1.channels.c1.type = memory18 a1.channels.c1.capacity = 100019 a1.channels.c1.transactionCapacity = 10020 21 # Bind the source and sink to the channel22 a1.sources.r1.channels = c123 a1.sinks.k1.channel = c1

六、運行命令

6.1 啟動代理

[hadoop@hadoop1 conf]$ flume-ng agent -n a1 -f example-conf.properties

6.2 啟動avro-client客戶端向agent代理發(fā)送數(shù)據(jù)-需要單獨啟動新的窗口

[hadoop@hadoop1 conf]$ flume-ng avro-client -H localhost -p 44444 -F file01

七、結(jié)果查看

1 14/01/16 22:26:34 INFO ipc.NettyServer: [id: 0x0100c7e4, /127.0.0.1:54289 => /127.0.0.1:44444] OPEN2 14/01/16 22:26:34 INFO ipc.NettyServer: [id: 0x0100c7e4, /127.0.0.1:54289 => /127.0.0.1:44444] BOUND: /127.0.0.1:444443 14/01/16 22:26:34 INFO ipc.NettyServer: [id: 0x0100c7e4, /127.0.0.1:54289 => /127.0.0.1:44444] CONNECTED: /127.0.0.1:542894 14/01/16 22:26:36 INFO ipc.NettyServer: [id: 0x0100c7e4, /127.0.0.1:54289 :> /127.0.0.1:44444] DISCONNECTED5 14/01/16 22:26:36 INFO ipc.NettyServer: [id: 0x0100c7e4, /127.0.0.1:54289 :> /127.0.0.1:44444] UNBOUND6 14/01/16 22:26:36 INFO ipc.NettyServer: [id: 0x0100c7e4, /127.0.0.1:54289 :> /127.0.0.1:44444] CLOSED7 14/01/16 22:26:36 INFO ipc.NettyServer: Connection to /127.0.0.1:54289 disconnected.8 14/01/16 22:26:38 INFO sink.LoggerSink: Event: { headers:{} body: 68 65 6C 6C 6F 20 77 6F 72 6C 64                hello world }

關(guān)于“如何安裝部署flume1.4”這篇文章就分享到這里了，希望以上內(nèi)容可以對大家有一定的幫助，使各位可以學(xué)到更多知識，如果覺得文章不錯，請把它分享出去讓更多的人看到。

標題名稱：如何安裝部署flume1.4
轉(zhuǎn)載注明：http://aaarwkj.com/article38/peiisp.html

成都網(wǎng)站建設(shè)公司_創(chuàng)新互聯(lián)，為您提供建站公司、電子商務(wù)、ChatGPT、品牌網(wǎng)站設(shè)計、網(wǎng)站內(nèi)鏈、網(wǎng)站設(shè)計公司

廣告

聲明：本網(wǎng)站發(fā)布的內(nèi)容（圖片、視頻和文字）以用戶投稿、用戶轉(zhuǎn)載內(nèi)容為主，如果涉及侵權(quán)請盡快告知，我們將會在第一時間刪除。文章觀點不代表本網(wǎng)站立場，如需處理請聯(lián)系客服。電話：028-86922220；郵箱：631063699@qq.com。內(nèi)容未經(jīng)允許不得轉(zhuǎn)載，或轉(zhuǎn)載時需注明來源： 創(chuàng)新互聯(lián)