這篇文章主要介紹Flume如何安裝部署,文中介紹的非常詳細,具有一定的參考價值,感興趣的小伙伴們一定要看完!
專注于為中小企業(yè)提供網(wǎng)站設計制作、成都做網(wǎng)站服務,電腦端+手機端+微信端的三站合一,更高效的管理,為中小企業(yè)美蘭免費做網(wǎng)站提供優(yōu)質(zhì)的服務。我們立足成都,凝聚了一批互聯(lián)網(wǎng)行業(yè)人才,有力地推動了成百上千企業(yè)的穩(wěn)健成長,幫助中小企業(yè)通過網(wǎng)站建設實現(xiàn)規(guī)模擴充和轉(zhuǎn)變。
1、Flume的安裝非常簡單,只需要解壓即可,當然,前提是已有hadoop環(huán)境
上傳安裝包到數(shù)據(jù)源所在節(jié)點上
然后解壓 tar -zxvf apache-flume-1.6.0-bin.tar.gz,最終解壓到的位置是:/home/tuzq/software/apache-flume-1.6.0-bin
然后進入flume的目錄,修改conf下的flume-env.sh,在里面配置JAVA_HOME
2、根據(jù)數(shù)據(jù)采集的需求配置采集方案,描述在配置文件中(文件名可任意自定義)
3、指定采集方案配置文件,在相應的節(jié)點上啟動flume agent
vi netcat-logger.conf(這個是我們自己定義的采集方案的配置文件)
#定義這個agent中各組件的名字 ##表示agent中的source組件 a1.sources = r1 ##表示的是下沉組件sink a1.sinks = k1 ##agent內(nèi)部的數(shù)據(jù)傳輸通道channel,用于從source將數(shù)據(jù)傳遞到sink a1.channels = c1 #描述和配置source組件:r1 ##netcat用于監(jiān)聽一個端口的 a1.sources.r1.type = netcat ##配置的綁定地址,這個機器的hostname是hadoop1,所以下面也可以配置成hadoop1 a1.sources.r1.bind = localhost ##配置的綁定端口 a1.sources.r1.port = 44444 #描述和配置sink組件:k1 a1.sinks.k1.type = logger ##描述和配置channel組件,此處使用時內(nèi)存緩存的方式
以上是“Flume如何安裝部署”這篇文章的所有內(nèi)容,感謝各位的閱讀!希望分享的內(nèi)容對大家有幫助,更多相關(guān)知識,歡迎關(guān)注創(chuàng)新互聯(lián)行業(yè)資訊頻道!
當前名稱:Flume如何安裝部署
網(wǎng)站URL:http://aaarwkj.com/article18/peeidp.html
成都網(wǎng)站建設公司_創(chuàng)新互聯(lián),為您提供ChatGPT、網(wǎng)站收錄、網(wǎng)站改版、網(wǎng)站建設、移動網(wǎng)站建設、品牌網(wǎng)站設計
聲明:本網(wǎng)站發(fā)布的內(nèi)容(圖片、視頻和文字)以用戶投稿、用戶轉(zhuǎn)載內(nèi)容為主,如果涉及侵權(quán)請盡快告知,我們將會在第一時間刪除。文章觀點不代表本網(wǎng)站立場,如需處理請聯(lián)系客服。電話:028-86922220;郵箱:631063699@qq.com。內(nèi)容未經(jīng)允許不得轉(zhuǎn)載,或轉(zhuǎn)載時需注明來源: 創(chuàng)新互聯(lián)