欧美一级特黄大片做受成人-亚洲成人一区二区电影-激情熟女一区二区三区-日韩专区欧美专区国产专区

使用flume替代原有的scribe服務(wù)

以前很多業(yè)務(wù)都是用scribe做日志收集的支撐的,后來fb停止了對scribe的開發(fā)支持。而且scribe在機器上編譯一次的代價太大了,各種坑,正好后來flume從1.3.0開始加入了對scribe的支持。就可以把原來scribe上面接入的數(shù)據(jù)轉(zhuǎn)用flume收集了。雖然我很喜歡scribe,但是失去了官方支持畢竟還是很鬧心的。

站在用戶的角度思考問題,與客戶深入溝通,找到靜海網(wǎng)站設(shè)計與靜海網(wǎng)站推廣的解決方案,憑借多年的經(jīng)驗,讓設(shè)計與互聯(lián)網(wǎng)技術(shù)結(jié)合,創(chuàng)造個性化、用戶體驗好的作品,建站類型包括:網(wǎng)站建設(shè)、成都網(wǎng)站建設(shè)、企業(yè)官網(wǎng)、英文網(wǎng)站、手機端網(wǎng)站、網(wǎng)站推廣、域名與空間、網(wǎng)站空間、企業(yè)郵箱。業(yè)務(wù)覆蓋靜海地區(qū)。

agent.channels=c1
agent.channels.c1.capacity=20000
agent.channels.c1.transactionCapacity=10000
agent.channels.c1.type=memory
agent.sinks=k1
agent.sinks.k1.channel=c1
agent.sinks.k1.hdfs.batchSize=8000
agent.sinks.k1.hdfs.filePrefix=log
agent.sinks.k1.hdfs.fileType=DataStream
agent.sinks.k1.hdfs.path=hdfs://NNHA/data/flume/%{category}/%Y%m%d
agent.sinks.k1.hdfs.rollCount=0
agent.sinks.k1.hdfs.rollInterval=86400
agent.sinks.k1.hdfs.round=true
agent.sinks.k1.hdfs.roundUnit=minute
agent.sinks.k1.hdfs.roundValue=1
agent.sinks.k1.hdfs.serializer.appendNewline=false
agent.sinks.k1.hdfs.useLocalTimeStamp=true
agent.sinks.k1.hdfs.writeFormat=TEXT
agent.sinks.k1.type=hdfs
agent.sources=r1
agent.sources.r1.channels=c1
agent.sources.r1.host=0.0.0.0
agent.sources.r1.port=1463
agent.sources.r1.type=org.apache.flume.source.scribe.ScribeSource
agent.sources.r1.workerThreads=5

主要是serializer.appendNewline設(shè)置為false,否則會每條自動添加一個回車上去,其他也沒什么太多好解釋的,用過flume的自然秒懂,hdfs.path里面,%{category}就是意味著原來scribe里面的category。

flume 1.6的新特性里面是加入了對kafka的source和sink的支持,以及對數(shù)據(jù)內(nèi)容的正則過濾傳遞,這點很有用,貌似下個月或者下下個月會有本關(guān)于flume的新書上市。

網(wǎng)站標(biāo)題:使用flume替代原有的scribe服務(wù)
本文來源:http://aaarwkj.com/article36/jjghpg.html

成都網(wǎng)站建設(shè)公司_創(chuàng)新互聯(lián),為您提供軟件開發(fā)、品牌網(wǎng)站建設(shè)、網(wǎng)頁設(shè)計公司、微信小程序、網(wǎng)站營銷企業(yè)網(wǎng)站制作

廣告

聲明:本網(wǎng)站發(fā)布的內(nèi)容(圖片、視頻和文字)以用戶投稿、用戶轉(zhuǎn)載內(nèi)容為主,如果涉及侵權(quán)請盡快告知,我們將會在第一時間刪除。文章觀點不代表本網(wǎng)站立場,如需處理請聯(lián)系客服。電話:028-86922220;郵箱:631063699@qq.com。內(nèi)容未經(jīng)允許不得轉(zhuǎn)載,或轉(zhuǎn)載時需注明來源: 創(chuàng)新互聯(lián)

成都seo排名網(wǎng)站優(yōu)化
成人黄色动漫在线播放| 欧美精品成人免费在线 | 久久 久久国内精品亚洲| 激情毛片av在线免费看| 18以下的人禁止看的视频| 另类视频网站在线观看| 中国亚洲视频一区二区| 欧美日韩国产天天干| 亚洲欧美日韩在线观看a三区| 成人爱爱在线视频免费观看| 丰满人妻毛片一区二区三区| 日韩精品在线中文字幕| 国产亚洲精品第一综合| 亚洲精品国产熟女久久| 草逼免费在线观看视频| 国产成人综合久久精品推荐| 亚洲精品麻豆一区二区| 亚洲三级伦理中文字幕| 四虎在线经典视频播放| 中文字幕日韩欧美一区在线| av中文字幕一二三区| av东京热狠狠男人的天堂| 精品欧美黑人一区二区| 日韩爱视频一区二区| 久久亚洲综合精品人妻| 麻豆国产精品原创av男女| 四虎官网免费在线观看| 国内精品人妻在线中文字幕| 天天操天天日天天干夜夜情欢| 日本女优高清不卡一二三四区| 成年午夜福利片在线观看| 亚洲不卡高清一区二区三区| 亚洲视频在线视频看视频在线 | 亚洲欧美极品一区色婷婷| 精品少妇人妻av免费久久久| 精品少妇高潮蜜臀av| 日韩精品一区二区三区四区蜜桃| 超碰97国产资源在线| 97成人在线免费视频 | 亚洲一区二区三区精品日韩| 成人欧美黑人一区二区|