這篇文章主要介紹了flume線(xiàn)上配置的示例分析，具有一定借鑒價(jià)值，感興趣的朋友可以參考下，希望大家閱讀完這篇文章之后大有收獲，下面讓小編帶著大家一起了解一下。

在炎陵等地區(qū)，都構(gòu)建了全面的區(qū)域性戰(zhàn)略布局，加強(qiáng)發(fā)展的系統(tǒng)性、市場(chǎng)前瞻性、產(chǎn)品創(chuàng)新能力，以專(zhuān)注、極致的服務(wù)理念，為客戶(hù)提供成都網(wǎng)站設(shè)計(jì)、成都做網(wǎng)站 網(wǎng)站設(shè)計(jì)制作按需制作網(wǎng)站,公司網(wǎng)站建設(shè),企業(yè)網(wǎng)站建設(shè),品牌網(wǎng)站制作,成都營(yíng)銷(xiāo)網(wǎng)站建設(shè),外貿(mào)營(yíng)銷(xiāo)網(wǎng)站建設(shè),炎陵網(wǎng)站建設(shè)費(fèi)用合理。

hdfs_agent.sources = r1

hdfs_agent.sinks = k1

hdfs_agent.channels = c1

# Describe/configure the source

hdfs_agent.sources.r1.type = org.apache.flume.source.kafka.KafkaSource

#hdfs_agent.sources.r1.zookeeperConnect = 10.69.40.17:2181,10.69.40.12:2181,10.69.40.7:2181,10.69.40.11:2181,10.69.40.16:2181

#hdfs_agent.sources.r1.groupId = online_kafka_to_hdfs_gk_groupid_000001

#hdfs_agent.sources.r1.topic = IRT_Dev_Status_STD

hdfs_agent.sources.r1.kafka.bootstrap.servers = 10.69.40.10:9092,10.69.40.13:9092,10.69.40.14:9092,10.69.40.15:9092

hdfs_agent.sources.r1.kafka.consumer.group.id = online_kafka_to_hdfs_gk_groupid_000001

hdfs_agent.sources.r1.kafka.topics = workcondition_info_flume

hdfs_agent.sources.r1.batchSize = 2000

hdfs_agent.sources.r1.interceptors = i1

hdfs_agent.sources.r1.interceptors.i1.type = host

# Describe the sink

hdfs_agent.sinks.k1.type = hdfs

hdfs_agent.sinks.k1.hdfs.path = hdfs://rootcloud/ods/%Y%m%d/%H

hdfs_agent.sinks.k1.hdfs.filePrefix = log-%{host}

hdfs_agent.sinks.k1.hdfs.fileType = DataStream

hdfs_agent.sinks.k1.hdfs.rollInterval = 3600

hdfs_agent.sinks.k1.hdfs.rollSize = 104857600

hdfs_agent.sinks.k1.hdfs.rollCount = 0

hdfs_agent.sinks.k1.hdfs.batchSize = 2000

hdfs_agent.sinks.k1.hdfs.callTimeout = 300000

hdfs_agent.sinks.k1.hdfs.idleTimeout = 600

# Use a channel which buffers events in memory

hdfs_agent.channels.c1.type = memory

hdfs_agent.channels.c1.capacity = 2000000

hdfs_agent.channels.c1.transactionCapacity = 3000

# Bind the source and sink to the channel

hdfs_agent.sources.r1.channels = c1

hdfs_agent.sinks.k1.channel = c1

感謝你能夠認(rèn)真閱讀完這篇文章，希望小編分享的“flume線(xiàn)上配置的示例分析”這篇文章對(duì)大家有幫助，同時(shí)也希望大家多多支持創(chuàng)新互聯(lián)，關(guān)注創(chuàng)新互聯(lián)-成都網(wǎng)站建設(shè)公司行業(yè)資訊頻道，更多相關(guān)知識(shí)等著你來(lái)學(xué)習(xí)!

當(dāng)前標(biāo)題：flume線(xiàn)上配置的示例分析-創(chuàng)新互聯(lián)
文章地址：http://aaarwkj.com/article12/jopgc.html

成都網(wǎng)站建設(shè)公司_創(chuàng)新互聯(lián)，為您提供關(guān)鍵詞優(yōu)化、品牌網(wǎng)站設(shè)計(jì)、定制開(kāi)發(fā)、企業(yè)建站、外貿(mào)建站、微信小程序

廣告

聲明：本網(wǎng)站發(fā)布的內(nèi)容（圖片、視頻和文字）以用戶(hù)投稿、用戶(hù)轉(zhuǎn)載內(nèi)容為主，如果涉及侵權(quán)請(qǐng)盡快告知，我們將會(huì)在第一時(shí)間刪除。文章觀點(diǎn)不代表本網(wǎng)站立場(chǎng)，如需處理請(qǐng)聯(lián)系客服。電話(huà)：028-86922220；郵箱：631063699@qq.com。內(nèi)容未經(jīng)允許不得轉(zhuǎn)載，或轉(zhuǎn)載時(shí)需注明來(lái)源： 創(chuàng)新互聯(lián)