使用Apache Flume抓取數(shù)據(jù)，怎么來抓取呢？不過，在了解這個(gè)問題之前，我們必須明確ApacheFlume是什么？

澧縣ssl適用于網(wǎng)站、小程序/APP、API接口等需要進(jìn)行數(shù)據(jù)傳輸應(yīng)用場(chǎng)景，ssl證書未來市場(chǎng)廣闊！成為成都創(chuàng)新互聯(lián)公司的ssl證書銷售渠道，可以享受市場(chǎng)價(jià)格4-6折優(yōu)惠！如果有意向歡迎電話聯(lián)系或者加微信：18982081108（備注：SSL證書合作）期待與您的合作！

一、什么是Apache Flume

Apache Flume是用于數(shù)據(jù)采集的高性能系統(tǒng) ，名字來源于原始的近乎實(shí)時(shí)的日志數(shù)據(jù)采集工具，現(xiàn)在廣泛用于任何流事件數(shù)據(jù)的采集，支持從很多數(shù)據(jù)源聚合數(shù)據(jù)到HDFS。

最初由Cloudera開發(fā) ，在2011年貢獻(xiàn)給了Apache基金會(huì) ，在2012年變成了Apache的頂級(jí)項(xiàng)目，F(xiàn)lume OG升級(jí)換代成了Flume NG。

Flume具有橫向擴(kuò)展、延展性、可靠性的優(yōu)勢(shì)

二、Flume 體系結(jié)構(gòu)

Source：接受外部系統(tǒng)生成event

Sink：發(fā)送event到指定的目的地

Channel：從Source緩存event，直到Sink把event取走

Agent：一個(gè)獨(dú)立的Flume進(jìn)程，包含了source，channel和sink組件

三、Flume設(shè)計(jì)目標(biāo)：可靠性

Channels提供了Flume可靠性保障 ,那么它通過什么樣的方式來保障呢？默認(rèn)的模式就是Memory Channel，Memory Channel就是內(nèi)存，所有的數(shù)據(jù)存放在內(nèi)存當(dāng)中。那么，這里就會(huì)存在一個(gè)問題？如果Channel的節(jié)點(diǎn)出現(xiàn)斷電，數(shù)據(jù)就會(huì)丟失。為解決這一問題，這里有另外一種模式，就是基于磁盤的Channel，基于磁盤的隊(duì)列確保出現(xiàn)斷電時(shí)數(shù)據(jù)不丟失 。

另外，Agent和Channel之間的數(shù)據(jù)傳輸是事務(wù)性的 ，傳輸給下游agent失敗的數(shù)據(jù)會(huì)回滾和重試 。相同的任務(wù)可以配置多個(gè)Agent，

比如，兩個(gè)agent完成一個(gè)數(shù)據(jù)采集作業(yè)，如果一個(gè)agent失敗，則上游的agent會(huì)失敗切換到另一個(gè)。

四、Flume設(shè)計(jì)目標(biāo)：擴(kuò)展性

當(dāng)我們采集的數(shù)據(jù)特別多的時(shí)候，可以通過添加更多的系統(tǒng)資源從而線性地增加系統(tǒng)性能。而且Flume可橫向的擴(kuò)展規(guī)模 ，隨著復(fù)雜增加，可以添加更多的機(jī)器到配置當(dāng)中 。

五、Flume設(shè)計(jì)目標(biāo)：延展性

延展性就是能夠添加新的功能到系統(tǒng)中。Flume通過添加Sources和Sinks到現(xiàn)有的存儲(chǔ)層或數(shù)據(jù)平臺(tái)，常見的Sources包括files、syslog和任何linux進(jìn)程的標(biāo)準(zhǔn)輸出的數(shù)據(jù)；常用Sinks包括本地文件系統(tǒng)或HDFS，開發(fā)員可以寫自己的Sources或Sinks。

六、常見的Flume數(shù)據(jù)源

七、大規(guī)模部署實(shí)例

Flume使用agents收集數(shù)據(jù) ，Agents可以從很多源接收數(shù)據(jù)，包括其他agents。大規(guī)模的部署使用多層來實(shí)現(xiàn)擴(kuò)展性和可靠，F(xiàn)lume支持傳輸中數(shù)據(jù)的檢查和修改。

以上就是關(guān)于Apache Flume的部分詳情介紹，后續(xù)將會(huì)繼續(xù)分享。大數(shù)據(jù)將會(huì)是未來的風(fēng)口，要想很好的站在風(fēng)口上，就要持續(xù)不斷地學(xué)習(xí)和努力，這里推薦大家關(guān)注一個(gè)微信公眾號(hào)“大數(shù)據(jù)cn ”,里面有很多關(guān)于大數(shù)據(jù)知識(shí)的介紹，對(duì)于想要了解和學(xué)習(xí)大數(shù)據(jù)的人是一個(gè)很好的平臺(tái)。

 

 

網(wǎng)站題目：使用ApacheFlume抓取數(shù)據(jù)（1）
轉(zhuǎn)載注明：http://aaarwkj.com/article38/jescsp.html

成都網(wǎng)站建設(shè)公司_創(chuàng)新互聯(lián)，為您提供面包屑導(dǎo)航、虛擬主機(jī)、定制網(wǎng)站、品牌網(wǎng)站制作、、域名注冊(cè)

廣告

聲明：本網(wǎng)站發(fā)布的內(nèi)容（圖片、視頻和文字）以用戶投稿、用戶轉(zhuǎn)載內(nèi)容為主，如果涉及侵權(quán)請(qǐng)盡快告知，我們將會(huì)在第一時(shí)間刪除。文章觀點(diǎn)不代表本網(wǎng)站立場(chǎng)，如需處理請(qǐng)聯(lián)系客服。電話：028-86922220；郵箱：631063699@qq.com。內(nèi)容未經(jīng)允許不得轉(zhuǎn)載，或轉(zhuǎn)載時(shí)需注明來源： 創(chuàng)新互聯(lián)