這篇文章主要講解了“Hadoop常用的場景有哪些”，文中的講解內(nèi)容簡單清晰，易于學(xué)習(xí)與理解，下面請大家跟著小編的思路慢慢深入，一起來研究和學(xué)習(xí)“Hadoop常用的場景有哪些”吧！

寧城ssl適用于網(wǎng)站、小程序/APP、API接口等需要進(jìn)行數(shù)據(jù)傳輸應(yīng)用場景，ssl證書未來市場廣闊！成為創(chuàng)新互聯(lián)的ssl證書銷售渠道，可以享受市場價格4-6折優(yōu)惠！如果有意向歡迎電話聯(lián)系或者加微信：18982081108（備注：SSL證書合作）期待與您的合作！

Hadoop是什么?

隨著數(shù)據(jù)量的急劇增加，遇到的兩個最直接的問題就是數(shù)據(jù)存儲和計算(分析/利用)。

Hadoop是由Apache基金會所開發(fā)的一個用Java實(shí)現(xiàn)的分布式基礎(chǔ)框架，也可以看做是一個支持開發(fā)、運(yùn)行由通用計算設(shè)備組成的大型集群上的分布式應(yīng)用的平臺。Hadoop中的兩個最重要的組件—HDFS和MapReduce就是用來解決海量數(shù)據(jù)(分布式)存儲、海量數(shù)據(jù)(分布式)計算的。用戶可以在不了解分布式底層細(xì)節(jié)的情況下，開發(fā)分布式程序。充分利用集群的威力進(jìn)行高速運(yùn)算和存儲。

Hadoop實(shí)現(xiàn)了一個分布式文件系統(tǒng)（Hadoop Distributed File System），簡稱HDFS。HDFS有高容錯性的特點(diǎn)，并且設(shè)計用來部署在低廉的（low-cost）硬件上；而且它提供高吞吐量（high throughput）來訪問應(yīng)用程序的數(shù)據(jù)，適合那些有著超大數(shù)據(jù)集（large data set）的應(yīng)用程序。HDFS放寬了（relax）POSIX的要求，可以以流的形式訪問（streaming access）文件系統(tǒng)中的數(shù)據(jù)。

HDFS有兩種節(jié)點(diǎn)，NameNode和DataNode。DataNode主要用來存儲數(shù)據(jù)，NameNode管理著整個文件系統(tǒng)的交互。相對于普通的文件系統(tǒng)，HDFS顯著的特點(diǎn)是分布式海量存儲、備份機(jī)制。

Hadoop的框架最核心的設(shè)計就是：HDFS和MapReduce。HDFS為海量的數(shù)據(jù)提供了存儲，則MapReduce為海量的數(shù)據(jù)提供了計算。MapReduce：并行計算框架，MapReduce其實(shí)是一種分布式計算模型，多個計算機(jī)并行計算，共同做一件事情。

Hadoop的應(yīng)用場景：

簡單認(rèn)識了什么是Hadoop，再來了解一下Hadoop一般都適用于哪些場景。

Hadoop主要應(yīng)用于大數(shù)據(jù)量的離線場景，特點(diǎn)是大數(shù)據(jù)量、離線。

數(shù)據(jù)量大：一般真正線上用Hadoop的，集群規(guī)模都在上百臺到幾千臺的機(jī)器。這種情況下，T級別的數(shù)據(jù)也是很小的。

離線：Mapreduce框架下，很難處理實(shí)時計算，作業(yè)都以日志分析這樣的線下作業(yè)為主。另外，集群中一般都會有大量作業(yè)等待被調(diào)度，保證資源充分利用。

另外，由于HDFS設(shè)計的特點(diǎn)，Hadoop適合處理文件塊大的文件。大量的小文件使用Hadoop來處理效率會很低。

Hadoop常用的場景有：

大數(shù)據(jù)量存儲：分布式存儲（各種云盤，百度，360~還有云平臺均有hadoop應(yīng)用）

l  日志處理

l  海量計算，并行計算

l  數(shù)據(jù)挖掘(比如廣告推薦等）

l  行為分析，用戶建模等

感謝各位的閱讀，以上就是“Hadoop常用的場景有哪些”的內(nèi)容了，經(jīng)過本文的學(xué)習(xí)后，相信大家對Hadoop常用的場景有哪些這一問題有了更深刻的體會，具體使用情況還需要大家實(shí)踐驗(yàn)證。這里是創(chuàng)新互聯(lián)，小編將為大家推送更多相關(guān)知識點(diǎn)的文章，歡迎關(guān)注！

文章名稱：Hadoop常用的場景有哪些-創(chuàng)新互聯(lián)
文章地址：http://aaarwkj.com/article6/cchjog.html

成都網(wǎng)站建設(shè)公司_創(chuàng)新互聯(lián)，為您提供做網(wǎng)站、搜索引擎優(yōu)化、網(wǎng)頁設(shè)計公司、服務(wù)器托管、微信公眾號、電子商務(wù)

廣告

聲明：本網(wǎng)站發(fā)布的內(nèi)容（圖片、視頻和文字）以用戶投稿、用戶轉(zhuǎn)載內(nèi)容為主，如果涉及侵權(quán)請盡快告知，我們將會在第一時間刪除。文章觀點(diǎn)不代表本網(wǎng)站立場，如需處理請聯(lián)系客服。電話：028-86922220；郵箱：631063699@qq.com。內(nèi)容未經(jīng)允許不得轉(zhuǎn)載，或轉(zhuǎn)載時需注明來源： 創(chuàng)新互聯(lián)