這篇文章主要介紹Hadoop模式架構(gòu)是怎么樣的，文中介紹的非常詳細(xì)，具有一定的參考價(jià)值，感興趣的小伙伴們一定要看完！

金口河ssl適用于網(wǎng)站、小程序/APP、API接口等需要進(jìn)行數(shù)據(jù)傳輸應(yīng)用場景，ssl證書未來市場廣闊！成為成都創(chuàng)新互聯(lián)的ssl證書銷售渠道，可以享受市場價(jià)格4-6折優(yōu)惠！如果有意向歡迎電話聯(lián)系或者加微信：13518219792（備注：SSL證書合作）期待與您的合作！

一、Hadoop 1.0的模型：

     |

split 0->map-[sort]->[1,3..]|  /merge

| ==> reducer-->part 0=>HDFS replication

split 1->map-[sort]->[2,6..]|—————————————

| ==> reducre--->part 1         =>HDFS replication

split 2->map-[sort]->[4,2..]|

|

|

//INPUT HDFS|  //output HDFS

//啟動(dòng)有3個(gè)map，reducer只啟動(dòng)了2個(gè),sort:本地排序后發(fā)送給reducer

相同的key發(fā)送到同一個(gè)reducer

//merge:把多個(gè)數(shù)據(jù)流整合為一個(gè)數(shù)據(jù)流

工作流程：

Client--->Job--->Hadoop MapReduce master

              |

      |

              V

         /    \

Job parts     Job parts

   |         |

   VV

[Input]-- map1reduceA---->[Output]

[Data ]---map2 =》reduceB---->[Data ]

  \__map3

//其中map1,2,3和reduceA,B是交叉使用的。也就是說map1可以同時(shí)對(duì)應(yīng)reduceA和reduceB，其他的也都可以

//MapReduce將需要處理的任務(wù)分成兩個(gè)部分，Map和Reduce

Client App

(MapReduce Client)---->     Job Tracker

        |

____________________|_____________________________

[task tracker1]  [task tracker1]  [task tracker1]

map  reduce reduce reduce map    map reduce map

JobTracker:有任務(wù)列表，以及狀態(tài)信息

JobA---->[map task1]

JobB[map task2]

JobC[map task3]

...[reduce task 1]

[reduce task 2]

//任何一個(gè)task tracker能夠運(yùn)行的任務(wù)數(shù)量是有限的，可以進(jìn)行定義

//任務(wù)槽：決定可以運(yùn)行多少個(gè)job

Jobtracker：

1.負(fù)責(zé)任務(wù)分發(fā)

2.檢查Task tracker狀態(tài)，tracker故障重啟等

3.監(jiān)控任務(wù)的狀態(tài)

Job tracker存在單點(diǎn)故障的問題，在hadoop2.0后這幾個(gè)功能分別實(shí)現(xiàn)了

Mapreduce 2.0之后切割為兩部分

二、HadooP 1.0 和 2.0

1.0: pig:data flow,Hive:sql ,

2.0: MR:batch批處理,Pig:data flow,Hive:sql

RT:stream graph:實(shí)時(shí)流式圖形處理

Tez:execution engine//執(zhí)行引擎

MRv1:cluster resouce manager,Data procession

MRV2:

1.YARN:Cluster resource manager

Yet Another Resource Negotiator，另一種資源協(xié)調(diào)者

2.MRv2:Data procession

MR:batch作業(yè)

Tez:execution engine //提供運(yùn)行時(shí)環(huán)境

可以直接在YARN之上的程序有：

MapReduce:Batch,Tez,HBase,Streaming,Graph,SPark,HPC MPI[高性能],Weave

Hadoop2.0

clinet-->RM--->node1/node2/node n...

Resouce Manager: RM是獨(dú)立的

node上運(yùn)行的有[node manager+App Master+ Container]

Node manager:NM，運(yùn)行在各node上，周期向RM報(bào)告node信息，

clinet請求作業(yè)：node上的Application master決定要啟動(dòng)幾個(gè)mapper幾個(gè) reducer

mapper和reducer 稱為 Container //作業(yè)都在容器內(nèi)運(yùn)行。

Application master只有一個(gè)，且同一個(gè)任務(wù)的APP M只在一個(gè)節(jié)點(diǎn)上，但是Container會(huì)分別運(yùn)行在多個(gè)節(jié)點(diǎn)上，并周期向APP M報(bào)告其處理狀態(tài)

APP M向RM報(bào)告任務(wù)運(yùn)行狀況，在任務(wù)執(zhí)行完畢后，RM會(huì)把APP M關(guān)閉

某一個(gè)任務(wù)故障后，由App M進(jìn)行管理，而不是RM管理

2.0工作模型

A   【NM/Container 1/APP M(B)】

 \/

【RM】         --  【NM/Container 2/APP M(A)】

 /\

B   【NM/Container 3   /A&A 】

//任務(wù) A運(yùn)行了3個(gè)container,在兩個(gè)節(jié)點(diǎn)上

//任務(wù)B運(yùn)行了1個(gè)container，在一個(gè)節(jié)點(diǎn)上

Mapreduce status：container向APP M報(bào)告 //container包括map和reducer任務(wù)

Job submission：

node status：NM周期向RM報(bào)告

Resouce Request ：由App M向RM申請，然后APP M就可以使用其他node 的container

client請求-->RM查找空閑node，空閑node上運(yùn)行APP M-->APP M向RM申請運(yùn)行container資源，RM向NM提請container，RM分配好coantainer后，告訴給APP M

APP M使用container運(yùn)行任務(wù)。Container在運(yùn)行過程中，不斷向APP M反饋?zhàn)约旱臓顟B(tài)和進(jìn)度，APP M向RM報(bào)告運(yùn)行狀態(tài)。

APP M報(bào)告運(yùn)行完成，RM收回container和關(guān)閉APP M

RM:resource manager

NM:node manager

AM:application master

container:mr任務(wù)運(yùn)行

Hadoop 發(fā)展路線：

2003 nutch //蜘蛛程序

2004-2006：Mapreduce + GFS,論文

2011：hadoop 1.0.0

2013：hadoop 2.0

http://hadoop.apache.org/

可以直接在YARN之上的程序有：

MapReduce:Batch,Tez,HBase,Streaming,Graph,SPark,HPC MPI[高性能],Weave

三、Hadoop 2.0生態(tài)系統(tǒng)與基本組件

//在YARN之上是依賴于YARN的，其他的都是可以獨(dú)立使用的

2、HDFS（Hadoop分布式文件系統(tǒng)）

源自于Google的GFS論文，發(fā)表于2003年10月，HDFS是GFS克隆版。

HDFS是Hadoop體系中數(shù)據(jù)存儲(chǔ)管理的基礎(chǔ)。它是一個(gè)高度容錯(cuò)的系統(tǒng)，能檢測和應(yīng)對(duì)硬件故障，用于在低成本的通用硬件上運(yùn)行。

HDFS簡化了文件的一致性模型，通過流式數(shù)據(jù)訪問，提供高吞吐量應(yīng)用程序數(shù)據(jù)訪問功能，適合帶有大型數(shù)據(jù)集的應(yīng)用程序。

它提供了一次寫入多次讀取的機(jī)制，數(shù)據(jù)以塊的形式，同時(shí)分布在集群不同物理機(jī)器上。

3、Mapreduce（分布式計(jì)算框架）

源自于google的MapReduce論文，發(fā)表于2004年12月，Hadoop MapReduce是google MapReduce 克隆版。

MapReduce是一種分布式計(jì)算模型，用以進(jìn)行大數(shù)據(jù)量的計(jì)算。它屏蔽了分布式計(jì)算框架細(xì)節(jié)，將計(jì)算抽象成map和reduce兩部分，

其中Map對(duì)數(shù)據(jù)集上的獨(dú)立元素進(jìn)行指定的操作，生成鍵-值對(duì)形式中間結(jié)果。Reduce則對(duì)中間結(jié)果中相同“鍵”的所有“值”進(jìn)行規(guī)約，以得到最終結(jié)果。

MapReduce非常適合在大量計(jì)算機(jī)組成的分布式并行環(huán)境里進(jìn)行數(shù)據(jù)處理。

4. HBASE（分布式列存數(shù)據(jù)庫）

源自Google的Bigtable論文，發(fā)表于2006年11月，HBase是Google Bigtable克隆版

HBase是一個(gè)建立在HDFS之上，面向列的針對(duì)結(jié)構(gòu)化數(shù)據(jù)的可伸縮、高可靠、高性能、分布式和面向列的動(dòng)態(tài)模式數(shù)據(jù)庫。

HBase采用了BigTable的數(shù)據(jù)模型：增強(qiáng)的稀疏排序映射表（Key/Value），其中，鍵由行關(guān)鍵字、列關(guān)鍵字和時(shí)間戳構(gòu)成。

HBase提供了對(duì)大規(guī)模數(shù)據(jù)的隨機(jī)、實(shí)時(shí)讀寫訪問，同時(shí)，HBase中保存的數(shù)據(jù)可以使用MapReduce來處理，它將數(shù)據(jù)存儲(chǔ)和并行計(jì)算完美地結(jié)合在一起。

HBase:山寨版的BitTable,列式存儲(chǔ),SQL為行式存儲(chǔ)。

列祖：把多個(gè)常用的列存放在一個(gè)中。

cell:行和列的交叉位置，每個(gè)cell在存儲(chǔ)時(shí)，可以多版本共存，之前的版本不會(huì)被刪除，可以追溯老版本。

    可以指定保存幾個(gè)版本。每個(gè)cell都是鍵值對(duì)，任何一個(gè)行多一個(gè)字段或者少一個(gè)字段，都是可以的，沒有強(qiáng)schema約束

HBASE是工作在HDFS之上，轉(zhuǎn)化為chunk的

需要用到大數(shù)據(jù)塊時(shí)，讀取到HBase中，進(jìn)行讀取和修改，然后覆蓋或者寫入HDFS

從而實(shí)現(xiàn)隨機(jī)讀寫。HDFS是不支持隨機(jī)讀寫的

HBase接口：

HBase基于分布式實(shí)現(xiàn)：需要另起一套集群，嚴(yán)重依賴于ZooKeeper解決腦裂

HDFS本身就有冗余功能，每個(gè)chunk存儲(chǔ)為了多個(gè)副本

HBase作為面向列的數(shù)據(jù)庫運(yùn)行在HDFS之上，HDFS缺乏隨即讀寫操作，HBase正是為此而出現(xiàn)。

HBase以Google BigTable為藍(lán)本，以鍵值對(duì)的形式存儲(chǔ)。項(xiàng)目的目標(biāo)就是快速在主機(jī)內(nèi)數(shù)十億行數(shù)據(jù)中定位所需的數(shù)據(jù)并訪問它。

HBase是一個(gè)數(shù)據(jù)庫，一個(gè)NoSql的數(shù)據(jù)庫，像其他數(shù)據(jù)庫一樣提供隨即讀寫功能，Hadoop不能滿足實(shí)時(shí)需要，HBase正可以滿足。

如果你需要實(shí)時(shí)訪問一些數(shù)據(jù)，就把它存入HBase。

你可以用Hadoop作為靜態(tài)數(shù)據(jù)倉庫，HBase作為數(shù)據(jù)存儲(chǔ)，放那些進(jìn)行一些操作會(huì)改變的數(shù)據(jù)

5. Zookeeper（分布式協(xié)作服務(wù)）

源自Google的Chubby論文，發(fā)表于2006年11月，Zookeeper是Chubby克隆版

解決分布式環(huán)境下的數(shù)據(jù)管理問題：統(tǒng)一命名，狀態(tài)同步，集群管理，配置同步等。

Hadoop的許多組件依賴于Zookeeper，它運(yùn)行在計(jì)算機(jī)集群上面，用于管理Hadoop操作。

6. HIVE（數(shù)據(jù)倉庫）小蜜蜂

由facebook開源，最初用于解決海量結(jié)構(gòu)化的日志數(shù)據(jù)統(tǒng)計(jì)問題。

Hive定義了一種類似SQL的查詢語言(HQL),將SQL轉(zhuǎn)化為MapReduce任務(wù)在Hadoop上執(zhí)行。通常用于離線分析。

HQL用于運(yùn)行存儲(chǔ)在Hadoop上的查詢語句，Hive讓不熟悉MapReduce開發(fā)人員也能編寫數(shù)據(jù)查詢語句，然后這些語句被翻譯為Hadoop上面的MapReduce任務(wù)。

    Hive：幫忙轉(zhuǎn)換成MapReduce任務(wù)//MapReduce:是bat程序，速度較慢

        HQ與SQl語句接近，適合在離線下進(jìn)行數(shù)據(jù)的操作，在真實(shí)的生產(chǎn)環(huán)境中進(jìn)行實(shí)時(shí)的在線查詢或操作很“慢”

Hive在Hadoop中扮演數(shù)據(jù)倉庫的角色。

你可以用 HiveQL進(jìn)行select,join,等等操作。

如果你有數(shù)據(jù)倉庫的需求并且你擅長寫SQL并且不想寫MapReduce jobs就可以用Hive代替。

熟悉SQL的朋友可以使用Hive對(duì)離線的進(jìn)行數(shù)據(jù)處理與分析工作

7.Pig(ad-hoc腳本）

由yahoo!開源，設(shè)計(jì)動(dòng)機(jī)是提供一種基于MapReduce的ad-hoc(計(jì)算在query時(shí)發(fā)生)數(shù)據(jù)分析工具

Pig定義了一種數(shù)據(jù)流語言—Pig Latin，它是MapReduce編程的復(fù)雜性的抽象,Pig平臺(tái)包括運(yùn)行環(huán)境和用于分析Hadoop數(shù)據(jù)集的腳本語言(Pig Latin)。

其編譯器將Pig Latin翻譯成MapReduce程序序列將腳本轉(zhuǎn)換為MapReduce任務(wù)在Hadoop上執(zhí)行。通常用于進(jìn)行離線分析。

Pig:腳本編程語言接口 一種操作hadoop的輕量級(jí)腳本語言，最初又雅虎公司推出，不過現(xiàn)在正在走下坡路了。

不過個(gè)人推薦使用Hive

8.Sqoop(數(shù)據(jù)ETL/同步工具）

Sqoop是SQL-to-Hadoop的縮寫，主要用于傳統(tǒng)數(shù)據(jù)庫和Hadoop之前傳輸數(shù)據(jù)。數(shù)據(jù)的導(dǎo)入和導(dǎo)出本質(zhì)上是Mapreduce程序，充分利用了MR的并行化和容錯(cuò)性。

Sqoop利用數(shù)據(jù)庫技術(shù)描述數(shù)據(jù)架構(gòu)，用于在關(guān)系數(shù)據(jù)庫、數(shù)據(jù)倉庫和Hadoop之間轉(zhuǎn)移數(shù)據(jù)。

9.Flume（日志收集工具）

Cloudera開源的日志收集系統(tǒng)，具有分布式、高可靠、高容錯(cuò)、易于定制和擴(kuò)展的特點(diǎn)。

它將數(shù)據(jù)從產(chǎn)生、傳輸、處理并最終寫入目標(biāo)的路徑的過程抽象為數(shù)據(jù)流，在具體的數(shù)據(jù)流中，數(shù)據(jù)源支持在Flume中定制數(shù)據(jù)發(fā)送方，從而支持收集各種不同協(xié)議數(shù)據(jù)。

同時(shí)，F(xiàn)lume數(shù)據(jù)流提供對(duì)日志數(shù)據(jù)進(jìn)行簡單處理的能力，如過濾、格式轉(zhuǎn)換等。此外，F(xiàn)lume還具有能夠?qū)⑷罩緦懲鞣N數(shù)據(jù)目標(biāo)（可定制）的能力。

總的來說，F(xiàn)lume是一個(gè)可擴(kuò)展、適合復(fù)雜環(huán)境的海量日志收集系統(tǒng)。當(dāng)然也可以用于收集其他類型數(shù)據(jù)

10.Mahout（數(shù)據(jù)挖掘算法庫）

Mahout起源于2008年，最初是Apache Lucent的子項(xiàng)目，它在極短的時(shí)間內(nèi)取得了長足的發(fā)展，現(xiàn)在是Apache的頂級(jí)項(xiàng)目。

Mahout的主要目標(biāo)是創(chuàng)建一些可擴(kuò)展的機(jī)器學(xué)習(xí)領(lǐng)域經(jīng)典算法的實(shí)現(xiàn)，旨在幫助開發(fā)人員更加方便快捷地創(chuàng)建智能應(yīng)用程序。

Mahout現(xiàn)在已經(jīng)包含了聚類、分類、推薦引擎（協(xié)同過濾）和頻繁集挖掘等廣泛使用的數(shù)據(jù)挖掘方法。

除了算法，Mahout還包含數(shù)據(jù)的輸入/輸出工具、與其他存儲(chǔ)系統(tǒng)（如數(shù)據(jù)庫、MongoDB 或Cassandra）集成等數(shù)據(jù)挖掘支持架構(gòu)。

11. Oozie(工作流調(diào)度器）

Oozie是一個(gè)可擴(kuò)展的工作體系，集成于Hadoop的堆棧，用于協(xié)調(diào)多個(gè)MapReduce作業(yè)的執(zhí)行。它能夠管理一個(gè)復(fù)雜的系統(tǒng)，基于外部事件來執(zhí)行，外部事件包括數(shù)據(jù)的定時(shí)和數(shù)據(jù)的出現(xiàn)。

Oozie工作流是放置在控制依賴DAG（有向無環(huán)圖 Direct Acyclic Graph）中的一組動(dòng)作（例如，Hadoop的Map/Reduce作業(yè)、Pig作業(yè)等），其中指定了動(dòng)作執(zhí)行的順序。

Oozie使用hPDL（一種XML流程定義語言）來描述這個(gè)圖。

12. Yarn(分布式資源管理器）

YARN是下一代MapReduce，即MRv2，是在第一代MapReduce基礎(chǔ)上演變而來的，主要是為了解決原始Hadoop擴(kuò)展性較差，不支持多計(jì)算框架而提出的。

Yarn是下一代 Hadoop 計(jì)算平臺(tái)，yarn是一個(gè)通用的運(yùn)行時(shí)框架，用戶可以編寫自己的計(jì)算框架，在該運(yùn)行環(huán)境中運(yùn)行。

用于自己編寫的框架作為客戶端的一個(gè)lib，在運(yùn)用提交作業(yè)時(shí)打包即可。該框架為提供了以下幾個(gè)組件：

 - 資源管理：包括應(yīng)用程序管理和機(jī)器資源管理

 - 資源雙層調(diào)度

 - 容錯(cuò)性：各個(gè)組件均有考慮容錯(cuò)性

 - 擴(kuò)展性：可擴(kuò)展到上萬個(gè)節(jié)點(diǎn)

13. Mesos（分布式資源管理器）

 Mesos誕生于UC Berkeley的一個(gè)研究項(xiàng)目，現(xiàn)已成為Apache項(xiàng)目，當(dāng)前有一些公司使用Mesos管理集群資源，比如Twitter。

 與yarn類似，Mesos是一個(gè)資源統(tǒng)一管理和調(diào)度的平臺(tái)，同樣支持比如MR、steaming等多種運(yùn)算框架。

14. Tachyon（分布式內(nèi)存文件系統(tǒng)）

Tachyon（/'tki:n/ 意為超光速粒子）是以內(nèi)存為中心的分布式文件系統(tǒng)，擁有高性能和容錯(cuò)能力，

能夠?yàn)榧嚎蚣埽ㄈ鏢park、MapReduce）提供可靠的內(nèi)存級(jí)速度的文件共享服務(wù)。

Tachyon誕生于UC Berkeley的AMPLab。

15. Tez(DAG計(jì)算模型)

Tez是Apache最新開源的支持DAG作業(yè)的計(jì)算框架，它直接源于MapReduce框架，核心思想是將Map和Reduce兩個(gè)操作進(jìn)一步拆分，

即Map被拆分成Input、Processor、Sort、Merge和Output， Reduce被拆分成Input、Shuffle、Sort、Merge、Processor和Output等，

這樣，這些分解后的元操作可以任意靈活組合，產(chǎn)生新的操作，這些操作經(jīng)過一些控制程序組裝后，可形成一個(gè)大的DAG作業(yè)。

目前hive支持mr、tez計(jì)算模型，tez能完美二進(jìn)制mr程序，提升運(yùn)算性能。

16. Spark(內(nèi)存DAG計(jì)算模型)

Spark是一個(gè)Apache項(xiàng)目，它被標(biāo)榜為“快如閃電的集群計(jì)算”。它擁有一個(gè)繁榮的開源社區(qū)，并且是目前最活躍的Apache項(xiàng)目。

最早Spark是UC Berkeley AMP lab所開源的類Hadoop MapReduce的通用的并行計(jì)算框架。

Spark提供了一個(gè)更快、更通用的數(shù)據(jù)處理平臺(tái)。和Hadoop相比，Spark可以讓你的程序在內(nèi)存中運(yùn)行時(shí)速度提升100倍，或者在磁盤上運(yùn)行時(shí)速度提升10倍

17. Giraph(圖計(jì)算模型)

Apache Giraph是一個(gè)可伸縮的分布式迭代圖處理系統(tǒng)， 基于Hadoop平臺(tái)，靈感來自 BSP (bulk synchronous parallel) 和 Google 的 Pregel。

最早出自雅虎。雅虎在開發(fā)Giraph時(shí)采用了Google工程師2010年發(fā)表的論文《Pregel：大規(guī)模圖表處理系統(tǒng)》中的原理。后來，雅虎將Giraph捐贈(zèng)給Apache軟件基金會(huì)。

目前所有人都可以下載Giraph，它已經(jīng)成為Apache軟件基金會(huì)的開源項(xiàng)目，并得到Facebook的支持，獲得多方面的改進(jìn)。

18.GraphX(圖計(jì)算模型）

Spark GraphX最先是伯克利AMPLAB的一個(gè)分布式圖計(jì)算框架項(xiàng)目，目前整合在spark運(yùn)行框架中，為其提供BSP大規(guī)模并行圖計(jì)算能力。

19. MLib（機(jī)器學(xué)習(xí)庫）

Spark MLlib是一個(gè)機(jī)器學(xué)習(xí)庫，它提供了各種各樣的算法，這些算法用來在集群上針對(duì)分類、回歸、聚類、協(xié)同過濾等。

20. Streaming（流計(jì)算模型）

Spark Streaming支持對(duì)流數(shù)據(jù)的實(shí)時(shí)處理，以微批的方式對(duì)實(shí)時(shí)數(shù)據(jù)進(jìn)行計(jì)算

21. Kafka（分布式消息隊(duì)列）

Kafka是Linkedin于2010年12月份開源的消息系統(tǒng)，它主要用于處理活躍的流式數(shù)據(jù)。

活躍的流式數(shù)據(jù)在web網(wǎng)站應(yīng)用中非常常見，這些數(shù)據(jù)包括網(wǎng)站的pv、用戶訪問了什么內(nèi)容，搜索了什么內(nèi)容等。

這些數(shù)據(jù)通常以日志的形式記錄下來，然后每隔一段時(shí)間進(jìn)行一次統(tǒng)計(jì)處理。

22. Phoenix（hbase sql接口）

Apache Phoenix 是HBase的SQL驅(qū)動(dòng)，Phoenix 使得Hbase 支持通過JDBC的方式進(jìn)行訪問，并將你的SQL查詢轉(zhuǎn)換成Hbase的掃描和相應(yīng)的動(dòng)作。

23. ranger(安全管理工具）

Apache ranger是一個(gè)hadoop集群權(quán)限框架，提供操作、監(jiān)控、管理復(fù)雜的數(shù)據(jù)權(quán)限，它提供一個(gè)集中的管理機(jī)制，管理基于yarn的hadoop生態(tài)圈的所有數(shù)據(jù)權(quán)限。

24. knox（hadoop安全網(wǎng)關(guān)）

Apache knox是一個(gè)訪問hadoop集群的restapi網(wǎng)關(guān)，它為所有rest訪問提供了一個(gè)簡單的訪問接口點(diǎn)，能完成3A認(rèn)證（Authentication，Authorization，Auditing）和SSO（單點(diǎn)登錄）等

25. falcon（數(shù)據(jù)生命周期管理工具）

Apache Falcon 是一個(gè)面向Hadoop的、新的數(shù)據(jù)處理和管理平臺(tái)，設(shè)計(jì)用于數(shù)據(jù)移動(dòng)、數(shù)據(jù)管道協(xié)調(diào)、生命周期管理和數(shù)據(jù)發(fā)現(xiàn)。它使終端用戶可以快速地將他們的數(shù)據(jù)及其相關(guān)的處理和管理任務(wù)“上載（onboard）”到Hadoop集群。

26.Ambari（安裝部署配置管理工具）

Apache Ambari 的作用來說，就是創(chuàng)建、管理、監(jiān)視 Hadoop 的集群，是為了讓 Hadoop 以及相關(guān)的大數(shù)據(jù)軟件更容易使用的一個(gè)web工具。

注意：Hadoop盡量不要運(yùn)行在虛擬機(jī)上，因?yàn)閷?duì)IO影響比較大

Hadoop Distribution:

    社區(qū)版：Apache Hadoop

  第三方發(fā)行版：

        Cloudera:hadoop源創(chuàng)始人：CDH //iso鏡像，最成型的

Hortonworks:原有的hadoop人員：HDP //iso鏡像，非開源

Intel:IDH

MapR:

        Amazon Elastic Map Reduce（EMR）

    推薦使用Apache hadoop或者CDH

以上是“Hadoop模式架構(gòu)是怎么樣的”這篇文章的所有內(nèi)容，感謝各位的閱讀！希望分享的內(nèi)容對(duì)大家有幫助，更多相關(guān)知識(shí)，歡迎關(guān)注創(chuàng)新互聯(lián)行業(yè)資訊頻道！

另外有需要云服務(wù)器可以了解下創(chuàng)新互聯(lián)cdcxhl.cn，海內(nèi)外云服務(wù)器15元起步，三天無理由+7*72小時(shí)售后在線，公司持有idc許可證，提供“云服務(wù)器、裸金屬服務(wù)器、高防服務(wù)器、香港服務(wù)器、美國服務(wù)器、虛擬主機(jī)、免備案服務(wù)器”等云主機(jī)租用服務(wù)以及企業(yè)上云的綜合解決方案，具有“安全穩(wěn)定、簡單易用、服務(wù)可用性高、性價(jià)比高”等特點(diǎn)與優(yōu)勢，專為企業(yè)上云打造定制，能夠滿足用戶豐富、多元化的應(yīng)用場景需求。

文章題目：Hadoop模式架構(gòu)是怎么樣的-創(chuàng)新互聯(lián)
瀏覽路徑：http://aaarwkj.com/article42/ccpoec.html

成都網(wǎng)站建設(shè)公司_創(chuàng)新互聯(lián)，為您提供微信小程序、關(guān)鍵詞優(yōu)化、企業(yè)建站、云服務(wù)器、營銷型網(wǎng)站建設(shè)、網(wǎng)站制作

廣告

聲明：本網(wǎng)站發(fā)布的內(nèi)容（圖片、視頻和文字）以用戶投稿、用戶轉(zhuǎn)載內(nèi)容為主，如果涉及侵權(quán)請盡快告知，我們將會(huì)在第一時(shí)間刪除。文章觀點(diǎn)不代表本網(wǎng)站立場，如需處理請聯(lián)系客服。電話：028-86922220；郵箱：631063699@qq.com。內(nèi)容未經(jīng)允許不得轉(zhuǎn)載，或轉(zhuǎn)載時(shí)需注明來源： 創(chuàng)新互聯(lián)