欧美一级特黄大片做受成人-亚洲成人一区二区电影-激情熟女一区二区三区-日韩专区欧美专区国产专区

Hadoop安裝備忘

參考劉鵬的《實戰(zhàn)Hadoop》一書,按照hadoop 0.20.2幾個注意的地方。

創(chuàng)新互聯(lián)是一家專業(yè)提供革吉企業(yè)網(wǎng)站建設(shè),專注與做網(wǎng)站、成都做網(wǎng)站、HTML5建站、小程序制作等業(yè)務(wù)。10年已為革吉眾多企業(yè)、政府機構(gòu)等服務(wù)。創(chuàng)新互聯(lián)專業(yè)網(wǎng)站制作公司優(yōu)惠進行中。

第一,首先理解Hadoop中的幾個后臺進程。

NameNode,Secondary NameNode,JobTracker,TaskTracker,DataNode這幾個角色。

NameNode:負責(zé)如何切分數(shù)據(jù)塊,和切完放哪個節(jié)點。它對內(nèi)存和I/O集中管理。

這個進程部署在Master節(jié)點上,是一個單點,它掛了整個系統(tǒng)都掛了。

Secondary NameNode:和NameNode一樣,輔助程序。每個集群都有一個,它與NameNode進行通訊,定期保存HDFS元數(shù)據(jù)快照,當(dāng)NameNode故障可以作為備用NameNode使用。它也是部署在Master節(jié)點上。

JobTracker負責(zé)調(diào)度作業(yè),它決定哪些文件由哪些節(jié)點運行,并且監(jiān)聽TaskTracker發(fā)送來的心跳。當(dāng)收不到心跳,即認為某個task失敗,就會決定重啟task。每個集群只有一個JobTracker。它是部署在Master節(jié)點上的。

上述三個進程都是部署在Master節(jié)點上的,而TaskTracker和DataNode進程進程是集群中各個幾點都需要部署的。

DataNode負責(zé)將HDFS數(shù)據(jù)塊讀寫到本地文件系統(tǒng)。當(dāng)客戶端讀寫某個數(shù)據(jù)庫的時候,由NameNode告訴客戶端去那個DataNode進行,然后客戶端直接與這個DataNode的服務(wù)器通信,并操作相關(guān)的數(shù)據(jù)塊。

TaskTracker也是位于從節(jié)點的,它負責(zé)獨立執(zhí)行具體的Task,每個從節(jié)點只能有一個TaskTracker,但是每個TaskTracker可以產(chǎn)生多個Java虛擬機,用于并行處理多個map和reduce認為。TaskTracker還會和JobTracker交互,JobTasker負責(zé)分配Task,并且檢測TaskTracker的心跳,如果沒有心跳,就認為已經(jīng)崩潰,并將認為分配給其他的TaskTracker。

各個進程的部署圖如下:

Hadoop安裝備忘

具體的安裝環(huán)節(jié),可以參考書中的步驟,但是有幾個點需要注意。

主機和從機統(tǒng)一創(chuàng)建專門的運行hadoop的用戶grid, 設(shè)置SSH的免密碼登陸機制,可以參考http://chenlb.iteye.com/blog/211809。將所有的機器上的公鑰文件上里的內(nèi)容,都統(tǒng)一整合到一個authorized_keys文件,以此實現(xiàn)互相免密碼登陸ssh。

啟動hadoop的時候,注意要以grid用戶登錄,在grid用戶的主目錄下進行操作,有時權(quán)限的問題,此時要注意將主機和從機的hadoop文件夾的owner設(shè)置為grid用戶和組。執(zhí)行 chown -R grid:grid /home/grid/hadoop-1.2.1   (此處為hadoop的放置目錄,這里要使用root用戶修改)

然后可以到hadoop的文件夾中的bin目錄下啟動start-all.sh,可以看到如下的信息,說明啟動成功。

Hadoop安裝備忘

此時還可以通過運行命令查看進程的啟動情況,在主機上運行jdk中的jps文件,可以看到如下:

Hadoop安裝備忘

在從節(jié)點運行相同的命令,可以看到

Hadoop安裝備忘

至此,說明安裝Hadoop已經(jīng)成功了。

本文題目:Hadoop安裝備忘
文章轉(zhuǎn)載:http://aaarwkj.com/article24/pcccce.html

成都網(wǎng)站建設(shè)公司_創(chuàng)新互聯(lián),為您提供網(wǎng)站排名、、軟件開發(fā)外貿(mào)建站、網(wǎng)站導(dǎo)航、靜態(tài)網(wǎng)站

廣告

聲明:本網(wǎng)站發(fā)布的內(nèi)容(圖片、視頻和文字)以用戶投稿、用戶轉(zhuǎn)載內(nèi)容為主,如果涉及侵權(quán)請盡快告知,我們將會在第一時間刪除。文章觀點不代表本網(wǎng)站立場,如需處理請聯(lián)系客服。電話:028-86922220;郵箱:631063699@qq.com。內(nèi)容未經(jīng)允許不得轉(zhuǎn)載,或轉(zhuǎn)載時需注明來源: 創(chuàng)新互聯(lián)

h5響應(yīng)式網(wǎng)站建設(shè)
sedoge在线播放免费有码| 日韩欧美在线观看一区二区| 国内精品久久久国产盗摄| 韩国三级福利在线观看| 久久久久精品久久久| 国产精品久久久久久久av三级| 国产av一区二区三区最新精品| 深夜视频在线观看成人| 欧美乱与老熟妇视频观看| 久久九特黄的免费大片| 一区二区三区毛片av网站| 日韩av网址在线免费观看| 国产精品成人av在线网站| 美女性生活免费视频网站 | 国产亚洲一区二区三区日韩| 精品欧美激情精品一区| 性生活自制视频网站麻豆| 亚洲热久久国产经典视频| 欧美日韩天堂一区二区| 国产av剧情一区二区| 女人的天堂亚洲的天堂欧美| 亚洲国产传媒在线观看| 中文字幕日本人妻少妇| 色哟哟视频在线免费观看| 日韩中文字幕在线有码| 蜜桃av网站免费观看| 亚洲国产精品天堂av在线播放| 国产精品一区二区三区乱色| 国产成人精品久久一区二区三区| 国产精品青青在线观看爽香蕉| 国产免费成人在线视频| 蜜桃臀视频一区二区三区| 久草国产免费福利在线视频| 国产三级视频网站在线观看| 永久黄区观看在线网址| 在线播放精品免费不卡| 国产女同av一区二区三区 | 91福利社区欧美大片| 偷拍视频在线一区二区| 亚洲成人国产一区二区| 欧美性大片免费在线观看|