HDFS集群中以Master-Slave模式運(yùn)行，主要有兩類節(jié)點(diǎn)：一個(gè)Namenode節(jié)點(diǎn)(即master)和多個(gè)Datanode節(jié)點(diǎn)。Namenode管理文件系統(tǒng)的Namespace.他維護(hù)著文件系統(tǒng)樹(shù)以及文件樹(shù)中所有的文件和文件夾的元數(shù)據(jù)。

成都創(chuàng)新互聯(lián)10多年成都企業(yè)網(wǎng)站建設(shè)服務(wù);為您提供網(wǎng)站建設(shè),網(wǎng)站制作,網(wǎng)頁(yè)設(shè)計(jì)及高端網(wǎng)站定制服務(wù),成都企業(yè)網(wǎng)站建設(shè)及推廣,對(duì)成都混凝土泵車等多個(gè)方面擁有豐富的網(wǎng)站制作經(jīng)驗(yàn)的網(wǎng)站建設(shè)公司。

      hdfs架構(gòu)圖：

      

Namenode:

Namenode管理文件系統(tǒng)的Namespace。它維護(hù)著文件系統(tǒng)樹(shù)以及文件樹(shù)中所有的文件和文件夾的元數(shù)據(jù)(Metadata).管理這些信息的文件有兩個(gè)，分別是Namespace鏡像文件(Namespace p_w_picpath)和操作日志文件(edit log), 這些信息被Cache在RAM中，當(dāng)然，這兩個(gè)文件也會(huì)被持久化存儲(chǔ)在本地磁盤。Namenode記錄著每個(gè)文件中各個(gè)塊所在的數(shù)據(jù)節(jié)點(diǎn)的位置信息，但是它并不持久化存儲(chǔ)這些信息，因?yàn)檫@些信息會(huì)在系統(tǒng)重啟時(shí)從數(shù)據(jù)及節(jié)點(diǎn)重建。

Namenode結(jié)構(gòu)抽象圖：

客戶端代表用戶與namenode和datanode交互來(lái)訪問(wèn)整個(gè)文件系統(tǒng)?？蛻舳颂峁┝艘幌盗械奈募到y(tǒng)接口，因此我們?cè)诰幊虝r(shí),幾乎無(wú)需知道datanode和namenode，即可完成我們所需要的功能。

Datanode:

Datanode是文件系統(tǒng)的工作節(jié)點(diǎn)，他們根據(jù)客戶端或者namenode的調(diào)度存儲(chǔ)和檢索數(shù)據(jù)，并且定期向namenode發(fā)送他們所存儲(chǔ)的塊(block)的列表.

Namenode容錯(cuò)機(jī)制：

沒(méi)有了Namenode,HDFS就不能工作。事實(shí)上，如果運(yùn)行namenode的機(jī)器壞掉的話，系統(tǒng)中的文件將會(huì)完全丟失，因?yàn)闆](méi)有其他方法能夠?qū)⑽挥诓煌琩atanode上的文件塊重建文件。因此，namenode的容錯(cuò)機(jī)制非常重要，Hadoop提供了兩種容錯(cuò)機(jī)制。

第一種方式：將持久化存儲(chǔ)在本地磁盤的文件系統(tǒng)元數(shù)據(jù)備份。Hadoop可以通過(guò)配置來(lái)讓Namenode將它的持久化狀態(tài)寫(xiě)道不同的文件系統(tǒng)中。這種寫(xiě)操作時(shí)同步并且是原子化的。比較常見(jiàn)的配置是在將持久化狀態(tài)寫(xiě)道本地磁盤的同時(shí)，也寫(xiě)到遠(yuǎn)端掛載的網(wǎng)絡(luò)文件系統(tǒng)。

第二種方式：是運(yùn)行一個(gè)輔助的Namenode(Secondary Namenode).實(shí)時(shí)上Secondary Namenode并不能被用作Namenode它的主要作用是定期將namespace鏡像與操作日志文件(edit log)合并，以防止操作日志文件(edit log)變的過(guò)大。通常，Secondary Namenode 運(yùn)行在一個(gè)單獨(dú)的物理機(jī)上，因?yàn)楹喜ameSpace鏡像的一個(gè)備份，如果namenode宕機(jī)了，這個(gè)備份就可以用上。但是輔助namenode總是落后于namenode，所以在namenode宕機(jī)時(shí)，數(shù)據(jù)丟失時(shí)不可避免的。在這種情況下，一般的，要結(jié)合第一種方式中提到的遠(yuǎn)程掛載的網(wǎng)絡(luò)文件系統(tǒng)(NFS)中的namenode 的元數(shù)據(jù)文件來(lái)使用，把nfs中的namenode元數(shù)據(jù)文件，拷貝到輔助namenode并把輔助namenode作為namenode來(lái)運(yùn)行。

當(dāng)前名稱：HDFS中的NameNode和DataNode
網(wǎng)站URL：http://aaarwkj.com/article4/jeicie.html

成都網(wǎng)站建設(shè)公司_創(chuàng)新互聯(lián)，為您提供網(wǎng)站導(dǎo)航、移動(dòng)網(wǎng)站建設(shè)、關(guān)鍵詞優(yōu)化、建站公司、服務(wù)器托管、品牌網(wǎng)站制作

廣告

聲明：本網(wǎng)站發(fā)布的內(nèi)容（圖片、視頻和文字）以用戶投稿、用戶轉(zhuǎn)載內(nèi)容為主，如果涉及侵權(quán)請(qǐng)盡快告知，我們將會(huì)在第一時(shí)間刪除。文章觀點(diǎn)不代表本網(wǎng)站立場(chǎng)，如需處理請(qǐng)聯(lián)系客服。電話：028-86922220；郵箱：631063699@qq.com。內(nèi)容未經(jīng)允許不得轉(zhuǎn)載，或轉(zhuǎn)載時(shí)需注明來(lái)源： 創(chuàng)新互聯(lián)