這篇文章主要介紹HDFS的體系結(jié)構(gòu)有哪些，文中介紹的非常詳細(xì)，具有一定的參考價(jià)值，感興趣的小伙伴們一定要看完！

創(chuàng)新互聯(lián)公司秉承實(shí)現(xiàn)全網(wǎng)價(jià)值營(yíng)銷的理念，以專業(yè)定制企業(yè)官網(wǎng)，成都網(wǎng)站設(shè)計(jì)、做網(wǎng)站、成都外貿(mào)網(wǎng)站建設(shè)公司，微信小程序開(kāi)發(fā)，網(wǎng)頁(yè)設(shè)計(jì)制作，成都手機(jī)網(wǎng)站制作，營(yíng)銷型網(wǎng)站幫助傳統(tǒng)企業(yè)實(shí)現(xiàn)“互聯(lián)網(wǎng)+”轉(zhuǎn)型升級(jí)專業(yè)定制企業(yè)官網(wǎng),公司注重人才、技術(shù)和管理，匯聚了一批優(yōu)秀的互聯(lián)網(wǎng)技術(shù)人才,對(duì)客戶都以感恩的心態(tài)奉獻(xiàn)自己的專業(yè)和所長(zhǎng)。

分布式文件系統(tǒng)HDFS是一種分布式文件系統(tǒng)，設(shè)計(jì)用于在商用硬件上運(yùn)行，它與現(xiàn)有的分布式文件系統(tǒng)有許多相似之處。但是，與其他的分布式文件系統(tǒng)也有著很大的差異，HDFS旨在具有高容錯(cuò)、部署在低成本應(yīng)將、提供對(duì)應(yīng)用數(shù)據(jù)的高吞吐量訪問(wèn)。適用于具有大型數(shù)據(jù)集的應(yīng)用程序。

HDFS采用了典型的Master/Slave系統(tǒng)架構(gòu)，一個(gè)HDFS集群通常包含一個(gè)NameNode節(jié)點(diǎn)和若干的DataNode節(jié)點(diǎn)，一個(gè)文件被分成了一個(gè)或者多個(gè)數(shù)據(jù)塊，并且存儲(chǔ)在一組DataNode上，DataNode節(jié)點(diǎn)可以分布在不同的機(jī)架。NameNode執(zhí)行文件系統(tǒng)的名字空間打開(kāi)、關(guān)閉、重命名文件或者目錄等操作，同時(shí)負(fù)責(zé)管理數(shù)據(jù)塊到具體的DataNode節(jié)點(diǎn)的映射。在NameNode的統(tǒng)一調(diào)度下，DataNode負(fù)責(zé)處理文件系統(tǒng)客戶端的讀/寫(xiě)請(qǐng)求，完成數(shù)據(jù)塊的創(chuàng)建、刪除和復(fù)制。

• NameNode和DataNode

HDFS具有主從架構(gòu)，NameNode節(jié)點(diǎn)負(fù)責(zé)集群的任務(wù)調(diào)度，DataNode節(jié)點(diǎn)負(fù)責(zé)執(zhí)行任務(wù)和存儲(chǔ)數(shù)據(jù)塊，NameNode管理文件系統(tǒng)的命名空間，維護(hù)者整個(gè)文件系統(tǒng)的文件目錄樹(shù)以及這些文件的索引目錄。這些信息以命名空間鏡像和編輯日志靚仔形式存儲(chǔ)在本地文件系統(tǒng)中。從NameNode中可以獲取每個(gè)文件的每個(gè)塊存儲(chǔ)在DataNode節(jié)點(diǎn)的位置，NameNode會(huì)在每次啟動(dòng)系統(tǒng)時(shí)動(dòng)態(tài)的重建這些信息?？蛻舳送ㄟ^(guò)NameNode獲取元數(shù)據(jù)信息，與DataNode會(huì)進(jìn)行交互以訪問(wèn)整個(gè)文件系統(tǒng)。

單個(gè)NameNode：一個(gè)管理文件系統(tǒng)命名空間的主服務(wù)器和管理客戶端對(duì)文件的訪問(wèn)組成。此外，還有許多DataNode：通常是群集中每個(gè)節(jié)點(diǎn)一個(gè)，用于管理連接到它們運(yùn)行的節(jié)點(diǎn)的存儲(chǔ)。

DataNode是文件系統(tǒng)的工作節(jié)點(diǎn)，供客戶端和NameNode調(diào)用并且執(zhí)行具體任務(wù)，存儲(chǔ)文件塊。DataNode通過(guò)心跳機(jī)制制定時(shí)向NameNode發(fā)送所儲(chǔ)存的文件塊信息，報(bào)告其工作狀態(tài)

• 數(shù)據(jù)塊

數(shù)據(jù)塊是磁盤進(jìn)行數(shù)據(jù)讀/寫(xiě)操作的最小單元。文件以塊的形式存儲(chǔ)在磁盤中，文件系統(tǒng)每次都能操作磁盤塊大小整數(shù)倍的數(shù)據(jù)。HDFS中的文件也被劃分為多個(gè)邏輯塊進(jìn)行存儲(chǔ)。HDFS中的數(shù)據(jù)庫(kù)的大小，影響到尋址開(kāi)銷，數(shù)據(jù)塊越小，尋址開(kāi)銷越大，如果數(shù)據(jù)庫(kù)設(shè)置的足夠大，從磁盤傳輸數(shù)據(jù)的時(shí)間會(huì)明顯大于定位這個(gè)數(shù)據(jù)塊開(kāi)始位置所需要的時(shí)間。因而，傳輸一個(gè)由多個(gè)數(shù)據(jù)塊組成的文件的時(shí)間取決于磁盤傳輸效率，用戶必須在數(shù)據(jù)塊大小設(shè)置上做出優(yōu)化選擇。

HDFS作為分布式系統(tǒng)，使用抽象的數(shù)據(jù)塊的優(yōu)勢(shì)：

1. 通過(guò)集群擴(kuò)展能力可以存儲(chǔ)大于網(wǎng)絡(luò)中任意一個(gè)磁盤容量的任意大小文件

2. 使用抽象塊而不是整個(gè)文件作為存儲(chǔ)單元，可簡(jiǎn)化存儲(chǔ)子系統(tǒng)，固定塊大小可方便元數(shù)據(jù)和文件數(shù)據(jù)塊的內(nèi)容分開(kāi)存儲(chǔ)

3. 便于備份和數(shù)據(jù)容錯(cuò)，提供系統(tǒng)可用性。

以上是“HDFS的體系結(jié)構(gòu)有哪些”這篇文章的所有內(nèi)容，感謝各位的閱讀！希望分享的內(nèi)容對(duì)大家有幫助，更多相關(guān)知識(shí)，歡迎關(guān)注創(chuàng)新互聯(lián)-成都網(wǎng)站建設(shè)公司行業(yè)資訊頻道！

文章名稱：HDFS的體系結(jié)構(gòu)有哪些-創(chuàng)新互聯(lián)
路徑分享：http://aaarwkj.com/article46/gojhg.html

成都網(wǎng)站建設(shè)公司_創(chuàng)新互聯(lián)，為您提供網(wǎng)站維護(hù)、定制開(kāi)發(fā)、品牌網(wǎng)站制作、企業(yè)網(wǎng)站制作、App開(kāi)發(fā)、商城網(wǎng)站

廣告

聲明：本網(wǎng)站發(fā)布的內(nèi)容（圖片、視頻和文字）以用戶投稿、用戶轉(zhuǎn)載內(nèi)容為主，如果涉及侵權(quán)請(qǐng)盡快告知，我們將會(huì)在第一時(shí)間刪除。文章觀點(diǎn)不代表本網(wǎng)站立場(chǎng)，如需處理請(qǐng)聯(lián)系客服。電話：028-86922220；郵箱：631063699@qq.com。內(nèi)容未經(jīng)允許不得轉(zhuǎn)載，或轉(zhuǎn)載時(shí)需注明來(lái)源： 創(chuàng)新互聯(lián)