這篇文章將為大家詳細(xì)講解有關(guān)HDFS體系結(jié)構(gòu)及優(yōu)缺點(diǎn)是什么，小編覺(jué)得挺實(shí)用的，因此分享給大家做個(gè)參考，希望大家閱讀完這篇文章后可以有所收獲。

創(chuàng)新互聯(lián)是一家專注于成都網(wǎng)站設(shè)計(jì)、成都做網(wǎng)站與策劃設(shè)計(jì),長(zhǎng)豐網(wǎng)站建設(shè)哪家好?創(chuàng)新互聯(lián)做網(wǎng)站,專注于網(wǎng)站建設(shè)十年,網(wǎng)設(shè)計(jì)領(lǐng)域的專業(yè)建站公司;建站業(yè)務(wù)涵蓋:長(zhǎng)豐等地區(qū)。長(zhǎng)豐做網(wǎng)站價(jià)格咨詢:18980820575

HDFS體系結(jié)構(gòu)簡(jiǎn)介及優(yōu)缺點(diǎn)

        體系結(jié)構(gòu)簡(jiǎn)介

                HDFS是一個(gè)主/從(Master、Slave)體系結(jié)構(gòu)，從最終用戶的角度來(lái)看，它就像傳統(tǒng)的文件系統(tǒng)一樣，可以通過(guò)目錄路徑對(duì)文件執(zhí)行CRUD(創(chuàng)建，讀取，修改，刪除)等操作。但由于分布式存儲(chǔ)的性質(zhì)，HDFS集群擁有一個(gè)NameNode和多個(gè)DataNode。NameNode管理文件系統(tǒng)的元數(shù)據(jù)，DataNode存儲(chǔ)實(shí)際的數(shù)據(jù)。客戶端通過(guò)同NameNode和DataNode的交互訪問(wèn)文件系統(tǒng)。客戶端聯(lián)系NameNode以獲取文件的元數(shù)據(jù)，而真正的文件I/O操作是直接和DataNode進(jìn)行交互的。

        NameNode：

            NameNode是整個(gè)文件系統(tǒng)的管理節(jié)點(diǎn).

            作用：

                    1、負(fù)責(zé)管理文件系統(tǒng)的命名空間、集群配置信息和存儲(chǔ)塊的復(fù)制；

                    2、維護(hù)著整個(gè)文件系統(tǒng)的文件目錄樹(shù)和文件根目錄的元信息和每個(gè)文件對(duì)應(yīng)的數(shù)據(jù)塊列表；

                    3、接收用戶的操作請(qǐng)求；

                    4、管理文件與block之間的關(guān)系，block與DataNode之間的關(guān)系；

            NameNode會(huì)將文件系統(tǒng)的Meta-Data存儲(chǔ)在內(nèi)存中，這些信息主要包括了文件信息、每一個(gè)文件對(duì)應(yīng)的文件塊的信息和每一個(gè)文件塊在DataNode的信息等。沒(méi)有NameNode，文件系統(tǒng)將無(wú)法使用。實(shí)現(xiàn)上，如果運(yùn)行NameNode服務(wù)的機(jī)器毀壞，文件系統(tǒng)上所有的文件將會(huì)丟失，因?yàn)槲覀儾恢廊绻鶕?jù)DataNode的塊來(lái)重建文件。因此，對(duì)NameNode實(shí)現(xiàn)容錯(cuò)非常重要，Hadoop為此提供了2種機(jī)制：

                    第一種機(jī)制：備份哪些組成文件系統(tǒng)元數(shù)據(jù)持久狀態(tài)的文件。Hadoop可以通過(guò)配置使NameNode在多個(gè)文件系統(tǒng)上保存元數(shù)據(jù)的持久狀態(tài)，這些寫(xiě)操作是實(shí)時(shí)同步的，是原子操作，一般的配置是將持久狀態(tài)寫(xiě)入本地磁盤的同時(shí)，寫(xiě)入一個(gè)遠(yuǎn)程掛載的網(wǎng)絡(luò)文件系統(tǒng)(NFS)。

                    第二種機(jī)制：運(yùn)行一個(gè)輔助NameNode，但它不能被用作NameNode.這個(gè)輔助NameNode的重要作用是定期通過(guò)編輯日志合并命名空間鏡像，以防止編輯日志過(guò)大。這個(gè)輔助NameNode一般在另一臺(tái)單獨(dú)的物理計(jì)算機(jī)上運(yùn)行，因?yàn)樗枰加么罅緾PU時(shí)間與NameNode相同容量的內(nèi)存來(lái)執(zhí)行合并操作。它會(huì)報(bào)出合并后的命名空間鏡像的副本，并在NameNode發(fā)送故障時(shí)啟用，但是，輔助NameNoDE報(bào)錯(cuò)的狀態(tài)總數(shù)滯后于主節(jié)點(diǎn)，所以在主節(jié)點(diǎn)全部失效時(shí)，難免會(huì)丟失部分?jǐn)?shù)據(jù)。在這種情況下，一般把存儲(chǔ)在NFS上的NameNode元數(shù)據(jù)復(fù)制到輔助NameNode并作為新的主NameNode運(yùn)行。

            NameNode中的文件：

                                            fsimage：元數(shù)據(jù)鏡像文件。存儲(chǔ)某一時(shí)段NameNode內(nèi)存中的元數(shù)據(jù)信息。

                                            edits：操作日志文件。

                                            fstime：保存最近一次checkpoint的時(shí)間。

        SecondaryNameNode：

            HA(雙機(jī)集群系統(tǒng)簡(jiǎn)稱)的一個(gè)解決方案，并非NameNode的熱備。

            作用：

                    1、輔助NameNode分擔(dān)其工作量；

                    2、定期合并fsimage和edits，并推送給NameNode；

                    3、減少NameNode啟動(dòng)時(shí)間；

                    4、在緊急情況下，可輔助恢復(fù)NameNode；

            執(zhí)行過(guò)程：

                            從NameNode上下載元數(shù)據(jù)信息(fsimage,edits)，然后把二者合并，生成新的fsimage，在本地保存，并將其推送到NameNode，同時(shí)重置NameNode的edits。

        DataNode：

            DataNode是提供真實(shí)文件數(shù)據(jù)的存儲(chǔ)服務(wù)，是文件存儲(chǔ)的基本單元，它將Block存儲(chǔ)在本地文件系統(tǒng)中，保存了Block的Meta-data，同時(shí)周期性地將所有存在的Block信息發(fā)送給NameNode。

            DataNode也是文件系統(tǒng)的工作節(jié)點(diǎn)，它們根據(jù)需要存儲(chǔ)并檢索數(shù)據(jù)庫(kù)(受客戶端或NameNode調(diào)度)，并且定期向NameNode發(fā)送它們所在存儲(chǔ)的塊的列表。

            塊(Block)是DataNode中最基本的存儲(chǔ)單位。

            數(shù)據(jù)塊的概念：

                    對(duì)于文件內(nèi)存而言，一個(gè)文件的長(zhǎng)度大小是size，那么從文件的0偏移開(kāi)始，按照固定的大小，順序?qū)ξ募M(jìn)行劃分并編號(hào)，劃分好的每一個(gè)塊稱為一個(gè)Block。

                    在HDFS中，HDFS默認(rèn)Block大小是64MB，不同于普通文件系統(tǒng)的是，HDFS中，如果一個(gè)文件小于一個(gè)數(shù)據(jù)塊的大小，并不會(huì)占用整個(gè)block的存儲(chǔ)空間。

                為什么HDFS中的數(shù)據(jù)塊如此之大？

                        HDFS的塊比磁盤塊大，其目的是為了最小化尋址開(kāi)銷。如果塊設(shè)置得足夠大，從磁盤傳輸數(shù)據(jù)的時(shí)間可以明顯大于這個(gè)快開(kāi)始位置所需的時(shí)間。這樣，傳輸一個(gè)由多個(gè)塊組成的文件的時(shí)間取決于磁盤傳輸速率。

                        在很多情況下HDFS使用128MB的設(shè)置。但是該參數(shù)也不會(huì)設(shè)置得過(guò)大，MapReduce中的map任務(wù)通常一次處理一個(gè)塊中的數(shù)據(jù)，因此如果任務(wù)數(shù)太少(少于集群中的節(jié)點(diǎn)數(shù)據(jù))，作業(yè)的運(yùn)行速度就會(huì)比較慢。

                        每個(gè)文件有多個(gè)復(fù)本，HDFS中默認(rèn)是3個(gè)?？稍趆dfs-site.xml中配置（dfs.replication屬性）。

        HDFS中的Master：

                在Hadoop中的conf下的Master配置文件中，在此文件中的節(jié)點(diǎn)主要的作用：

                            1、管理HDFS的名稱空間；

                            2、管理數(shù)據(jù)塊映射信息；

                            3、配置復(fù)本策略；

                            4、處理客戶端讀寫(xiě)請(qǐng)求；

            HDFS中的Slave：

                    配置在Hadoop中conf目錄下的Slaves文件中的節(jié)點(diǎn)主要作用：

                            1、存儲(chǔ)實(shí)際的數(shù)據(jù)塊；

                            2、執(zhí)行數(shù)據(jù)塊讀/寫(xiě)；

            HDFS中的Client：                    

                    作用：

                            1、文件切分與NameNode交互，獲取文件位置信息；

                            2、與DataNode交互，讀取或者寫(xiě)入數(shù)據(jù)；

                            3、管理HDFS；

                            4、訪問(wèn)HDFS；

關(guān)于“HDFS體系結(jié)構(gòu)及優(yōu)缺點(diǎn)是什么”這篇文章就分享到這里了，希望以上內(nèi)容可以對(duì)大家有一定的幫助，使各位可以學(xué)到更多知識(shí)，如果覺(jué)得文章不錯(cuò)，請(qǐng)把它分享出去讓更多的人看到。

新聞名稱：HDFS體系結(jié)構(gòu)及優(yōu)缺點(diǎn)是什么
文章出自：http://aaarwkj.com/article30/pdpjpo.html

成都網(wǎng)站建設(shè)公司_創(chuàng)新互聯(lián)，為您提供手機(jī)網(wǎng)站建設(shè)、網(wǎng)站制作、品牌網(wǎng)站制作、外貿(mào)建站、網(wǎng)站營(yíng)銷、全網(wǎng)營(yíng)銷推廣

廣告

聲明：本網(wǎng)站發(fā)布的內(nèi)容（圖片、視頻和文字）以用戶投稿、用戶轉(zhuǎn)載內(nèi)容為主，如果涉及侵權(quán)請(qǐng)盡快告知，我們將會(huì)在第一時(shí)間刪除。文章觀點(diǎn)不代表本網(wǎng)站立場(chǎng)，如需處理請(qǐng)聯(lián)系客服。電話：028-86922220；郵箱：631063699@qq.com。內(nèi)容未經(jīng)允許不得轉(zhuǎn)載，或轉(zhuǎn)載時(shí)需注明來(lái)源： 創(chuàng)新互聯(lián)