Hadoop分布式文件系統(tǒng)

創(chuàng)新互聯(lián)網(wǎng)站建設公司一直秉承“誠信做人，踏實做事”的原則，不欺瞞客戶，是我們最起碼的底線！ 以服務為基礎，以質(zhì)量求生存，以技術(shù)求發(fā)展，成交一個客戶多一個朋友！專注中小微企業(yè)官網(wǎng)定制，網(wǎng)站制作、成都網(wǎng)站建設，塑造企業(yè)網(wǎng)絡形象打造互聯(lián)網(wǎng)企業(yè)效應。

HDFS Hadoop Distributed Filesystem

分布式文件系統(tǒng)：當數(shù)據(jù)集大到超過一臺獨立的計算機存儲能力時，就需要存儲到若干臺單獨的計算機上，管理網(wǎng)絡中跨多臺計算機存儲的文件系統(tǒng)稱為分布式文件系統(tǒng)。

分布式文件系統(tǒng)復雜性：需要考慮節(jié)點故障、不丟失任何數(shù)據(jù)。

HDFS以流式數(shù)據(jù)訪問模式來存儲超大文件，運行于商用硬件集群上。

1.超大文件：TB甚至PB級。

2.流式數(shù)據(jù)訪問：一次寫入，多次讀取是最高效地訪問模式。在數(shù)據(jù)集上長時間進行各類分析，每次分析都涉及到數(shù)據(jù)集的大部分甚至全部。

3.商用硬件：不需要昂貴且高可靠的硬件，商用硬件，高故障率，但不被用戶察覺。

不適合運行在HDFS上：

1.低延遲的數(shù)據(jù)訪問：高數(shù)據(jù)吞吐量，以高時間延遲為代價。

2.大量的小文件：namenode將文件系統(tǒng)的元數(shù)據(jù)存儲在內(nèi)存中，所能存儲的文件總數(shù)受限于namenode的內(nèi)存總量。

3.多用戶寫入，任意修改文件：一個writer，寫操作總是將數(shù)據(jù)添加到文件的末尾。

數(shù)據(jù)塊：

HDFS的數(shù)據(jù)塊，默認64MB。

HDFS的快比磁盤的塊大，目的是為了最小化尋址開銷。如果塊設置的足夠大，從磁盤傳輸數(shù)據(jù)的時間可以明顯的大于定位這個塊開始位置所需的時間。這樣，傳輸一個由多個塊組成的文件的時間取決于磁盤傳輸速率。

塊概念的抽象好處：

1.一個文件的大小可以大于網(wǎng)絡中任意一個磁盤的容量。一個文件的所有塊不需要存儲在同一個磁盤上。

2.使用塊而非文件作為存儲單元，簡化存儲管理。

3.塊非常適用于數(shù)據(jù)備份進而提供數(shù)據(jù)容錯能力和可用性。

namenode和datanode

HDFS集群有兩類節(jié)點，并以管理者-工作者模式運行，即一個namenode（管理者）和多個datanode（工作者）。

namenode管理文件系統(tǒng)的命名空間，維護著文件系統(tǒng)樹及整棵樹內(nèi)所有的文件和目錄。

datanode是文件系統(tǒng)的工作節(jié)點，它們根據(jù)需要存儲并檢索數(shù)據(jù)塊（受客戶端或namenode調(diào)度），并且定期向namenode發(fā)送它們所存儲的塊的列表。

另外有需要云服務器可以了解下創(chuàng)新互聯(lián)scvps.cn，海內(nèi)外云服務器15元起步，三天無理由+7*72小時售后在線，公司持有idc許可證，提供“云服務器、裸金屬服務器、高防服務器、香港服務器、美國服務器、虛擬主機、免備案服務器”等云主機租用服務以及企業(yè)上云的綜合解決方案，具有“安全穩(wěn)定、簡單易用、服務可用性高、性價比高”等特點與優(yōu)勢，專為企業(yè)上云打造定制，能夠滿足用戶豐富、多元化的應用場景需求。

分享題目：HDFS簡介-創(chuàng)新互聯(lián)
文章來源：http://aaarwkj.com/article46/iegeg.html

成都網(wǎng)站建設公司_創(chuàng)新互聯(lián)，為您提供App開發(fā)、域名注冊、品牌網(wǎng)站建設、ChatGPT、網(wǎng)站導航、企業(yè)網(wǎng)站制作

廣告

聲明：本網(wǎng)站發(fā)布的內(nèi)容（圖片、視頻和文字）以用戶投稿、用戶轉(zhuǎn)載內(nèi)容為主，如果涉及侵權(quán)請盡快告知，我們將會在第一時間刪除。文章觀點不代表本網(wǎng)站立場，如需處理請聯(lián)系客服。電話：028-86922220；郵箱：631063699@qq.com。內(nèi)容未經(jīng)允許不得轉(zhuǎn)載，或轉(zhuǎn)載時需注明來源： 創(chuàng)新互聯(lián)