HDFS最近學習總結(jié)

一. hdfs整體運行機制：

創(chuàng)新互聯(lián)主營石家莊網(wǎng)站建設的網(wǎng)絡公司,主營網(wǎng)站建設方案,app軟件開發(fā),石家莊h5成都小程序開發(fā)搭建,石家莊網(wǎng)站營銷推廣歡迎石家莊等地區(qū)企業(yè)咨詢

1. 客戶把一個文件存入HDFS中，其實HDFS會把文件切成塊進行存儲，會分散存儲到N臺Linux系統(tǒng)中（存儲文件塊的角色是:datanode）(重要的是切塊的行為是由客戶端決定的)
2. 一旦文件被切塊切塊存儲，HDFS一定要有個機制，需要記錄每一個文件的切塊信息和每個切塊具體的存儲機器。（記錄塊信息的是namenode）
3. 需要保證數(shù)據(jù)的安全性，HDFS將每一個塊都在集群中存放多個副本（副本數(shù)是由存儲時的客戶端決定的）。
4. 總結(jié) : 一個HDFS系統(tǒng)是由一臺運行了namenode的服務器和N臺運行了datanode的服務器組成。

二. 知識點：

1. 元數(shù)據(jù)由namenode管理
2. 元數(shù)據(jù)：HDFS的目錄結(jié)構(gòu)及每一個文件的塊信息（塊的id，副本數(shù)量，存放位置等）

三. namenode元數(shù)據(jù)記錄位置 ：

1. namenode把實時的完整元數(shù)據(jù)存放到內(nèi)存中
2. namenode還會在磁盤中存儲內(nèi)存元數(shù)據(jù)在某個時間上的鏡像文件fsimage
3. namenode會把讓元數(shù)據(jù)變化的客戶端操作記錄（類似添加）在edits日志文件中。

四. secondarynamenode 責任 ：

1. secondarynamenode會定期從namenode上下載fsimage鏡像和新生成的edits日志，然后加載fsimage鏡像到內(nèi)存中，然后順序解析edits文件，對內(nèi)存中的元數(shù)據(jù)對象進行修改（整合）整合完成后，將內(nèi)存元數(shù)據(jù)序列化成一個新的fsimage，并將這個fsimage鏡像文件上傳給namenode。這個過程叫checkpoint
2. secondary namenode每次做checkpoint操作時，第一次checkpoint需要下載fsimage，以后就不用下載了，因為自己的機器上就已經(jīng)有了。
3. 總結(jié)：secondarynamenode 會把fsimage 和 edits 下載過到自己的機器上，進行序列化成元數(shù)據(jù)在傳給namenode,可以記性單點故障處理。所以 secondarynamenode最好也配置下。

文章名稱：HDFS總結(jié)
網(wǎng)頁URL：http://aaarwkj.com/article46/iidgeg.html

成都網(wǎng)站建設公司_創(chuàng)新互聯(lián)，為您提供小程序開發(fā)、品牌網(wǎng)站設計、全網(wǎng)營銷推廣、搜索引擎優(yōu)化、營銷型網(wǎng)站建設、企業(yè)網(wǎng)站制作

廣告

聲明：本網(wǎng)站發(fā)布的內(nèi)容（圖片、視頻和文字）以用戶投稿、用戶轉(zhuǎn)載內(nèi)容為主，如果涉及侵權(quán)請盡快告知，我們將會在第一時間刪除。文章觀點不代表本網(wǎng)站立場，如需處理請聯(lián)系客服。電話：028-86922220；郵箱：631063699@qq.com。內(nèi)容未經(jīng)允許不得轉(zhuǎn)載，或轉(zhuǎn)載時需注明來源： 創(chuàng)新互聯(lián)