本篇文章為大家展示了hdfs工作原理是什么，內(nèi)容簡(jiǎn)明扼要并且容易理解，絕對(duì)能使你眼前一亮，通過(guò)這篇文章的詳細(xì)介紹希望你能有所收獲。

讓客戶滿意是我們工作的目標(biāo)，不斷超越客戶的期望值來(lái)自于我們對(duì)這個(gè)行業(yè)的熱愛(ài)。我們立志把好的技術(shù)通過(guò)有效、簡(jiǎn)單的方式提供給客戶，將通過(guò)不懈努力成為客戶在信息化領(lǐng)域值得信任、有價(jià)值的長(zhǎng)期合作伙伴，公司提供的服務(wù)項(xiàng)目有：域名注冊(cè)、網(wǎng)站空間、營(yíng)銷(xiāo)軟件、網(wǎng)站建設(shè)、余杭網(wǎng)站維護(hù)、網(wǎng)站推廣。

一,當(dāng)用client向hdfs中寫(xiě)入數(shù)據(jù)的時(shí)候.

           當(dāng)我們向hdfs 寫(xiě)數(shù)據(jù)的時(shí)候,客戶端要做兩件事.首先,將數(shù)據(jù)文件劃分不同的數(shù)據(jù)塊,劃分的標(biāo)準(zhǔn)默認(rèn)是64MB或128MB,這個(gè)是可以配置的.其次是向namenode請(qǐng)求一批(實(shí)際上就是默認(rèn)的3個(gè))datanode以存放數(shù)據(jù)塊.當(dāng)然namenode不是隨便的選出三個(gè)datanode給client,它會(huì)選擇三個(gè)最靠近c(diǎn)lient的三個(gè)datanode,那么這個(gè)距離是怎么計(jì)算的呢,是這樣的,它會(huì)去計(jì)算兩個(gè)節(jié)點(diǎn)與父節(jié)點(diǎn)帶寬之和來(lái)計(jì)算兩個(gè)節(jié)點(diǎn)的距離,在得到三個(gè)最近的datanode之后,namenode會(huì)先按與client的距離對(duì)datanode排下序,然后返回給客戶端.

           下面client要做的就是向namenode返回的3個(gè)datanode中傳輸數(shù)據(jù)了.當(dāng)它在寫(xiě)第一個(gè)數(shù)據(jù)塊時(shí),它會(huì)先向離它最近的那個(gè)datanode寫(xiě)數(shù)據(jù).那么client如何知道它向第一個(gè)datanode寫(xiě)入數(shù)據(jù)是否成功了呢?是這樣的,client在向datanode傳數(shù)據(jù)的同時(shí),會(huì)計(jì)算下數(shù)據(jù)快的校驗(yàn)和,這個(gè)校驗(yàn)和也會(huì)傳給datanode,datanode 在存儲(chǔ)完數(shù)據(jù)后,會(huì)對(duì)數(shù)據(jù)塊取下校驗(yàn)和與client的校驗(yàn)和進(jìn)行比對(duì),如果一致的話說(shuō)明數(shù)據(jù)保存成功,然后它會(huì)向client進(jìn)行ack,告訴client數(shù)據(jù)已經(jīng)成功保存了,同時(shí)它也會(huì)告訴namenode數(shù)據(jù)塊保存成功了.剩下的數(shù)據(jù)塊保存到下兩個(gè)datanode的過(guò)程和第一個(gè)過(guò)程是相似的,只是數(shù)據(jù)的傳輸不是都是client去傳遞的,而是datanode之間進(jìn)行傳遞的,每個(gè)datanode成功保存完數(shù)據(jù)后都會(huì)向client進(jìn)行ack并通知namenode保存數(shù)據(jù)完畢.當(dāng)client接受到所有的datanode的ack后,client會(huì)告訴namenode數(shù)據(jù)塊全部寫(xiě)入完畢.當(dāng)namenode接受到client的消息后,namenode要做的就是維護(hù)兩張表,一張表是每個(gè)數(shù)據(jù)塊對(duì)應(yīng)的datanode地址,另一張表是存儲(chǔ)數(shù)據(jù)副本的時(shí)候經(jīng)過(guò)了那些管線.

      二,當(dāng)從hdfs中讀數(shù)據(jù)的時(shí)候.

             當(dāng)client要從hdfs中讀取數(shù)據(jù)的時(shí)候,首先客戶端要知道數(shù)據(jù)存儲(chǔ)在哪吧,怎么才能知道啊,誰(shuí)知道啊?當(dāng)然是namenode啊,namenode存儲(chǔ)了所有的數(shù)據(jù)塊元數(shù)據(jù)信息.client會(huì)給namenode請(qǐng)求數(shù)據(jù)的文件地址,namenode會(huì)返回給client關(guān)于數(shù)據(jù)塊的相關(guān)信息即數(shù)據(jù)塊存放在哪些datanode上了，每個(gè)datanode存放了哪些數(shù)據(jù)塊,當(dāng)然這些datanode也是按照與client距離排過(guò)序的.當(dāng)client拿到這些信息后,它會(huì)先到離它最近的那個(gè)datanode上下載數(shù)據(jù).

         三,故障的規(guī)避.

              因?yàn)槭欠植际轿募到y(tǒng),網(wǎng)路中什么事情都有可能發(fā)生,如datanode掛掉,datanode不能返回客戶端想要的數(shù)據(jù),datanode在保存數(shù)據(jù)的時(shí)候數(shù)據(jù)損毀,或者最嚴(yán)重的namenode掛掉.

              下面看看這個(gè)四個(gè)問(wèn)題,hadoop是如何規(guī)避的呢。

              首先是datanode掛掉,當(dāng)hdfs啟動(dòng)后每個(gè)datanode節(jié)點(diǎn)會(huì)定期上報(bào)自己的健康狀況,每個(gè)datanode會(huì)每三秒向namenode發(fā)送心跳,證明自己還或者,假如namenode是秒鐘沒(méi)有收到datanode發(fā)送的心跳,namenode會(huì)認(rèn)為這個(gè)datanode已經(jīng)掛掉了.

              下一個(gè)問(wèn)題datanode不能返回客戶端想要的數(shù)據(jù),當(dāng)客戶端datanode請(qǐng)求數(shù)據(jù)或?qū)懭霐?shù)據(jù)的時(shí)候,datanode無(wú)相應(yīng)怎么辦呢,當(dāng)客戶端長(zhǎng)時(shí)間沒(méi)有接收到datanode的ack后,client也為認(rèn)為這個(gè)datanode已經(jīng)掛掉了,于是會(huì)跳過(guò)這個(gè)datanode,請(qǐng)求下個(gè)datanode.    

              第三個(gè)問(wèn)題,datanode保存的數(shù)據(jù)發(fā)生損壞,這個(gè)該怎么辦呢,datanode會(huì)定期上報(bào)自己所存的數(shù)據(jù)快健康狀況,健康狀況是通過(guò)校驗(yàn)和來(lái)判斷的,當(dāng)nomenode收到datanode發(fā)送的數(shù)據(jù)塊健康狀況的報(bào)告后它就知道那些數(shù)據(jù)塊損毀,然后它就會(huì)去更新它維護(hù)的兩張表,即數(shù)據(jù)塊在哪些datanode上存著,每個(gè)datanode上存放了哪些數(shù)據(jù)塊,如果namenode發(fā)現(xiàn)哪個(gè)數(shù)據(jù)塊的副本沒(méi)有達(dá)到標(biāo)準(zhǔn),它會(huì)通知其它的datanode從已有數(shù)據(jù)塊的datanode上copy相應(yīng)的數(shù)據(jù)塊.

              第四個(gè)問(wèn)題,namenode掛掉,這個(gè)問(wèn)題是最嚴(yán)重的,目前的最好的解決辦法就是加一個(gè)輔助namenode即secondNamenode,以備分?jǐn)?shù)據(jù)塊的元數(shù)據(jù)信息,盡可能的避免數(shù)據(jù)丟失.

上述內(nèi)容就是hdfs工作原理是什么，你們學(xué)到知識(shí)或技能了嗎？如果還想學(xué)到更多技能或者豐富自己的知識(shí)儲(chǔ)備，歡迎關(guān)注創(chuàng)新互聯(lián)行業(yè)資訊頻道。

本文標(biāo)題：hdfs工作原理是什么
當(dāng)前URL：http://aaarwkj.com/article12/ipdggc.html

成都網(wǎng)站建設(shè)公司_創(chuàng)新互聯(lián)，為您提供Google、微信小程序、網(wǎng)頁(yè)設(shè)計(jì)公司、用戶體驗(yàn)、營(yíng)銷(xiāo)型網(wǎng)站建設(shè)、品牌網(wǎng)站設(shè)計(jì)

廣告

聲明：本網(wǎng)站發(fā)布的內(nèi)容（圖片、視頻和文字）以用戶投稿、用戶轉(zhuǎn)載內(nèi)容為主，如果涉及侵權(quán)請(qǐng)盡快告知，我們將會(huì)在第一時(shí)間刪除。文章觀點(diǎn)不代表本網(wǎng)站立場(chǎng)，如需處理請(qǐng)聯(lián)系客服。電話：028-86922220；郵箱：631063699@qq.com。內(nèi)容未經(jīng)允許不得轉(zhuǎn)載，或轉(zhuǎn)載時(shí)需注明來(lái)源： 創(chuàng)新互聯(lián)