這篇文章主要介紹HDFS存在的缺陷是什么，文中介紹的非常詳細(xì)，具有一定的參考價(jià)值，感興趣的小伙伴們一定要看完！

創(chuàng)新互聯(lián)-專(zhuān)業(yè)網(wǎng)站定制、快速模板網(wǎng)站建設(shè)、高性?xún)r(jià)比新河網(wǎng)站開(kāi)發(fā)、企業(yè)建站全套包干低至880元,成熟完善的模板庫(kù),直接使用。一站式新河網(wǎng)站制作公司更省心,省錢(qián),快速模板網(wǎng)站建設(shè)找我們，業(yè)務(wù)覆蓋新河地區(qū)。費(fèi)用合理售后完善，十年實(shí)體公司更值得信賴(lài)。

HDFS存在的缺陷

HDFS中的文件分配表的核心是NameNode?？蛻?hù)端主要通過(guò)NameNode執(zhí)行數(shù)據(jù)操作，DataNode會(huì)與其他DataNode進(jìn)行通信并復(fù)制數(shù)據(jù)塊以實(shí)現(xiàn)冗余，這樣單一的DataNode損壞不會(huì)導(dǎo)致集群的數(shù)據(jù)丟失。但是NameNode一旦發(fā)生故障，后果會(huì)非常嚴(yán)重。雖然NameNode可以故障轉(zhuǎn)移，但是需要花費(fèi)大量的時(shí)間。這也意味著序列中會(huì)有更多的等待時(shí)間。HDFS的垃圾回收，尤其是Java垃圾回收是需要占用大量的內(nèi)存，一般是本機(jī)有效內(nèi)存的10倍。

因?yàn)镠DFS的設(shè)計(jì)更多的是建立在響應(yīng)"一次寫(xiě)入、多次讀寫(xiě)"任務(wù)的基礎(chǔ)上。在多數(shù)情況下，分析任務(wù)都會(huì)涉及數(shù)據(jù)集中的大部分?jǐn)?shù)據(jù)，也就是說(shuō)，對(duì)HDFS來(lái)說(shuō)，請(qǐng)求讀取整個(gè)數(shù)據(jù)集要比讀取一條記錄更加高效。所以HDFS在語(yǔ)言選擇方面更偏向于基礎(chǔ)語(yǔ)言，而不是高級(jí)語(yǔ)言。

傳統(tǒng)的操作可以用更短的時(shí)間來(lái)開(kāi)發(fā)部署，維護(hù)成本更低、安全性更好。業(yè)內(nèi)有這樣一種說(shuō)法，大多數(shù)操作系統(tǒng)支持C語(yǔ)言、匯編和Java的原因是，文件系統(tǒng)處于一個(gè)較低的水平。

HDFS的工具和其他文件系統(tǒng)的工具相較是有差距的。比起你曾經(jīng)處理的任何文件系統(tǒng)或分布式存儲(chǔ)HDFS周?chē)墓ぞ呤且环N較差?；贘ava的文件系統(tǒng)只能搭上IT人員最喜愛(ài)的POSIX工具的末班車(chē)。你嘗試過(guò)NFS掛載HDFS嗎?其它的HDFS工具的安裝也是非常復(fù)雜的。相反的，如果你使用REST  bridge Tool和客戶(hù)端命令行就會(huì)非常容易。

HDFS支持原生代碼擴(kuò)展，提高了運(yùn)行效率。另外，社區(qū)也為NameNode的發(fā)展做出了很多貢獻(xiàn)。如果你想要打造一個(gè)高端的系統(tǒng)，那么必須打破監(jiān)測(cè)和診斷工具中的NameNode瓶頸。總之，在操作系統(tǒng)上使用基于C或C  ++的較為成熟的分布式文件系統(tǒng)往往是一個(gè)更好的選擇。

Spark和云計(jì)算需求的變化

早期的Hadoop企業(yè)部署基本上是在本地完成的，隨著Spark和云部署的崛起，使用Amazon S3作為數(shù)據(jù)源的情況漸漸多了起來(lái)。

Hadoop供應(yīng)商都期望能夠出現(xiàn)更為統(tǒng)一的Hadoop平臺(tái)，期望HDFS能夠與安全組件集成。Spark本身就因文件系統(tǒng)的多樣性而存在很多矛盾，所以，想要和文件系統(tǒng)緊密集成幾乎是不可能的。

MAPR FS文件系統(tǒng)漸漸引起了企業(yè)的興趣。MAPR FS沒(méi)有NameNode，而是采用了更標(biāo)準(zhǔn)和熟悉的集群方案方案。  MAPR的分區(qū)設(shè)計(jì)也很好的避免了瓶頸。

除了上述的分布式文件系統(tǒng)，還有很多的分布式文件系統(tǒng)可以供選擇，例如Ceph、Gluster。Gluster是一種更為標(biāo)準(zhǔn)的分布式文件系統(tǒng)，擅長(zhǎng)I/O操作。目前，大多數(shù)人選擇使用Spark來(lái)存儲(chǔ)文件是因?yàn)樗麄儗?duì)于Spark更加熟悉，而并非是因?yàn)樗阅芎?、速度快?/p>

大型HDFS安裝的遷移是不可能一蹴而就的，但是隨著時(shí)間的遷移，未來(lái)我們?cè)赟park和云項(xiàng)目中會(huì)越來(lái)越少的看到HDFS。也許，HDFS會(huì)脫離YARN，單獨(dú)成為Hadoop的一部分。

以上是“HDFS存在的缺陷是什么”這篇文章的所有內(nèi)容，感謝各位的閱讀！希望分享的內(nèi)容對(duì)大家有幫助，更多相關(guān)知識(shí)，歡迎關(guān)注創(chuàng)新互聯(lián)行業(yè)資訊頻道！

網(wǎng)頁(yè)名稱(chēng)：HDFS存在的缺陷是什么
鏈接URL：http://aaarwkj.com/article16/pcdcgg.html

成都網(wǎng)站建設(shè)公司_創(chuàng)新互聯(lián)，為您提供網(wǎng)頁(yè)設(shè)計(jì)公司、網(wǎng)站營(yíng)銷(xiāo)、虛擬主機(jī)、做網(wǎng)站、網(wǎng)站排名、網(wǎng)站改版

廣告

聲明：本網(wǎng)站發(fā)布的內(nèi)容（圖片、視頻和文字）以用戶(hù)投稿、用戶(hù)轉(zhuǎn)載內(nèi)容為主，如果涉及侵權(quán)請(qǐng)盡快告知，我們將會(huì)在第一時(shí)間刪除。文章觀(guān)點(diǎn)不代表本網(wǎng)站立場(chǎng)，如需處理請(qǐng)聯(lián)系客服。電話(huà)：028-86922220；郵箱：631063699@qq.com。內(nèi)容未經(jīng)允許不得轉(zhuǎn)載，或轉(zhuǎn)載時(shí)需注明來(lái)源： 創(chuàng)新互聯(lián)