學習hadoop已經(jīng)有很長一段時間了，好像是二三月份的時候朋友給了一個國產(chǎn)Hadoop發(fā)行版下載地址，因為還是在學習階段就下載了一個三節(jié)點的學習版玩一下。在研究、學習hadoop的朋友可以去找一下看看（發(fā)行版 大快DKhadoop，去大快的網(wǎng)站上應該可以下載到的。）

在學習hadoop的時候查詢一些資料的時候經(jīng)常會看到有比較hadoop和spark的，對于初學者來說難免會有點搞不清楚這二者到底有什么大的區(qū)別。我記得剛開始接觸大數(shù)據(jù)這方面內容的時候，也就這個問題查閱了一些資料，在《FreeRCH大數(shù)據(jù)一體化開發(fā)框架》的這篇說明文檔中有就Hadoop和spark的區(qū)別進行了簡單的說明，但我覺得解釋的也不是特別詳細。我把個人認為解釋的比較好的一個觀點分享給大家：
它主要是從四個方面對Hadoop和spark進行了對比分析：
1、目的：首先需要明確一點，hadoophe spark 這二者都是大數(shù)據(jù)框架，即便如此二者各自存在的目的是不同的。Hadoop是一個分布式的數(shù)據(jù)基礎設施，它是將龐大的數(shù)據(jù)集分派到由若干臺計算機組成的集群中的多個節(jié)點進行存儲。Spark是一個專門用來對那些分布式存儲的大數(shù)據(jù)進行處理的工具，spark本身并不會進行分布式數(shù)據(jù)的存儲。
2、兩者的部署：Hadoop的框架最核心的設計就是：HDFS和MapReduce。HDFS為海量的數(shù)據(jù)提供了存儲，則MapReduce為海量的數(shù)據(jù)提供了計算。所以使用Hadoop則可以拋開spark，而直接使用Hadoop自身的mapreduce完成數(shù)據(jù)的處理。Spark是不提供文件管理系統(tǒng)的，但也不是只能依附在Hadoop上，它同樣可以選擇其他的基于云的數(shù)據(jù)系統(tǒng)平臺，但spark默認的一般選擇的還是hadoop。
3、數(shù)據(jù)處理速度：Spark，擁有Hadoop、 MapReduce所具有能更好地適用于數(shù)據(jù)挖掘與機器學習等需要迭代的的優(yōu)點；但不同于MapReduce的是Job中間輸出結果可以保存在內存中，從而不再需要讀寫HDFS，
Spark 是一種與?Hadoop?相似的開源集群計算環(huán)境，但是兩者之間還存在一些不同之處，這些有用的不同之處使 Spark 在某些工作負載方面表現(xiàn)得更加優(yōu)越，換句話說，Spark 啟用了內存分布數(shù)據(jù)集，除了能夠提供交互式查詢外，它還可以優(yōu)化迭代工作負載。
4、數(shù)據(jù)安全恢復：Hadoop每次處理的后的數(shù)據(jù)是寫入到磁盤上，所以其天生就能很有彈性的對系統(tǒng)錯誤進行處理；spark的數(shù)據(jù)對象存儲在分布于數(shù)據(jù)集群中的叫做彈性分布式數(shù)據(jù)集中，這些數(shù)據(jù)對象既可以放在內存，也可以放在磁盤，所以spark同樣可以完成數(shù)據(jù)的安全恢復。

網(wǎng)站建設哪家好，找成都創(chuàng)新互聯(lián)公司！專注于網(wǎng)頁設計、網(wǎng)站建設、微信開發(fā)、小程序開發(fā)、集團企業(yè)網(wǎng)站建設等服務項目。為回饋新老客戶創(chuàng)新互聯(lián)還提供了新沂免費建站歡迎大家使用！

本文標題：hadoop和spark的區(qū)別介紹
URL標題：http://aaarwkj.com/article44/pdpihe.html

成都網(wǎng)站建設公司_創(chuàng)新互聯(lián)，為您提供網(wǎng)站收錄、網(wǎng)站策劃、軟件開發(fā)、建站公司、云服務器、全網(wǎng)營銷推廣

廣告

聲明：本網(wǎng)站發(fā)布的內容（圖片、視頻和文字）以用戶投稿、用戶轉載內容為主，如果涉及侵權請盡快告知，我們將會在第一時間刪除。文章觀點不代表本網(wǎng)站立場，如需處理請聯(lián)系客服。電話：028-86922220；郵箱：631063699@qq.com。內容未經(jīng)允許不得轉載，或轉載時需注明來源： 創(chuàng)新互聯(lián)