這篇文章主要介紹了Hadoop1.0的示例分析，具有一定借鑒價值，感興趣的朋友可以參考下，希望大家閱讀完這篇文章之后大有收獲，下面讓小編帶著大家一起了解一下。

創(chuàng)新互聯(lián)專注于企業(yè)全網整合營銷推廣、網站重做改版、岳普湖網站定制設計、自適應品牌網站建設、H5開發(fā)、電子商務商城網站建設、集團公司官網建設、外貿網站制作、高端網站制作、響應式網頁設計等建站業(yè)務，價格優(yōu)惠性價比高，為岳普湖等各大城市提供網站開發(fā)制作服務。

Hadoop背景介紹

Apache Hadoop 是一個開源軟件框架，可安裝在一個商用機器集群中，使機器可彼此通信并協(xié)同工作，以高度分布式的方式共同存儲和處理大量數據。

最初，Hadoop 包含以下兩個主要組件：Hadoop Distributed File System (HDFS) 和一個分布式計算引擎，該引擎支持以 MapReduce 作業(yè)的形式實現(xiàn)和運行程序。

MapReduce 是 Google 推廣的一個簡單的編程模型，它對以高度并行和可擴展的方式處理大數據集很有用。MapReduce 的靈感來源于函數式編程，用戶可將他們的計算表達為 map 和 reduce 函數，將數據作為鍵值對來處理。Hadoop 提供了一個高級 API 來在各種語言中實現(xiàn)自定義的 map 和 reduce 函數。

Hadoop 還提供了軟件基礎架構，以一系列 map 和 reduce 任務的形式運行 MapReduce 作業(yè)。Map 任務 在輸入數據的子集上調用 map 函數。在完成這些調用后，reduce 任務 開始在 map 函數所生成的中間數據上調用 reduce 任務，生成最終的輸出。 map 和 reduce 任務彼此單獨運行，這支持并行和容錯的計算。

最重要的是，Hadoop 基礎架構負責處理分布式處理的所有復雜方面：并行化、調度、資源管理、機器間通信、軟件和硬件故障處理，等等。得益于這種干凈的抽象，實現(xiàn)處理數百（或者甚至數千）個機器上的數 TB 數據的分布式應用程序從未像現(xiàn)在這么容易過，甚至對于之前沒有使用分布式系統(tǒng)的經驗的開發(fā)人員也是如此。

Hadoop 的黃金時代

盡管 MapReduce 模型存在著多種開源實現(xiàn)，但 Hadoop MapReduce 很快就變得非常流行。Hadoop 也是全球最令人興奮的開源項目之一，它提供了多項出色的功能：高級 API、近線性的可伸縮性、開源許可、在商用硬件上運行的能力，以及容錯。它已獲得數百（或許已達數千）個公司的成功部署，是大規(guī)模分布式存儲和處理的最新標準。

一些早期的 Hadoop 采用者，比如 Yahoo! 和 Facebook，構建了包含 4,000 個節(jié)點的大型集群，以滿足不斷增長和變化的數據處理需求。但是，在構建自己的集群后，他們開始注意到了 Hadoop MapReduce 框架的一些局限性。

經典 MapReduce 的局限性

經典 MapReduce 的最嚴重的限制主要關系到可伸縮性、資源利用和對與 MapReduce 不同的工作負載的支持。在 MapReduce 框架中，作業(yè)執(zhí)行受兩種類型的進程控制：

1. 一個稱為 JobTracker 的主要進程，它協(xié)調在集群上運行的所有作業(yè)，分配要在 TaskTracker 上運行的 map 和 reduce 任務。

2. 許多稱為 TaskTracker 的下級進程，它們運行分配的任務并定期向 JobTracker 報告進度。

Apache Hadoop 的經典版本 (MRv1)

大型的 Hadoop 集群顯現(xiàn)出了由單個 JobTracker 導致的可伸縮性瓶頸。依據 Yahoo!，在集群中有 5,000 個節(jié)點和 40,000 個任務同時運行時，這樣一種設計實際上就會受到限制。由于此限制，必須創(chuàng)建和維護更小的、功能更差的集群。

此外，較小和較大的 Hadoop 集群都從未最高效地使用他們的計算資源。在 Hadoop MapReduce 中，每個從屬節(jié)點上的計算資源由集群管理員分解為固定數量的 map 和 reduce slot，這些 slot 不可替代。設定 map slot 和 reduce slot 的數量后，節(jié)點在任何時刻都不能運行比 map slot 更多的 map 任務，即使沒有 reduce 任務在運行。這影響了集群的利用率，因為在所有 map slot 都被使用（而且我們還需要更多）時，我們無法使用任何 reduce slot，即使它們可用，反之亦然。

最后但同樣重要的是，Hadoop 設計為僅運行 MapReduce 作業(yè)。隨著替代性的編程模型（比如 Apache Giraph 所提供的圖形處理）的到來，除 MapReduce 外，越來越需要為可通過高效的、公平的方式在同一個集群上運行并共享資源的其他編程模型提供支持。

2010 年，Yahoo! 的工程師開始研究一種全新的 Hadoop 架構，用這種架構來解決上述所有限制并增加多種附加功能。

Apache Hadoop 2.0 包含 YARN，它將資源管理和處理組件分開。基于 YARN 的架構不受 MapReduce 約束。

感謝你能夠認真閱讀完這篇文章，希望小編分享的“Hadoop1.0的示例分析”這篇文章對大家有幫助，同時也希望大家多多支持創(chuàng)新互聯(lián)，關注創(chuàng)新互聯(lián)行業(yè)資訊頻道，更多相關知識等著你來學習!

名稱欄目：Hadoop1.0的示例分析
瀏覽地址：http://aaarwkj.com/article8/gjgdop.html

成都網站建設公司_創(chuàng)新互聯(lián)，為您提供自適應網站、服務器托管、網站營銷、App設計、外貿網站建設、企業(yè)建站

廣告

聲明：本網站發(fā)布的內容（圖片、視頻和文字）以用戶投稿、用戶轉載內容為主，如果涉及侵權請盡快告知，我們將會在第一時間刪除。文章觀點不代表本網站立場，如需處理請聯(lián)系客服。電話：028-86922220；郵箱：631063699@qq.com。內容未經允許不得轉載，或轉載時需注明來源： 創(chuàng)新互聯(lián)