Hadoop是什么

• Hadoop是一個(gè)開(kāi)源的大數(shù)據(jù)框架
• Hadoop是一個(gè)分布式計(jì)算的解決方案
• Hadoop = HDFS（分布式文件系統(tǒng)）+ MapReduce（分布式計(jì)算）

Hadoop核心

• HDFS分布式文件系統(tǒng)：存儲(chǔ)是大數(shù)據(jù)技術(shù)的基礎(chǔ)
• MapReduce編程模型：分布式計(jì)算是大數(shù)據(jù)應(yīng)用的解決方案

Hadoop基礎(chǔ)架構(gòu)

 HDFS概念
  數(shù)據(jù)塊
  NameNode
  DataNode

成都創(chuàng)新互聯(lián)，是成都地區(qū)的互聯(lián)網(wǎng)解決方案提供商，用心服務(wù)為企業(yè)提供網(wǎng)站建設(shè)、成都app軟件開(kāi)發(fā)、微信小程序、系統(tǒng)按需開(kāi)發(fā)網(wǎng)站和微信代運(yùn)營(yíng)服務(wù)。經(jīng)過(guò)數(shù)10年的沉淀與積累，沉淀的是技術(shù)和服務(wù)，讓客戶少走彎路，踏實(shí)做事，誠(chéng)實(shí)做人，用情服務(wù)，致力做一個(gè)負(fù)責(zé)任、受尊敬的企業(yè)。對(duì)客戶負(fù)責(zé)，就是對(duì)自己負(fù)責(zé)，對(duì)企業(yè)負(fù)責(zé)。

數(shù)據(jù)塊：抽象塊而非整個(gè)文件作為存儲(chǔ)單；默認(rèn)大小64MB一般設(shè)置為128M，備份X3。
NameNode：管理文件系統(tǒng)的命名空間，存放文件元數(shù)據(jù)；維護(hù)著文件系統(tǒng)的所有文件和目錄，文件與數(shù)據(jù)塊的映射；記錄每個(gè)文件中各個(gè)塊所在數(shù)據(jù)節(jié)點(diǎn)的信息。
DataNode：存儲(chǔ)并檢索數(shù)據(jù)塊；向NameNode更新所存儲(chǔ)塊的列表。

HDFS優(yōu)點(diǎn)

• 適合大文件存儲(chǔ)，支持TB、PB級(jí)的數(shù)據(jù)存儲(chǔ)，并有副本策略。
• 可以構(gòu)建在廉價(jià)的機(jī)器上，并有一定的容錯(cuò)和恢復(fù)機(jī)制。
• 支持流式數(shù)據(jù)訪問(wèn)，一次寫(xiě)入多次讀取最高效。

HDFS缺點(diǎn)

• 不適合大量小文件存儲(chǔ)
• 不適合并發(fā)寫(xiě)入，不支持文件隨機(jī)修改。
• 不支持隨機(jī)讀取等低延時(shí)的訪問(wèn)方式。

Hadoop各個(gè)功能模塊的理解

1、HDFS模塊

HDFS負(fù)責(zé)大數(shù)據(jù)的存儲(chǔ)，通過(guò)將大文件分塊后進(jìn)行分布式存儲(chǔ)方式，突破了服務(wù)器硬盤大小的限制，解決了單臺(tái)機(jī)器無(wú)法存儲(chǔ)大文件的問(wèn)題，HDFS是個(gè)相對(duì)獨(dú)立的模塊，可以為YARN提供服務(wù)，也可以為HBase等其他模塊提供服務(wù)。

2、YARN模塊

YARN是一個(gè)通用的資源協(xié)同和任務(wù)調(diào)度框架，是為了解決Hadoop1.x中MapReduce里NameNode負(fù)載太大和其他問(wèn)題而創(chuàng)建的一個(gè)框架。
YARN是個(gè)通用框架，不止可以運(yùn)行MapReduce，還可以運(yùn)行Spark、Storm等其他計(jì)算框架。

3、MapReduce模塊

MapReduce是一個(gè)計(jì)算框架，它給出了一種數(shù)據(jù)處理的方式，即通過(guò)Map階段、Reduce階段來(lái)分布式地流式處理數(shù)據(jù)。它只適用于大數(shù)據(jù)的離線處理，對(duì)實(shí)時(shí)性要求很高的應(yīng)用不適用。

延伸思考

• 如何通過(guò)Hadoop存儲(chǔ)小文件？
  a、在客戶端將小文件合并為大文件。
  Hadoop會(huì)把每一個(gè)小文件傳遞給map()函數(shù)，而Hadoop在調(diào)用map()函數(shù)時(shí)會(huì)創(chuàng)建一個(gè)映射器，這樣就會(huì)創(chuàng)建了大量的映射器，應(yīng)用的運(yùn)行效率并不高。如果使用和存儲(chǔ)小文件，通常就會(huì)創(chuàng)很多的映射器。解決小文件問(wèn)題的主要目的就是通過(guò)合并小文件為更大的文件來(lái)加快Hadoop的程序的執(zhí)行，解決小文件問(wèn)題可以減少map()函數(shù)的執(zhí)行次數(shù)，相應(yīng)地提高h(yuǎn)adoop作業(yè)的整體性能。
  b、使用Hadoop的CombineFileInputFormat<K,V>實(shí)現(xiàn)小文件的合并。
  使用Hadoop API(抽象類CombineFileInputFormat)來(lái)解決小文件的問(wèn)題。抽象類CombineFileInputFormat的基本思想是通過(guò)使用一個(gè)定制的InputFormat允許將小文件合并到Hadoop的分片(split)或塊(chunk)中。
• 當(dāng)有節(jié)點(diǎn)故障的時(shí)候，集群是如何繼續(xù)提供服務(wù)的，如何讀、寫(xiě)？
• 哪些是影響MapReduce性能的因素？
  a、硬件（或者資源）因素，如CPU、磁盤I/O、網(wǎng)絡(luò)帶寬和內(nèi)存大小。
  b、底層存儲(chǔ)系統(tǒng)。
  c、輸入數(shù)據(jù)、分揀（shuffle）數(shù)據(jù)以及輸出數(shù)據(jù)的大小，這與作業(yè)的運(yùn)行時(shí)間緊密相關(guān)。
  d、作業(yè)算法（或者程序），如map、reduce、partition、combine和compress。有些算法很難在MapReduce中概念化，或者在MapReduce中效率可能會(huì)降低。

---

HDFS寫(xiě)流程

1、客戶端想NameNode發(fā)起寫(xiě)數(shù)據(jù)請(qǐng)求
2、分塊寫(xiě)入DataNode節(jié)點(diǎn)，DataNode自動(dòng)完成副本備份
3、DataNode向NameNode匯報(bào)存儲(chǔ)完成，NameNode通知客戶端

HDFS讀流程

1、客戶端向NameNode發(fā)起讀數(shù)據(jù)請(qǐng)求
2、NameNode找出距離最近的DataNode節(jié)點(diǎn)信息
3、客戶端從DataNode分塊下載文件

MapReduce

MapReduce是一種編程模型，是一種編程方法，是抽象的理論。

• YARN概念（通用的資源協(xié)同和任務(wù)調(diào)度框架）
  • ResourceManager
    分配和調(diào)度資源、啟動(dòng)并監(jiān)控ApplicationMaster、監(jiān)控NodeManager
  • ApplicationMaster
    為MR類型的程序申請(qǐng)資源，并分配給內(nèi)部任務(wù)、負(fù)責(zé)數(shù)據(jù)的切分、監(jiān)控任務(wù)的執(zhí)行及容錯(cuò)
  • NodeManager
    管理單個(gè)節(jié)點(diǎn)的資源、處理來(lái)自ResourceManager的命令、處理來(lái)自ApplicationMaster的命令

MapReduce四個(gè)階段

• Split階段
• Map階段（需要編碼）
• Shuffle階段
• Reduce階段（需要編碼）

MapReduce編程模型

- 輸入一個(gè)大文件，通過(guò)split之后將其分為多個(gè)分片    
- 每個(gè)文件分片由單獨(dú)的機(jī)器去處理，這就是Map方法    
- 將各個(gè)機(jī)器計(jì)算的結(jié)果進(jìn)行匯總并得到最終的結(jié)果，這就是Reduce方法。    

文章標(biāo)題：Hadoop相關(guān)概念
路徑分享：http://aaarwkj.com/article30/igsepo.html

成都網(wǎng)站建設(shè)公司_創(chuàng)新互聯(lián)，為您提供微信公眾號(hào)、手機(jī)網(wǎng)站建設(shè)、商城網(wǎng)站、網(wǎng)站建設(shè)、ChatGPT、做網(wǎng)站

廣告

聲明：本網(wǎng)站發(fā)布的內(nèi)容（圖片、視頻和文字）以用戶投稿、用戶轉(zhuǎn)載內(nèi)容為主，如果涉及侵權(quán)請(qǐng)盡快告知，我們將會(huì)在第一時(shí)間刪除。文章觀點(diǎn)不代表本網(wǎng)站立場(chǎng)，如需處理請(qǐng)聯(lián)系客服。電話：028-86922220；郵箱：631063699@qq.com。內(nèi)容未經(jīng)允許不得轉(zhuǎn)載，或轉(zhuǎn)載時(shí)需注明來(lái)源： 創(chuàng)新互聯(lián)