MapReduce執(zhí)行流程圖

概述

MapReduce是一種分布式計算模型，由Google提出，主要用于搜索領(lǐng)域，解決海量數(shù)據(jù)的計算問題。

MapReduce是分布式運行的，由兩個階段組成：Map和Reduce，Map階段是一個獨立的程序，有很多個節(jié)點同時運行，每個節(jié)點處理一部分?jǐn)?shù)據(jù)。

Reduce階段是一個獨立的程序，有很多個節(jié)點同時運行，每個節(jié)點處理一部分?jǐn)?shù)據(jù)。

使用

MapReduce框架都有默認(rèn)實現(xiàn)，用戶只需要覆蓋map()和reduce()兩個函數(shù)，即可實現(xiàn)分布式計算，非常簡單。

這兩個函數(shù)的形參和返回值都是，使用的時候一定要注意構(gòu)造。

執(zhí)行流程(此處舉例說明)

一個文本(在HDFS上面保存，兩個block)中每一個單詞的出現(xiàn)的次數(shù)： 
    hello you hello marry 
    hello me really 
            ----->block-1 
             
    hello kate ready 
    xiao wang hello tomcat 
            ----->block-2 

1.獲取每一個block塊中的文本，遍歷所有，回去其中的一行str

因為要統(tǒng)計的是每一個單詞i的次數(shù)，所以還需要直到文本中有哪些單詞，可以根據(jù)字符串的特點，使用split()進行切割。

String[] words=str.split(""); 

根據(jù)要求，需將每一個單詞i轉(zhuǎn)換為的形式，k為單詞本身，v為單詞出現(xiàn)的次數(shù)。

2.因為mr的計算是分布式的 ，每一個map(稱之為一個mapper task)計算其中的一個block塊數(shù)據(jù)。

map階段： 
    輸入<K1,V1> 
        k1，偏移量，v1，當(dāng)前行文本內(nèi)容 
        map()函數(shù)操作 
    輸出<K2,V2> 
        k2，具體單詞，v2，單詞對應(yīng)的統(tǒng)計項，比如次數(shù) 
    輸出<K2,V2> 

shuffle階段 
研究后發(fā)現(xiàn)，如果按照<key,1>這種方式向reduce輸出數(shù)據(jù)的時候，會有 
大量的冗余數(shù)據(jù)。 
比如map階段之后有5個hello,則輸出<hello,1>,<hello,1>,<hello,1>, 
<hello,1>,<hello,1>5次，實際上會對網(wǎng)絡(luò)造成一定的壓力，能不能對 
這5個<hello,1>進行一個進入reduce之前的本地組合？比如成為 
<hello,5>或者<hello,[1,1,1,1,1]>. 
這個過程成為shuffle，洗牌重組階段，達到上述的結(jié)果，稱之為規(guī)約。 
>>>shuffle階段，也就是對map的輸出進行重新洗牌： 
分區(qū)、分組、排序 
<K2,V2>...===><K2,V2s> 

reduce階段 
接收map的輸出結(jié)果<key,values> 
對這個結(jié)果進行匯總統(tǒng)計，針對values，進行簡單的累加，計算得出key 
對應(yīng)的次數(shù) 
reduce針對一個key調(diào)用一次reduce()函數(shù) 
=====>reduce 階段 
輸入<K2,V2> 
    K2,就是map的輸出的K2，V2s是map經(jīng)過shuffle之后的結(jié)果集 
    reduce()函數(shù)操作 
轉(zhuǎn)化為<K3,V3>   

經(jīng)過上述操作之后，系統(tǒng)會將計算結(jié)果輸出給用戶，一般會先存儲(落地)到hdfs，然后反饋給用戶。

到此為止，MapReduce執(zhí)行完畢，接下來就可以進行大數(shù)據(jù)的其他一系列操作了。

網(wǎng)頁名稱：簡單的介紹一下大數(shù)據(jù)中最重要的MapReduce
標(biāo)題網(wǎng)址：http://aaarwkj.com/news39/99489.html

成都網(wǎng)站建設(shè)公司_創(chuàng)新互聯(lián)，為您提供App設(shè)計、靜態(tài)網(wǎng)站、電子商務(wù)、網(wǎng)站導(dǎo)航、移動網(wǎng)站建設(shè)、企業(yè)網(wǎng)站制作

廣告

聲明：本網(wǎng)站發(fā)布的內(nèi)容（圖片、視頻和文字）以用戶投稿、用戶轉(zhuǎn)載內(nèi)容為主，如果涉及侵權(quán)請盡快告知，我們將會在第一時間刪除。文章觀點不代表本網(wǎng)站立場，如需處理請聯(lián)系客服。電話：028-86922220；郵箱：631063699@qq.com。內(nèi)容未經(jīng)允許不得轉(zhuǎn)載，或轉(zhuǎn)載時需注明來源： 創(chuàng)新互聯(lián)