這篇文章給大家分享的是有關(guān)hadoop中系統(tǒng)執(zhí)行排序的過程叫什么的內(nèi)容。小編覺得挺實用的，因此分享給大家做個參考，一起跟隨小編過來看看吧。

10年積累的網(wǎng)站制作、做網(wǎng)站經(jīng)驗，可以快速應(yīng)對客戶對網(wǎng)站的新想法和需求。提供各種問題對應(yīng)的解決方案。讓選擇我們的客戶得到更好、更有力的網(wǎng)絡(luò)服務(wù)。我雖然不認(rèn)識你，你也不認(rèn)識我。但先做網(wǎng)站后付款的網(wǎng)站建設(shè)流程，更有道外免費網(wǎng)站建設(shè)讓你可以放心的選擇與我們合作。

MapReduce確保每個reducer的輸入都是按鍵排序的，系統(tǒng)執(zhí)行排序的過程稱為shuffle。shuffle階段主要包括map階段的combine、group、sort、partition以及reducer階段的合并排序。

本教程操作環(huán)境：windows7系統(tǒng)，Dell G3電腦。

MapReduce確保每個reducer的輸入都是按鍵排序的，系統(tǒng)執(zhí)行排序的過程稱為shuffle。我們可以理解為map產(chǎn)生輸出到reduce的消化輸入的整個工程。

Map端：每個mapperTask有一個環(huán)形內(nèi)存緩沖區(qū)，用于存儲map任務(wù)的輸出，一旦達(dá)到閾值，一個后臺線程把內(nèi)容寫到磁盤的指定目錄下的新建的一個溢出寫文件，寫磁盤前要經(jīng)過partition、sort、Combiner。等最后記錄寫完，合并全部溢出寫文件為一個分區(qū)且排序的文件。

Reduce端：可以分為復(fù)制階段、排序階段、reduce階段

復(fù)制階段：map輸出文件位于運行map任務(wù)的tasktracker的本地磁盤上，reduce通過http的方式獲取輸出文件的分區(qū)，tasktracker為分區(qū)文件運行reduce任務(wù)，只要有一個map任務(wù)完成，reduce任務(wù)就開始復(fù)制輸出。

排序階段：更恰當(dāng)?shù)恼f法是合并階段，因為排序是在map端進(jìn)行的。這個階段將合并map輸出，維持其順序排序，循環(huán)進(jìn)行。

最后階段就是reduce階段，對已排序輸出中的每個鍵調(diào)用reduce函數(shù)，此階段的輸出直接寫到輸出文件系統(tǒng)，一般為hdfs。、

Shuffle階段說明

shuffle階段主要包括map階段的combine、group、sort、partition以及reducer階段的合并排序。Map階段通過shuffle后會將輸出數(shù)據(jù)按照reduce的分區(qū)分文件的保存，文件內(nèi)容是按照定義的sort進(jìn)行排序好的。Map階段完成后會通知ApplicationMaster，然后AM會通知Reduce進(jìn)行數(shù)據(jù)的拉取，在拉取過程中進(jìn)行reduce端的shuffle過程。

注意:Map階段的輸出數(shù)據(jù)是存在運行Map節(jié)點的磁盤上，是個臨時文件，不是存在HDFS上，在Reduce拉取數(shù)據(jù)后，那個臨時文件會刪除，若是存在hdfs上，會造成存儲空間的浪費（會產(chǎn)生三個副本）。

• 用戶自定義Combiner

  Combiner可以減少Map階段的中間輸出結(jié)果數(shù)，降低網(wǎng)絡(luò)開銷。默認(rèn)情況下是沒有Combiner的。用戶自定義的Combiner要求是Reducer的子類，以Map的輸出<key,value>作為Combiner的輸入<key,value>和輸出<key,value>，也就是說Combiner的輸入和輸出必須是一樣的。

  可以通過job.setCombinerClass設(shè)置combiner的處理類，MapReduce框架不保證一定會調(diào)用該類的方法。

  注意：如果reduce的輸入和輸出一樣，則可以直接用reduce類作為combiner

• 用戶自定義Partitioner

  Partitioner是用于確定map輸出的<key,value>對應(yīng)的處理reducer是那個節(jié)點。默認(rèn)MapReduce任務(wù)reduce個數(shù)為1個，此時Partitioner其實沒有什么效果，但是當(dāng)我們將reduce個數(shù)修改為多個的時候，partitioner就會決定key所對應(yīng)reduce的節(jié)點序號(從0開始)。

  可以通過job.setPartitionerClass方法指定Partitioner類，默認(rèn)情況下使用HashPartitioner（默認(rèn)調(diào)用key的hashCode方法）。

• 用戶自定義Group

  GroupingComparator是用于將Map輸出的<key,value>進(jìn)行分組組合成<key,List<value>>的關(guān)鍵類，直白來講就是用于確定key1和key2是否屬于同一組，如果是同一組，就將map的輸出value進(jìn)行組合。

  要求我們自定義的類實現(xiàn)自接口RawComparator，可以通過job.setGroupingComparatorClass方法指定比較類。默認(rèn)情況下使用WritableComparator，但是最終調(diào)用key的compareTo方法進(jìn)行比較。

• 用戶自定義Sort

  SortComparator是用于將Map輸出的<key,value>進(jìn)行key排序的關(guān)鍵類， 直白來講就是用于確定key1所屬組和key2所屬組那個在前，那個在后。

  要求我們自定義的類實現(xiàn)自接口RawComparator，可以通過job.setSortComparatorClass方法指定比較類。默認(rèn)情況下使用WritableComparator，但是最終調(diào)用key的compareTo方法進(jìn)行比較。

• 用戶自定義Reducer的Shuffle

  在reduce端拉取map的輸出數(shù)據(jù)的時候，會進(jìn)行shuffle(合并排序)，MapReduce框架以插件模式提供了一個自定義的方式，我們可以通過實現(xiàn)接口ShuffleConsumerPlugin，并指定參數(shù)mapreduce.job.reduce.shuffle.consumer.plugin.class來指定自定義的shuffle規(guī)則，但是一般情況下，直接采用默認(rèn)的類org.apache.hadoop.mapreduce.task.reduce.Shuffle。

感謝各位的閱讀！關(guān)于“hadoop中系統(tǒng)執(zhí)行排序的過程叫什么”這篇文章就分享到這里了，希望以上內(nèi)容可以對大家有一定的幫助，讓大家可以學(xué)到更多知識，如果覺得文章不錯，可以把它分享出去讓更多的人看到吧！

網(wǎng)頁名稱：hadoop中系統(tǒng)執(zhí)行排序的過程叫什么
文章位置：http://aaarwkj.com/article2/peeeoc.html

成都網(wǎng)站建設(shè)公司_創(chuàng)新互聯(lián)，為您提供營銷型網(wǎng)站建設(shè)、響應(yīng)式網(wǎng)站、軟件開發(fā)、關(guān)鍵詞優(yōu)化、網(wǎng)頁設(shè)計公司、網(wǎng)站營銷

廣告

聲明：本網(wǎng)站發(fā)布的內(nèi)容（圖片、視頻和文字）以用戶投稿、用戶轉(zhuǎn)載內(nèi)容為主，如果涉及侵權(quán)請盡快告知，我們將會在第一時間刪除。文章觀點不代表本網(wǎng)站立場，如需處理請聯(lián)系客服。電話：028-86922220；郵箱：631063699@qq.com。內(nèi)容未經(jīng)允許不得轉(zhuǎn)載，或轉(zhuǎn)載時需注明來源： 創(chuàng)新互聯(lián)