這篇文章主要介紹“ResourceManager主要的組件有哪些”，在日常操作中，相信很多人在ResourceManager主要的組件有哪些問題上存在疑惑，小編查閱了各式資料，整理出簡單好用的操作方法，希望對大家解答”ResourceManager主要的組件有哪些”的疑惑有所幫助！接下來，請跟著小編一起來學(xué)習(xí)吧！

公司主營業(yè)務(wù)：網(wǎng)站建設(shè)、網(wǎng)站設(shè)計、移動網(wǎng)站開發(fā)等業(yè)務(wù)。幫助企業(yè)客戶真正實現(xiàn)互聯(lián)網(wǎng)宣傳，提高企業(yè)的競爭能力。創(chuàng)新互聯(lián)建站是一支青春激揚(yáng)、勤奮敬業(yè)、活力青春激揚(yáng)、勤奮敬業(yè)、活力澎湃、和諧高效的團(tuán)隊。公司秉承以“開放、自由、嚴(yán)謹(jǐn)、自律”為核心的企業(yè)文化，感謝他們對我們的高要求，感謝他們從不同領(lǐng)域給我們帶來的挑戰(zhàn)，讓我們激情的團(tuán)隊有機(jī)會用頭腦與智慧不斷的給客戶帶來驚喜。創(chuàng)新互聯(lián)建站推出西平免費(fèi)做網(wǎng)站回饋大家。

在hadoop0.23版本中，MapReduce相比原先有了一個完全的顛覆，現(xiàn)在我們有了稱作MapReduce 2.0(MRv2)的YARN。

MRv2最核心的概念是，將JobTrack中兩個最重要的功能resource management和job scheduling/monitoring分隔開，形成不同的守護(hù)進(jìn)程。由此概念產(chǎn)生了一個全局的ResourceManager(RM)和per-application（每個application一個的） ApplicationMaster(AM)。一個application是Map-Reducejobs傳統(tǒng)場景中的一個job，或者jobs的一個DAG(Directed Acyclic Graph有向無環(huán)圖)。

ResourceManager、per-node slave、NodeManager(NM)形成了data-computation framework。在系統(tǒng)所有application的資源分配上，ResourceManager擁有最高權(quán)限。

Per-application ApplicationMaster實際上是一個framework specific library，同時它的任務(wù)是調(diào)度從ResourceManager分配下來的資源，并且同NodeManager(s)一起工作來執(zhí)行并監(jiān)控tasks。

ResourceManager有兩個主要的組件：Scheduler和ApplicationsManager。

The Scheduler is responsible for allocating resources to various running applications subject to familiar constraints of capacities, queues etc[J1] . Scheduler只用于調(diào)度的場景，它不會監(jiān)控或者追蹤application的狀態(tài)。同樣的，它不能夠在由于application或硬件失敗導(dǎo)致task失敗后重啟task。Scheduler基于applications對于resource的需求來履行他的調(diào)度功能；它基于一個resource Container的抽象概念，container由各種資源組成，如內(nèi)存、cpu、磁盤、網(wǎng)絡(luò)等。在開始的版本中，支持內(nèi)存。

Scheduler有一個可插拔的plug-in，它的作用是為各種queues、applications等等分割集群的resources。當(dāng)前的Map-Reduce scheduler比如CapacityScheduler和FairScheduler就是這樣的例子。

The CapacityScheduler supports hierarchical queues to allow for more predictable sharing of cluster resources.

ApplicationsManager負(fù)責(zé)接收job的提交，分配初始的container來執(zhí)行特定ApplicationMaster的application，provides the service for restarting the ApplicationMaster container on failure.

NodeManager是一個per-machine framework agent，它的作用是監(jiān)控containers的resource(cpu, 內(nèi)存，磁盤，網(wǎng)絡(luò))，并如實report給ResourceManager/Scheduler。

Per-application ApplicationMaster 的責(zé)任是把從Scheduler得到的資源組合成適當(dāng)?shù)膔esource container，追蹤它們的狀態(tài)并監(jiān)控其過程。

MRv2的API與上一個版本(Hadoop-0.20.205)是向下兼容的。這意味著所有原有的Map-Reduce jobs只需要重新編譯一下應(yīng)該就可以不加修改運(yùn)行在MRv2上。

到此，關(guān)于“ResourceManager主要的組件有哪些”的學(xué)習(xí)就結(jié)束了，希望能夠解決大家的疑惑。理論與實踐的搭配能更好的幫助大家學(xué)習(xí)，快去試試吧！若想繼續(xù)學(xué)習(xí)更多相關(guān)知識，請繼續(xù)關(guān)注創(chuàng)新互聯(lián)網(wǎng)站，小編會繼續(xù)努力為大家?guī)砀鄬嵱玫奈恼拢?/p>

網(wǎng)站題目：ResourceManager主要的組件有哪些
本文鏈接：http://aaarwkj.com/article16/pdepdg.html

成都網(wǎng)站建設(shè)公司_創(chuàng)新互聯(lián)，為您提供虛擬主機(jī)、品牌網(wǎng)站建設(shè)、做網(wǎng)站、靜態(tài)網(wǎng)站、網(wǎng)站導(dǎo)航、網(wǎng)站設(shè)計

廣告

聲明：本網(wǎng)站發(fā)布的內(nèi)容（圖片、視頻和文字）以用戶投稿、用戶轉(zhuǎn)載內(nèi)容為主，如果涉及侵權(quán)請盡快告知，我們將會在第一時間刪除。文章觀點不代表本網(wǎng)站立場，如需處理請聯(lián)系客服。電話：028-86922220；郵箱：631063699@qq.com。內(nèi)容未經(jīng)允許不得轉(zhuǎn)載，或轉(zhuǎn)載時需注明來源： 創(chuàng)新互聯(lián)