[TOC]
可以參考《Hadoop權威指南》P79中的圖示與介紹進行理解,當然結合下面這個圖示與其中的解釋進行理解則會更加清晰易懂,當然,基本的參考個人覺得書本上的圖示要更精簡,下面這個可以說是其詳細版:
1) 用戶向YARN 中提交應用程序, 其中包括ApplicationMaster 程序、啟動ApplicationMaster 的命令、用戶程序等。
2) ResourceManager 為該應用程序分配第一個Container, 并與對應的NodeManager 通信,要求它在這個Container 中啟動應用程序的ApplicationMaster。
3) ApplicationMaster 首先向ResourceManager 注冊, 這樣用戶可以直接通過ResourceManage 查看應用程序的運行狀態(tài),然后它將為各個任務申請資源,并監(jiān)控它的運行狀態(tài),直到運行結束,即重復步驟4~7。
4) ApplicationMaster 采用輪詢的方式通過RPC 協(xié)議向ResourceManager 申請和領取資源。
5) 一旦ApplicationMaster 申請到資源后,便與對應的NodeManager 通信,要求它啟動任務。
6) NodeManager 為任務設置好運行環(huán)境(包括環(huán)境變量、JAR 包、二進制程序等)后,將任務啟動命令寫到一個腳本中,并通過運行該腳本啟動任務。
7) 各個任務通過某個RPC 協(xié)議向ApplicationMaster 匯報自己的狀態(tài)和進度,以讓ApplicationMaster 隨時掌握各個任務的運行狀態(tài),從而可以在任務失敗時重新啟動任務。在應用程序運行過程中,用戶可隨時通過RPC 向ApplicationMaster 查詢應用程序的當前運行狀態(tài)。
8) 應用程序運行完成后,ApplicationMaster 向ResourceManager 注銷并關閉自己。
MapReduce 1 | Yarn |
---|---|
Jobtracker | ResourceManager、Application Master、TimeLine Server |
Trasktracker | NodeManager、 |
Slot | Container |
TimeLine Server即時間軸服務器,用來記錄歷史作業(yè)。
另外有需要云服務器可以了解下創(chuàng)新互聯(lián)scvps.cn,海內(nèi)外云服務器15元起步,三天無理由+7*72小時售后在線,公司持有idc許可證,提供“云服務器、裸金屬服務器、高防服務器、香港服務器、美國服務器、虛擬主機、免備案服務器”等云主機租用服務以及企業(yè)上云的綜合解決方案,具有“安全穩(wěn)定、簡單易用、服務可用性高、性價比高”等特點與優(yōu)勢,專為企業(yè)上云打造定制,能夠滿足用戶豐富、多元化的應用場景需求。
本文題目:Yarn流程、Yarn與MapReduce1相比-創(chuàng)新互聯(lián)
文章鏈接:http://aaarwkj.com/article44/dspjee.html
成都網(wǎng)站建設公司_創(chuàng)新互聯(lián),為您提供用戶體驗、微信小程序、做網(wǎng)站、自適應網(wǎng)站、手機網(wǎng)站建設、虛擬主機
聲明:本網(wǎng)站發(fā)布的內(nèi)容(圖片、視頻和文字)以用戶投稿、用戶轉載內(nèi)容為主,如果涉及侵權請盡快告知,我們將會在第一時間刪除。文章觀點不代表本網(wǎng)站立場,如需處理請聯(lián)系客服。電話:028-86922220;郵箱:631063699@qq.com。內(nèi)容未經(jīng)允許不得轉載,或轉載時需注明來源: 創(chuàng)新互聯(lián)
猜你還喜歡下面的內(nèi)容