這篇文章給大家介紹Yarn實(shí)現(xiàn)原理和管理是怎樣的，內(nèi)容非常詳細(xì)，感興趣的小伙伴們可以參考借鑒，希望對(duì)大家能有所幫助。

成都創(chuàng)新互聯(lián)公司是專(zhuān)業(yè)的霍城網(wǎng)站建設(shè)公司，霍城接單;提供網(wǎng)站制作、成都網(wǎng)站建設(shè),網(wǎng)頁(yè)設(shè)計(jì),網(wǎng)站設(shè)計(jì),建網(wǎng)站,PHP網(wǎng)站建設(shè)等專(zhuān)業(yè)做網(wǎng)站服務(wù);采用PHP框架,可快速的進(jìn)行霍城網(wǎng)站開(kāi)發(fā)網(wǎng)頁(yè)制作和功能擴(kuò)展;專(zhuān)業(yè)做搜索引擎喜愛(ài)的網(wǎng)站,專(zhuān)業(yè)的做網(wǎng)站團(tuán)隊(duì),希望更多企業(yè)前來(lái)合作!

Yarn中對(duì)于CPU的管理使用了CGroup方案，即使用CGroup來(lái)對(duì)Yarn中Container的計(jì)算能力進(jìn)行管理。RM中的調(diào)度器根據(jù)AM的資源請(qǐng)求分配相應(yīng)數(shù)量資源的Container，主要包括內(nèi)存和CPU兩種資源，CPU的分配與內(nèi)存的分配過(guò)程是一樣的。小編著重講解Container中CPU的管理。

Yarn中包含兩類(lèi)容器執(zhí)行腳本，若想實(shí)現(xiàn)對(duì)CPU的控制，需要使用LinuxContainerExecutor.java來(lái)啟動(dòng)容器，默認(rèn)的 DefaultContainerExecutor.java無(wú)法管理CPU，可以將配置文件中的yarn.nodemanager.Linux-Container-executor.resources-handler.class參數(shù)值設(shè)為org.apache.hadoop.yarn.server.nodemanager.util.CgroupsLCEResourcesHandler

LinuxContainerExecutor可以實(shí)現(xiàn)以容器所屬用戶的身份運(yùn)行container，而默認(rèn)的 DefaultContainerExecutor只能以普通管理員身份運(yùn)行container。

首先我們需要關(guān)注配置文件中的兩個(gè)參數(shù)，源碼中配置文件的路徑為hadoop-yarn-api\src\main\java\org\apache\hadoop\yarn\conf\YarnConfiguration.java

第一個(gè)參數(shù)表示該節(jié)點(diǎn)上可以分配給容器使用的CPU核數(shù)，用vcores表示，默認(rèn)為8，yarn中之所以采用虛擬CPU來(lái)表示，是為了消除不同CPU性能之間的差異，默認(rèn)1個(gè)物理CPU對(duì)應(yīng)一個(gè)虛擬CPU，需要手工設(shè)置。

第二個(gè)參數(shù)表示節(jié)點(diǎn)上的CPU可以分配給所有容器的使用時(shí)間比例，默認(rèn)為100%，即所有CPU的計(jì)算能力全部供Yarn使用。

還有一個(gè)參數(shù)是用來(lái)限制是否允許在CPU空閑時(shí)，可以將多余的計(jì)算能力分配給其他進(jìn)程使用，默認(rèn)允許，若設(shè)為T(mén)RUE，則會(huì)嚴(yán)格按照資源限制控制容器的CPU使用時(shí)間，該參數(shù)如下：

了解完幾個(gè)主要參數(shù)后再來(lái)看一下容器的CPU使用是具體怎樣控制的。

該控制邏輯代碼在hadoop-yarn-server\hadoop-yarn-server-nodemanager\src\main\java\org\apache\hadoop\yarn\server\nodemanager\util\CgroupsLCEResourcesHandler.java文件中。

下面看一下幾個(gè)關(guān)鍵的邏輯點(diǎn)：

這兩個(gè)方法會(huì)分別在容器啟動(dòng)前和容器執(zhí)行完后進(jìn)行調(diào)用，具體的調(diào)用過(guò)程是在hadoop-yarn-server\hadoop-yarn-server-nodemanager\src\main\java\org\apache\hadoop\yarn\server\nodemanager\LinuxContainerExecutor.java中的launchContainer方法中進(jìn)行調(diào)用的。

第一個(gè)方法主要用來(lái)設(shè)置容器的CPU使用限額，具體實(shí)現(xiàn)在setupLimits方法中：

這個(gè)方法首先獲取Container中分配的虛擬CPU數(shù)量，接著創(chuàng)建CGroup的文件路徑，即在CGroup路徑中創(chuàng)建與CPU和容器名稱相關(guān)的路徑。在這個(gè)方法中可以看到有兩種CPU的限制方式：

第一種是通過(guò)cpuShares參數(shù)，該參數(shù)其實(shí)就是依據(jù)容器中分配的虛擬CPU數(shù)量來(lái)計(jì)算使用時(shí)間的，比如容器A為1 vcores，容器B為2 vcores，則容器A和B在滿負(fù)荷運(yùn)行時(shí)可以使用的CPU配額為1：2，該配比是相對(duì)的，即若只有一個(gè)容器，則可以使用100%的CPU時(shí)間。這種方式在保證公平的情況下能更加充分利用資源。

第二種需要開(kāi)啟上述提到的cgroups.strict-resource-usage參數(shù)， 即設(shè)為T(mén)RUE，通過(guò)調(diào)用 getOverallLimits方法得到具體限額，然后將限額寫(xiě)入cfs_period_us和cfs_quota_us文件中，這種方式限制的是絕對(duì)使用時(shí)間，來(lái)看一下getOverallLimits方法：

這里涉及到了幾個(gè)參數(shù)：

yarnProcessors：代表在某個(gè)節(jié)點(diǎn)上yarn中可使用的虛擬CPU數(shù)量， 最小不能低于0.01，該參數(shù)的值是通過(guò)在init方法中調(diào)用NodeManagerHardwareUtils.getContainersCores方法進(jìn)行初始化的，即根據(jù)配置文件中設(shè)定的CPU分配比例來(lái)計(jì)算Yarn可用的CPU數(shù)量：

quotaUS：就是在一個(gè)時(shí)間周期內(nèi)可使用的 cpu 時(shí)間。

periodUS：時(shí)間周期(每個(gè)cpu core)。

具體計(jì)算方式在getOverallLimits方法中：

quotaUS默認(rèn)值為1000 * 1000，即1秒，periodUS默認(rèn)值為（1000 * 1000/yarnProcessors）取整。

當(dāng)yarnProcessors小于1時(shí)，quotaUS的值為 (periodUS * yarnProcessors)取整，但最小不能低于1000ms，periodUS的值為1000 * 1000，即1秒。

將這兩個(gè)值返回并寫(xiě)入文件中。

當(dāng)容器執(zhí)行完畢時(shí)，會(huì)清理上面設(shè)置的CPU限額配置，具體實(shí)現(xiàn)在下面的方法中：

關(guān)于Yarn實(shí)現(xiàn)原理和管理是怎樣的就分享到這里了，希望以上內(nèi)容可以對(duì)大家有一定的幫助，可以學(xué)到更多知識(shí)。如果覺(jué)得文章不錯(cuò)，可以把它分享出去讓更多的人看到。

分享文章：Yarn實(shí)現(xiàn)原理和管理是怎樣的
本文鏈接：http://aaarwkj.com/article20/iijejo.html

成都網(wǎng)站建設(shè)公司_創(chuàng)新互聯(lián)，為您提供微信公眾號(hào)、搜索引擎優(yōu)化、標(biāo)簽優(yōu)化、電子商務(wù)、網(wǎng)站收錄、響應(yīng)式網(wǎng)站

廣告

聲明：本網(wǎng)站發(fā)布的內(nèi)容（圖片、視頻和文字）以用戶投稿、用戶轉(zhuǎn)載內(nèi)容為主，如果涉及侵權(quán)請(qǐng)盡快告知，我們將會(huì)在第一時(shí)間刪除。文章觀點(diǎn)不代表本網(wǎng)站立場(chǎng)，如需處理請(qǐng)聯(lián)系客服。電話：028-86922220；郵箱：631063699@qq.com。內(nèi)容未經(jīng)允許不得轉(zhuǎn)載，或轉(zhuǎn)載時(shí)需注明來(lái)源： 創(chuàng)新互聯(lián)