本篇文章給大家分享的是有關(guān)如何進(jìn)行JobScheduler內(nèi)幕實(shí)現(xiàn)，小編覺得挺實(shí)用的，因此分享給大家學(xué)習(xí)，希望大家閱讀完這篇文章后可以有所收獲，話不多說，跟著小編一起來看看吧。

十多年的廣德網(wǎng)站建設(shè)經(jīng)驗(yàn)，針對(duì)設(shè)計(jì)、前端、開發(fā)、售后、文案、推廣等六對(duì)一服務(wù)，響應(yīng)快，48小時(shí)及時(shí)工作處理。營銷型網(wǎng)站的優(yōu)勢(shì)是能夠根據(jù)用戶設(shè)備顯示端的尺寸不同，自動(dòng)調(diào)整廣德建站的顯示方式，使網(wǎng)站能夠適用不同顯示終端，在瀏覽器中調(diào)整網(wǎng)站的寬度，無論在任何一種瀏覽器上瀏覽網(wǎng)站，都能展現(xiàn)優(yōu)雅布局與設(shè)計(jì)，從而大程度地提升瀏覽體驗(yàn)。創(chuàng)新互聯(lián)從事“廣德網(wǎng)站設(shè)計(jì)”,“廣德網(wǎng)站推廣”以來，每個(gè)客戶項(xiàng)目都認(rèn)真落實(shí)執(zhí)行。

在spark stream程序中的一條關(guān)鍵的語句就是：ssc.start()

1，跟蹤進(jìn)入StreamingContext的start 方法，有一句非常關(guān)鍵的語句scheduler.start()，是個(gè)JobScheduler(spark stream用來job調(diào)度的)

進(jìn)行job調(diào)度的入口！

2，計(jì)入JobScheduler 的start方法。

在這個(gè)方法中幾個(gè)關(guān)鍵的點(diǎn)是：

eventLoop.start() 一個(gè)事件循環(huán)器，用于響應(yīng)其它組件發(fā)來的事件(包括job的啟動(dòng)，完成，以及錯(cuò)誤報(bào)告)。

receiverTracker.start() 控制了整個(gè)receiver的生成，與數(shù)據(jù)的接受

jobGenerator.start() 真正開始進(jìn)行job的生成
 

在這個(gè)方法中也維護(hù)了一個(gè)事件處理的循環(huán)器eventLoop，用于處理各種事件

其中最為關(guān)鍵的事件是GenerateJobs(time)，這個(gè)事件是進(jìn)行生成job的事件！！

跟蹤計(jì)入generateJobs(time)

jobScheduler.receiverTracker.allocateBlocksToBatch(time) 為當(dāng)前的bath分發(fā)收到的數(shù)據(jù)Blocks。

graph.generateJobs(time)：根據(jù)當(dāng)前編寫的程序的output動(dòng)作生成相應(yīng)的job并封裝進(jìn)入集合中。

最終通過

提交作業(yè)到executor

在回去看看jobGenerator.start()中的startFirstTime()

private def startFirstTime() {

  val startTime = new Time(timer.getStartTime())

  graph.start(startTime - graph.batchDuration)

  timer.start(startTime.milliseconds)

  logInfo("Started JobGenerator at " + startTime)

}

第一次啟動(dòng)會(huì)啟動(dòng)一個(gè)定時(shí)器，該定時(shí)器會(huì)根基duration bath 不斷的的給jobGenerator中的消息循環(huán)體！

在jobGenerator中的消息循環(huán)體就會(huì)不斷的去除消息進(jìn)行處理

以上就是如何進(jìn)行JobScheduler內(nèi)幕實(shí)現(xiàn)，小編相信有部分知識(shí)點(diǎn)可能是我們?nèi)粘９ぷ鲿?huì)見到或用到的。希望你能通過這篇文章學(xué)到更多知識(shí)。更多詳情敬請(qǐng)關(guān)注創(chuàng)新互聯(lián)行業(yè)資訊頻道。

分享文章：如何進(jìn)行JobScheduler內(nèi)幕實(shí)現(xiàn)
瀏覽路徑：http://aaarwkj.com/article4/jjgpoe.html

成都網(wǎng)站建設(shè)公司_創(chuàng)新互聯(lián)，為您提供App設(shè)計(jì)、營銷型網(wǎng)站建設(shè)、Google、面包屑導(dǎo)航、企業(yè)網(wǎng)站制作、自適應(yīng)網(wǎng)站

廣告

聲明：本網(wǎng)站發(fā)布的內(nèi)容（圖片、視頻和文字）以用戶投稿、用戶轉(zhuǎn)載內(nèi)容為主，如果涉及侵權(quán)請(qǐng)盡快告知，我們將會(huì)在第一時(shí)間刪除。文章觀點(diǎn)不代表本網(wǎng)站立場(chǎng)，如需處理請(qǐng)聯(lián)系客服。電話：028-86922220；郵箱：631063699@qq.com。內(nèi)容未經(jīng)允許不得轉(zhuǎn)載，或轉(zhuǎn)載時(shí)需注明來源： 創(chuàng)新互聯(lián)