這篇文章主要講解了“Spark的運行基本流程及其特點”，文中的講解內(nèi)容簡單清晰，易于學習與理解，下面請大家跟著小編的思路慢慢深入，一起來研究和學習“Spark的運行基本流程及其特點”吧！

創(chuàng)新互聯(lián)主要從事成都做網(wǎng)站、成都網(wǎng)站建設(shè)、網(wǎng)頁設(shè)計、企業(yè)做網(wǎng)站、公司建網(wǎng)站等業(yè)務(wù)。立足成都服務(wù)雙灤,十載網(wǎng)站建設(shè)經(jīng)驗,價格優(yōu)惠、服務(wù)專業(yè),歡迎來電咨詢建站服務(wù):13518219792

 

1、Spark 運行基本流程：

（1）構(gòu)建 Spark Application 的運行環(huán)境（啟動 SparkContext），SparkContext 向資源管理器（可以是 Standalone、Mesos 或 YARN）注冊并申請運行 Executor 資源。

（2）資源管理器分配 Executor 資源并啟動 Executor，Executor 運行情況將隨著心跳發(fā)送到資源管理器上。

（3）SparkContext 構(gòu)建成 DAG 圖，將 DAG 圖分解成 Stage，并把 Taskset發(fā)送給 Task Scheduler。Executor 向 SparkContext 申請 Task，Task Scheduler 將Task 發(fā)放給 Executor 運行同時 SparkContext 將應(yīng)用程序代碼發(fā)放給 Executor。

（4）Task 在 Executor 上運行，運行完畢釋放所有資源。

2、Spark 運行架構(gòu)的特點：

（1）每個 Application 獲取專屬的 executor 進程，該進程在 Application 期間一直駐留，并以多線程方式運行 tasks。

（2）Spark 任務(wù)與資源管理器無關(guān)，只要能夠獲取 executor 進程，并能保持相互通信就可以了。

（3）提交 SparkContext 的 Client 應(yīng)該靠近 Worker 節(jié)點（運行 Executor 的節(jié)點)，最好是在同一個 Rack 里，因為 Spark 程序運行過程中SparkContext 和Executor 之間有大量的信息交換；如果想在遠程集群中運行，最好使用 RPC 將SparkContext 提交給集群，不要遠離 Worker 運行 SparkContext。

（4）Task 采用了數(shù)據(jù)本地性和推測執(zhí)行的優(yōu)化機制。

 

感謝各位的閱讀，以上就是“Spark的運行基本流程及其特點”的內(nèi)容了，經(jīng)過本文的學習后，相信大家對Spark的運行基本流程及其特點這一問題有了更深刻的體會，具體使用情況還需要大家實踐驗證。這里是創(chuàng)新互聯(lián)，小編將為大家推送更多相關(guān)知識點的文章，歡迎關(guān)注！

分享名稱：Spark的運行基本流程及其特點-創(chuàng)新互聯(lián)
分享路徑：http://aaarwkj.com/article38/codgpp.html

成都網(wǎng)站建設(shè)公司_創(chuàng)新互聯(lián)，為您提供面包屑導(dǎo)航、標簽優(yōu)化、網(wǎng)站設(shè)計公司、手機網(wǎng)站建設(shè)、Google、App開發(fā)

廣告

聲明：本網(wǎng)站發(fā)布的內(nèi)容（圖片、視頻和文字）以用戶投稿、用戶轉(zhuǎn)載內(nèi)容為主，如果涉及侵權(quán)請盡快告知，我們將會在第一時間刪除。文章觀點不代表本網(wǎng)站立場，如需處理請聯(lián)系客服。電話：028-86922220；郵箱：631063699@qq.com。內(nèi)容未經(jīng)允許不得轉(zhuǎn)載，或轉(zhuǎn)載時需注明來源： 創(chuàng)新互聯(lián)