今天就跟大家聊聊有關如何進行spark on yarn集群調(diào)優(yōu)，可能很多人都不太了解，為了讓大家更加了解，小編給大家總結(jié)了以下內(nèi)容，希望大家根據(jù)這篇文章可以有所收獲。

成都創(chuàng)新互聯(lián)是一家以成都網(wǎng)站建設、網(wǎng)頁設計、品牌設計、軟件運維、成都網(wǎng)站營銷、小程序App開發(fā)等移動開發(fā)為一體互聯(lián)網(wǎng)公司。已累計為成都木制涼亭等眾行業(yè)中小客戶提供優(yōu)質(zhì)的互聯(lián)網(wǎng)建站和軟件開發(fā)服務。

• jar包管理：在spark-default.conf文件中指定Spark.YARN.jars在hdfs上的SPARK需要的jar包。否則每次提交application，spark會將driver端的SPARK_HOE下的jar.node, spark.locality.wait.pack包分發(fā)到各節(jié)點上。浪費磁盤資源和網(wǎng)絡資源。

• yarn隊列資源不足導致的應用運行失敗，這類問題主要針對提交作業(yè)的調(diào)優(yōu)：

• 1.在J2EE中間層，通過線程池技術(shù)提交作業(yè)，并設置線程池大小為1。

• 2.若只有一個應用，可以將資源調(diào)整到最大

• 3.若有些spark應用明顯的耗時，可以spark擁有的資源進行分類（耗時任務和快速任務），此時可以使用兩個線程池提交作業(yè)，每個線程池大小為1。

• 數(shù)據(jù)本地化：分布式存儲是大數(shù)據(jù)技術(shù)的核心，而為了提高大數(shù)據(jù)計算的效率，使計算靠近數(shù)據(jù)，減少移動大量數(shù)據(jù)而產(chǎn)生的網(wǎng)絡io和磁盤io。

• spark中的本地級別有：PROCESS_LOCAL(進程本地化，效率最高), NODE_LOCAL（節(jié)點本地化）, PACK_LOCAL（機架本地化）, ANY, NO_PREF。在實際運行中我們希望的是大多數(shù)計算是進程本地化或節(jié)點本地化。

• 調(diào)優(yōu)方式：1. 優(yōu)化算法 2. 數(shù)據(jù)設置合理的副本數(shù) 3. 將常用的rdd設置緩存 4. 設置spark相關參數(shù)spark.locality.wait，spark.locality.wait.process, spark.locality.wait.node, spark.locality.wait.pack。 在client模式下運行，觀察運行日志，使得大多數(shù)計算是PROCESS_LOCAL，同時application運行時間減少了，才是有效的優(yōu)化。為了提升數(shù)據(jù)計算本地化級別而犧牲application運行時間，是不可取得，這樣也會造成大量資源的閑置和較長的等待時間。

• Executor經(jīng)常被kill掉，出現(xiàn)Container killed by YARN for exceeding memory limits，內(nèi)存被用完導致此類問題的發(fā)生：

• 移除rdd緩存

• spark.storage.memoryFraction：spark數(shù)據(jù)緩存的的內(nèi)存占比，默認0.6，即可以使用executor的60%內(nèi)存持久化數(shù)據(jù)。在緩存達到臨界值，數(shù)據(jù)可能不能緩存或?qū)懭氲酱疟P。當executor經(jīng)常被kill的時候，應該降低該值。

• spark.yarn.Executor.memoryoverhead：該參數(shù)是在yarn模式下堆外內(nèi)存的調(diào)節(jié)，默認情況下為是每一個executor的內(nèi)存大小的10%

• YARN-Cluster模式下JVM棧內(nèi)存溢出：

• JVM永久代PermGen設置 Spark.Driver.extraJavaOptions="-XX:PermSize=128M -XX:MaxPermSize=256M"(PermGen out of Memory error log)

• 在spark-sql中將復雜的sql語句簡化為多個簡單的sql進行處理(JVM stack overflow)

看完上述內(nèi)容，你們對如何進行spark on yarn集群調(diào)優(yōu)有進一步的了解嗎？如果還想了解更多知識或者相關內(nèi)容，請關注創(chuàng)新互聯(lián)行業(yè)資訊頻道，感謝大家的支持。

本文名稱：如何進行sparkonyarn集群調(diào)優(yōu)
轉(zhuǎn)載來源：http://aaarwkj.com/article48/iihjep.html

成都網(wǎng)站建設公司_創(chuàng)新互聯(lián)，為您提供定制開發(fā)、外貿(mào)網(wǎng)站建設、微信小程序、面包屑導航、網(wǎng)站改版、標簽優(yōu)化

廣告

聲明：本網(wǎng)站發(fā)布的內(nèi)容（圖片、視頻和文字）以用戶投稿、用戶轉(zhuǎn)載內(nèi)容為主，如果涉及侵權(quán)請盡快告知，我們將會在第一時間刪除。文章觀點不代表本網(wǎng)站立場，如需處理請聯(lián)系客服。電話：028-86922220；郵箱：631063699@qq.com。內(nèi)容未經(jīng)允許不得轉(zhuǎn)載，或轉(zhuǎn)載時需注明來源： 創(chuàng)新互聯(lián)