這篇文章將為大家詳細講解有關大數(shù)據(jù)開發(fā)中如何進行Spark閉包的理解分析，文章內容質量較高，因此小編分享給大家做個參考，希望大家閱讀完這篇文章后對相關知識有一定的了解。

創(chuàng)新互聯(lián)致力于互聯(lián)網品牌建設與網絡營銷，包括成都網站制作、網站建設、SEO優(yōu)化、網絡推廣、整站優(yōu)化營銷策劃推廣、電子商務、移動互聯(lián)網營銷等。創(chuàng)新互聯(lián)為不同類型的客戶提供良好的互聯(lián)網應用定制及解決方案，創(chuàng)新互聯(lián)核心團隊十年專注互聯(lián)網開發(fā)，積累了豐富的網站經驗，為廣大企業(yè)客戶提供一站式企業(yè)網站建設服務，在網站建設行業(yè)內樹立了良好口碑。

1.從Scala中理解閉包

閉包是一個函數(shù)，返回值依賴于聲明在函數(shù)外部的一個或多個變量。閉包通常來講可以簡單的認為是可以訪問一個函數(shù)里面局部變量的另外一個函數(shù)。

如下面這段匿名的函數(shù)：

val multiplier = (i:Int) => i * 10

函數(shù)體內有一個變量 i，它作為函數(shù)的一個參數(shù)。如下面的另一段代碼：

val multiplier = (i:Int) => i * factor

在 multiplier 中有兩個變量：i 和 factor。其中的一個 i 是函數(shù)的形式參數(shù)，在 multiplier 函數(shù)被調用時，i 被賦予一個新的值。然而，factor不是形式參數(shù)，而是自由變量，考慮下面代碼：

var factor = 3  val multiplier = (i:Int) => i * factor

這里我們引入一個自由變量 factor，這個變量定義在函數(shù)外面。

這樣定義的函數(shù)變量 multiplier 成為一個"閉包"，因為它引用到函數(shù)外面定義的變量，定義這個函數(shù)的過程是將這個自由變量捕獲而構成一個封閉的函數(shù)

完整的例子：

object Test {  
   def main(args: Array[String]) {  
      println( "muliplier(1) value = " +  multiplier(1) )  
      println( "muliplier(2) value = " +  multiplier(2) )  
   }  
   var factor = 3  
   val multiplier = (i:Int) => i * factor  
}

2.Spark中的閉包理解

先來看下面一段代碼：

val data=Array(1, 2, 3, 4, 5)
var counter = 0
var rdd = sc.parallelize(data)

// ？？？？ 這樣做會怎么樣
rdd.foreach(x => counter += x)

println("Counter value: " + counter)

首先肯定的是上面輸出的結果是0，park將RDD操作的處理分解為tasks，每個task由Executor執(zhí)行。在執(zhí)行之前，Spark會計算task的閉包。閉包是Executor在RDD上進行計算的時候必須可見的那些變量和方法（在這種情況下是foreach()）。閉包會被序列化并發(fā)送給每個Executor，但是發(fā)送給Executor的是副本，所以在Driver上輸出的依然是counter本身，如果想對全局的進行更新，用累加器，在spark-streaming里面使用updateStateByKey來更新公共的狀態(tài)。

另外在Spark中的閉包還有別的作用，

1.清除Driver發(fā)送到Executor上的無用的全局變量等，只復制有用的變量信息給Executor

2.保證發(fā)送到Executor上的是序列化以后的數(shù)據(jù)

比如在使用DataSet時候 case class的定義必須在類下，而不能是方法內，即使語法上沒問題，如果使用過json4s來序列化，implicit val formats = DefaultFormats 的引入最好放在類下，否則要單獨將這個format序列化，即使你沒有使用到它別的東西。

關于大數(shù)據(jù)開發(fā)中如何進行Spark閉包的理解分析就分享到這里了，希望以上內容可以對大家有一定的幫助，可以學到更多知識。如果覺得文章不錯，可以把它分享出去讓更多的人看到。

網頁題目：大數(shù)據(jù)開發(fā)中如何進行Spark閉包的理解分析
當前地址：http://aaarwkj.com/article12/igipgc.html

成都網站建設公司_創(chuàng)新互聯(lián)，為您提供網站策劃、云服務器、品牌網站制作、網站導航、外貿建站、手機網站建設

廣告

聲明：本網站發(fā)布的內容（圖片、視頻和文字）以用戶投稿、用戶轉載內容為主，如果涉及侵權請盡快告知，我們將會在第一時間刪除。文章觀點不代表本網站立場，如需處理請聯(lián)系客服。電話：028-86922220；郵箱：631063699@qq.com。內容未經允許不得轉載，或轉載時需注明來源： 創(chuàng)新互聯(lián)