欧美一级特黄大片做受成人-亚洲成人一区二区电影-激情熟女一区二区三区-日韩专区欧美专区国产专区

Spark和Hadoop的架構區(qū)別解讀

2021-02-03    分類: 網(wǎng)站建設

總的來說,Spark采用更先進的架構,使得靈活性、易用性、性能等方面都比Hadoop更有優(yōu)勢,有取代Hadoop的趨勢,但其穩(wěn)定性有待進一步提高。我總結(jié),具體表現(xiàn)在如下幾個方面。

Spark和Hadoop的架構區(qū)別解讀

Q:Spark和Hadoop的架構區(qū)別

A:

  • Hadoop:MapRedcue由Map和Reduce兩個階段,并通過shuffle將兩個階段連接起來的。但是套用MapReduce模型解決問題,不得不將問題分解為若干個有依賴關系的子問題,每個子問題對應一個MapReduce作業(yè),最終所有這些作業(yè)形成一個DAG。
  • Spark:是通用的DAG框架,可以將多個有依賴關系的作業(yè)轉(zhuǎn)換為一個大的DAG。核心思想是將Map和Reduce兩個操作進一步拆分為多個元操作,這些元操作可以靈活組合,產(chǎn)生新的操作,并經(jīng)過一些控制程序組裝后形成一個大的DAG作業(yè)。

Q:Spark和Hadoop的中間計算結(jié)果處理區(qū)別

A:

  • Hadoop:在DAG中,由于有多個MapReduce作業(yè)組成,每個作業(yè)都會從HDFS上讀取一次數(shù)據(jù)和寫一次數(shù)據(jù)(默認寫三份),即使這些MapReduce作業(yè)產(chǎn)生的數(shù)據(jù)是中間數(shù)據(jù)也需要寫HDFS。這種表達作業(yè)依賴關系的方式比較低效,會浪費大量不必要的磁盤和網(wǎng)絡IO,根本原因是作業(yè)之間產(chǎn)生的數(shù)據(jù)不是直接流動的,而是借助HDFS作為共享數(shù)據(jù)存儲系統(tǒng)。
  • Spark:在Spark中,使用內(nèi)存(內(nèi)存不夠使用本地磁盤)替代了使用HDFS存儲中間結(jié)果。對于迭代運算效率更高。

Q:Spark和Hadoop的操作模型區(qū)別

A:

  • Hadoop:只提供了Map和Reduce兩種操作所有的作業(yè)都得轉(zhuǎn)換成Map和Reduce的操作。
  • Spark:提供很多種的數(shù)據(jù)集操作類型比如Transformations 包括map, filter, flatMap, sample, groupByKey, reduceByKey, union, join, cogroup, mapValues,sort,partionBy等多種操作類型,還提供actions操作包括Count,collect, reduce, lookup, save等多種。這些多種多樣的數(shù)據(jù)集操作類型,給開發(fā)上層應用的用戶提供了方便。

Q:spark中的RDD是什么,有哪些特性?

A:

  • A list of partitions:一個分區(qū)列表,RDD中的數(shù)據(jù)都存儲在一個分區(qū)列表中
  • A function for computing each split:作用在每一個分區(qū)中的函數(shù)
  • A list of dependencies on other RDDs:一個RDD依賴于其他多個RDD,這個點很重要,RDD的容錯機制就是依據(jù)這個特性而來的
  • Optionally,a Partitioner for key-value RDDs(eg:to say that the RDD is hash-partitioned):可選的,針對于kv類型的RDD才有這個特性,作用是決定了數(shù)據(jù)的來源以及數(shù)據(jù)處理后的去向
  • 可選項,數(shù)據(jù)本地性,數(shù)據(jù)位置最優(yōu)

Q:概述一下spark中的常用算子區(qū)別(map,mapPartitions,foreach,foreachPatition)

A:map:用于遍歷RDD,將函數(shù)應用于每一個元素,返回新的RDD(transformation算子)

foreach:用于遍歷RDD,將函數(shù)應用于每一個元素,無返回值(action算子)

mapPatitions:用于遍歷操作RDD中的每一個分區(qū),返回生成一個新的RDD(transformation算子)

foreachPatition:用于遍歷操作RDD中的每一個分區(qū),無返回值(action算子)

總結(jié):一般使用mapPatitions和foreachPatition算子比map和foreach更加高效,推薦使用。

網(wǎng)頁名稱:Spark和Hadoop的架構區(qū)別解讀
分享URL:http://aaarwkj.com/news/98896.html

成都網(wǎng)站建設公司_創(chuàng)新互聯(lián),為您提供企業(yè)建站、手機網(wǎng)站建設、網(wǎng)站改版、營銷型網(wǎng)站建設、外貿(mào)建站外貿(mào)網(wǎng)站建設

廣告

聲明:本網(wǎng)站發(fā)布的內(nèi)容(圖片、視頻和文字)以用戶投稿、用戶轉(zhuǎn)載內(nèi)容為主,如果涉及侵權請盡快告知,我們將會在第一時間刪除。文章觀點不代表本網(wǎng)站立場,如需處理請聯(lián)系客服。電話:028-86922220;郵箱:631063699@qq.com。內(nèi)容未經(jīng)允許不得轉(zhuǎn)載,或轉(zhuǎn)載時需注明來源: 創(chuàng)新互聯(lián)

網(wǎng)站建設網(wǎng)站維護公司
老女人性生交大片免费| 高清白嫩学生自拍视频| 日本岛国免费一区二区| 亚洲综合一区二区精品久久| 日本一区二区不卡高清| 国产激情福利一区二区| 日韩在线不卡一二三| 日韩欧美在线一区二区| 国产欧美高清在线观看视频| 色一区欧美一区亚洲一区| 黄色三级视频久久久| 欧美日本一区二区三区免费| 亚洲国产成人精品福利| 欧美系列诱惑性国产精品| 国产精品呻吟久久人妻| 日韩精品在线另类亚洲| 国产高清亚洲一区亚洲二区| 久久三级中文欧大战字幕| 欧美熟女av在线观看| 国产原创av超爽剧情系列| 久久激情日本人妻av免费| 日韩在线不卡中文字幕| 日本在线免费高清观看| 厕所偷拍视频一区二区三区| 蜜桃少妇人妻一区二区视频| 欧美 日本国产一区| 成年人三级黄色片视频| 亚洲欧美日韩精品成人| 亚洲香蕉一区二区免费| 欧美日韩亚洲国产极品| 很色很污无遮挡的网色污| 亚洲欧美国产精品久久久| 亚洲精品乱码在线播放| 一区二区三区在线观看日本视频| 天天操天天夜夜操夜夜| 亚洲中文字幕精品视频乱码| 日韩在线观看视频有码| 黄片在线免费观看欧美中文| 人人妻人人澡人人爽的视频| 中文字幕亚洲精品视频| 日韩精品少妇一区二区在线看|