欧美一级特黄大片做受成人-亚洲成人一区二区电影-激情熟女一区二区三区-日韩专区欧美专区国产专区

如何在Spark中使用RDD

如何在Spark中使用RDD？針對(duì)這個(gè)問題，這篇文章詳細(xì)介紹了相對(duì)應(yīng)的分析和解答，希望可以幫助更多想解決這個(gè)問題的小伙伴找到更簡(jiǎn)單易行的方法。

成都創(chuàng)新互聯(lián)公司是一家以網(wǎng)站建設(shè)公司、網(wǎng)頁設(shè)計(jì)、品牌設(shè)計(jì)、軟件運(yùn)維、成都網(wǎng)站推廣、小程序App開發(fā)等移動(dòng)開發(fā)為一體互聯(lián)網(wǎng)公司。已累計(jì)為成都發(fā)電機(jī)租賃等眾行業(yè)中小客戶提供優(yōu)質(zhì)的互聯(lián)網(wǎng)建站和軟件開發(fā)服務(wù)。

1. Spark中的RDD

  • Resilient Distributed Datasets(彈性分布式數(shù)據(jù)集)

  • Spark中的最基本的抽象

  • 有了RDD的存在我們就可以像操作本地集合一樣操作分布式的數(shù)據(jù)

  • 包含所有元素的分區(qū)的集合

  • RDD包含了很多的分區(qū)

  • 2. RDD中的彈性
     

  • RDD中的數(shù)據(jù)是可大可小的

  • RDD的數(shù)據(jù)默認(rèn)情況下存放在內(nèi)存中的，但是在內(nèi)存資源不足時(shí)，Spark會(huì)自動(dòng)將RDD數(shù)據(jù)寫入磁盤

  • RDD有自動(dòng)容錯(cuò)功能,當(dāng)其中一個(gè)RDD中的分區(qū)的數(shù)據(jù)丟失,或者當(dāng)前節(jié)點(diǎn)故障時(shí),rdd會(huì)根據(jù)依賴關(guān)系重新計(jì)算該分區(qū)的數(shù)據(jù)

3. RDD在Spark中的作用

迭代式計(jì)算

其主要實(shí)現(xiàn)思想就是RDD，把所有計(jì)算的數(shù)據(jù)保存在分布式的內(nèi)存中。迭代計(jì)算通常情況下都是對(duì)同一個(gè)數(shù)據(jù)集做反復(fù)的迭代計(jì)算，數(shù)據(jù)在內(nèi)存中將大大提升IO操作。這也是Spark涉及的核心：內(nèi)存計(jì)算

交互式計(jì)算

因?yàn)镾park是用scala語言實(shí)現(xiàn)的，Spark和scala能夠緊密的集成，所以Spark可以完美的運(yùn)用scala的解釋器，使得其中的scala可以向操作本地集合對(duì)象一樣輕松操作分布式數(shù)據(jù)集

4. Spark中的名詞解釋

  • ClusterManager :在Standalone模式中即為Master（主節(jié)點(diǎn)），控制整個(gè)集群，監(jiān)控Worker。在YARN模式中為資源管理器

  • Worker:從節(jié)點(diǎn)，負(fù)責(zé)控制計(jì)算節(jié)點(diǎn)，啟動(dòng)Executor。在YARN模式中為NodeManager，負(fù)責(zé)計(jì)算節(jié)點(diǎn)的控制。

  • Driver 運(yùn)行Application的main()函數(shù)并創(chuàng)建SparkContext

  • Executor (CoarseGrainedExecutorBackend)在worker node上執(zhí)行任務(wù)的組件、用于啟動(dòng)線程池運(yùn)行任務(wù)。每個(gè)Application擁有獨(dú)立的一組Executors

  • SparkContext :整個(gè)應(yīng)用的上下文，控制應(yīng)用的生命周期

  • RDD :Spark中的最基本的數(shù)據(jù)抽象

  • DAG Scheduler : 根據(jù)DAG(有向無環(huán)圖)切分stage,并且生成task,以taskset的形式返回

  • Task Schedual: 調(diào)度task,把task交給executor

  • Stage: 一個(gè)Spark作業(yè)一般包含一到多個(gè)Stage。

  • Task :一個(gè)Stage包含一到多個(gè)Task，通過多個(gè)Task實(shí)現(xiàn)并行運(yùn)行的功能

  • Transformations :轉(zhuǎn)換操作,Transformation是lazy的,不會(huì)馬上執(zhí)行,只有當(dāng)調(diào)用action時(shí)才會(huì)執(zhí)行

  • Actions : 動(dòng)作

  • SparkEnv : 線程級(jí)別的上下文，存儲(chǔ)運(yùn)行時(shí)的重要組件的引用

5. 創(chuàng)建RDD的兩種方式

通過并行化集合創(chuàng)建RDD(用于測(cè)試)

val list = List("java c++ java","java java java c++")
val rdd = sc.parallelize(list)

通過加載hdfs中的數(shù)據(jù)創(chuàng)建RDD(生產(chǎn)環(huán)境)

val rdd = sc.textFile("hdfs://uplooking01:8020/sparktest/")

6. IDEA開發(fā)Spark

6.1 pom依賴

<?xml version="1.0" encoding="UTF-8"?>
<project xmlns="http://maven.apache.org/POM/4.0.0"
     xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance"
     xsi:schemaLocation="http://maven.apache.org/POM/4.0.0 http://maven.apache.org/xsd/maven-4.0.0.xsd">
  <modelVersion>4.0.0</modelVersion>

  <groupId>com.uplooking.bigdata</groupId>
  <artifactId>2018-11-08-spark</artifactId>
  <version>1.0-SNAPSHOT</version>

  <properties>
    <maven.compiler.source>1.8</maven.compiler.source>
    <maven.compiler.target>1.8</maven.compiler.target>
    <scala.version>2.11.8</scala.version>
    <spark.version>2.2.0</spark.version>
    <hadoop.version>2.7.5</hadoop.version>
  </properties>

  <dependencies>
    <!-- 導(dǎo)入scala的依賴 -->
    <dependency>
      <groupId>org.scala-lang</groupId>
      <artifactId>scala-library</artifactId>
      <version>${scala.version}</version>
    </dependency>

    <!-- 導(dǎo)入spark的依賴 -->
    <dependency>
      <groupId>org.apache.spark</groupId>
      <artifactId>spark-core_2.11</artifactId>
      <version>${spark.version}</version>
    </dependency>

    <dependency>
      <groupId>org.apache.spark</groupId>
      <artifactId>spark-sql_2.11</artifactId>
      <version>${spark.version}</version>
    </dependency>
    <!-- 指定hadoop-client API的版本 -->
    <dependency>
      <groupId>org.apache.hadoop</groupId>
      <artifactId>hadoop-client</artifactId>
      <version>${hadoop.version}</version>
    </dependency>

  </dependencies>

  <build>
    <plugins>
      <!--編譯Scala-->
      <plugin>
        <groupId>net.alchim31.maven</groupId>
        <artifactId>scala-maven-plugin</artifactId>
        <version>3.2.2</version>
        <executions>
          <execution>
            <id>scala-compile-first</id>
            <phase>process-resources</phase>
            <goals>
              <goal>add-source</goal>
              <goal>compile</goal>
            </goals>
          </execution>
          <execution>
            <id>scala-test-compile</id>
            <phase>process-test-resources</phase>
            <goals>
              <goal>testCompile</goal>
            </goals>
          </execution>
        </executions>
      </plugin>
      <!--編譯Java-->
      <plugin>
        <groupId>org.apache.maven.plugins</groupId>
        <artifactId>maven-compiler-plugin</artifactId>
        <executions>
          <execution>
            <phase>compile</phase>
            <goals>
              <goal>compile</goal>
            </goals>
          </execution>
        </executions>
      </plugin>
      <!-- 打jar插件 -->
      <plugin>
        <groupId>org.apache.maven.plugins</groupId>
        <artifactId>maven-shade-plugin</artifactId>
        <version>2.4.3</version>
        <configuration>
          <createDependencyReducedPom>false</createDependencyReducedPom>
        </configuration>
        <executions>
          <execution>
            <phase>package</phase>
            <goals>
              <goal>shade</goal>
            </goals>
            <configuration>
              <filters>
                <filter>
                  <artifact>*:*</artifact>
                  <excludes>
                    <exclude>META-INF/*.SF</exclude>
                    <exclude>META-INF/*.DSA</exclude>
                    <exclude>META-INF/*.RSA</exclude>
                  </excludes>
                </filter>
              </filters>
            </configuration>
          </execution>
        </executions>
      </plugin>

    </plugins>
  </build>
</project>

6.2 編寫spark程序

val conf = new SparkConf()
conf.setAppName("Ops1")
val sc = new SparkContext(conf)
val rdd1: RDD[String] = sc.parallelize(List("java c+ java", "java java c++"))
val ret = rdd1.collect().toBuffer
println(ret)

6.3 打包

6.4 在Driver上運(yùn)行jar包

spark-submit --master spark://uplooking01:7077 --class com.uplooking.bigdata.spark01.Ops1 original-spark-1.0-SNAPSHOT.jar

7. 本地運(yùn)行Spark程序

import org.apache.spark.rdd.RDD
import org.apache.spark.{SparkConf, SparkContext}

import scala.collection.mutable

object Ops1 {
 def main(args: Array[String]): Unit = {
  val conf = new SparkConf()
  conf.setAppName("Ops1")
  conf.setMaster("local[4]")
  val sc = new SparkContext(conf)
  //一般不會(huì)指定最小分區(qū)數(shù)
  val rdd1 = sc.textFile("hdfs://uplooking01:8020/sparktest/")
  val rdd2: RDD[String] = rdd1.flatMap(line => line.split(" "))
  val rdd3: RDD[(String, Int)] = rdd2.map(word => (word, 1))
  val rdd4: RDD[(String, Int)] = rdd3.reduceByKey(_ + _)
  val ret: mutable.Buffer[(String, Int)] = rdd4.collect().toBuffer
  println(ret)
  println(rdd1.partitions.length)
 }
}

8. RDD中的分區(qū)數(shù)

并行化的方式指定分區(qū)數(shù)(一般會(huì)指定分區(qū)數(shù))

  • 默認(rèn)如果創(chuàng)建RDD時(shí)不指定分區(qū)數(shù),那么就會(huì)創(chuàng)建cpu核數(shù)個(gè)分區(qū)

  • 手動(dòng)指定分區(qū)數(shù)

val rdd = sc.parallelize(List("java c+ java", "java java c++"), 2)

textFile的方式指定分區(qū)數(shù)

  • 默認(rèn)如果創(chuàng)建RDD時(shí)不指定最小分區(qū)數(shù),那么就會(huì)創(chuàng)建至少2個(gè)分區(qū)的RDD

  • 一般不會(huì)指定最小分區(qū)數(shù)

  • 不指定最小分區(qū)數(shù),有切片的數(shù)量個(gè)分區(qū)

9. Spark作業(yè)的運(yùn)行流程

  • 構(gòu)建DAG

  • 根據(jù)DAG切分Stage,每個(gè)Stage對(duì)應(yīng)一組相同計(jì)算邏輯不能計(jì)算數(shù)據(jù)的Task,以TastSet的形式返回

  • TaskSchedual調(diào)度task,把task發(fā)送到executor中去,用Runnable進(jìn)行包裝進(jìn)給線程池

  • Executor執(zhí)行task

關(guān)于如何在Spark中使用RDD問題的解答就分享到這里了，希望以上內(nèi)容可以對(duì)大家有一定的幫助，如果你還有很多疑惑沒有解開，可以關(guān)注創(chuàng)新互聯(lián)行業(yè)資訊頻道了解更多相關(guān)知識(shí)。

文章題目：如何在Spark中使用RDD
URL分享：http://aaarwkj.com/article26/gipjjg.html

成都網(wǎng)站建設(shè)公司_創(chuàng)新互聯(lián)，為您提供網(wǎng)站建設(shè)、電子商務(wù)、App設(shè)計(jì)、網(wǎng)站營(yíng)銷、網(wǎng)站制作、網(wǎng)站內(nèi)鏈

廣告

聲明：本網(wǎng)站發(fā)布的內(nèi)容（圖片、視頻和文字）以用戶投稿、用戶轉(zhuǎn)載內(nèi)容為主，如果涉及侵權(quán)請(qǐng)盡快告知，我們將會(huì)在第一時(shí)間刪除。文章觀點(diǎn)不代表本網(wǎng)站立場(chǎng)，如需處理請(qǐng)聯(lián)系客服。電話：028-86922220；郵箱：631063699@qq.com。內(nèi)容未經(jīng)允許不得轉(zhuǎn)載，或轉(zhuǎn)載時(shí)需注明來源： 創(chuàng)新互聯(lián)

成都網(wǎng)站建設(shè)公司
国内激情自拍偷拍视频| 亚洲性感人妻系列网站| 亚洲精品第一国产综合| 午夜亚洲欧美日韩在线| 亚洲精品不卡在线观看| 成人精品国产一区二区| 国产丝袜在线福利观看| 麻豆人妻少妇精品毛片| 国产成人91精品免费看片| 欧美亚洲中文字幕高清| 99久久婷婷免费国产综合精品| 国产国产精品人在线观看| 蜜臀av一区二区高清| 日本精品视频免费网| 亚洲中文乱码一区二区| 国产欧美色日韩综合在线| 熟女肥臀一区二区三区| 自拍偷拍视频欧美第一页| 中文字幕在线一级色视频| 国产第一页第二页在线| 国产精品乱人偷免费视频| 熟妇激情欧美在线播放视频| 国产一区二区三区婷婷 | 人妻上司无奈中文字幕| 亚洲国产精品一区性色| 亚洲一区有码在线观看| 欧美黄片网站免费观看| 小骚货操死你视频在线观看| 亚洲五月婷婷久久综合| 99国产精品欧美一区二区| 午夜剧场福利在线观看| 亚洲欧洲精品专线九九| 国产精品网站在线观看不卡| 日本高清一区二区高清| 日韩 高清 一区二区| 就去吻色综合一二三四| 91久久精品国产一区蜜臀| 欧美午夜激情片在线观看| 四虎免费在线视频观看| 亚洲天堂av一区二区在线| 亚洲第一狼人天堂在线|