這期內(nèi)容當(dāng)中小編將會(huì)給大家?guī)碛嘘P(guān)spark on k8s與spark on k8s operator的對(duì)比是怎樣的，文章內(nèi)容豐富且以專業(yè)的角度為大家分析和敘述，閱讀完這篇文章希望大家可以有所收獲。

公司主營業(yè)務(wù)：成都網(wǎng)站制作、做網(wǎng)站、移動(dòng)網(wǎng)站開發(fā)等業(yè)務(wù)。幫助企業(yè)客戶真正實(shí)現(xiàn)互聯(lián)網(wǎng)宣傳，提高企業(yè)的競爭能力。創(chuàng)新互聯(lián)是一支青春激揚(yáng)、勤奮敬業(yè)、活力青春激揚(yáng)、勤奮敬業(yè)、活力澎湃、和諧高效的團(tuán)隊(duì)。公司秉承以“開放、自由、嚴(yán)謹(jǐn)、自律”為核心的企業(yè)文化，感謝他們對(duì)我們的高要求，感謝他們從不同領(lǐng)域給我們帶來的挑戰(zhàn)，讓我們激情的團(tuán)隊(duì)有機(jī)會(huì)用頭腦與智慧不斷的給客戶帶來驚喜。創(chuàng)新互聯(lián)推出通道免費(fèi)做網(wǎng)站回饋大家。

對(duì)于目前基于k8s的的spark應(yīng)用，主要采用兩種方式運(yùn)行

• spark原生支持的 spark on k8s

• 基于k8s的operator的 spark on k8s operator

前者是spark社區(qū)支持k8s這種資源管理框架而引入的k8s client的實(shí)現(xiàn)
后者是k8s社區(qū)為了支持spark而開發(fā)的一種operator

區(qū)別	spark on k8s	spark on k8s operator
社區(qū)支持	spark社區(qū)	GoogleCloudPlatform非官方支持
版本要求	spark>=2.3,Kubernetes>=1.6	spark>2.3,Kubernetes>=1.13
安裝	按照官網(wǎng)安裝，需要k8s pod的create list edit delete權(quán)限，且需要自己編譯源碼進(jìn)行鏡像的構(gòu)建，構(gòu)建過程繁瑣	需要k8s admin安裝incubator/sparkoperator，需要pod create list edit delete的權(quán)限
使用	直接spark submit提交，如:下面code 1,支持client和cluster模式，spark on k8s	通過yaml配置文件形式提交，支持client和cluster模式，提交如code2，具體參數(shù)參考spark operator configuration
優(yōu)點(diǎn)	符合sparker的方式進(jìn)行任務(wù)提交，對(duì)于習(xí)慣了spark的使用者來說，使用起來更順手	k8s配置文件方式提交任務(wù)，復(fù)用性強(qiáng)
缺點(diǎn)	運(yùn)行完后driver的資源不會(huì)自動(dòng)釋放	運(yùn)行完后driver的資源不會(huì)自動(dòng)釋放
實(shí)現(xiàn)方式	對(duì)于spark提交方式來說，無論是client提交還是cluster提交，都是繼承SparkApplication。以client提交，子類則是JavaMainApplication,該方式以反射運(yùn)行,對(duì)于k8s任務(wù)來分析,clusterManager為KubernetesClusterManager,該方式和向yarn提交任務(wù)的方式?jīng)]什么區(qū)別;以cluster方式提交,對(duì)于k8s任務(wù)來說,spark程序的入口為KubernetesClientApplication，client端會(huì)建立clusterIp為None的service，executor跟該service進(jìn)行rpc，如任務(wù)的提交的交互，且會(huì)建立以driver-conf-map后綴的configMap，該configMap在建立spark driver pod的時(shí)候，以volumn掛載的形式被引用,而該文件的內(nèi)容最終在driver提交任務(wù)的時(shí)候以--properties-file形式提交給spark driver，從而spark.driver.host等配置項(xiàng)就傳輸給了driver，與此同時(shí)也會(huì)建立以-hadoop-config為后綴的configMap，可是 k8s 鏡像怎么區(qū)分是運(yùn)行executor還是driver的呢？一切都在dockerfile(具體構(gòu)建的時(shí)候根據(jù)hadoop和kerbeors環(huán)境的不一樣進(jìn)行區(qū)別配置)和entrypoint中,其中shell中是區(qū)分driver和executor的;	采用k8s CRD Controller的機(jī)制，自定義CRD,根據(jù)operator SDK,監(jiān)聽對(duì)應(yīng)的增刪改查event，如監(jiān)聽到對(duì)應(yīng)的CRD的創(chuàng)建事件，則根據(jù)對(duì)應(yīng)yaml文件配置項(xiàng)，建立pod，進(jìn)行spark任務(wù)的提交，具體的實(shí)現(xiàn)，可參考spark on k8s operator design,具體以cluster和client模式提交的原理和spark on k8s一致,因?yàn)殓R像復(fù)用的是spark的官方鏡像

code 1 
---
bin/spark-submit \
    --master k8s://https://192.168.202.231:6443 \
    --deploy-mode cluster \
    --name spark-pi \
    --class org.apache.spark.examples.SparkPi \
    --conf spark.executor.instances=2 \
    --conf "spark.kubernetes.namespace=dev" \
    --conf "spark.kubernetes.authenticate.driver.serviceAccountName=lijiahong" \
    --conf "spark.kubernetes.container.image=harbor.k8s-test.uc.host.dxy/dev/spark-py:cdh-2.6.0-5.13.1" \
    --conf "spark.kubernetes.container.image.pullSecrets=regsecret" \
    --conf "spark.kubernetes.file.upload.path=hdfs:///tmp" \
    --conf "spark.kubernetes.container.image.pullPolicy=Always" \
    hdfs:///tmp/spark-examples_2.12-3.0.0.jar

code 2
---
apiVersion: "sparkoperator.k8s.io/v1beta2"
kind: SparkApplication
metadata:
  name: spark-pi
  namespace: dev
spec:
  type: Scala
  mode: cluster
  image: "gcr.io/spark-operator/spark:v3.0.0"
  imagePullPolicy: Always
  mainClass: org.apache.spark.examples.SparkPi
  mainApplicationFile: "local:///opt/spark/examples/jars/spark-examples_2.12-3.0.0.jar"
  sparkVersion: "3.0.0"
  restartPolicy:
    type: Never
  volumes:
    - name: "test-volume"
      hostPath:
        path: "/tmp"
        type: Directory
  driver:
    cores: 1
    coreLimit: "1200m"
    memory: "512m"
    labels:
      version: 3.0.0
    serviceAccount: lijiahong
    volumeMounts:
      - name: "test-volume"
        mountPath: "/tmp"
  executor:
    cores: 1
    instances: 1
    memory: "512m"
    labels:
      version: 3.0.0
    volumeMounts:
      - name: "test-volume"
        mountPath: "/tmp"

上述就是小編為大家分享的spark on k8s與spark on k8s operator的對(duì)比是怎樣的了，如果剛好有類似的疑惑，不妨參照上述分析進(jìn)行理解。如果想知道更多相關(guān)知識(shí)，歡迎關(guān)注創(chuàng)新互聯(lián)行業(yè)資訊頻道。

網(wǎng)站題目：sparkonk8s與sparkonk8soperator的對(duì)比是怎樣的
標(biāo)題路徑：http://aaarwkj.com/article2/gjciic.html

成都網(wǎng)站建設(shè)公司_創(chuàng)新互聯(lián)，為您提供手機(jī)網(wǎng)站建設(shè)、網(wǎng)站改版、服務(wù)器托管、小程序開發(fā)、移動(dòng)網(wǎng)站建設(shè)、域名注冊(cè)

廣告

聲明：本網(wǎng)站發(fā)布的內(nèi)容（圖片、視頻和文字）以用戶投稿、用戶轉(zhuǎn)載內(nèi)容為主，如果涉及侵權(quán)請(qǐng)盡快告知，我們將會(huì)在第一時(shí)間刪除。文章觀點(diǎn)不代表本網(wǎng)站立場，如需處理請(qǐng)聯(lián)系客服。電話：028-86922220；郵箱：631063699@qq.com。內(nèi)容未經(jīng)允許不得轉(zhuǎn)載，或轉(zhuǎn)載時(shí)需注明來源： 創(chuàng)新互聯(lián)