參數(shù)名稱

含義

--master MASTER_URL

可以是spark://host:port, mesos://host:port, yarn,  yarn-cluster,yarn-client, local

--deploy-mode DEPLOY_MODE

Driver程序運行的地方，client或者cluster

--class CLASS_NAME

主類名稱，含包名

--name NAME

Application名稱

--jars JARS

Driver依賴的第三方j(luò)ar包

--py-files PY_FILES

用逗號隔開的放置在Python應(yīng)用程序PYTHONPATH上的.zip,  .egg, .py文件列表

--files FILES

用逗號隔開的要放置在每個executor工作目錄的文件列表

--properties-file FILE

設(shè)置應(yīng)用程序?qū)傩缘奈募窂剑J(rèn)是conf/spark-defaults.conf

--driver-memory MEM

Driver程序使用內(nèi)存大小

--driver-java-options

--driver-library-path

Driver程序的庫路徑

--driver-class-path

Driver程序的類路徑

--executor-memory MEM

executor內(nèi)存大小，默認(rèn)1G

--driver-cores NUM

Driver程序的使用CPU個數(shù)，僅限于Spark Alone模式

--supervise

失敗后是否重啟Driver，僅限于Spark  Alone模式

--total-executor-cores NUM

executor使用的總核數(shù)，僅限于Spark Alone、Spark on Mesos模式

--executor-cores NUM

每個executor使用的內(nèi)核數(shù)，默認(rèn)為1，僅限于Spark on Yarn模式

--queue QUEUE_NAME

提交應(yīng)用程序給哪個YARN的隊列，默認(rèn)是default隊列，僅限于Spark on Yarn模式

--num-executors NUM

啟動的executor數(shù)量，默認(rèn)是2個，僅限于Spark on Yarn模式

--archives ARCHIVES

僅限于Spark on Yarn模式