這篇文章將為大家詳細(xì)講解有關(guān)PyCharm+PySpark如何配置遠(yuǎn)程調(diào)試的環(huán)境，小編覺得挺實(shí)用的，因此分享給大家做個(gè)參考，希望大家閱讀完這篇文章后可以有所收獲。

在棗莊等地區(qū)，都構(gòu)建了全面的區(qū)域性戰(zhàn)略布局，加強(qiáng)發(fā)展的系統(tǒng)性、市場(chǎng)前瞻性、產(chǎn)品創(chuàng)新能力，以專注、極致的服務(wù)理念，為客戶提供做網(wǎng)站、網(wǎng)站建設(shè) 網(wǎng)站設(shè)計(jì)制作定制制作,公司網(wǎng)站建設(shè),企業(yè)網(wǎng)站建設(shè),品牌網(wǎng)站建設(shè),營(yíng)銷型網(wǎng)站建設(shè),外貿(mào)網(wǎng)站建設(shè),棗莊網(wǎng)站建設(shè)費(fèi)用合理。

Version ：Spark 1.5.0、Python 2.7.14

1. 遠(yuǎn)程Spark集群環(huán)境

首先Spark集群要配置好且能正常啟動(dòng)，版本號(hào)可以在Spark對(duì)應(yīng)版本的官方網(wǎng)站查到，注意：Spark 1.5.0作為一個(gè)比較古老的版本，不支持Python 3.6+；另外Spark集群的每個(gè)節(jié)點(diǎn)的Python版本必須保持一致。這里只講如何加入pyspark遠(yuǎn)程調(diào)試所需要修改的部分。在$SPARK_HOME/conf/spark-env.sh中添加一行：

export PYSPARK_PYTHON=/home/hadoop/anaconda2/bin/python2

這里的Python路徑是集群上Python版本的路徑，我這里是用的anaconda安裝的Python2，所以路路徑如上。正常啟動(dòng)Spark集群后，在命令行輸入pyspark后回車，能正確進(jìn)入到pyspark shell。

2. 本地PyCharm配置

首先將Spark集群的spark-1.5.0部署包拷貝到本地機(jī)器，并在/etc/hosts(Linux類機(jī)器)或C:\Windows\System32….\hosts(Windows機(jī)器)中加入Spark集群Master節(jié)點(diǎn)的IP與主機(jī)名的映射；本地正確安裝Spark集群同版本Python；

安裝py4j

添加spark-1.5.0/python目錄

新建一個(gè)Python文件Simple，編輯Edit Configurations添加SPARK_HOME變量

寫一個(gè)類似下面的簡(jiǎn)單測(cè)試程序

# -*- encoding: UTF-8 -*-
# @auther:Mars
# @datetime:2018-03-01
from pyspark import SparkContext

sc = SparkContext("spark://master:7077","Simple APP")
logData = sc.textFile("hdfs://master:9000/README.md").cache()

numAs = logData.filter(lambda s: 'a' in s).count()
numBs = logData.filter(lambda s: 'b' in s).count()

print("Lines with a: %i, lines with b: %i"%(numAs, numBs))

sc.stop()

運(yùn)行可以得到看到下圖，就OK了~

切記，1）本地與Spark集群的版本要一致；2）程序中不要用IP地址

關(guān)于“PyCharm+PySpark如何配置遠(yuǎn)程調(diào)試的環(huán)境”這篇文章就分享到這里了，希望以上內(nèi)容可以對(duì)大家有一定的幫助，使各位可以學(xué)到更多知識(shí)，如果覺得文章不錯(cuò)，請(qǐng)把它分享出去讓更多的人看到。

網(wǎng)頁(yè)標(biāo)題：PyCharm+PySpark如何配置遠(yuǎn)程調(diào)試的環(huán)境-創(chuàng)新互聯(lián)
文章地址：http://aaarwkj.com/article26/jcjjg.html

成都網(wǎng)站建設(shè)公司_創(chuàng)新互聯(lián)，為您提供營(yíng)銷型網(wǎng)站建設(shè)、網(wǎng)站建設(shè)、網(wǎng)站制作、品牌網(wǎng)站建設(shè)、網(wǎng)站導(dǎo)航、網(wǎng)站策劃

廣告

聲明：本網(wǎng)站發(fā)布的內(nèi)容（圖片、視頻和文字）以用戶投稿、用戶轉(zhuǎn)載內(nèi)容為主，如果涉及侵權(quán)請(qǐng)盡快告知，我們將會(huì)在第一時(shí)間刪除。文章觀點(diǎn)不代表本網(wǎng)站立場(chǎng)，如需處理請(qǐng)聯(lián)系客服。電話：028-86922220；郵箱：631063699@qq.com。內(nèi)容未經(jīng)允許不得轉(zhuǎn)載，或轉(zhuǎn)載時(shí)需注明來源： 創(chuàng)新互聯(lián)