欧美一级特黄大片做受成人-亚洲成人一区二区电影-激情熟女一区二区三区-日韩专区欧美专区国产专区

idea中如何遠(yuǎn)程調(diào)試spark

idea中如何遠(yuǎn)程調(diào)試spark,很多新手對(duì)此不是很清楚,為了幫助大家解決這個(gè)難題,下面小編將為大家詳細(xì)講解,有這方面需求的人可以來(lái)學(xué)習(xí)下,希望你能有所收獲。

綿竹網(wǎng)站建設(shè)公司成都創(chuàng)新互聯(lián)公司,綿竹網(wǎng)站設(shè)計(jì)制作,有大型網(wǎng)站制作公司豐富經(jīng)驗(yàn)。已為綿竹上千余家提供企業(yè)網(wǎng)站建設(shè)服務(wù)。企業(yè)網(wǎng)站搭建\外貿(mào)營(yíng)銷(xiāo)網(wǎng)站建設(shè)要多少錢(qián),請(qǐng)找那個(gè)售后服務(wù)好的綿竹做網(wǎng)站的公司定做!

spark 遠(yuǎn)端調(diào)試

本地調(diào)試遠(yuǎn)端集群運(yùn)行的spark項(xiàng)目,當(dāng)spark項(xiàng)目在集群上報(bào)錯(cuò),但是本地又查不出問(wèn)題時(shí),最好的方式就是調(diào)試一步一步跟蹤代碼。但是在集群上的代碼又不能像本地一樣的調(diào)試。那么就試試這個(gè)調(diào)試方法吧。

遠(yuǎn)程調(diào)試spark其實(shí)就四步:

  • * 第一步j(luò)ar包拷貝到集群master節(jié)點(diǎn)。

  • * 第二步在 idea 中配置遠(yuǎn)程機(jī)器的IP 和調(diào)試端口號(hào)。

  • * 第三步:?jiǎn)?dòng)遠(yuǎn)端的spark項(xiàng)目。

  • * 第四步 啟動(dòng)idea 進(jìn)行調(diào)試。

首先

首先了解jvm一些參數(shù)屬性

-Xdebug -Xrunjdwp:transport=dt_socket,server=y,suspend=y,address=8888

這里對(duì)上面的幾個(gè)參數(shù)進(jìn)行說(shuō)明:

  • -Xdebug 啟用調(diào)試特性

  • -Xrunjdwp 啟用JDWP實(shí)現(xiàn),包含若干子選項(xiàng):

  • transport=dt_socket JPDA front-end和back-end之間的傳輸方法。dt_socket表示使用套接字傳輸。

  • address=8888 JVM在8888端口上監(jiān)聽(tīng)請(qǐng)求,這個(gè)設(shè)定為一個(gè)不沖突的端口即可。

  • server=y y表示啟動(dòng)的JVM是被調(diào)試者。如果為n,則表示啟動(dòng)的JVM是調(diào)試器。

  • suspend=y y表示啟動(dòng)的JVM會(huì)暫停等待,直到調(diào)試器連接上才繼續(xù)執(zhí)行。suspend=n,則JVM不會(huì)暫停等待。

第一步 將jar包拷貝到集群

將spark 項(xiàng)目打jar包, 將jar包放到集群master節(jié)點(diǎn)上;

第二步 配置idea

編輯idea配置:

點(diǎn)擊小三角,選擇:edit Configurations 如圖

idea中如何遠(yuǎn)程調(diào)試spark

添加一個(gè)remote 配置

idea中如何遠(yuǎn)程調(diào)試spark

配置遠(yuǎn)端地址和端口 (此處配置的是 遠(yuǎn)端master 節(jié)點(diǎn)的地址)

idea中如何遠(yuǎn)程調(diào)試spark

第三步 遠(yuǎn)端啟動(dòng)spark項(xiàng)目

在集群?jiǎn)?dòng)要調(diào)試的spark項(xiàng)目。命令如下:

/tmp/mySpark.jar 為你sprak 項(xiàng)目在集群master上的位置

spark-submit --class WordCount --master spark://192.168.100.xx:7077 --driver-java-options "-Xdebug -Xrunjdwp:transport=dt_socket,server=y,suspend=y,address=8888" /tmp/mySpark.jar

也可在conf/spark-env.sh這個(gè)文件最后加入(不過(guò)沒(méi)有進(jìn)行實(shí)際測(cè)試)

export SPARK_JAVA_OPTS+="-Xdebug -Xrunjdwp:transport=dt_socket,server=y,suspend=y,address=8888"

如圖進(jìn)入監(jiān)聽(tīng):

idea中如何遠(yuǎn)程調(diào)試spark

第四步 啟動(dòng)idea

啟動(dòng)idea 的debug 模式就會(huì)進(jìn)入斷點(diǎn)。

idea中如何遠(yuǎn)程調(diào)試spark

看完上述內(nèi)容是否對(duì)您有幫助呢?如果還想對(duì)相關(guān)知識(shí)有進(jìn)一步的了解或閱讀更多相關(guān)文章,請(qǐng)關(guān)注創(chuàng)新互聯(lián)行業(yè)資訊頻道,感謝您對(duì)創(chuàng)新互聯(lián)的支持。

名稱(chēng)欄目:idea中如何遠(yuǎn)程調(diào)試spark
分享鏈接:http://aaarwkj.com/article42/jesohc.html

成都網(wǎng)站建設(shè)公司_創(chuàng)新互聯(lián),為您提供移動(dòng)網(wǎng)站建設(shè)、自適應(yīng)網(wǎng)站、云服務(wù)器、網(wǎng)站策劃微信小程序、靜態(tài)網(wǎng)站

廣告

聲明:本網(wǎng)站發(fā)布的內(nèi)容(圖片、視頻和文字)以用戶(hù)投稿、用戶(hù)轉(zhuǎn)載內(nèi)容為主,如果涉及侵權(quán)請(qǐng)盡快告知,我們將會(huì)在第一時(shí)間刪除。文章觀(guān)點(diǎn)不代表本網(wǎng)站立場(chǎng),如需處理請(qǐng)聯(lián)系客服。電話(huà):028-86922220;郵箱:631063699@qq.com。內(nèi)容未經(jīng)允許不得轉(zhuǎn)載,或轉(zhuǎn)載時(shí)需注明來(lái)源: 創(chuàng)新互聯(lián)

微信小程序開(kāi)發(fā)
中文字幕日韩人妻av| 96热久久这里只有精品| 日韩一区欧美中文字幕| 精品啪啪高潮一区二区| av在线成人国产精品欧美| 99热免费精品在线观看| 午夜福利激情视频在线| 少妇高潮一区二区三区99| 日本精品国产一区二区在线 | av黄色天堂在线观看| 亚洲国产成人欧美日韩另类| 黄色大片黄色大片黄色大片| 国产精品视频一区二区三区网站| 韩国三级网站在线观看视频| 老湿机午夜在线免费观看| 91麻豆精品国产自产| 欧美日韩一区二区三区福利| 亚洲丰满一区二区三区在线| 亚洲欧美日韩激情另类| 精品熟女少妇av免费久久野外 | 国产免费很黄很色视频| 日本在线一区二区不卡视频 | 亚洲中文字幕第11页| 国产精品福利手机在线观看| 国产亚洲一区二区自拍视频| 亚洲国产欲色有一二欲色| 欧美亚洲午夜精品久久久| 欧美精品一区二区精品久久| 欧美黄片网站在线观看| 99国产精品的热久久| 国语精品对白交换日韩| 中文字幕乱码人妻一区| 久久五月婷婷爱综合亚洲| 久久最新最热视频精品| 日韩成人在线高清视频| 一区三区三区日韩高清不卡| 看夫妻性生活免费视频| 成年人免费国产视频网站| 日本熟女肥臀一区二区| 国产在线观看不卡视频| 青青草视频免费观看高清在线观看新 |