小編給大家分享一下spark1.4 Windows local調(diào)試環(huán)境如何搭建，相信大部分人都還不怎么了解，因此分享這篇文章給大家參考一下，希望大家閱讀完這篇文章后大有收獲，下面讓我們一起去了解一下吧！

創(chuàng)新互聯(lián)專注于鶴峰網(wǎng)站建設(shè)服務(wù)及定制，我們擁有豐富的企業(yè)做網(wǎng)站經(jīng)驗(yàn)。 熱誠(chéng)為您提供鶴峰營(yíng)銷型網(wǎng)站建設(shè)，鶴峰網(wǎng)站制作、鶴峰網(wǎng)頁(yè)設(shè)計(jì)、鶴峰網(wǎng)站官網(wǎng)定制、小程序設(shè)計(jì)服務(wù)，打造鶴峰網(wǎng)絡(luò)公司原創(chuàng)品牌,更為您提供鶴峰網(wǎng)站排名全網(wǎng)營(yíng)銷落地服務(wù)。

spark1.4 Windows local調(diào)試環(huán)境搭建總結(jié)

1.scala版本 scala-2.10.4 官方推薦 scala-2.11.7【不推薦，非sbt項(xiàng)目、需要后加載】

2.spark版本 spark-1.4.0-bin-hadoop2.6.tgz

3.hadoop 3.1版本 hadoop-2.6.0.tar.gz 3.2環(huán)境變量 HADOOP_HOME=E:/ysg.tools/spark/hadoop-2.6.0 或 System.setProperty("hadoop.home.dir", "E:\ysg.tools\spark\hadoop-2.6.0"); 3.3winutils.exe

winutils.exe拷貝至spark/hadoop-2.6.0/bin

文件下載地址 http://files.cnblogs.com/files/yjmyzz/hadoop2.6%28x64%29V0.2.zip

4.idea 新建 NO-SBT項(xiàng)目

libraties 增加 scala sdk 
spark-1.4.0-bin-hadoop2.6\lib\spark-assembly-1.4.0-hadoop2.6.0.jar

spark.test.iml 先加載 spark-assembly-1.4.0-hadoop2.6.0 再加載 scala-sdk-2.11.7

<?xml version="1.0" encoding="UTF-8"?>
<module type="JAVA_MODULE" version="4">
  <component name="NewModuleRootManager" inherit-compiler-output="true">
    <exclude-output />
    <content url="file://$MODULE_DIR$">
      <sourceFolder url="file://$MODULE_DIR$/src" isTestSource="false" />
    </content>
    <orderEntry type="inheritedJdk" />
    <orderEntry type="sourceFolder" forTests="false" />
    <orderEntry type="library" name="spark-assembly-1.4.0-hadoop2.6.0" level="project" />

    <orderEntry type="library" name="scala-sdk-2.11.7" level="project" />
  </component>
</module>

以上是“spark1.4 Windows local調(diào)試環(huán)境如何搭建”這篇文章的所有內(nèi)容，感謝各位的閱讀！相信大家都有了一定的了解，希望分享的內(nèi)容對(duì)大家有所幫助，如果還想學(xué)習(xí)更多知識(shí)，歡迎關(guān)注創(chuàng)新互聯(lián)行業(yè)資訊頻道！

當(dāng)前名稱：spark1.4Windowslocal調(diào)試環(huán)境如何搭建
網(wǎng)站地址：http://aaarwkj.com/article36/gjcopg.html

成都網(wǎng)站建設(shè)公司_創(chuàng)新互聯(lián)，為您提供品牌網(wǎng)站設(shè)計(jì)、手機(jī)網(wǎng)站建設(shè)、定制開(kāi)發(fā)、網(wǎng)站改版、品牌網(wǎng)站制作、服務(wù)器托管

廣告

聲明：本網(wǎng)站發(fā)布的內(nèi)容（圖片、視頻和文字）以用戶投稿、用戶轉(zhuǎn)載內(nèi)容為主，如果涉及侵權(quán)請(qǐng)盡快告知，我們將會(huì)在第一時(shí)間刪除。文章觀點(diǎn)不代表本網(wǎng)站立場(chǎng)，如需處理請(qǐng)聯(lián)系客服。電話：028-86922220；郵箱：631063699@qq.com。內(nèi)容未經(jīng)允許不得轉(zhuǎn)載，或轉(zhuǎn)載時(shí)需注明來(lái)源： 創(chuàng)新互聯(lián)