1.選取三臺服務(wù)器（CentOS系統(tǒng)64位）

我們提供的服務(wù)有：成都做網(wǎng)站、網(wǎng)站設(shè)計、微信公眾號開發(fā)、網(wǎng)站優(yōu)化、網(wǎng)站認(rèn)證、簡陽ssl等。為數(shù)千家企事業(yè)單位解決了網(wǎng)站和推廣的問題。提供周到的售前咨詢和貼心的售后服務(wù)，是有科學(xué)管理、有技術(shù)的簡陽網(wǎng)站制作公司

　114.55.246.88 主節(jié)點

　114.55.246.77 從節(jié)點

　114.55.246.93 從節(jié)點

     之后的操作如果是用普通用戶操作的話也必須知道root用戶的密碼，因為有些操作是得用root用戶操作。如果是用root用戶操作的話就不存在以上問題。

　我是用root用戶操作的。

2.修改hosts文件

　修改三臺服務(wù)器的hosts文件。

　vi /etc/hosts

　在原文件的基礎(chǔ)最后面加上：

114.55.246.88 Master114.55.246.77 Slave1114.55.246.93 Slave2

　修改完成后保存執(zhí)行如下命令。

　source /etc/hosts

3.ssh無密碼驗證配置

　3.1安裝和啟動ssh協(xié)議

　我們需要兩個服務(wù)：ssh和rsync。

　可以通過下面命令查看是否已經(jīng)安裝：

　rpm -qa|grep openssh

　rpm -qa|grep rsync

　如果沒有安裝ssh和rsync，可以通過下面命令進(jìn)行安裝：

　yum install ssh （安裝ssh協(xié)議）

　yum install rsync （rsync是一個遠(yuǎn)程數(shù)據(jù)同步工具，可通過LAN/WAN快速同步多臺主機間的文件）

　service sshd restart （啟動服務(wù)）

　3.2 配置Master無密碼登錄所有Salve

　配置Master節(jié)點，以下是在Master節(jié)點的配置操作。

　1）在Master節(jié)點上生成密碼對，在Master節(jié)點上執(zhí)行以下命令：

　ssh-keygen -t rsa -P ''

　生成的密鑰對：id_rsa和id_rsa.pub，默認(rèn)存儲在"/root/.ssh"目錄下。

　2）接著在Master節(jié)點上做如下配置，把id_rsa.pub追加到授權(quán)的key里面去。

　cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys

　3）修改ssh配置文件"/etc/ssh/sshd_config"的下列內(nèi)容，將以下內(nèi)容的注釋去掉：

　RSAAuthentication yes # 啟用 RSA 認(rèn)證

　PubkeyAuthentication yes # 啟用公鑰私鑰配對認(rèn)證方式

　AuthorizedKeysFile .ssh/authorized_keys # 公鑰文件路徑（和上面生成的文件同）

　4）重啟ssh服務(wù)，才能使剛才設(shè)置有效。

　service sshd restart

　5）驗證無密碼登錄本機是否成功。

　ssh localhost

　6）接下來的就是把公鑰復(fù)制到所有的Slave機器上。使用下面的命令進(jìn)行復(fù)制公鑰：

　scp /root/.ssh/id_rsa.pub root@Slave1:/root/

　scp /root/.ssh/id_rsa.pub root@Slave2:/root/

　

　接著配置Slave節(jié)點，以下是在Slave1節(jié)點的配置操作。

　1）在"/root/"下創(chuàng)建".ssh"文件夾，如果已經(jīng)存在就不需要創(chuàng)建了。

　mkdir /root/.ssh

　2）將Master的公鑰追加到Slave1的授權(quán)文件"authorized_keys"中去。

　cat /root/id_rsa.pub >> /root/.ssh/authorized_keys

　3）修改"/etc/ssh/sshd_config"，具體步驟參考前面Master設(shè)置的第3步和第4步。

　4）用Master使用ssh無密碼登錄Slave1

　ssh 114.55.246.77

　5）把"/root/"目錄下的"id_rsa.pub"文件刪除掉。

　rm –r /root/id_rsa.pub

　重復(fù)上面的5個步驟把Slave2服務(wù)器進(jìn)行相同的配置。

　3.3 配置所有Slave無密碼登錄Master

　以下是在Slave1節(jié)點的配置操作。

　1）創(chuàng)建"Slave1"自己的公鑰和私鑰，并把自己的公鑰追加到"authorized_keys"文件中，執(zhí)行下面命令：

　ssh-keygen -t rsa -P ''

　cat /root/.ssh/id_rsa.pub >> /root/.ssh/authorized_keys

　2）將Slave1節(jié)點的公鑰"id_rsa.pub"復(fù)制到Master節(jié)點的"/root/"目錄下。

　scp /root/.ssh/id_rsa.pub root@Master:/root/

　

　以下是在Master節(jié)點的配置操作。

　1）將Slave1的公鑰追加到Master的授權(quán)文件"authorized_keys"中去。

　cat ~/id_rsa.pub >> ~/.ssh/authorized_keys

　2）刪除Slave1復(fù)制過來的"id_rsa.pub"文件。

　rm –r /root/id_rsa.pub

 

　配置完成后測試從Slave1到Master無密碼登錄。

　ssh 114.55.246.88

　按照上面的步驟把Slave2和Master之間建立起無密碼登錄。這樣，Master能無密碼驗證登錄每個Slave，每個Slave也能無密碼驗證登錄到Master。

4.安裝基礎(chǔ)環(huán)境（JAVA和SCALA環(huán)境）

　4.1 Java1.8環(huán)境搭建

　1）下載jdk-8u121-linux-x64.tar.gz解壓

　tar -zxvf jdk-8u121-linux-x64.tar.gz

　2）添加Java環(huán)境變量，在/etc/profile中添加：

export JAVA_HOME=/usr/local/jdk1.8.0_121PATH=$JAVA_HOME/bin:$PATH
CLASSPATH=.:$JAVA_HOME/lib/rt.jar
export JAVA_HOME PATH CLASSPATH

　3）保存后刷新配置

　source /etc/profile

　4.2 Scala2.11.8環(huán)境搭建

　1）下載scala安裝包scala-2.11.8.rpm安裝

　rpm -ivh scala-2.11.8.rpm

　2）添加Scala環(huán)境變量，在/etc/profile中添加：

export SCALA_HOME=/usr/share/scala
export PATH=$SCALA_HOME/bin:$PATH

　3）保存后刷新配置

　source /etc/profile

5.Hadoop2.7.3完全分布式搭建

　以下是在Master節(jié)點操作：

　1）下載二進(jìn)制包hadoop-2.7.3.tar.gz

　2）解壓并移動到相應(yīng)目錄，我習(xí)慣將軟件放到/opt目錄下，命令如下：

　tar -zxvf hadoop-2.7.3.tar.gz

　mv hadoop-2.7.3 /opt

　3）修改相應(yīng)的配置文件。

　修改/etc/profile，增加如下內(nèi)容：

 export HADOOP_HOME=/opt/hadoop-2.7.3/
export PATH=$PATH:$HADOOP_HOME/bin
export PATH=$PATH:$HADOOP_HOME/sbin
export HADOOP_MAPRED_HOME=$HADOOP_HOME
export HADOOP_COMMON_HOME=$HADOOP_HOME
export HADOOP_HDFS_HOME=$HADOOP_HOME
export YARN_HOME=$HADOOP_HOME
export HADOOP_ROOT_LOGGER=INFO,console
export HADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP_HOME/lib/native
export HADOOP_OPTS="-Djava.library.path=$HADOOP_HOME/lib"

　修改完成后執(zhí)行：

　source /etc/profile

 

　修改$HADOOP_HOME/etc/hadoop/hadoop-env.sh，修改JAVA_HOME 如下：

  export JAVA_HOME=/usr/local/jdk1.8.0_121

　

　修改$HADOOP_HOME/etc/hadoop/slaves，將原來的localhost刪除，改成如下內(nèi)容：

Slave1
Slave2

　

　修改$HADOOP_HOME/etc/hadoop/core-site.xml

<configuration>
     <property>
         <name>fs.defaultFS</name>
         <value>hdfs://Master:9000</value>
     </property>
     <property>
        <name>io.file.buffer.size</name>
        <value>131072</value>
    </property>
    <property>
         <name>hadoop.tmp.dir</name>
         <value>/opt/hadoop-2.7.3/tmp</value>
    </property></configuration>

　

　修改$HADOOP_HOME/etc/hadoop/hdfs-site.xml

<configuration>
   <property>
     <name>dfs.namenode.secondary.http-address</name>
     <value>Master:50090</value>
   </property>
   <property>
     <name>dfs.replication</name>
     <value>2</value>
   </property>
   <property>
     <name>dfs.namenode.name.dir</name>
     <value>file:/opt/hadoop-2.7.3/hdfs/name</value>
   </property>
   <property>
     <name>dfs.datanode.data.dir</name>
     <value>file:/opt/hadoop-2.7.3/hdfs/data</value>
   </property></configuration>

 

　復(fù)制template，生成xml，命令如下：

　cp mapred-site.xml.template mapred-site.xml

　修改$HADOOP_HOME/etc/hadoop/mapred-site.xml

<configuration>
<property>
   <name>mapreduce.framework.name</name>
   <value>yarn</value>
 </property>
 <property>
         <name>mapreduce.jobhistory.address</name>
         <value>Master:10020</value>
 </property>
 <property>
         <name>mapreduce.jobhistory.address</name>
         <value>Master:19888</value>
 </property></configuration>

 

　修改$HADOOP_HOME/etc/hadoop/yarn-site.xml

<configuration>
    <property>
        <name>yarn.nodemanager.aux-services</name>
        <value>mapreduce_shuffle</value>
    </property>
    <property>
        <name>yarn.resourcemanager.address</name>
        <value>Master:8032</value>
    </property>
    <property>
        <name>yarn.resourcemanager.scheduler.address</name>
        <value>Master:8030</value>
    </property>
    <property>
        <name>yarn.resourcemanager.resource-tracker.address</name>
        <value>Master:8031</value>
    </property>
    <property>
        <name>yarn.resourcemanager.admin.address</name>
        <value>Master:8033</value>
    </property>
    <property>
        <name>yarn.resourcemanager.webapp.address</name>
        <value>Master:8088</value>
    </property></configuration>

 

　4）復(fù)制Master節(jié)點的hadoop文件夾到Slave1和Slave2上。

　scp -r /opt/hadoop-2.7.3 root@Slave1:/opt

　scp -r /opt/hadoop-2.7.3 root@Slave2:/opt

 

　5）在Slave1和Slave2上分別修改/etc/profile，過程同Master一樣。

　6）在Master節(jié)點啟動集群，啟動之前格式化一下namenode：

　hadoop namenode -format

　啟動：

　/opt/hadoop-2.7.3/sbin/start-all.sh

　至此hadoop的完全分布式環(huán)境搭建完畢。

　

　7）查看集群是否啟動成功：

　jps

　Master顯示：

　SecondaryNameNode

　ResourceManager

　NameNode

　

　Slave顯示：

　NodeManager

　DataNode

6.Spark2.1.0完全分布式環(huán)境搭建

　以下操作都在Master節(jié)點進(jìn)行。

　1）下載二進(jìn)制包spark-2.1.0-bin-hadoop2.7.tgz

　2）解壓并移動到相應(yīng)目錄，命令如下：

　tar -zxvf spark-2.1.0-bin-hadoop2.7.tgz

　mv hadoop-2.7.3 /opt

　3）修改相應(yīng)的配置文件。

　修改/etc/profie，增加如下內(nèi)容：

export SPARK_HOME=/opt/spark-2.1.0-bin-hadoop2.7/
export PATH=$PATH:$SPARK_HOME/bin

　

　復(fù)制spark-env.sh.template成spark-env.sh

　cp spark-env.sh.template spark-env.sh

　修改$SPARK_HOME/conf/spark-env.sh，添加如下內(nèi)容：

export JAVA_HOME=/usr/local/jdk1.8.0_121export SCALA_HOME=/usr/share/scala
export HADOOP_HOME=/opt/hadoop-2.7.3export HADOOP_CONF_DIR=/opt/hadoop-2.7.3/etc/hadoop
export SPARK_MASTER_IP=114.55.246.88export SPARK_MASTER_HOST=114.55.246.88export SPARK_LOCAL_IP=114.55.246.88export SPARK_WORKER_MEMORY=1g
export SPARK_WORKER_CORES=2export SPARK_HOME=/opt/spark-2.1.0-bin-hadoop2.7export SPARK_DIST_CLASSPATH=$(/opt/hadoop-2.7.3/bin/hadoop classpath)

 

　復(fù)制slaves.template成slaves

　cp slaves.template slaves

　修改$SPARK_HOME/conf/slaves，添加如下內(nèi)容：

Master
Slave1
Slave2

　4）將配置好的spark文件復(fù)制到Slave1和Slave2節(jié)點。

　scp /opt/spark-2.1.0-bin-hadoop2.7 root@Slave1:/opt

      scp /opt/spark-2.1.0-bin-hadoop2.7 root@Slave2:/opt

　5）修改Slave1和Slave2配置。

　在Slave1和Slave2上分別修改/etc/profile，增加Spark的配置，過程同Master一樣。

　在Slave1和Slave2修改$SPARK_HOME/conf/spark-env.sh，將export SPARK_LOCAL_IP=114.55.246.88改成Slave1和Slave2對應(yīng)節(jié)點的IP。

　6）在Master節(jié)點啟動集群。

　/opt/spark-2.1.0-bin-hadoop2.7/sbin/start-all.sh

　7）查看集群是否啟動成功：

　jps

　Master在Hadoop的基礎(chǔ)上新增了：

　Master

　

　Slave在Hadoop的基礎(chǔ)上新增了：

　Worker

分享題目：Hadoop2.7.3+Spark2.1.0完全分布式集群搭建過程
標(biāo)題URL：http://aaarwkj.com/article18/igjsdp.html

成都網(wǎng)站建設(shè)公司_創(chuàng)新互聯(lián)，為您提供網(wǎng)站改版、搜索引擎優(yōu)化、軟件開發(fā)、App設(shè)計、標(biāo)簽優(yōu)化、域名注冊

廣告

聲明：本網(wǎng)站發(fā)布的內(nèi)容（圖片、視頻和文字）以用戶投稿、用戶轉(zhuǎn)載內(nèi)容為主，如果涉及侵權(quán)請盡快告知，我們將會在第一時間刪除。文章觀點不代表本網(wǎng)站立場，如需處理請聯(lián)系客服。電話：028-86922220；郵箱：631063699@qq.com。內(nèi)容未經(jīng)允許不得轉(zhuǎn)載，或轉(zhuǎn)載時需注明來源： 創(chuàng)新互聯(lián)