hadoop是一個分布式文件系統(tǒng)（Hadoop Distributed File System）HDFS。Hadoop是一個能夠?qū)Υ罅繑?shù)據(jù)進(jìn)行分布式處理的軟件框架。 Hadoop 以一種可靠、高效、可伸縮的方式進(jìn)行數(shù)據(jù)處理。Hadoop 是可靠的，因為它假設(shè)計算元素和存儲會失敗，因此它維護(hù)多個工作數(shù)據(jù)副本，確保能夠針對失敗的節(jié)點重新分布處理。Hadoop帶有用Java語言編寫的框架。

成都創(chuàng)新互聯(lián)主要從事網(wǎng)站設(shè)計、網(wǎng)站制作、網(wǎng)頁設(shè)計、企業(yè)做網(wǎng)站、公司建網(wǎng)站等業(yè)務(wù)。立足成都服務(wù)廣西,10年網(wǎng)站建設(shè)經(jīng)驗,價格優(yōu)惠、服務(wù)專業(yè),歡迎來電咨詢建站服務(wù):18980820575

  Hadoop的master節(jié)點包括名稱節(jié)點、從屬名稱節(jié)點和 jobtracker 守護(hù)進(jìn)程以及管理集群所用的實用程序和瀏覽器。slave節(jié)點包括 tasktracker 和數(shù)據(jù)節(jié)點.主節(jié)點包括提供 Hadoop 集群管理和協(xié)調(diào)的守護(hù)進(jìn)程，而從節(jié)點包括實現(xiàn)Hadoop 文件系統(tǒng)（HDFS）存儲功能和 MapReduce 功能（數(shù)據(jù)處理功能）的守護(hù)進(jìn)程。

  Namenode 是 Hadoop 中的主服務(wù)器，通常在 HDFS 實例中的單獨(dú)機(jī)器上運(yùn)行的軟件，它管理文件系統(tǒng)名稱空間和對集群中存儲的文件的訪問。每個 Hadoop 集群中可以找到一個 namenode和一個secondary namenode。。當(dāng)外部客戶機(jī)發(fā)送請求要求創(chuàng)建文件時，NameNode 會以塊標(biāo)識和該塊的第一個副本的 DataNode IP 地址作為響應(yīng)。這個 NameNode 還會通知其他將要接收該塊的副本的 DataNode。

     Datanode,hadoop 集群包含一個 NameNode 和大量 DataNode。DataNode 通常以機(jī)架的形式組織，機(jī)架通過一個交 換機(jī)將所有系統(tǒng)連接起來。DataNode 響應(yīng)來自 HDFS 客戶機(jī)的讀寫請求。它們還響應(yīng)來自 NameNode 的創(chuàng)建、刪除和復(fù)制塊的命令。

 JobTracker是一個master服務(wù)，軟件啟動之后JobTracker接收J(rèn)ob，負(fù)責(zé)調(diào)度Job的每一個子任務(wù)task運(yùn)行于TaskTracker上，并監(jiān)控它們，如果發(fā)現(xiàn)有失敗的task就重新運(yùn)行它。

 TaskTracker是運(yùn)行在多個節(jié)點上的slaver服務(wù)。TaskTracker主動與JobTracker通信，接收作業(yè)，并負(fù)責(zé)直接執(zhí)行每一個任務(wù)。TaskTracker都需要運(yùn)行在HDFS的DataNode上.

 NameNode、Secondary ,NameNode、JobTracker運(yùn)行在Master節(jié)點上，而在每個Slave節(jié)點上，部署一個DataNode和TaskTracker，以便 這個Slave服務(wù)器運(yùn)行的數(shù)據(jù)處理程序能盡可能直接處理本機(jī)的數(shù)據(jù)。

server2.example.com 172.25.45.2  (master)

server3.example.com 172.25.45.3  (slave)

server4.example.com 172.25.45.4  (slave)

server5.example.com 172.25.45.5  (slave)

1. hadoop傳統(tǒng)版的配置：

   server2,server3，server4和server5添加hadoop用戶：

  useradd -u 900 hadoop

  echo westos | passwd --stdin hadoop

 server2:

 sh jdk-6u32-linux-x64.bin     ##安裝JDK

 mv jdk1.6.0_32/  /home/hadoop/java

 mv hadoop-1.2.1.tar.gz /home/hadoop/

 su - hadoop

 vim .bash_profile

export JAVA_HOME=/home/hadoop/java
export CLASSPATH=.:$JAVA_HOME/lib:$JAVA_HOME/jre/lib
export PATH=$PATH:$HOME/bin:$JAVA_HOME/bin

 source .bash_profile

 tar zxf hadoop-1.1.2.tar.gz      ##配置hadoop單節(jié)點

 ln -s hadoop-1.1.2 hadoop

 cd /home/hadoop/hadoop/conf

 vim hadoop-env.sh

export JAVA_HOME=/home/hadoop/java

 cd ..

 mkdir input

 cp conf/*.xml  input/

 bin/hadoop jar hadoop-examples-1.1.2.jar

 bin/hadoop jar hadoop-examples-1.1.2.jar grep input output 'dfs[a-z.]+'

 cd output/

 cat *

1   dfsadmin

 設(shè)置master到slave端無密碼登陸：

  server2:

 su - hadoop

 ssh-keygen

 ssh-copy-id localhost

 ssh-copy-id  172.25.45.3

 ssh-copy-id  172.25.45.4

 cd /home/hadoop/hadoop/conf

 vim core-site.xml     ##指定 namenode

<property>
<name>fs.default.name</name>
<value>hdfs://172.25.45.2:9000</value>
</property>

  vim mapred-site.xml   ##指定 jobtracker

<configuration>
<property>
<name>mapred.job.tracker</name>
<value>172.25.45.2:9001</value>
</property>
<configuration>

  vim hdfs-site.xml     ##指定文件保存的副本數(shù)

<configuration>
<property>
<name>dfs.replication</name>
<value>1</value>
</property>
<configuration>

  cd ..

  bin/hadoop namenode -format     ##格式化成一個新的文件系統(tǒng)

  ls /tmp

hadoop-hadoop  hsperfdata_hadoop  hsperfdata_root  yum.log

  bin/start-dfs.sh        ##啟動hadoop進(jìn)程

 jps

  bin/start-mapred.sh

  jps

  在瀏覽器中打開：172.25.45.2：50030

  打開172.25.45.2：50070

  bin/hadoop fs -put input test   ##給分布式文件系統(tǒng)考入新建的文件

  bin/hadoop jar hadoop-examples-1.2.1.jar wordcount output

  同時在網(wǎng)頁中

  查看網(wǎng)頁中上傳的文件：

  bin/hadoop fs -get output test

  cat test/*

  rm -fr test/      ##刪除下載的文件

2. server2:

  共享文件系統(tǒng)：

  su - root

  yum install nfs-utils -y

  /etc/init.d/rpcbind start

  /etc/init.d/nfs start

  vim /etc/exports

/home/hadoop   *(rw,anonuid=900,anongid=900)

   exportfs -rv

   exportfs -v

  server3和server4:

  yum install nfs-utils -y

  /etc/init.d/rpcbind start

  showmount -e 172.25.45.2   ##

Export list for 172.25.45.2:

/home/hadoop *

  mount 172.25.45.2:/home/hadoop /home/hadoop/

  df

 

  server2:

  su - hadoop

  cd hadoop/conf

  vim hdfs-site.xml

<configuration>
<property>
<name>dfs.replication</name>
<value>2</value>
</property>
</configuration>

  vim slaves    ##slave端的ip

172.25.45.3
172.25.45.4

  vim masters    ##master端的ip

172.25.45.2

  提示：##如果還有之前的進(jìn)程開著，必須先關(guān)閉，才能再進(jìn)行格式化，保證jps沒有什么進(jìn)程運(yùn)行

  關(guān)閉進(jìn)程的步驟

  bin/stop-all.sh  ##執(zhí)行完之后，有時tasktracker，datanode會開著，所以要關(guān)閉它們

  bin/hadoop-daemon.sh stop tasktracker

  bin/hadoop-daemon.sh stop datanode

  以hadoop用戶的身份刪除/tmp里的文件，沒有權(quán)限的文件就留著

 su - hadoop

 bin/hadoop namenode -format

 bin/start-dfs.sh

 bin/start-mapred.s

 bin/hadoop fs -put input test        ##

 bin/hadoop jar hadoop-examples-1.2.1.jar grep test output 'dfs[a-z.]+'      ##

 一邊上傳一邊在瀏覽器中打開172.25.45.2：50030中觀察會發(fā)現(xiàn)有正在上傳的文件

 su - hadoop

 bin/hadoop dfsadmin -report

 dd if=/dev/zero of=bigfile bs=1M count=200

 bin/hadoop fs -put bigfile test

 在瀏覽器中打開172.25.45.2:50070

3.新加server5.example.com 172.25.45.5 作為新的slave端：

  su - hadoop

  yum install nfs-utils -y

  /etc/init.d/rpcbind start

  useradd -u 900 hadoop

  echo westos | passwd --stdin hadoop

  mount 172.25.45.2:/home/hadoop/ /home/hadoop/

  su - hadoop

  vim  hadoop/conf/slaves

172.25.45.3
172.25.45.4
172.25.45.5

  cd /home/hadoop/hadoop

  bin/hadoop-daemon.sh start datanode

  bin/hadoop-daemon.sh start tasktracker

  jps

 刪除一個slave端：

  server2:

  su - hadoop

  cd  /home/hadoop/hadoop/conf

  vim mapred-site.xml

<property>
<name>dfs.hosts.exclude</name>
<value>/home/hadoop/hadoop/conf/datanode-excludes</value>
</property>

  vim /home/hadoop/hadoop/conf/datanode-excludes

172.25.45.3               ##刪除172.25.45.3不作為slave端

  cd /home/hadoop/hadoop

  bin/hadoop dfsadmin -refreshNodes  ##刷新節(jié)點

  bin/hadoop dfsadmin -report   ##查看節(jié)點狀態(tài)，會發(fā)現(xiàn)server3上的數(shù)據(jù)轉(zhuǎn)移到serve5上

  在server3上：

  su - hadoop

  bin/stop-all.sh

  cd  /home/hadoop/hadoop

  bin/hadoop-daemon.sh stop tasktracker

  bin/hadoop-daemon.sh stop datanode

  server2:

  vim  /home/hadoop/hadoop/conf/slaves

172.25.45.4

172.25.45.5

4. 配置新版的hadoop:

  server2:

  su - hadoop

  cd /home/hadoop

  tar zxf jdk-7u79-linux-x64.tar.gz

  ln -s jdk1.7.0_79/  java

  tar zxf hadoop-2.6.4.tar.gz

  ln -s hadoop-2.6.4  hadoop

  cd /home/hadoop/hadoop/etc/hadoop

  vim hadoop-env.sh

export JAVA_HOME=/home/hadoop/java
export HADOOP PREFIX=/home/hadoop/hadoop

  cd /home/hadoop/hadoop

  mkdir inp

  cp etc/hadoop/*.xml input

  tar -tf hadoop-native-64-2.6.0.tar

  tar -xf hadoop-native-64-2.6.0.tar -C  hadoop/lib/native/

  cd /home/hadoop/hadoop

  rm -fr output/

  bin/hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-2.6.4.jar grep input output 'dfs[a-z.]+'

 cd /hone/hadoop/hadoop/etc/hadoop/

 vim slaves

172.25.45.3
172.25.45.4

  vim core-site.xm

<configuration>
<property>
<name>fs.defaultFS</name>
<value>hdfs://172.25.45.2:9000</value>
</property>
</configuration>

 vim mapred-site.xml

<configuration>
<property>
<name>mapred.job.tracker</name>
<value>172.25.45.2:9001</value>
</property>
<configuration>

  vim hdfs-site.xml

<configuration>
<property>
<name>dfs.replication</name>
<value>2</value>
</property>
</configuration>

   cd /home/hadoop/hadoop

   bin/hdfs  namenode -format

   sbin/start-dfs.sh

   jps

   bin/hdfs dfs -mkdir /user/hadoop  ##要上傳的文件，必須在上傳之前新建出其目錄

   bin/hdfs  dfs -put input/ test

   rm -fr input/

   bin/hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-2.6.4.jar grep test output 'dfs[a-z.]+'

   bin/hdfs dfs -cat output/*

1dfsadmin

  在瀏覽器中打開172.25.45.2：50070

另外有需要云服務(wù)器可以了解下創(chuàng)新互聯(lián)scvps.cn，海內(nèi)外云服務(wù)器15元起步，三天無理由+7*72小時售后在線，公司持有idc許可證，提供“云服務(wù)器、裸金屬服務(wù)器、高防服務(wù)器、香港服務(wù)器、美國服務(wù)器、虛擬主機(jī)、免備案服務(wù)器”等云主機(jī)租用服務(wù)以及企業(yè)上云的綜合解決方案，具有“安全穩(wěn)定、簡單易用、服務(wù)可用性高、性價比高”等特點與優(yōu)勢，專為企業(yè)上云打造定制，能夠滿足用戶豐富、多元化的應(yīng)用場景需求。

分享標(biāo)題：hadoop~大數(shù)據(jù)-創(chuàng)新互聯(lián)
地址分享：http://aaarwkj.com/article18/coccgp.html

成都網(wǎng)站建設(shè)公司_創(chuàng)新互聯(lián)，為您提供網(wǎng)站建設(shè)、軟件開發(fā)、外貿(mào)網(wǎng)站建設(shè)、網(wǎng)站營銷、用戶體驗、服務(wù)器托管

廣告

聲明：本網(wǎng)站發(fā)布的內(nèi)容（圖片、視頻和文字）以用戶投稿、用戶轉(zhuǎn)載內(nèi)容為主，如果涉及侵權(quán)請盡快告知，我們將會在第一時間刪除。文章觀點不代表本網(wǎng)站立場，如需處理請聯(lián)系客服。電話：028-86922220；郵箱：631063699@qq.com。內(nèi)容未經(jīng)允許不得轉(zhuǎn)載，或轉(zhuǎn)載時需注明來源： 創(chuàng)新互聯(lián)