這篇文章主要為大家展示了“怎樣搭建Hadoop集群”，內(nèi)容簡而易懂，條理清晰，希望能夠幫助大家解決疑惑，下面讓小編帶領(lǐng)大家一起研究并學(xué)習(xí)一下“怎樣搭建Hadoop集群”這篇文章吧。

創(chuàng)新互聯(lián)堅(jiān)持“要么做到，要么別承諾”的工作理念，服務(wù)領(lǐng)域包括：成都做網(wǎng)站、網(wǎng)站設(shè)計(jì)、企業(yè)官網(wǎng)、英文網(wǎng)站、手機(jī)端網(wǎng)站、網(wǎng)站推廣等服務(wù)，滿足客戶于互聯(lián)網(wǎng)時代的淮南網(wǎng)站設(shè)計(jì)、移動媒體設(shè)計(jì)的需求，幫助企業(yè)找到有效的互聯(lián)網(wǎng)解決方案。努力成為您成熟可靠的網(wǎng)絡(luò)建設(shè)合作伙伴！

Hadoop集群搭建方式：

                1.1    確定部署三個節(jié)點(diǎn)，分別是hadoop0，hadoop1，hadoop2。

                         其中hadoop0是主節(jié)點(diǎn)(NameNode、JobTracker、SecondaryNamenode)，hadoop1、hadoop2是從節(jié)

                         點(diǎn)(DataNode、TaskTracker)。

                1.2    解壓的Linux鏡像文件，配置Linux初始化環(huán)境，參見Hadoop偽分布環(huán)境搭建(26)。

                1.3    在hadoop0上刪除/usr/local/hadoop目錄下的logs和tmp文件夾。

                         在刪除之前先要關(guān)閉hadoop0上的偽分布的hadoop。操作：stop-all.sh

                1.4    設(shè)置各節(jié)點(diǎn)之間的ssh免密碼登錄

                         (1)在hadoop1上，把hadoop1上的公鑰復(fù)制給hadoop0，執(zhí)行命令ssh-copy-id -i hadoop0

                         (2)在hadoop2上，把hadoop2上的公鑰復(fù)制給hadoop0，執(zhí)行命令ssh-copy-id -i hadoop0

                         (3)把hadoop0上的authorized_keys復(fù)制到hadoop1，hadoop2，執(zhí)行命令

                                scp    /root/.ssh/authorized_keys    hadoop1:/root/.ssh

                                scp    /root/.ssh/authorized_keys    hadoop2:/root/.ssh

                1.5    在hadoop0上修改文件/etc/hosts，內(nèi)容修改后如下：

                            192.168.80.100  hadoop0
                            192.168.80.101  hadoop1
                            192.168.80.102  hadoop2

                1.6    復(fù)制hadoop0上的/etc/hosts下的配置到其他hadoop1和hadoop2節(jié)點(diǎn)。

                1.7    復(fù)制hadoop0上的/usr/local/jdk、/usr/local/hadoop到hadoop1、hadoop2的對于目錄下。

                         scp    -r    /usr/local/jdk        hadoop1:/usr/local

                         scp    -r    /usr/local/jdk        hadoop2:/usr/local

                         scp    -r    /usr/local/hadoop    hadoop1:/usr/local

                         scp    -r    /usr/local/hadoop    hadoop2:/usr/local

                1.8    復(fù)制hadoop0上的/etc/profile到hadoop1、hadoop2上。

                         scp    hadoop0:/etc/profile    hadoop1:/etc/profile

                         scp    hadoop0:/etc/profile    hadoop2:/etc/profile

                         并且還要在hadoop1、hadoop2上分別執(zhí)行source    /etc/profile

                1.9    修改集群的配置信息，修改hadoop0節(jié)點(diǎn)的配置信息，其他節(jié)點(diǎn)不必修改

                         (1)NameNode節(jié)點(diǎn)的位置在配置文件$HADOOP_HOME/conf/core-site.xml中fs.default.name定義的。

                         (2)JobTracker節(jié)點(diǎn)的位置在配置文件$HADOOP_HOME/conf/mapred-site.xml中mapred.job.tracker定

                             義的。

                         (3)SecondaryNameNode節(jié)點(diǎn)的位置在配置文件$HADOOP_HOME/conf/masters定義的，內(nèi)容修改為                                 hadoop0。

                         (4)DataNode和TaskTracker節(jié)點(diǎn)的位置在配置文件$HADOOP_HOME/conf/slaves定義的，內(nèi)容修改為

                              hadoop1、hadoop2。

                1.10    在hadoop0上執(zhí)行格式化命令hadoop namenode -format

                1.11    在hadoop0上啟動集群，執(zhí)行命令start-all.sh

                動態(tài)增加新的從節(jié)點(diǎn)的方法：

                2.1    確定hadoop0作為從節(jié)點(diǎn)。

                2.2    修改hadoop0上的slaves文件，增加hadoop0。

                2.3    在hadoop0上啟動DataNode、TaskTracker進(jìn)程，執(zhí)行命令：

                                    hadoop-daemon.sh     start    datanode

                                    hadoop-daemon.sh     start    tasktracker

                2.4    在hadoop0上刷新集群節(jié)點(diǎn)結(jié)構(gòu)，執(zhí)行命令

                            hadoop    dfsadmin    -refreshNodes

                3.0    修改副本數(shù)

                            hadoop fs -setrep    2     /hello

                4.0    安全模式

                            集群在剛啟動時，會進(jìn)入安全模式，默認(rèn)是30秒鐘。

                            在安全模式下，系統(tǒng)對block進(jìn)行檢查。

                            在安全模式期間，禁止客戶端的create、delete操作。

                            hadoop    dfsadmin    -safeMode    leave | get | enter

以上是“怎樣搭建Hadoop集群”這篇文章的所有內(nèi)容，感謝各位的閱讀！相信大家都有了一定的了解，希望分享的內(nèi)容對大家有所幫助，如果還想學(xué)習(xí)更多知識，歡迎關(guān)注創(chuàng)新互聯(lián)行業(yè)資訊頻道！

文章標(biāo)題：怎樣搭建Hadoop集群
網(wǎng)站地址：http://aaarwkj.com/article42/jegghc.html

成都網(wǎng)站建設(shè)公司_創(chuàng)新互聯(lián)，為您提供網(wǎng)站導(dǎo)航、外貿(mào)網(wǎng)站建設(shè)、品牌網(wǎng)站設(shè)計(jì)、電子商務(wù)、營銷型網(wǎng)站建設(shè)、網(wǎng)站制作

廣告

聲明：本網(wǎng)站發(fā)布的內(nèi)容（圖片、視頻和文字）以用戶投稿、用戶轉(zhuǎn)載內(nèi)容為主，如果涉及侵權(quán)請盡快告知，我們將會在第一時間刪除。文章觀點(diǎn)不代表本網(wǎng)站立場，如需處理請聯(lián)系客服。電話：028-86922220；郵箱：631063699@qq.com。內(nèi)容未經(jīng)允許不得轉(zhuǎn)載，或轉(zhuǎn)載時需注明來源： 創(chuàng)新互聯(lián)