這篇文章主要講解了“DKhadoop環(huán)境的安裝配置步驟”，文中的講解內(nèi)容簡(jiǎn)單清晰，易于學(xué)習(xí)與理解，下面請(qǐng)大家跟著小編的思路慢慢深入，一起來(lái)研究和學(xué)習(xí)“DKhadoop環(huán)境的安裝配置步驟”吧！

創(chuàng)新互聯(lián)建站公司2013年成立，是專業(yè)互聯(lián)網(wǎng)技術(shù)服務(wù)公司，擁有項(xiàng)目網(wǎng)站設(shè)計(jì)制作、做網(wǎng)站網(wǎng)站策劃，項(xiàng)目實(shí)施與項(xiàng)目整合能力。我們以讓每一個(gè)夢(mèng)想脫穎而出為使命，1280元莒縣做網(wǎng)站,已為上家服務(wù),為莒縣各地企業(yè)和個(gè)人服務(wù),聯(lián)系電話:028-86922220

1.修改權(quán)限

步驟：在準(zhǔn)備工作中拷貝安裝包DKHPlantform.zip到主節(jié)點(diǎn)/root/目錄后，解壓并修改文件權(quán)限（文件所有者可讀可寫可執(zhí)行，與文件所有者屬于一個(gè)用戶組的其他用戶可讀可執(zhí)行，其他用戶組可讀可執(zhí)行）。

命令：  

cd /root/

unzip DKHPlantform.zip

chmod -R 755 DKHPlantform

2. 搭建hadoop集群設(shè)置SSH免密登錄

步驟：

修改主機(jī)名  vi /etc/sysconfig/network  reboot

（1）修改本機(jī)hosts文件，寫入對(duì)應(yīng)關(guān)系

命令：

vi /etc/hosts

通過(guò)按鍵盤上的insert或是I鍵進(jìn)入編輯模式，編輯完成后按一下Esc鍵然后按一下按Shift+：鍵，輸入wq 后回車就可以保存。輸入q！后回車則是放棄保存并退出.

進(jìn)入編輯模式后，按照規(guī)則寫入主機(jī)與ip的對(duì)應(yīng)關(guān)系（主機(jī)名稱dk41是自己命名的，如下圖）例：

    192.168.1.41    dk41

192.168.1.42    dk42

192.168.1.43    dk43

 

編輯完后，保存退出。把對(duì)應(yīng)關(guān)系拷到其他兩臺(tái)機(jī)器上。

命令：

scp  -r  /etc/hosts  192.168.1.42:/etc

scp  -r  /etc/hosts  192.168.1.43:/etc

（2）執(zhí)行集群之間免密前的準(zhǔn)備工作   

a)執(zhí)行sshpass.sh的腳本的時(shí)候會(huì)去讀sshhosts和sshslaves這兩個(gè)文件，替換sshpass.sh中的master和slave文件。                                           

修改文件sshhosts，輸入全部機(jī)器的主機(jī)名，每行一個(gè)主機(jī)名（如下圖）

命令：

vi /root/DKHPlantform/autossh/sshhosts

通過(guò)按鍵盤上的insert或是I鍵進(jìn)入編輯模式，編輯完成后按一下Esc鍵然后按一下按Shift+：鍵，輸入wq，后回車就可以保存。輸入q！后回車則是放棄保存并退出.

 

修改文件sshslaves，寫入除主機(jī)名之外的所有機(jī)器名（如下圖）

命令：

vi /root/DKHPlantform/autossh/sshslaves

通過(guò)按鍵盤上的insert或是I鍵進(jìn)入編輯模式，編輯完成后按一下Esc鍵然后按一下按Shift+：鍵，輸入wq，后回車就可以保存。輸入q！后回車則是放棄保存并退出.

 

b）執(zhí)行insExpect.sh，系統(tǒng)會(huì)裝兩個(gè)rpm包，在執(zhí)行sshpass.sh的過(guò)程中無(wú)需再輸密碼和yes，腳本自動(dòng)繼續(xù)執(zhí)行。

命令：

cd /root/DKHPlantform/autossh

./insExpect.sh

按照提示多次輸入yes和密碼(如下圖)

 

c)執(zhí)行changeMaster.sh腳本為了清空/root/.ssh目錄下的所有文件(在/root/DKHPlantform/autossh目錄下)，避免在執(zhí)行sshpass.sh腳本時(shí)產(chǎn)生的新密鑰時(shí)與舊的密鑰發(fā)生沖突。

命令：

./changeMaster.sh                                                   

按照提示輸入（如下圖）

 

（3）執(zhí)行集群免密（SSH）

a)執(zhí)行SSH:

命令：

cd /root/

./sshpass.sh 密碼

123456為集群密碼，根據(jù)自己實(shí)際情況輸入。

 

b)防止訪問(wèn)服務(wù)器時(shí)某些服務(wù)被攔截,需關(guān)閉防火墻。

命令：

cd /root/DKHPlantform/autossh

./offIptables.sh

 

3.安裝雙機(jī)熱備份的MySQL

目的：存放Hive的元數(shù)據(jù)

步驟：

（1）從主節(jié)點(diǎn)分發(fā)mysql安裝目錄到第二節(jié)點(diǎn)

命令：

scp -r /root/DKHPlantform/mysqlInst/ 192.168.1.42:/root/

（2）主節(jié)點(diǎn)執(zhí)行： 

命令：                                                                                                                                                                                                                                                                                                                                           

cd /root/DKHPlantform/mysqlInst/

./mysql.sh 1

ssh前往第二臺(tái)機(jī)器（從節(jié)點(diǎn)）并執(zhí)行:

命令：

cd /root/mysqlInst/

./mysql.sh 2

（3）執(zhí)行成功之后執(zhí)行熱備份（兩臺(tái)機(jī)器上都要執(zhí)行，兩個(gè)ip互換,41上寫42,42上寫41,密碼是Mysql的密碼為：123456。平臺(tái)內(nèi)已經(jīng)設(shè)定好，請(qǐng)勿修改）：

命令：

source /etc/profile

./sync.sh 192.168.1.xxx(另一臺(tái)mysql地址) root 123456

4.創(chuàng)建數(shù)據(jù)庫(kù)

 步驟：

（1）導(dǎo)入MySQL數(shù)據(jù)表，只在主節(jié)點(diǎn)執(zhí)行：

命令：

mysql -uroot -p123456 < { 此處為sql文件,主目錄下文件： dkh.sql}

如：mysql -uroot -p123456 </root/DKHPlantform/dkh.sql

（2）執(zhí)行完后查看一下兩臺(tái)mysql的數(shù)據(jù)表是否存在,從節(jié)點(diǎn)查看執(zhí)行：

命令：

mysql  -uroot  -p123456
show databases;

 

感謝各位的閱讀，以上就是“DKhadoop環(huán)境的安裝配置步驟”的內(nèi)容了，經(jīng)過(guò)本文的學(xué)習(xí)后，相信大家對(duì)DKhadoop環(huán)境的安裝配置步驟這一問(wèn)題有了更深刻的體會(huì)，具體使用情況還需要大家實(shí)踐驗(yàn)證。這里是創(chuàng)新互聯(lián)，小編將為大家推送更多相關(guān)知識(shí)點(diǎn)的文章，歡迎關(guān)注！

當(dāng)前名稱：DKhadoop環(huán)境的安裝配置步驟
網(wǎng)址分享：http://aaarwkj.com/article6/iiosig.html

成都網(wǎng)站建設(shè)公司_創(chuàng)新互聯(lián)，為您提供網(wǎng)站維護(hù)、網(wǎng)站改版、定制網(wǎng)站、面包屑導(dǎo)航、域名注冊(cè)、小程序開(kāi)發(fā)

廣告

聲明：本網(wǎng)站發(fā)布的內(nèi)容（圖片、視頻和文字）以用戶投稿、用戶轉(zhuǎn)載內(nèi)容為主，如果涉及侵權(quán)請(qǐng)盡快告知，我們將會(huì)在第一時(shí)間刪除。文章觀點(diǎn)不代表本網(wǎng)站立場(chǎng)，如需處理請(qǐng)聯(lián)系客服。電話：028-86922220；郵箱：631063699@qq.com。內(nèi)容未經(jīng)允許不得轉(zhuǎn)載，或轉(zhuǎn)載時(shí)需注明來(lái)源： 創(chuàng)新互聯(lián)