Hadoop集群我們是用三臺筆記本電腦裝了Ubuntu虛擬機然后進行集群的搭建。但是后來啟動集群,一開始是主節(jié)點沒啟動起來,因為配置文件看走眼,配錯了,然后又重新初始化了一次,然后可能因為重復初始化,導致datanode又沒了,然后一直在嘗試,一直在搜到底什么原因。目前根據(jù)搜索到的以及老師說的總結起來有三點:
1.配置文件出錯了
2.ssh免密沒做好
3.重復初始化
這三個問題應該在之前不斷循環(huán)往復的出現(xiàn)…
直到這周終于把集群啟動起來并且能夠正常工作了。
雖然配置的可能優(yōu)點問題,但是還是可以參考我們課上講的配置文件,因為至少可以成功運行:
Hadoop集群配置運行
建議直接復制粘貼配置文件的內容,因為打錯了又找不到錯誤的感覺,真的很難受。
檢查ssh免密ssh免密最好每次啟動前都檢查一次,因為ip地址極有可能悄悄發(fā)生改變
記得ssh自己也得做
記得ssh自己也得做
記得ssh自己也得做
別能ssh別人,ssh自己不了
ssh免密方法可以參考:
Unbuntu使用手機熱點創(chuàng)建兩臺電腦的集群(實現(xiàn)ssh免密通信)
同時,網(wǎng)速也得快點,因為如果延遲很大,就極有可能掉節(jié)點,導致問題出現(xiàn),不過如果節(jié)點并不多,網(wǎng)速開百度能秒開,應該問題不是很大。
看網(wǎng)上說,重復初始化導致namenode的id和datanode的id不一致導致了節(jié)點的丟失,沒事,那咱們就把初始化出來的文件刪了,重新初始化就行了。
至于文件的位置,看配置文件里的位置
拿我的配置來說:
core-site.xml中
fs.defaultFS hdfs://master:9000 hadoop.tmp.dir /home/bigdata3/hadoopdata1
其中/home/bigdata3/hadoopdata1這個文件就是初始化生成的文件。
在集群里的所有電腦都把這個文件得刪了
在集群里的所有電腦都把這個文件得刪了
在集群里的所有電腦都把這個文件得刪了
然后
重新初始化:
hadoop namenode -format
我們會看到這個文件重新生成了,那就是初始化生成的。
切記重新初始化的操作得集群沒啟動的時候做,如果你的集群已經(jīng)啟動了
就先:
stop-all.sh
把集群先關了再操作
總結如果上述三條都檢查了一遍,然后啟動集群
start-all.sh
不出意外應該是能夠正常運行的。
我們就是這樣,一個坑接著一個坑,先是配置文件沒搞好,然后發(fā)現(xiàn)ssh免密偶爾失效,最后是確定配置文件沒問題,ssh免密剛做好,然后刪文件重新初始化,就成功啟動了。
可以檢查一下節(jié)點情況
jps
此時如果可以訪問
http://master:8080
http://master:50070
并且能夠傳文件上去,那應該沒什么問題了。
如果上述三條都做了還是不能啟動成功,那我也愛莫能助了…
你是否還在尋找穩(wěn)定的海外服務器提供商?創(chuàng)新互聯(lián)www.cdcxhl.cn海外機房具備T級流量清洗系統(tǒng)配攻擊溯源,準確流量調度確保服務器高可用性,企業(yè)級服務器適合批量采購,新人活動首月15元起,快前往官網(wǎng)查看詳情吧
網(wǎng)頁名稱:Hadoop集群啟動但是沒有datanode/namenode的情況-創(chuàng)新互聯(lián)
地址分享:http://aaarwkj.com/article48/pedep.html
成都網(wǎng)站建設公司_創(chuàng)新互聯(lián),為您提供品牌網(wǎng)站建設、建站公司、標簽優(yōu)化、軟件開發(fā)、域名注冊、網(wǎng)頁設計公司
聲明:本網(wǎng)站發(fā)布的內容(圖片、視頻和文字)以用戶投稿、用戶轉載內容為主,如果涉及侵權請盡快告知,我們將會在第一時間刪除。文章觀點不代表本網(wǎng)站立場,如需處理請聯(lián)系客服。電話:028-86922220;郵箱:631063699@qq.com。內容未經(jīng)允許不得轉載,或轉載時需注明來源: 創(chuàng)新互聯(lián)
猜你還喜歡下面的內容