本篇內(nèi)容介紹了“Ubuntu上怎么為eclipse安裝hadoop插件以及在eclipse運(yùn)行Hadoop程序”的有關(guān)知識(shí),在實(shí)際案例的操作過程中,不少人都會(huì)遇到這樣的困境,接下來就讓小編帶領(lǐng)大家學(xué)習(xí)一下如何處理這些情況吧!希望大家仔細(xì)閱讀,能夠?qū)W有所成!
創(chuàng)新互聯(lián)公司技術(shù)團(tuán)隊(duì)十年來致力于為客戶提供成都做網(wǎng)站、網(wǎng)站建設(shè)、品牌網(wǎng)站制作、成都全網(wǎng)營(yíng)銷推廣、搜索引擎SEO優(yōu)化等服務(wù)。經(jīng)過多年發(fā)展,公司擁有經(jīng)驗(yàn)豐富的技術(shù)團(tuán)隊(duì),先后服務(wù)、推廣了上千家網(wǎng)站,包括各類中小企業(yè)、企事單位、高校等機(jī)構(gòu)單位。
Hadoop版本:0.20.203.0
eclipse版本:indigo最新版(http://www.eclipse.org/downloads/ )
安裝eclipse其實(shí)就是解壓,不過得先修改壓縮文件的權(quán)限:
sudo chmod 777 eclipse-jee-indigo-SR2-linux-gtk-x86_64.tar.gz
然后將解壓出來的文件夾的權(quán)限也改為777:
sudo chmod 777 -R eclipse
現(xiàn)在可以進(jìn)入到eclipse文件夾中打開eclipse了,但還不能編寫Hadoop程序。下面,問題也就來了
網(wǎng)上說直接把hadoop-0.20.203.0/contrib/下的hadoop-eclipse-plugin-0.20.203.0.jar復(fù)制到eclipse/plugins下就可以了,但是筆者就遇到如下問題:Map/Reduce location status updater,org/codehaus/jackson/map/JsonMappingException
查找網(wǎng)上的解決辦法,說是剛才復(fù)制的包里少了5個(gè)jar包,要加入進(jìn)去,到hadoop的根目錄下的lib文件夾里將下列5個(gè)包加入hadoop-eclipse-plugin-0.20.203.0.jar的lib中(把剛才復(fù)制的那個(gè)包打開,直接將下面這五個(gè)包拖進(jìn)去就行了)
commons-configuration-1.6.jar
commons-httpclient-3.0.1.jar
commons-lang-2.4.jar
jackson-core-asl-1.0.1.jar
jackson-mapper-asl-1.0.1.jar
然后更改該包META-INF目錄下的MANIFEST.MF,將classpath修改為一下內(nèi)容:
Bundle-ClassPath:classes/,lib/hadoop-core.jar,lib/commons-cli-1.2.jar,lib/commons-httpclient-3.0.1.jar,lib/jackson-core-asl-1.0.1.jar,lib/jackson-mapper-asl-1.0.1.jar,lib/commons-configuration-1.6.jar,lib/commons-lang-2.4.jar
保存退出,最后,把這個(gè)新的包復(fù)制過去重現(xiàn)打開eclipse
然后,在eclipse中加入Hadoop的路徑,如下:
加入Hadoop路徑即可
打開MapReduce視圖:
然后選則Map/Reduce:
然后可以看到下面多出了Map/Reduce Locations
在下方空白處單擊右鍵選擇New Hadoop location,出現(xiàn)如下畫面:
Map/Reduce Master中填寫mapred-site.xml中的端口號(hào),旁邊那個(gè)Port中填寫core-site.xml中的端口號(hào)
上面那個(gè)Location name隨便填一個(gè)就行。完成后可以看到左邊如下圖:
不過里面的內(nèi)容不會(huì)馬上顯示,必須刷新一下。以后在運(yùn)行程序,或者上傳東西到HDFS上后都得刷新才能看到東西,如果各位要在這上面看的話。
現(xiàn)在,演示一個(gè)在eclipse上執(zhí)行Hadoop程序的操作(程序?yàn)閃ordCount):
選擇Run Congratulations:
進(jìn)入如下畫面:
左側(cè)雙擊Java Application,右側(cè)的內(nèi)容將自動(dòng)生成,然后切換到Arguments選項(xiàng)卡,填入如下內(nèi)容:
前一段為輸入文件夾,后一段為輸出文件夾。點(diǎn)擊Run,程序開始運(yùn)行,如下:
運(yùn)行成功,結(jié)果如下:
“Ubuntu上怎么為eclipse安裝hadoop插件以及在eclipse運(yùn)行Hadoop程序”的內(nèi)容就介紹到這里了,感謝大家的閱讀。如果想了解更多行業(yè)相關(guān)的知識(shí)可以關(guān)注創(chuàng)新互聯(lián)網(wǎng)站,小編將為大家輸出更多高質(zhì)量的實(shí)用文章!
分享題目:Ubuntu上怎么為eclipse安裝hadoop插件以及在eclipse運(yùn)行Hadoop程序
當(dāng)前URL:http://aaarwkj.com/article10/ggpego.html
成都網(wǎng)站建設(shè)公司_創(chuàng)新互聯(lián),為您提供面包屑導(dǎo)航、小程序開發(fā)、做網(wǎng)站、關(guān)鍵詞優(yōu)化、手機(jī)網(wǎng)站建設(shè)、服務(wù)器托管
聲明:本網(wǎng)站發(fā)布的內(nèi)容(圖片、視頻和文字)以用戶投稿、用戶轉(zhuǎn)載內(nèi)容為主,如果涉及侵權(quán)請(qǐng)盡快告知,我們將會(huì)在第一時(shí)間刪除。文章觀點(diǎn)不代表本網(wǎng)站立場(chǎng),如需處理請(qǐng)聯(lián)系客服。電話:028-86922220;郵箱:631063699@qq.com。內(nèi)容未經(jīng)允許不得轉(zhuǎn)載,或轉(zhuǎn)載時(shí)需注明來源: 創(chuàng)新互聯(lián)