一分鐘內(nèi)部署jupyterlab + pyspark2 + hive，前提是spark2是可以在yarn上正常運(yùn)行的。

成都創(chuàng)新互聯(lián)公司是一家集網(wǎng)站建設(shè),建甌企業(yè)網(wǎng)站建設(shè),建甌品牌網(wǎng)站建設(shè),網(wǎng)站定制,建甌網(wǎng)站建設(shè)報(bào)價(jià),網(wǎng)絡(luò)營銷,網(wǎng)絡(luò)優(yōu)化,建甌網(wǎng)站推廣為一體的創(chuàng)新建站企業(yè)，幫助傳統(tǒng)企業(yè)提升企業(yè)形象加強(qiáng)企業(yè)競爭力。可充分滿足這一群體相比中小企業(yè)更為豐富、高端、多元的互聯(lián)網(wǎng)需求。同時(shí)我們時(shí)刻保持專業(yè)、時(shí)尚、前沿，時(shí)刻以成就客戶成長自我，堅(jiān)持不斷學(xué)習(xí)、思考、沉淀、凈化自己，讓我們?yōu)楦嗟钠髽I(yè)打造出實(shí)用型網(wǎng)站。

最近甲方打著滾的向乙方要求裝 jupyterlab，然后還要用spark2，所以，也是沒轍，誰讓人家是金主爸爸呢。擱我自己是絕不想在生產(chǎn)集群里裝jupyter的。Terminal潛在危險(xiǎn)性還是有的，按說是不符合甲方的安全小組規(guī)定的，但是業(yè)務(wù)小組又哭鬧說沒有不行，就看上jupyter的代碼提示了，說什么也得要，我能怎么辦呢。其實(shí)你一年也寫不了1000行python，要代碼提示干嗎使呢，哎。

其實(shí)這樣的甲方還算好的，后面講一個(gè)更不好的甲方。

集群環(huán)境

CDH 5.14.0 自帶的 Hive 1.1.0

Spark 2.1.3 Apache版本

Jupyterlab in Anaconda3

按照spark2官方說法，spark2.x開始，僅支持hive 1.2.x以上版本，但實(shí)際使用中驗(yàn)證也可以支持hive 1.1.x版本。但 2.3是絕無可能用 1.1.x版本的，而CDH系統(tǒng)又不能升級(jí)到6，所以這塊甲方也只能妥協(xié)了，用2.1.3版本，另：CDH5自帶版本是1.6的。

anaconda下載官方的安裝包就可以了，我直接裝在了/opt/anaconda3下面。

打開 spark/conf/spark-env.sh 輸入如下

export?PYSPARK_PYTHON=/opt/anaconda3/bin/python
export?PYSPARK_DRIVER_PYTHON=/opt/anaconda3/bin/jupyter-lab
export?PYSPARK_DRIVER_PYTHON_OPTS='??--ip=172.16.191.30?--port=8890'

使用conda或spark命令安裝sparkmagic及ipykernel 4.9.0

pip?install?sparkmagic
pip/conda?install?ipykernel==4.9.0

因?yàn)閕pykernel 5.x跟sparkmagic不兼容，會(huì)報(bào)一個(gè)future的exception，需要使用4.9.0才可以

https://github.com/jupyter-incubator/sparkmagic/issues/492

然后，就沒有然后了。

運(yùn)行? pyspark2 --master yarn 就可以直接啟動(dòng)基于yarn的jupyterlab了。

直接就啟動(dòng) jupyterlab 了

------------------甲方惡行錄----------------

前幾天去給一個(gè)公司講了一下 bigtop 如何打包編譯hadoop生態(tài)，該公司是給某國企做外包項(xiàng)目的，這個(gè)甲方有多無聊加變態(tài)呢，一句話表述一下。

Hadoop生態(tài)系列要全部漢化并打包成發(fā)行版，包括log4j記的日志，內(nèi)容也得是中文，如果甲方再進(jìn)一步，那就得是把java語言用易語言重寫一遍了。

新聞標(biāo)題：Hadoop運(yùn)維記錄系列（二十六）
文章出自：http://aaarwkj.com/article12/igjegc.html

成都網(wǎng)站建設(shè)公司_創(chuàng)新互聯(lián)，為您提供動(dòng)態(tài)網(wǎng)站、建站公司、ChatGPT、企業(yè)建站、域名注冊(cè)、商城網(wǎng)站

廣告

聲明：本網(wǎng)站發(fā)布的內(nèi)容（圖片、視頻和文字）以用戶投稿、用戶轉(zhuǎn)載內(nèi)容為主，如果涉及侵權(quán)請(qǐng)盡快告知，我們將會(huì)在第一時(shí)間刪除。文章觀點(diǎn)不代表本網(wǎng)站立場，如需處理請(qǐng)聯(lián)系客服。電話：028-86922220；郵箱：631063699@qq.com。內(nèi)容未經(jīng)允許不得轉(zhuǎn)載，或轉(zhuǎn)載時(shí)需注明來源： 創(chuàng)新互聯(lián)