本篇文章為大家展示了怎么進行hadoop性能調(diào)優(yōu) ，內(nèi)容簡明扼要并且容易理解，絕對能使你眼前一亮，通過這篇文章的詳細(xì)介紹希望你能有所收獲。

沁陽ssl適用于網(wǎng)站、小程序/APP、API接口等需要進行數(shù)據(jù)傳輸應(yīng)用場景，ssl證書未來市場廣闊！成為成都創(chuàng)新互聯(lián)公司的ssl證書銷售渠道，可以享受市場價格4-6折優(yōu)惠！如果有意向歡迎電話聯(lián)系或者加微信：028-86922220（備注：SSL證書合作）期待與您的合作！

操作系統(tǒng)調(diào)優(yōu)

• 增大同時打開文件描述符和網(wǎng)絡(luò)連接上限
  操作系統(tǒng)的默認(rèn)連接數(shù)上限為128 (sysctl -a | grep net.core.somaxconn),/etc/sysctl.conf  添加  net.core.somaxconn=32767

  linux默認(rèn)打開文件描述符數(shù)量為183731 ,同樣在sysctl.conf中添加fs.file-max=800000
  執(zhí)行systcl -a 查看 systcl -p來刷新配置

• 關(guān)閉swap分區(qū)
  在MR分布式環(huán)境中.用戶完全可以通過控制每個作業(yè)處理的數(shù)據(jù)量和每個任務(wù)運行過程中用到的各個緩沖區(qū)大小,避免使用swap分區(qū).

• 設(shè)置合理的預(yù)讀取緩沖區(qū)大小
  磁盤IO性能滯后于CPU和內(nèi)存,設(shè)置預(yù)讀可以較少磁盤尋道和應(yīng)用程序IO等待時間,使用linux blockdev 設(shè)置讀取緩沖區(qū)大小.

• 文件系統(tǒng)配置
  開啟linux的noatime屬性.(/etc/fstab)

• IO調(diào)度器選擇
  參考 Hadoop Performance Tuning Guide

Hadoop參數(shù)調(diào)優(yōu)

• 磁盤塊配置
  以前博文分析shuffle過程已經(jīng)提過怎么配置 mapreduce.cluster.local.dir 將tmp文件寫到其他本地硬盤,可以提升IO

• 選擇合適的壓縮算法
  mapreduce.map.output.compress=true
mapreduce.map.output.compress.codec=XXCodec

• 修改ifile預(yù)讀大小
  可以根據(jù)項目需求，適當(dāng)修改預(yù)讀緩沖區(qū)大小mapreduce.ifile.readahead.bytes

應(yīng)用程序調(diào)優(yōu)

• 設(shè)置Combiner

• 增加輸入文件的副本數(shù)

上述內(nèi)容就是怎么進行hadoop性能調(diào)優(yōu) ，你們學(xué)到知識或技能了嗎？如果還想學(xué)到更多技能或者豐富自己的知識儲備，歡迎關(guān)注創(chuàng)新互聯(lián)行業(yè)資訊頻道。

當(dāng)前題目：怎么進行hadoop性能調(diào)優(yōu)
標(biāo)題URL：http://aaarwkj.com/article14/ihhhge.html

成都網(wǎng)站建設(shè)公司_創(chuàng)新互聯(lián)，為您提供云服務(wù)器、外貿(mào)網(wǎng)站建設(shè)、品牌網(wǎng)站建設(shè)、電子商務(wù)、網(wǎng)站收錄、網(wǎng)站排名

廣告

聲明：本網(wǎng)站發(fā)布的內(nèi)容（圖片、視頻和文字）以用戶投稿、用戶轉(zhuǎn)載內(nèi)容為主，如果涉及侵權(quán)請盡快告知，我們將會在第一時間刪除。文章觀點不代表本網(wǎng)站立場，如需處理請聯(lián)系客服。電話：028-86922220；郵箱：631063699@qq.com。內(nèi)容未經(jīng)允許不得轉(zhuǎn)載，或轉(zhuǎn)載時需注明來源： 創(chuàng)新互聯(lián)