欧美一级特黄大片做受成人-亚洲成人一区二区电影-激情熟女一区二区三区-日韩专区欧美专区国产专区

hive中數(shù)據(jù)傾斜

數(shù)據(jù)傾斜通常指hive根據(jù)key值hash分發(fā)到各個節(jié)點(diǎn),相同的key值會分發(fā)到一個執(zhí)行節(jié)點(diǎn)中,由于某些key值對應(yīng)的數(shù)據(jù)量比其它key值的數(shù)據(jù)量大很多,導(dǎo)致某些執(zhí)行節(jié)點(diǎn)的運(yùn)行時間遠(yuǎn)大于其它節(jié)點(diǎn),從而導(dǎo)致整個job執(zhí)行時間較長。
在hive中執(zhí)行的sql會有map和reduce兩個階段,map階段的數(shù)據(jù)傾斜主要為數(shù)據(jù)從磁盤讀入內(nèi)存時、join,reduce階段數(shù)據(jù)傾斜主要有join、group by、count distinct,針對于這些操作有不同的處理方式來避免數(shù)據(jù)傾斜。
一、map階段
1.由于map讀入數(shù)據(jù)的文件大小分布不均勻,并且小文件特別多,導(dǎo)致某些map讀取并處理的數(shù)據(jù)特別多
這種情況可通過參數(shù)調(diào)整防止由于小文件過多導(dǎo)致每個map讀取的數(shù)據(jù)量不均勻,mapred.max.split.size=256000000(每個map可以處理的最大文件大小,可調(diào)大該值來減少map數(shù))
二、reduce階段
1.join
數(shù)據(jù)表在進(jìn)行join時有兩種情況會出現(xiàn)傾斜:
(1)小表和大表join的傾斜
這種情況,可以直接使用hint(如/ + mapjoin(a) /)將小表全部加載到內(nèi)存中后順序掃描大表完成join(mapjoin有使用限制,必須是join中的從表較小時才可用,從表主要指left join中的右表,right join中的左表,小表最大為2GB)
(2)大表和大表join的傾斜
這種情況,需要具體原因具體分析:

滎經(jīng)網(wǎng)站建設(shè)公司成都創(chuàng)新互聯(lián)公司,滎經(jīng)網(wǎng)站設(shè)計制作,有大型網(wǎng)站制作公司豐富經(jīng)驗。已為滎經(jīng)近1000家提供企業(yè)網(wǎng)站建設(shè)服務(wù)。企業(yè)網(wǎng)站搭建\成都外貿(mào)網(wǎng)站建設(shè)要多少錢,請找那個售后服務(wù)好的滎經(jīng)做網(wǎng)站的公司定做!

  • 由某些特殊值引起的數(shù)據(jù)傾斜
    參數(shù)設(shè)置方式:hive.optimize.skewjoin=true; 將造成傾斜的特殊值先不處理直接寫入hdfs,然后新啟一個mapjoin專門處理特殊值;可以通過參數(shù)設(shè)置數(shù)據(jù)量超過多少默認(rèn)為特殊值,如hive.skewjoin.key=10000,表名超過10000條的key會被認(rèn)定為特殊值;
    特殊值的處理也可以在sql中進(jìn)行優(yōu)化,在sql中將特殊值與非特殊值分別處理,然后再通過union all拼接,但這樣會增加IO;
  • 由空值引起的數(shù)據(jù)傾斜
    將空值的key變?yōu)橐粋€字符串加上隨機(jī)數(shù),也可以借鑒特殊值的sql優(yōu)化方式;
  • 不同數(shù)據(jù)類型關(guān)聯(lián)產(chǎn)生的數(shù)據(jù)傾斜
    如int型的用戶id與string類型的用戶id進(jìn)行關(guān)聯(lián),hive默認(rèn)會將hash按int類型分配,string類型的數(shù)據(jù)會全部分配到一個reduce中,此時應(yīng)將int型轉(zhuǎn)化為string再做關(guān)聯(lián)
    2.group by + count distinct
    當(dāng)sql中出現(xiàn)這種情況時,需預(yù)先對group by的字段進(jìn)行去重處理,然后再進(jìn)行count

當(dāng)前名稱:hive中數(shù)據(jù)傾斜
網(wǎng)址分享:http://aaarwkj.com/article46/jpdceg.html

成都網(wǎng)站建設(shè)公司_創(chuàng)新互聯(lián),為您提供外貿(mào)建站、建站公司、關(guān)鍵詞優(yōu)化小程序開發(fā)、外貿(mào)網(wǎng)站建設(shè)

廣告

聲明:本網(wǎng)站發(fā)布的內(nèi)容(圖片、視頻和文字)以用戶投稿、用戶轉(zhuǎn)載內(nèi)容為主,如果涉及侵權(quán)請盡快告知,我們將會在第一時間刪除。文章觀點(diǎn)不代表本網(wǎng)站立場,如需處理請聯(lián)系客服。電話:028-86922220;郵箱:631063699@qq.com。內(nèi)容未經(jīng)允許不得轉(zhuǎn)載,或轉(zhuǎn)載時需注明來源: 創(chuàng)新互聯(lián)

h5響應(yīng)式網(wǎng)站建設(shè)
亚洲社区一区二区三区四区| 亚洲国产欧美在线人成人| 一区二区欧美日韩91| 日韩激情av中文字幕 | 91亚色在线免费观看| 2021天天操夜夜爽| av在线高清免费观看| 国产伦理自拍视频在线观看| 伊人亚洲一区二区三区| 亚洲精品偷拍在线观看| 中文字幕精品一区二区三| 国产男女做爰在线视频| 亚洲欧美精品成人一区| 欧美一级特黄大片做受农村| 草逼免费在线观看视频| 91色九色吧在线观看| 永久黄区观看在线网址| 亚洲乱码一区二区在线| 亚洲免费黄色大片网站| 久久久亚洲熟妇熟女一区二区 | 日韩欧美亚洲国产一区久久精品 | 中文字幕乱码伊人三级| 国产黄色av网站在线| 久久五月婷婷爱综合亚洲| 日本人妻成人免费大片| 亚洲成av人在线观看福利| 91青青草原在线视频| 日韩一区二区三区91| 国产模特一区二区三区| 美女少妇性高潮的视频| 日韩av高清免费播放| 亚洲丰满一区二区三区在线| 久久青草视频在线观看 | 亚洲欧美天堂一区二区| 精品熟女少妇av免费久久野外| 成人午夜欧美熟妇小视频| 国产一级内射在线视频| 国产视频传媒一区二区| 欧美亚洲午夜精品久久久| 国内精品老年人视频网站| 国产欧美日韩一二三四|