?1.創(chuàng)建一個(gè)單一字段分區(qū)表

成都創(chuàng)新互聯(lián)2013年至今，是專業(yè)互聯(lián)網(wǎng)技術(shù)服務(wù)公司，擁有項(xiàng)目網(wǎng)站設(shè)計(jì)制作、成都做網(wǎng)站網(wǎng)站策劃，項(xiàng)目實(shí)施與項(xiàng)目整合能力。我們以讓每一個(gè)夢(mèng)想脫穎而出為使命，1280元衡水做網(wǎng)站,已為上家服務(wù),為衡水各地企業(yè)和個(gè)人服務(wù),聯(lián)系電話:18980820575

hive>??create table dpartition(id int ,name string )

???partitioned by(ct string??);

? ?2.往表里裝載數(shù)據(jù)，并且動(dòng)態(tài)建立分區(qū)，以city建立動(dòng)態(tài)分區(qū)

hive> set hive.exec.dynamic.partition=true;??#開(kāi)啟動(dòng)態(tài)分區(qū)，默認(rèn)是false

set hive.exec.dynamic.partition.mode=nonstrict; #開(kāi)啟允許所有分區(qū)都是動(dòng)態(tài)的，否則必須要有靜態(tài)分區(qū)才能使用。

insert overwrite table dpartition

partition(ct)

select id ,name,city from??mytest_tmp2_p;

要點(diǎn)：因?yàn)閐partition表中只有兩個(gè)字段，所以當(dāng)我們查詢了三個(gè)字段時(shí)（多了city字段），所以系統(tǒng)默認(rèn)以最后一個(gè)字段city為分區(qū)名，因?yàn)榉謪^(qū)表的分區(qū)字段默認(rèn)也是該表中的字段，且依次排在表中字段的最后面。所以分區(qū)需要分區(qū)的字段只能放在后面，不能把順序弄錯(cuò)。如果我們查詢了四個(gè)字段的話，則會(huì)報(bào)錯(cuò)，因?yàn)樵摫砑由戏謪^(qū)字段也才三個(gè)。要注意系統(tǒng)是根據(jù)查詢字段的位置推斷分區(qū)名的，而不是字段名稱。

--查看可知，hive已經(jīng)完成了以city字段為分區(qū)字段，實(shí)現(xiàn)了動(dòng)態(tài)分區(qū)。

hive > show partitions dpartition;

partition

ct=beijing

ct=beijing1

注意：使用，insert...select 往表中導(dǎo)入數(shù)據(jù)時(shí)，查詢的字段個(gè)數(shù)必須和目標(biāo)的字段個(gè)數(shù)相同，不能多，也不能少,否則會(huì)報(bào)錯(cuò)。但是如果字段的類型不一致的話，則會(huì)使用null值填充，不會(huì)報(bào)錯(cuò)。而使用load data形式往hive表中裝載數(shù)據(jù)時(shí)，則不會(huì)檢查。如果字段多了則會(huì)丟棄，少了則會(huì)null值填充。同樣如果字段類型不一致，也是使用null值填充。

3.多個(gè)分區(qū)字段時(shí)，實(shí)現(xiàn)半自動(dòng)分區(qū)（部分字段靜態(tài)分區(qū)，注意靜態(tài)分區(qū)字段要在動(dòng)態(tài)前面）

1.創(chuàng)建一個(gè)只有一個(gè)字段，兩個(gè)分區(qū)字段的分區(qū)表

hive (fdm_sor)> create table ds_parttion(id int )

??????????????> partitioned by (state string ,ct string );

2.往該分區(qū)表半動(dòng)態(tài)分區(qū)插入數(shù)據(jù)

hive>

set hive.exec.dynamici.partition=true;

set hive.exec.dynamic.partition.mode=nonstrict;

insert overwrite table ds_parttion

partition(state='china',ct)??#state分區(qū)為靜態(tài)，ct為動(dòng)態(tài)分區(qū)，以查詢的city字段為分區(qū)名

select id ,city from??mytest_tmp2_p;

3.查詢結(jié)果顯示：

hive (fdm_sor)> select *??from ds_parttion where state='china'

??????????????> ;

ds_parttion.id??ds_parttion.state???????ds_parttion.ct

4???????china???beijing

3???????china???beijing

2???????china???beijing

1???????china???beijing

4???????china???beijing1

3???????china???beijing1

2???????china???beijing1

1???????china???beijing1

hive (fdm_sor)> select *??from ds_parttion where state='china' and ct='beijing';

ds_parttion.id??ds_parttion.state???????ds_parttion.ct

4???????china???beijing

3???????china???beijing

2???????china???beijing

1???????china???beijing

hive (fdm_sor)> select *??from ds_parttion where state='china' and ct='beijing1';

ds_parttion.id??ds_parttion.state???????ds_parttion.ct

4???????china???beijing1

3???????china???beijing1

2???????china???beijing1

1???????china???beijing1

Time taken: 0.072 seconds, Fetched: 4 row(s)

4.多個(gè)分區(qū)字段時(shí)，全部實(shí)現(xiàn)動(dòng)態(tài)分區(qū)插入數(shù)據(jù)

set hive.exec.dynamici.partition=true;

set hive.exec.dynamic.partition.mode=nonstrict;

insert overwrite table ds_parttion

partition(state,ct)

select id ,country,city from??mytest_tmp2_p;

注意：字段的個(gè)數(shù)和順序不能弄錯(cuò)。

5.動(dòng)態(tài)分區(qū)表的屬性

??使用動(dòng)態(tài)分區(qū)表必須配置的參數(shù) ：

????set hive.exec.dynamic.partition =true（默認(rèn)false）,表示開(kāi)啟動(dòng)態(tài)分區(qū)功能

????set hive.exec.dynamic.partition.mode = nonstrict(默認(rèn)strict),表示允許所有分區(qū)都是動(dòng)態(tài)的，否則必須有靜態(tài)分區(qū)字段

動(dòng)態(tài)分區(qū)相關(guān)的調(diào)優(yōu)參數(shù)：

????set??hive.exec.max.dynamic.partitions.pernode=100 （默認(rèn)100，一般可以設(shè)置大一點(diǎn)，比如1000）

???????表示每個(gè)maper或reducer可以允許創(chuàng)建的最大動(dòng)態(tài)分區(qū)個(gè)數(shù)，默認(rèn)是100，超出則會(huì)報(bào)錯(cuò)。

???set hive.exec.max.dynamic.partitions =1000(默認(rèn)值)

???????表示一個(gè)動(dòng)態(tài)分區(qū)語(yǔ)句可以創(chuàng)建的最大動(dòng)態(tài)分區(qū)個(gè)數(shù)，超出報(bào)錯(cuò)

???set hive.exec.max.created.files =10000(默認(rèn)) 全局可以創(chuàng)建的最大文件個(gè)數(shù)，超出報(bào)錯(cuò)。

網(wǎng)站欄目：關(guān)于Hive使用動(dòng)態(tài)分區(qū)插入數(shù)據(jù)詳解
文章起源：http://aaarwkj.com/article22/peigjc.html

成都網(wǎng)站建設(shè)公司_創(chuàng)新互聯(lián)，為您提供企業(yè)網(wǎng)站制作、App開(kāi)發(fā)、網(wǎng)站制作、云服務(wù)器、品牌網(wǎng)站設(shè)計(jì)、Google

廣告

聲明：本網(wǎng)站發(fā)布的內(nèi)容（圖片、視頻和文字）以用戶投稿、用戶轉(zhuǎn)載內(nèi)容為主，如果涉及侵權(quán)請(qǐng)盡快告知，我們將會(huì)在第一時(shí)間刪除。文章觀點(diǎn)不代表本網(wǎng)站立場(chǎng)，如需處理請(qǐng)聯(lián)系客服。電話：028-86922220；郵箱：631063699@qq.com。內(nèi)容未經(jīng)允許不得轉(zhuǎn)載，或轉(zhuǎn)載時(shí)需注明來(lái)源： 創(chuàng)新互聯(lián)