本篇內(nèi)容主要講解“hive的配置以及元數(shù)據(jù)庫表描述”，感興趣的朋友不妨來看看。本文介紹的方法操作簡(jiǎn)單快捷，實(shí)用性強(qiáng)。下面就讓小編來帶大家學(xué)習(xí)“hive的配置以及元數(shù)據(jù)庫表描述”吧!

創(chuàng)新互聯(lián)專業(yè)為企業(yè)提供江西網(wǎng)站建設(shè)、江西做網(wǎng)站、江西網(wǎng)站設(shè)計(jì)、江西網(wǎng)站制作等企業(yè)網(wǎng)站建設(shè)、網(wǎng)頁設(shè)計(jì)與制作、江西企業(yè)網(wǎng)站模板建站服務(wù)，10余年江西做網(wǎng)站經(jīng)驗(yàn)，不只是建網(wǎng)站，更提供有價(jià)值的思路和整體網(wǎng)絡(luò)服務(wù)。

一、hive配置

有關(guān)hive的配置都在hive-site.xml文件中。

屬性	描述	默認(rèn)值
hive.metastore.warehouse.dir	指定hive表在hdfs上的存儲(chǔ)路徑	/user/hive/warehouse
javax.jdo.option.ConnectionURL	配置元數(shù)據(jù)的連接URL
javax.jdo.option.ConnectionUserName	元數(shù)據(jù)庫連接用戶名
javax.jdo.option.ConnectionPassword	元數(shù)據(jù)庫連接密碼

 比如如下的配置：

<property>
  <name>javax.jdo.option.ConnectionURL</name>
  <value>jdbc:MySQL://m000:3306/hive</value>
  <description>JDBC connect string for a JDBC metastore</description>
</property>
 
<property>
  <name>javax.jdo.option.ConnectionUserName</name>
  <value>hiveuser</value>
  <description>username to use against metastore database</description>
</property>
 
<property>
  <name>javax.jdo.option.ConnectionPassword</name>
  <value>hiveuser</value>
  <description>password to use against metastore database</description>
</property>

在hive中，默認(rèn)情況下新建的數(shù)據(jù)庫以及表都位于HDFS的hive.metastore.warehouse.dir路徑下。如下圖分別顯示了數(shù)據(jù)庫，表，以及表文件在HDFS上的文件路徑 

根據(jù)javax.jdo.option.ConnectionURL中設(shè)置的數(shù)據(jù)庫，以及用戶名和密碼，hive就可以寫入和讀取其元數(shù)據(jù)信息。 
　　連接元數(shù)據(jù)庫除了配置URL，username，password之外，還有一種間接的方式?？梢栽趆ive客戶端A上用hive --service metastore啟動(dòng)一個(gè)metastore服務(wù)，然后在另外一個(gè)hive客戶端B的hive-site.xml文件中配置hive.metastore.uris=thrift://A:9083也可以訪問到元數(shù)據(jù)信息(9083端口為默認(rèn)，可使用-p參數(shù)手動(dòng)指定)。

二、元數(shù)據(jù)庫表描述

這一節(jié)描述hive元數(shù)據(jù)庫中比較重要的一些表的作用，隨著后續(xù)對(duì)hive的使用逐漸補(bǔ)充更多的內(nèi)容。 
mysql元數(shù)據(jù)庫hive中的表：

表名	作用
BUCKETING_COLS	存儲(chǔ)bucket字段信息，通過SD_ID與其他表關(guān)聯(lián)
CDS	一個(gè)字段CD_ID，與SDS表關(guān)聯(lián)
COLUMNS_V2	存儲(chǔ)字段信息，通過CD_ID與其他表關(guān)聯(lián)
DATABASE_PARAMS	空
DBS	存儲(chǔ)hive的database信息
DELETEME1410257703262	空
FUNCS	空
FUNC_RU	空
GLOBAL_PRIVS	全局變量，與表無關(guān)
IDXS	空
INDEX_PARAMS	空
PARTITIONS	分區(qū)記錄，SD_ID, TBL_ID關(guān)聯(lián)
PARTITION_KEYS	存儲(chǔ)分區(qū)字段，TBL_ID關(guān)聯(lián)
PARTITION_KEY_VALS	分區(qū)的值，通過PART_ID關(guān)聯(lián)。與PARTITION_KEYS共用同一個(gè)字段INTEGER_IDX來標(biāo)示不同的分區(qū)字段。
PARTITION_PARAMS	存儲(chǔ)某分區(qū)相關(guān)信息，包括文件數(shù)，文件大小，記錄條數(shù)等。通過PART_ID關(guān)聯(lián)
PART_COL_PRIVS	空
PART_COL_STATS	空
PART_PRIVS	空
ROLES	角色表，和GLOBAL_PRIVS配合，與表無關(guān)
SDS	存儲(chǔ)輸入輸出format等信息，包括表的format和分區(qū)的format。關(guān)聯(lián)字段CD_ID,SERDE_ID
SD_PARAMS	空
SEQUENCE_TABLE	存儲(chǔ)sqeuence相關(guān)信息，與表無關(guān)
SERDES	存儲(chǔ)序列化反序列化使用的類
SERDE_PARAMS	序列化反序列化相關(guān)信息，通過SERDE_ID關(guān)聯(lián)
SKEWED_COL_NAMES	空
SKEWED_COL_VALUE_LOC_MAP	空
SKEWED_STRING_LIST	空
SKEWED_STRING_LIST_VALUES	空
SKEWED_VALUES	空
SORT_COLS	排序字段，通過SD_ID關(guān)聯(lián)
TABLE_PARAMS	表相關(guān)信息，是否外部表，通過TBL_ID關(guān)聯(lián)
TAB_COL_STATS	空
TBLS	存儲(chǔ)表信息，關(guān)聯(lián)字段DB_ID,SD_ID,
TBL_COL_PRIVS	空
TBL_PRIVS	表賦權(quán)限相關(guān)信息，通過TBL_ID關(guān)聯(lián)
VERSION	版本
VERSION_copy	版本，通過VER_ID關(guān)聯(lián)

這里補(bǔ)充介紹hive的一個(gè)工具腳本metatool。如果需要大量修改元數(shù)據(jù)庫中的相關(guān)記錄，可以具體查看metatool腳本的使用方法。 
　　比如說，對(duì)一個(gè)HDFS做HA的時(shí)候，如果之前hdfs完整路徑是hdfs://m000，做完HA之后把dfs.nameservices設(shè)置為my-cluster之后，hdfs的訪問路徑就變成了hdfs://my-cluster，此時(shí)就需要對(duì)hive元數(shù)據(jù)庫中所有記錄作更新，這時(shí)可以參考下面的操作， 
使用metatool腳本，先是新路徑，然后是舊路徑 
/usr/local/bigdata/hive/bin/metatool -updateLocation hdfs://my-cluster hdfs://m00

到此，相信大家對(duì)“hive的配置以及元數(shù)據(jù)庫表描述”有了更深的了解，不妨來實(shí)際操作一番吧！這里是創(chuàng)新互聯(lián)網(wǎng)站，更多相關(guān)內(nèi)容可以進(jìn)入相關(guān)頻道進(jìn)行查詢，關(guān)注我們，繼續(xù)學(xué)習(xí)！

當(dāng)前題目：hive的配置以及元數(shù)據(jù)庫表描述
文章位置：http://aaarwkj.com/article26/gppdcg.html

成都網(wǎng)站建設(shè)公司_創(chuàng)新互聯(lián)，為您提供用戶體驗(yàn)、網(wǎng)站導(dǎo)航、網(wǎng)站營(yíng)銷、網(wǎng)站收錄、手機(jī)網(wǎng)站建設(shè)、商城網(wǎng)站

廣告

聲明：本網(wǎng)站發(fā)布的內(nèi)容（圖片、視頻和文字）以用戶投稿、用戶轉(zhuǎn)載內(nèi)容為主，如果涉及侵權(quán)請(qǐng)盡快告知，我們將會(huì)在第一時(shí)間刪除。文章觀點(diǎn)不代表本網(wǎng)站立場(chǎng)，如需處理請(qǐng)聯(lián)系客服。電話：028-86922220；郵箱：631063699@qq.com。內(nèi)容未經(jīng)允許不得轉(zhuǎn)載，或轉(zhuǎn)載時(shí)需注明來源： 創(chuàng)新互聯(lián)