Hcatalog盡管作為一個子項目,卻給整個Hadoop生態(tài)環(huán)境帶來了一股清流,它讓數(shù)據(jù)的訪問不再雜亂無章,那么Hcatalog有什么樣的作用呢?它是怎樣統(tǒng)一定義數(shù)據(jù)的呢?
創(chuàng)新互聯(lián)是一家集網(wǎng)站建設(shè),新興企業(yè)網(wǎng)站建設(shè),新興品牌網(wǎng)站建設(shè),網(wǎng)站定制,新興網(wǎng)站建設(shè)報價,網(wǎng)絡(luò)營銷,網(wǎng)絡(luò)優(yōu)化,新興網(wǎng)站推廣為一體的創(chuàng)新建站企業(yè),幫助傳統(tǒng)企業(yè)提升企業(yè)形象加強企業(yè)競爭力。可充分滿足這一群體相比中小企業(yè)更為豐富、高端、多元的互聯(lián)網(wǎng)需求。同時我們時刻保持專業(yè)、時尚、前沿,時刻以成就客戶成長自我,堅持不斷學習、思考、沉淀、凈化自己,讓我們?yōu)楦嗟钠髽I(yè)打造出實用型網(wǎng)站。
HCatalog是用來訪問Metastore的Hive子項目,它的存在給了整個Hadoop生態(tài)環(huán)境一個統(tǒng)一的定義。
為什么這樣說呢?在整個生態(tài)中,使用HDFS的項目是很多的,比如Hive、Pig、Spark,它們會去使用同樣一個HDFS的數(shù)據(jù)。當它們訪問數(shù)據(jù)的時候,Hive可能會將數(shù)據(jù)解析為整型,Pig解析成String類型,Spark解析成其它的類型,所以這個定義并沒有統(tǒng)一起來。而Hcatalog就可以統(tǒng)一給一個定義,例如數(shù)據(jù)定義為整型,所有項目通過Hcatalog來訪問數(shù)據(jù),訪問到的數(shù)據(jù)類型就都為整型。
Hcatalog可以通過命令行及RESTAPI來訪問,允許你使用HiveQLDDL語法來定義表。從Hive、Impala、MapReduce、Pig和其他工具來訪問表,包含在CDH4.2及之后的版本中。
在HCatalog中創(chuàng)建表
(1)HCatalog使用Hive的DDL語法,可以使用-e選項來指定單個命令。
(2)Tip:保存很長的命令為文件,使用-f選項. 如果文件中包含多條語句,使用分號分隔
在HCatalog里查看元數(shù)據(jù)
(1)SHOW TABLES命令也可以直接查看表
(2)DESCRIBE命令列出指定表的字段,允許你使用HiveQLDDL語法來定義表
在HCatalog里移除表
(1)DROP TABLE命令跟Hive和Impala里一樣
注意:將同時移除數(shù)據(jù)和元數(shù)據(jù)(除了外部表)
我們在平常學習的過程中就要重視此類子項目的使用以及它們的作用,掌握和理解它們對于我們更好的掌握大數(shù)據(jù)技術(shù)有著重要的意義。我平時喜歡關(guān)注微信資訊平臺“大數(shù)據(jù)cn”,關(guān)注一些大數(shù)據(jù)的最新信息及一些知識經(jīng)驗分享,改善了我自己的知識架構(gòu)。
文章題目:大數(shù)據(jù)的一指禪--Hcatalog
文章起源:http://aaarwkj.com/article32/isgjsc.html
成都網(wǎng)站建設(shè)公司_創(chuàng)新互聯(lián),為您提供手機網(wǎng)站建設(shè)、建站公司、網(wǎng)站排名、網(wǎng)站策劃、ChatGPT、網(wǎng)站改版
聲明:本網(wǎng)站發(fā)布的內(nèi)容(圖片、視頻和文字)以用戶投稿、用戶轉(zhuǎn)載內(nèi)容為主,如果涉及侵權(quán)請盡快告知,我們將會在第一時間刪除。文章觀點不代表本網(wǎng)站立場,如需處理請聯(lián)系客服。電話:028-86922220;郵箱:631063699@qq.com。內(nèi)容未經(jīng)允許不得轉(zhuǎn)載,或轉(zhuǎn)載時需注明來源: 創(chuàng)新互聯(lián)