本篇內(nèi)容主要講解“pig運行方法是什么”,感興趣的朋友不妨來看看。本文介紹的方法操作簡單快捷,實用性強。下面就讓小編來帶大家學習“pig運行方法是什么”吧!
成都創(chuàng)新互聯(lián)公司網(wǎng)站建設(shè)公司一直秉承“誠信做人,踏實做事”的原則,不欺瞞客戶,是我們最起碼的底線! 以服務(wù)為基礎(chǔ),以質(zhì)量求生存,以技術(shù)求發(fā)展,成交一個客戶多一個朋友!專注中小微企業(yè)官網(wǎng)定制,做網(wǎng)站、成都網(wǎng)站建設(shè),塑造企業(yè)網(wǎng)絡(luò)形象打造互聯(lián)網(wǎng)企業(yè)效應(yīng)。
Pig是作為客戶端運行的程序,你需要將其連接到本地Hadoop或者集群上。當安裝Pig之后,有三種執(zhí)行pig程序的方法:pig腳本 (將程序?qū)懭?pig文件中),Grunt(運行Pig命令的交互式shell環(huán)境)和嵌入式方式。
records = Load ‘sample.txt’ as (year:chararray, temperature:int, quality:int);
filter_records = FILTER records BY temperature != 9999 AND quality == 0;
group_records = GROUP filter_records BY year;
max_temp = FOREACH group_records GENERATE group, MAX(filter_records.temperature);
DUMP max_temp;
生成上面程序的創(chuàng)建的數(shù)據(jù)集結(jié)構(gòu): grunt> ILLUSTRATE max_temp;
Pig和數(shù)據(jù)庫的比較:
1)Pig是數(shù)據(jù)流編程語言,而SQL是一種描述型編程語言。Pig是相對于輸入的一步步操作,其中每一步都是對數(shù)據(jù)的一個簡單的變換; 而SQL語句是一個約束的集合,這些約束結(jié)合在一起定義了輸出。Pig更像RDBMS中的查詢規(guī)劃器。
2)RDBMS把數(shù)據(jù)存儲在嚴格定義了模式的表內(nèi),但pig對數(shù)據(jù)的要求更寬松,可以在運行時定義模式,而且是可選的。
3)pig對復(fù)雜、嵌套數(shù)據(jù)結(jié)構(gòu)的支持更強;
4)Pig不支持事務(wù)和索引,也不支持隨機讀和幾十毫秒級別的查詢,它是針對數(shù)據(jù)批量處理的。
5)Hive是介于Pig和RDBMS之間的系統(tǒng)。Hive以HDFS為存儲,但是查詢語言是基于SQL的,而且Hive要求所有數(shù)據(jù)必須存儲在表中,
表必須有模式,而模式由Hive管理。但Hive允許為預(yù)先存在HDFS中的數(shù)據(jù)關(guān)聯(lián)一個模式,因此數(shù)據(jù)加載步驟是可選的。
到此,相信大家對“pig運行方法是什么”有了更深的了解,不妨來實際操作一番吧!這里是創(chuàng)新互聯(lián)網(wǎng)站,更多相關(guān)內(nèi)容可以進入相關(guān)頻道進行查詢,關(guān)注我們,繼續(xù)學習!
網(wǎng)站標題:pig運行方法是什么
路徑分享:http://aaarwkj.com/article34/jjjdpe.html
成都網(wǎng)站建設(shè)公司_創(chuàng)新互聯(lián),為您提供營銷型網(wǎng)站建設(shè)、網(wǎng)站策劃、網(wǎng)站營銷、服務(wù)器托管、建站公司、全網(wǎng)營銷推廣
聲明:本網(wǎng)站發(fā)布的內(nèi)容(圖片、視頻和文字)以用戶投稿、用戶轉(zhuǎn)載內(nèi)容為主,如果涉及侵權(quán)請盡快告知,我們將會在第一時間刪除。文章觀點不代表本網(wǎng)站立場,如需處理請聯(lián)系客服。電話:028-86922220;郵箱:631063699@qq.com。內(nèi)容未經(jīng)允許不得轉(zhuǎn)載,或轉(zhuǎn)載時需注明來源: 創(chuàng)新互聯(lián)