Hive的join底層mapreduce是如何實(shí)現(xiàn)的

這篇文章主要講解了“Hive的join底層mapreduce是如何實(shí)現(xiàn)的”，文中的講解內(nèi)容簡(jiǎn)單清晰，易于學(xué)習(xí)與理解，下面請(qǐng)大家跟著小編的思路慢慢深入，一起來(lái)研究和學(xué)習(xí)“Hive的join底層mapreduce是如何實(shí)現(xiàn)的”吧！

網(wǎng)站建設(shè)哪家好，找成都創(chuàng)新互聯(lián)公司！專注于網(wǎng)頁(yè)設(shè)計(jì)、網(wǎng)站建設(shè)、微信開發(fā)、重慶小程序開發(fā)、集團(tuán)企業(yè)網(wǎng)站建設(shè)等服務(wù)項(xiàng)目。為回饋新老客戶創(chuàng)新互聯(lián)還提供了河南免費(fèi)建站歡迎大家使用！

Common Join

如果沒開啟hive.auto.convert.join=true或者不符合MapJoin的條件，那么Hive解析器會(huì)將Join操作轉(zhuǎn)換成Common Join,在Reduce階段完成join。并且整個(gè)過(guò)程包含Map、Shuffle、Reduce階段。

Map階段

讀取表的數(shù)據(jù)，Map輸出時(shí)候以 Join on 條件中的列為key，如果Join有多個(gè)關(guān)聯(lián)鍵，則以這些關(guān)聯(lián)鍵的組合作為key;
Map輸出的 value 為 join 之后需要輸出或者作為條件的列；同時(shí)在value中還會(huì)包含表的 Tag 信息，用于標(biāo)明此value對(duì)應(yīng)的表；按照key進(jìn)行排序

Shuffle階段

根據(jù)key取哈希值,并將key/value按照哈希值分發(fā)到不同的reduce中

Reduce階段

根據(jù)key的值完成join操作，并且通過(guò)Tag來(lái)識(shí)別不同表中的數(shù)據(jù)。在合并過(guò)程中，把表編號(hào)扔掉

舉例

 drop table if exists wedw_dwd.user_info_df; CREATE TABLE wedw_dwd.user_info_df(  user_id    string  COMMENT '用戶id',  user_name  string  COMMENT '用戶姓名' )row format delimited fields terminated by '\t' STORED AS textfile ;  +----------+------------+--+| user_id  | user_name  |+----------+------------+--+| 1        | 小紅         || 2        | 小明         || 3        | 小花         |+----------+------------+--+

 drop table if exists wedw_dwd.order_info_df; CREATE TABLE wedw_dwd.order_info_df(  user_id      string  COMMENT '用戶id',  course_name  string  COMMENT '課程名稱' )row format delimited fields terminated by '\t' STORED AS textfile ;  +----------+--------------+--+| user_id  | course_name  |+----------+--------------+--+| 1        | spark        || 2        | flink        || 3        | java         |+----------+--------------+--+

select t1.user_id,t1.user_name,t2.course_namefromwedw_dwd.user_info_df t1join wedw_dwd.order_info_df t2on t1.user_id = t2.user_id;+----------+------------+--------------+--+| user_id  | user_name  | course_name  |+----------+------------+--------------+--+| 1        | 小紅         | spark        || 2        | 小明         | flink        || 3        | 小花         | java         |+----------+------------+--------------+--+

圖解：(在合并過(guò)程中，把表編號(hào)扔掉)

Hive的join底層mapreduce是如何實(shí)現(xiàn)的

感謝各位的閱讀，以上就是“Hive的join底層mapreduce是如何實(shí)現(xiàn)的”的內(nèi)容了，經(jīng)過(guò)本文的學(xué)習(xí)后，相信大家對(duì)Hive的join底層mapreduce是如何實(shí)現(xiàn)的這一問(wèn)題有了更深刻的體會(huì)，具體使用情況還需要大家實(shí)踐驗(yàn)證。這里是創(chuàng)新互聯(lián)，小編將為大家推送更多相關(guān)知識(shí)點(diǎn)的文章，歡迎關(guān)注！

分享名稱：Hive的join底層mapreduce是如何實(shí)現(xiàn)的
轉(zhuǎn)載注明：http://aaarwkj.com/article28/ipdpcp.html

成都網(wǎng)站建設(shè)公司_創(chuàng)新互聯(lián)，為您提供域名注冊(cè)、ChatGPT、面包屑導(dǎo)航、響應(yīng)式網(wǎng)站、搜索引擎優(yōu)化、

聲明：本網(wǎng)站發(fā)布的內(nèi)容（圖片、視頻和文字）以用戶投稿、用戶轉(zhuǎn)載內(nèi)容為主，如果涉及侵權(quán)請(qǐng)盡快告知，我們將會(huì)在第一時(shí)間刪除。文章觀點(diǎn)不代表本網(wǎng)站立場(chǎng)，如需處理請(qǐng)聯(lián)系客服。電話：028-86922220；郵箱：631063699@qq.com。內(nèi)容未經(jīng)允許不得轉(zhuǎn)載，或轉(zhuǎn)載時(shí)需注明來(lái)源：創(chuàng)新互聯(lián)

猜你還喜歡下面的內(nèi)容

欧美一级特黄大片做受成人-亚洲成人一区二区电影-激情熟女一区二区三区-日韩专区欧美专区国产专区

Hive的join底層mapreduce是如何實(shí)現(xiàn)的

Common Join