欧美一级特黄大片做受成人-亚洲成人一区二区电影-激情熟女一区二区三区-日韩专区欧美专区国产专区

Cloudera流分析中如何引入FlinkSQL

這篇文章將為大家詳細(xì)講解有關(guān)Cloudera流分析中如何引入FlinkSQL,文章內(nèi)容質(zhì)量較高,因此小編分享給大家做個(gè)參考,希望大家閱讀完這篇文章后對(duì)相關(guān)知識(shí)有一定的了解。

創(chuàng)新互聯(lián)企業(yè)建站,十載網(wǎng)站建設(shè)經(jīng)驗(yàn),專注于網(wǎng)站建設(shè)技術(shù),精于網(wǎng)頁(yè)設(shè)計(jì),有多年建站和網(wǎng)站代運(yùn)營(yíng)經(jīng)驗(yàn),設(shè)計(jì)師為客戶打造網(wǎng)絡(luò)企業(yè)風(fēng)格,提供周到的建站售前咨詢和貼心的售后服務(wù)。對(duì)于成都網(wǎng)站制作、成都做網(wǎng)站中不同領(lǐng)域進(jìn)行深入了解和探索,創(chuàng)新互聯(lián)在網(wǎng)站建設(shè)中充分了解客戶行業(yè)的需求,以靈動(dòng)的思維在網(wǎng)頁(yè)中充分展現(xiàn),通過(guò)對(duì)客戶行業(yè)精準(zhǔn)市場(chǎng)調(diào)研,為客戶提供的解決方案。

由Apache Flink提供支持的Cloudera Streaming Analytics的1.2.0.0版本提供了廣泛的  新功能  ,包括通過(guò)  Apache Atlas  支持血緣和元數(shù)據(jù)跟蹤,支持連接到  Apache Kudu  以及期待已久的  FlinkSQL   API 的第一次迭代。  
Flink的SQL接口使流處理民主化,因?yàn)樗梢杂媳犬?dāng)前廣泛使用的Java和Scala API(面向數(shù)據(jù)工程人群)更大的社區(qū)。將SQL推廣到流處理和流分析用例提出了一系列挑戰(zhàn):我們必須解決表達(dá)無(wú)限流和記錄的及時(shí)性的問(wèn)題。讓我們考慮以下查詢:
SELECT  userId,  
 COUNT(*) AS count,
 
 SESSION_START(clicktime,
 INTERVAL '30' MINUTE)
FROM clicksGROUP BY  
 SESSION(clicktime, INTERVAL '30' MINUTE)

 userId
該查詢產(chǎn)生每個(gè)用戶會(huì)話的點(diǎn)擊計(jì)數(shù),該計(jì)數(shù)由會(huì)話之間30分鐘的不活動(dòng)狀態(tài)定義,并在遇到新會(huì)話時(shí)實(shí)時(shí)更新。這是在流處理中已經(jīng)很好建立的概念的示例,在這種情況下,會(huì)話窗口被引入到SQL語(yǔ)法中以表示記錄的及時(shí)性。重要的是要強(qiáng)調(diào)Flink支持的語(yǔ)法是ANSI SQL,它不是特定的方言。實(shí)際上,F(xiàn)link社區(qū)正在與Apache Beam和Apache Calcite社區(qū)合作,以  統(tǒng)一的方式 應(yīng)對(duì)FlinkSQL的挑戰(zhàn)。    
 
轉(zhuǎn)換到流處理組織
從上述查詢來(lái)看,很明顯,更大的用戶群可以有效地制定查詢,從而為企業(yè)增加價(jià)值。但是,它給組織帶來(lái)了以下問(wèn)題:  

1) 在流媒體領(lǐng)域中可以用SQL制定多少業(yè)務(wù)邏輯?

2) 這如何改變從開(kāi)發(fā)到生產(chǎn)的流式作業(yè)旅程?

3) 這如何影響數(shù)據(jù)工程團(tuán)隊(duì)的范圍?

我們認(rèn)為,今天編寫的大多數(shù)流查詢都可以通過(guò)FlinkSQL表示,以提供有根據(jù)的猜測(cè),我們希望它能達(dá)到今天遇到的流查詢的80%左右,這很適合通過(guò)此SQL實(shí)現(xiàn)API。首先,這似乎有些夸大其詞,我們將在下一部分中詳細(xì)介紹。
當(dāng)前,我們經(jīng)常遇到使用Flink的組織,其中近實(shí)時(shí)獲得業(yè)務(wù)價(jià)值是數(shù)據(jù)工程師的特權(quán)。數(shù)據(jù)分析人員通常是特定領(lǐng)域知識(shí)的專家,他們傾向于使用標(biāo)準(zhǔn)MPP或OLAP系統(tǒng)中存儲(chǔ)的這些流的快照,例如通過(guò)Apache Impala查詢存儲(chǔ)在Kudu中的數(shù)據(jù)。這從本質(zhì)上引入了尋找以流的方式對(duì)其進(jìn)行洞察和生產(chǎn)化。分析師在證實(shí)其假設(shè)之后,必須與幾個(gè)數(shù)據(jù)工程師確保數(shù)周甚至數(shù)月的項(xiàng)目資金投入,以細(xì)致地重新實(shí)現(xiàn)已經(jīng)用另一種語(yǔ)言(通常是SQL)制定的業(yè)務(wù)邏輯。FlinkSQL使分析人員可以直接與流進(jìn)行交互,并單擊按鈕即可部署流作業(yè)。
反過(guò)來(lái),這又解放了數(shù)據(jù)工程師,使他們可以專注于具有挑戰(zhàn)性的20%的查詢,并建立可重用的特定領(lǐng)域的庫(kù),這些庫(kù)可以直接從SQL中作為一組用戶自定義函數(shù)加以利用。 

 
FlinkSQL的功能
為了展示FlinkSQL的功能,我們最近在我們的標(biāo)準(zhǔn)  教程套件 下發(fā)布了  SQL   教程 。讓我們?cè)谶@里重點(diǎn)介紹一些功能。  
小編針對(duì)Apache Kafka主題進(jìn)行操作,其中包含JSON格式的事務(wù)條目。讓我們?yōu)榇硕x一個(gè)表Schema,并指定我們要測(cè)量timestamp列記錄的時(shí)間的流逝(稱為  event-time語(yǔ)義 )。
CREATE TABLE ItemTransactions (transactionId    
BIGINT,`timestamp`    
BIGINT,itemId    
STRING,
quantity INT,
event_time AS CAST(from_unixtime(floor(`timestamp`/1000)) 
AS TIMESTAMP(3)),WATERMARK FOR event_time 
AS event_time - INTERVAL '5' SECOND) WITH ('connector.type'      = 'kafka','connector.version'   = 'universal','connector.topic'     = 'transaction.log.1','connector.startup-mode' = 'earliest-offset','
connector.properties.bootstrap.servers' = '<broker_address>','format.type' = 'json');
請(qǐng)注意,在使用事件時(shí)間語(yǔ)義時(shí),我們必須指定水印以為Flink提供啟發(fā)式方法以測(cè)量事件時(shí)間的經(jīng)過(guò)。這可以是返回時(shí)間戳的任意表達(dá)式。在較高級(jí)別上,水印指定了正確性(無(wú)限期等待潛在的延遲到達(dá))和延遲(盡可能快地產(chǎn)生結(jié)果)之間的折衷。
創(chuàng)建上表后,我們可以提交以下查詢:

SELECT * FROM ItemTransactions LIMIT 10;SELECT TUMBLE_START(event_time, INTERVAL '10' SECOND) as window_start, itemId, sum(quantity) as volumeFROM ItemTransactionsGROUP BY itemId, TUMBLE(event_time, INTERVAL '10' SECOND);
第一個(gè)查詢提供了直接的采樣。使用limit子句是可選的,省略會(huì)導(dǎo)致結(jié)果以流方式不斷更新。第二個(gè)查詢實(shí)現(xiàn)一個(gè)簡(jiǎn)單的窗口聚合。這些查詢的結(jié)果可以返回到交互式Flink SQL cli,或者可以通過(guò)INSERT INTO語(yǔ)句直接寫入輸出表。
FlinkSQL還提供了更復(fù)雜的子句,例如,可以按以下公式來(lái)查找在每10分鐘的窗口中交易次數(shù)最多的前3個(gè)項(xiàng)目:

SELECT * FROM ( SELECT * , ROW_NUMBER() OVER (   PARTITION BY window_start   ORDER BY num_transactions desc ) AS rownum FROM (   SELECT TUMBLE_START(event_time, INTERVAL '10' MINUTE) AS window_start, itemId, COUNT(*) AS num_transactions   FROM ItemTransactions   GROUP BY itemId, TUMBLE(event_time, INTERVAL '10' MINUTE) ))WHERE rownum <=3;
除了這些內(nèi)置語(yǔ)言元素之外,您還可以將以Java和Scala實(shí)現(xiàn)的  功能 注冊(cè)到FlinkSQL環(huán)境。 
FlinkSQL還支持訪問(wèn)外部目錄以訪問(wèn)存儲(chǔ)在外部系統(tǒng)中的Schema和數(shù)據(jù),當(dāng)前,我們支持Hive,Kudu和Schema Registry目錄。

 
后續(xù)步驟
在當(dāng)前版本中,提交SQL查詢的兩個(gè)選項(xiàng)是使用SQL CLI或?qū)⑺鼈儼b到Java程序中。正如我們?cè)谧罱?  主題演講中 所討論的,我們正在積極開(kāi)發(fā)圖形用戶界面,以幫助進(jìn)行交互式查詢編輯。  
Cloudera流分析中如何引入FlinkSQL
在添加GUI之后,我們將在短期內(nèi)公開(kāi)其針對(duì)第三方工具的編程后端,以公開(kāi)與JDBC for FlinkSQL等效的接口,該接口可能更多地基于REST和Kafka構(gòu)建。

關(guān)于Cloudera流分析中如何引入FlinkSQL就分享到這里了,希望以上內(nèi)容可以對(duì)大家有一定的幫助,可以學(xué)到更多知識(shí)。如果覺(jué)得文章不錯(cuò),可以把它分享出去讓更多的人看到。

文章標(biāo)題:Cloudera流分析中如何引入FlinkSQL
文章轉(zhuǎn)載:http://aaarwkj.com/article0/goosoo.html

成都網(wǎng)站建設(shè)公司_創(chuàng)新互聯(lián),為您提供網(wǎng)站制作網(wǎng)站設(shè)計(jì)公司、用戶體驗(yàn)、App開(kāi)發(fā)、響應(yīng)式網(wǎng)站、定制開(kāi)發(fā)

廣告

聲明:本網(wǎng)站發(fā)布的內(nèi)容(圖片、視頻和文字)以用戶投稿、用戶轉(zhuǎn)載內(nèi)容為主,如果涉及侵權(quán)請(qǐng)盡快告知,我們將會(huì)在第一時(shí)間刪除。文章觀點(diǎn)不代表本網(wǎng)站立場(chǎng),如需處理請(qǐng)聯(lián)系客服。電話:028-86922220;郵箱:631063699@qq.com。內(nèi)容未經(jīng)允許不得轉(zhuǎn)載,或轉(zhuǎn)載時(shí)需注明來(lái)源: 創(chuàng)新互聯(lián)

網(wǎng)站托管運(yùn)營(yíng)
亚洲熟妇人妻一区二区三区| 在线播放国产91精品| 老熟妇仑乱换频一区二区| 国产大学生情侣在线视频| 亚洲精品??一区二区| 黄色三级视频久久久| 人人妻人人澡人人爽的视频| 日韩欧美国产精品福利| 熟妇人妻内射一区二区三区| 国产精品人一区二区三区| 国产一区二区黄色网页| 久久久久四虎国产精品| 国产午夜精品一区二区三区| 久久精品中文字幕有码日本道| 一区二区欧美日韩91| 国产a级一区二区三区| 91深夜在线免费观看| 久久精品国产亚洲熟女| 国产成人三级在线影院| 免费在线观看av日韩| 精华国产一区二区三区| 下一篇亚洲一区二区三区| 国产精品av在线网站| 日韩国产欧美亚州精品| 亚洲人妻av一区二区三区| 韩国三级伦理中文字幕| 精品人妻一区二区三区在线av| 日韩激情av中文字幕| 欧美一区二区三区人妻熟妇| 免费在线观看av日韩| 久碰精品少妇中文字幕av| 色婷婷一区二区三区影片| 校园春色亚洲欧美日韩| 年轻的母亲韩国三级| 国产91白丝在线观看| 国产精品人成在线观看不卡| 日本女优高清不卡一二三四区| 激情偷拍一区二区三区视频| 蜜臀一二区免费在线视频| 国语对白精品视频在线| 91九色国产在线播放|