這篇文章將為大家詳細(xì)講解有關(guān)Cloudera流分析中如何引入FlinkSQL,文章內(nèi)容質(zhì)量較高,因此小編分享給大家做個(gè)參考,希望大家閱讀完這篇文章后對(duì)相關(guān)知識(shí)有一定的了解。
創(chuàng)新互聯(lián)企業(yè)建站,十載網(wǎng)站建設(shè)經(jīng)驗(yàn),專注于網(wǎng)站建設(shè)技術(shù),精于網(wǎng)頁(yè)設(shè)計(jì),有多年建站和網(wǎng)站代運(yùn)營(yíng)經(jīng)驗(yàn),設(shè)計(jì)師為客戶打造網(wǎng)絡(luò)企業(yè)風(fēng)格,提供周到的建站售前咨詢和貼心的售后服務(wù)。對(duì)于成都網(wǎng)站制作、成都做網(wǎng)站中不同領(lǐng)域進(jìn)行深入了解和探索,創(chuàng)新互聯(lián)在網(wǎng)站建設(shè)中充分了解客戶行業(yè)的需求,以靈動(dòng)的思維在網(wǎng)頁(yè)中充分展現(xiàn),通過(guò)對(duì)客戶行業(yè)精準(zhǔn)市場(chǎng)調(diào)研,為客戶提供的解決方案。
由Apache Flink提供支持的Cloudera Streaming Analytics的1.2.0.0版本提供了廣泛的
新功能
,包括通過(guò)
Apache Atlas
支持血緣和元數(shù)據(jù)跟蹤,支持連接到
Apache Kudu
以及期待已久的
FlinkSQL
API 的第一次迭代。
Flink的SQL接口使流處理民主化,因?yàn)樗梢杂媳犬?dāng)前廣泛使用的Java和Scala API(面向數(shù)據(jù)工程人群)更大的社區(qū)。將SQL推廣到流處理和流分析用例提出了一系列挑戰(zhàn):我們必須解決表達(dá)無(wú)限流和記錄的及時(shí)性的問(wèn)題。讓我們考慮以下查詢:SELECT
userId,
COUNT(*) AS count,
SESSION_START(clicktime,
INTERVAL '30' MINUTE)
FROM clicks
GROUP BY
SESSION(clicktime, INTERVAL '30' MINUTE)
userId
該查詢產(chǎn)生每個(gè)用戶會(huì)話的點(diǎn)擊計(jì)數(shù),該計(jì)數(shù)由會(huì)話之間30分鐘的不活動(dòng)狀態(tài)定義,并在遇到新會(huì)話時(shí)實(shí)時(shí)更新。這是在流處理中已經(jīng)很好建立的概念的示例,在這種情況下,會(huì)話窗口被引入到SQL語(yǔ)法中以表示記錄的及時(shí)性。重要的是要強(qiáng)調(diào)Flink支持的語(yǔ)法是ANSI SQL,它不是特定的方言。實(shí)際上,F(xiàn)link社區(qū)正在與Apache Beam和Apache Calcite社區(qū)合作,以
統(tǒng)一的方式 應(yīng)對(duì)FlinkSQL的挑戰(zhàn)。 從上述查詢來(lái)看,很明顯,更大的用戶群可以有效地制定查詢,從而為企業(yè)增加價(jià)值。但是,它給組織帶來(lái)了以下問(wèn)題:
1) 在流媒體領(lǐng)域中可以用SQL制定多少業(yè)務(wù)邏輯?
2) 這如何改變從開(kāi)發(fā)到生產(chǎn)的流式作業(yè)旅程?
3) 這如何影響數(shù)據(jù)工程團(tuán)隊(duì)的范圍?
我們認(rèn)為,今天編寫的大多數(shù)流查詢都可以通過(guò)FlinkSQL表示,以提供有根據(jù)的猜測(cè),我們希望它能達(dá)到今天遇到的流查詢的80%左右,這很適合通過(guò)此SQL實(shí)現(xiàn)API。首先,這似乎有些夸大其詞,我們將在下一部分中詳細(xì)介紹。當(dāng)前,我們經(jīng)常遇到使用Flink的組織,其中近實(shí)時(shí)獲得業(yè)務(wù)價(jià)值是數(shù)據(jù)工程師的特權(quán)。數(shù)據(jù)分析人員通常是特定領(lǐng)域知識(shí)的專家,他們傾向于使用標(biāo)準(zhǔn)MPP或OLAP系統(tǒng)中存儲(chǔ)的這些流的快照,例如通過(guò)Apache Impala查詢存儲(chǔ)在Kudu中的數(shù)據(jù)。這從本質(zhì)上引入了尋找以流的方式對(duì)其進(jìn)行洞察和生產(chǎn)化。分析師在證實(shí)其假設(shè)之后,必須與幾個(gè)數(shù)據(jù)工程師確保數(shù)周甚至數(shù)月的項(xiàng)目資金投入,以細(xì)致地重新實(shí)現(xiàn)已經(jīng)用另一種語(yǔ)言(通常是SQL)制定的業(yè)務(wù)邏輯。FlinkSQL使分析人員可以直接與流進(jìn)行交互,并單擊按鈕即可部署流作業(yè)。反過(guò)來(lái),這又解放了數(shù)據(jù)工程師,使他們可以專注于具有挑戰(zhàn)性的20%的查詢,并建立可重用的特定領(lǐng)域的庫(kù),這些庫(kù)可以直接從SQL中作為一組用戶自定義函數(shù)加以利用。 為了展示FlinkSQL的功能,我們最近在我們的標(biāo)準(zhǔn)
教程套件 下發(fā)布了
SQL
教程 。讓我們?cè)谶@里重點(diǎn)介紹一些功能。
小編針對(duì)Apache Kafka主題進(jìn)行操作,其中包含JSON格式的事務(wù)條目。讓我們?yōu)榇硕x一個(gè)表Schema,并指定我們要測(cè)量timestamp列記錄的時(shí)間的流逝(稱為
event-time語(yǔ)義 )。CREATE TABLE ItemTransactions (transactionId
BIGINT,`timestamp`
BIGINT,itemId
STRING,
quantity INT,
event_time AS CAST(from_unixtime(floor(`timestamp`/1000))
AS TIMESTAMP(3)),WATERMARK FOR event_time
AS event_time - INTERVAL '5' SECOND) WITH ('connector.type' = 'kafka','connector.version' = 'universal','connector.topic' = 'transaction.log.1','connector.startup-mode' = 'earliest-offset','
connector.properties.bootstrap.servers' = '<broker_address>','format.type' = 'json');
請(qǐng)注意,在使用事件時(shí)間語(yǔ)義時(shí),我們必須指定水印以為Flink提供啟發(fā)式方法以測(cè)量事件時(shí)間的經(jīng)過(guò)。這可以是返回時(shí)間戳的任意表達(dá)式。在較高級(jí)別上,水印指定了正確性(無(wú)限期等待潛在的延遲到達(dá))和延遲(盡可能快地產(chǎn)生結(jié)果)之間的折衷。創(chuàng)建上表后,我們可以提交以下查詢:SELECT * FROM ItemTransactions LIMIT 10;SELECT TUMBLE_START(event_time, INTERVAL '10' SECOND) as window_start, itemId, sum(quantity) as volumeFROM ItemTransactionsGROUP BY itemId, TUMBLE(event_time, INTERVAL '10' SECOND);
第一個(gè)查詢提供了直接的采樣。使用limit子句是可選的,省略會(huì)導(dǎo)致結(jié)果以流方式不斷更新。第二個(gè)查詢實(shí)現(xiàn)一個(gè)簡(jiǎn)單的窗口聚合。這些查詢的結(jié)果可以返回到交互式Flink SQL cli,或者可以通過(guò)INSERT INTO語(yǔ)句直接寫入輸出表。FlinkSQL還提供了更復(fù)雜的子句,例如,可以按以下公式來(lái)查找在每10分鐘的窗口中交易次數(shù)最多的前3個(gè)項(xiàng)目:SELECT * FROM (
SELECT * ,
ROW_NUMBER() OVER (
PARTITION BY window_start
ORDER BY num_transactions desc
) AS rownum
FROM (
SELECT TUMBLE_START(event_time, INTERVAL '10' MINUTE) AS window_start, itemId, COUNT(*) AS num_transactions
FROM ItemTransactions
GROUP BY itemId, TUMBLE(event_time, INTERVAL '10' MINUTE)
)
)
WHERE rownum <=3;
除了這些內(nèi)置語(yǔ)言元素之外,您還可以將以Java和Scala實(shí)現(xiàn)的
功能 注冊(cè)到FlinkSQL環(huán)境。 FlinkSQL還支持訪問(wèn)外部目錄以訪問(wèn)存儲(chǔ)在外部系統(tǒng)中的Schema和數(shù)據(jù),當(dāng)前,我們支持Hive,Kudu和Schema Registry目錄。在當(dāng)前版本中,提交SQL查詢的兩個(gè)選項(xiàng)是使用SQL CLI或?qū)⑺鼈儼b到Java程序中。正如我們?cè)谧罱?
主題演講中 所討論的,我們正在積極開(kāi)發(fā)圖形用戶界面,以幫助進(jìn)行交互式查詢編輯。
在添加GUI之后,我們將在短期內(nèi)公開(kāi)其針對(duì)第三方工具的編程后端,以公開(kāi)與JDBC for FlinkSQL等效的接口,該接口可能更多地基于REST和Kafka構(gòu)建。關(guān)于Cloudera流分析中如何引入FlinkSQL就分享到這里了,希望以上內(nèi)容可以對(duì)大家有一定的幫助,可以學(xué)到更多知識(shí)。如果覺(jué)得文章不錯(cuò),可以把它分享出去讓更多的人看到。
文章標(biāo)題:Cloudera流分析中如何引入FlinkSQL
文章轉(zhuǎn)載:http://aaarwkj.com/article0/goosoo.html
成都網(wǎng)站建設(shè)公司_創(chuàng)新互聯(lián),為您提供網(wǎng)站制作、網(wǎng)站設(shè)計(jì)公司、用戶體驗(yàn)、App開(kāi)發(fā)、響應(yīng)式網(wǎng)站、定制開(kāi)發(fā)
廣告
聲明:本網(wǎng)站發(fā)布的內(nèi)容(圖片、視頻和文字)以用戶投稿、用戶轉(zhuǎn)載內(nèi)容為主,如果涉及侵權(quán)請(qǐng)盡快告知,我們將會(huì)在第一時(shí)間刪除。文章觀點(diǎn)不代表本網(wǎng)站立場(chǎng),如需處理請(qǐng)聯(lián)系客服。電話:028-86922220;郵箱:631063699@qq.com。內(nèi)容未經(jīng)允許不得轉(zhuǎn)載,或轉(zhuǎn)載時(shí)需注明來(lái)源:
創(chuàng)新互聯(lián)