Confluent作為國際數(shù)據(jù)“流”處理技術(shù)領(lǐng)先者，提供實時數(shù)據(jù)處理解決方案，在市場上擁有大量企業(yè)客戶，幫助企業(yè)輕松訪問各類數(shù)據(jù)。DataPipeline作為國內(nèi)首家原生支持Kafka解決方案的“iPaaS+AI”一站式大數(shù)據(jù)融合服務(wù)提供商，在零售、金融、互聯(lián)網(wǎng)和制造等行業(yè)擁有著豐富實踐經(jīng)驗和解決方案能力。

成都創(chuàng)新互聯(lián)公司始終堅持【策劃先行，效果至上】的經(jīng)營理念，通過多達10年累計超上千家客戶的網(wǎng)站建設(shè)總結(jié)了一套系統(tǒng)有效的全網(wǎng)推廣解決方案，現(xiàn)已廣泛運用于各行各業(yè)的客戶，其中包括：咖啡廳設(shè)計等企業(yè)，備受客戶贊許。

此次上海DataPipeline & Confluent Kafka Meetup，我們邀請到了Confluent流數(shù)據(jù)處理系統(tǒng)架構(gòu)師和技術(shù)負責(zé)人王國璋、DataPipeline架構(gòu)師呂鵬、攜程大數(shù)據(jù)平臺實時計算平臺負責(zé)人潘國慶、阿里巴巴實時計算平臺高級技術(shù)專家秦江杰、網(wǎng)易云大數(shù)據(jù)平臺架構(gòu)師歐陽武林等大數(shù)據(jù)領(lǐng)域六位行業(yè)大咖分享Kafka最新研究成果以及行業(yè)應(yīng)用案例。

活動流程

演講嘉賓

王國璋 

Confluent流數(shù)據(jù)處理系統(tǒng)架構(gòu)師和技術(shù)負責(zé)人

Apache Kafka PMC，Kafka Streams 作者。于康奈爾大學(xué)計算機系取得博士學(xué)位，主要研究方向為數(shù)據(jù)庫管理和分布式數(shù)據(jù)系統(tǒng)。現(xiàn)就職于Confluent，任流數(shù)據(jù)處理系統(tǒng)架構(gòu)師和技術(shù)負責(zé)人。此前曾就職于 LinkedIn 數(shù)據(jù)架構(gòu)組，主要負責(zé)實時數(shù)據(jù)處理平臺，包括 Apache Kafka 和 Apache Samza 系統(tǒng)的開發(fā)與維護。

 

演講主題：《Apache Kafka，從0.7到2.0：那些年我們踩過的坑》

自從 2011年被捐獻給Apache基金會到現(xiàn)在，Kafka項目已經(jīng)走過了七個年頭。從最早的“分布式消息系統(tǒng)”，到現(xiàn)在集成了分發(fā)、存儲和計算的“流式數(shù)據(jù)平臺”，Kafka經(jīng)歷了哪些挑戰(zhàn)？又經(jīng)過了什么樣的演進變化？

1. 從硬件的發(fā)展趨勢，展現(xiàn) Kafka 架構(gòu)的演進過程；

2. 從Kafka開發(fā)和維護經(jīng)驗，分享分布式系統(tǒng)工程實踐的通理；

3. 開源數(shù)據(jù)系統(tǒng)的開發(fā)經(jīng)驗，如何維護和發(fā)展一個開源社區(qū)。

潘國慶 

攜程大數(shù)據(jù)平臺實時計算平臺負責(zé)人

攜程大數(shù)據(jù)平臺實時計算平臺負責(zé)人，2016年加入攜程，主要從事攜程實時計算平臺的構(gòu)建與演進、以及攜程實時特征平臺的搭建，在實時計算領(lǐng)域擁有豐富的實戰(zhàn)經(jīng)驗。

 

演講主題：《攜程實時計算平臺架構(gòu)與實踐》

1. 攜程實時計算平臺的演進之路；

2. 實時架構(gòu)設(shè)計與曾經(jīng)踩過的坑；

3. 實時計算在攜程的實踐；

4. 未來規(guī)劃。

 

呂鵬 

DataPipeline 架構(gòu)師

呂鵬，目前擔(dān)任DataPipeline架構(gòu)師一職，負責(zé)數(shù)據(jù)傳輸和ETL方面的架構(gòu)和優(yōu)化工作。曾就職于Talend和銷售易大數(shù)據(jù)部，擁有5余年大數(shù)據(jù)平臺和數(shù)據(jù)倉庫架構(gòu)搭建經(jīng)驗，在ETL 領(lǐng)域擁有豐富的實戰(zhàn)經(jīng)驗。

 

演講主題：《DataPipeline在大數(shù)據(jù)平臺的實時數(shù)據(jù)流實踐》

1. 大數(shù)據(jù)時代下企業(yè)級數(shù)據(jù)面臨的主要問題和挑戰(zhàn)；

2. kafka connect 在大數(shù)據(jù)時代的數(shù)據(jù)流的優(yōu)勢和不足；

3. 大數(shù)據(jù)平臺上的kafka connect 實踐案例：

       1）kafka connect 下數(shù)據(jù)倉庫greenplum 同步實踐以及優(yōu)化策略；

       2）kafka connect 下 hive 同步實踐；

4.  DataPipeline 做了哪些大數(shù)據(jù)相關(guān)工作，遇到的坑以及相應(yīng)的解決方案；

5.  總結(jié)以及DataPipeline 未來在大數(shù)據(jù)領(lǐng)域的相關(guān)工作。

 

 

張勇華 

唯品會消息平臺架構(gòu)師

畢業(yè)于武漢大學(xué)，目前擔(dān)任唯品會消息平臺架構(gòu)師。從事消息系統(tǒng)的設(shè)計和研發(fā)有4年多的時間，對Kafka、RabbitMQ、RocketMQ等消息中間件產(chǎn)品擁有較豐富的實踐經(jīng)驗。

 

演講主題：《基于Kafka1.0建立企業(yè)級消息系統(tǒng)平臺的思考及實現(xiàn)》

1. 隨著業(yè)務(wù)系統(tǒng)接入增多，對集群和元數(shù)據(jù)資源(Topic/Group)的管理顯得尤為重要，急需建立統(tǒng)一平臺來管理系統(tǒng)資源及認證授權(quán)接入服務(wù)；

2. 提升并發(fā)消費場景下的高可靠，及消費異常后如何優(yōu)雅解決消費重試問題；

3. 如何實現(xiàn)延時消息的投遞功能，改善延時精度的方式；

4. 原生kafka支持組間廣播對動態(tài)增長的業(yè)務(wù)組申請造成困境，如何實現(xiàn)組內(nèi)廣播來改善現(xiàn)狀；

5. 集群故障時如何快速有效遷移服務(wù)等問題介紹。

 

 

秦江杰 

阿里巴巴實時計算平臺高級技術(shù)專家

秦江杰，阿里巴巴實時計算平臺高級技術(shù)專家。碩士畢業(yè)于卡耐基梅隆大學(xué)，曾任職于LinkedIn參與Apache Kafka開發(fā)，Apache Kafka PMC member。

 

演講主題：《詳解Flink基于Kafka事務(wù)的嚴(yán)格一次語義實現(xiàn)》

在流處理系統(tǒng)中，端到端的嚴(yán)格一次的語義只有當(dāng)輸出的Sink支持時才可以實現(xiàn)。在Kafka 0.11中增加了對事物的支持，使得其他系統(tǒng)可以利用這一特性實現(xiàn)嚴(yán)格一次的語義。本次分享將詳細介紹Flink是如何利用這Kafka一特性來實現(xiàn)端到端的嚴(yán)格一次語義的。

歐陽武林 

網(wǎng)易大數(shù)據(jù)平臺架構(gòu)師

曾就職于中國移動、51信用卡，主要從事云計算平臺開發(fā)相關(guān)工作。目前就職于網(wǎng)易，主要從事大數(shù)據(jù)平臺開發(fā)。

演講主題：《Kafka 在網(wǎng)易云上的實踐》

1.Kafka上云面臨的挑戰(zhàn)和機遇；

2.網(wǎng)易云Kafka架構(gòu)實現(xiàn)；

3.網(wǎng)易云Kafka的關(guān)鍵問題解決之法；

4.未來規(guī)劃。

時間&地點

時間：2018年10月21日，13:30簽到

詳細地址：上海市長寧區(qū)金鐘路968號凌空SOHO12號樓11層

活動報名

添加DataPipeline君微信：datapipelien2018，拉你進現(xiàn)場活動群。

本文題目：DataPipeline聯(lián)合ConfluentKafka
網(wǎng)頁鏈接：http://aaarwkj.com/article12/gdeggc.html

成都網(wǎng)站建設(shè)公司_創(chuàng)新互聯(lián)，為您提供手機網(wǎng)站建設(shè)、云服務(wù)器、移動網(wǎng)站建設(shè)、Google、ChatGPT、網(wǎng)站營銷

廣告

聲明：本網(wǎng)站發(fā)布的內(nèi)容（圖片、視頻和文字）以用戶投稿、用戶轉(zhuǎn)載內(nèi)容為主，如果涉及侵權(quán)請盡快告知，我們將會在第一時間刪除。文章觀點不代表本網(wǎng)站立場，如需處理請聯(lián)系客服。電話：028-86922220；郵箱：631063699@qq.com。內(nèi)容未經(jīng)允許不得轉(zhuǎn)載，或轉(zhuǎn)載時需注明來源： 創(chuàng)新互聯(lián)