有時候我們會有這樣的場景，在某個接口中，數(shù)據(jù)已經(jīng)很規(guī)范地存入到一張MYSQL表中，現(xiàn)在想對這樣的數(shù)據(jù)做一些實時或準實時處理，比如數(shù)據(jù)多模式存儲、異步準實時業(yè)務流程、業(yè)務實時監(jiān)控等。接口中處理流程如下：

源匯網(wǎng)站制作公司哪家好，找創(chuàng)新互聯(lián)建站！從網(wǎng)頁設計、網(wǎng)站建設、微信開發(fā)、APP開發(fā)、響應式網(wǎng)站建設等網(wǎng)站項目制作，到程序開發(fā)，運營維護。創(chuàng)新互聯(lián)建站于2013年創(chuàng)立到現(xiàn)在10年的時間，我們擁有了豐富的建站經(jīng)驗和運維經(jīng)驗，來保證我們的工作的順利進行。專注于網(wǎng)站建設就選創(chuàng)新互聯(lián)建站。

最原始的方法，是改動業(yè)務代碼，將這些額外的處理流程作為同步流程，在更新MYSQL數(shù)據(jù)之后同步執(zhí)行。如下圖：

但是這樣的處理流程可能會越來越多，如果一直作為同步流程，整個接口會變得越來越龐大、并且耗時越來越長、出問題的風險越來越高。

所以我會考慮異步處理流程。如果可以改動一下代碼，將數(shù)據(jù)額外寫一份兒到隊列里，再用flink、storm之類的去消費不就好了么。如下圖：

但實際上，或許由于架構設計的不規(guī)范、或許由于業(yè)務場景的繁多，導致在代碼中加一遍數(shù)據(jù)埋點，就如同重構一般的工作量。所以我們需要另一種方式，能實時感知到MYSQL中數(shù)據(jù)的變化。

MYSQL的binlog可以幫我們記錄數(shù)據(jù)的變化，我們還需要一個工具來收集binlog，并轉為我們能讀懂的數(shù)據(jù)。阿里有一款叫canal的開源軟件正是做這個用的，可以通過修改源碼，增加監(jiān)控、告警、投遞隊列功能來實現(xiàn)。但現(xiàn)在，阿里云的日志服務為我們集成了這一功能，我們可以用更短的時間、更少的資源來獲得更穩(wěn)定、更放心的服務。如下圖：

日志服務收集binlog的功能還在內測中，不久之后將與大家見面。

比如有這樣一個場景，我的MYSQL里有一張訂單推送記錄表，現(xiàn)在有一個需求，需要將這個表中的數(shù)據(jù)，按照一定格式再寫入一份兒到表格存儲TableStore中。

傳統(tǒng)的實現(xiàn)方式，是在程序有寫入到MYSQL的地方，再加一段代碼，寫入MYSQL成功后再寫入到表格存儲中。而現(xiàn)在，為完成這個需求，我選用的技術方案是：

日志服務SLS+流計算StreamCompute+表格存儲TableStore

首先使用日志服務，配置對mysql中訂單推送記錄表所在實例的binlog的收集。

日志服務收集binlog的原理，與canal一致。具體配置這里暫不作敘述。

收集到的日志中，包含：數(shù)據(jù)庫名、表名、事件（row_insert、row_update、row_delete）、全局事務ID、各個字段修改前的值、各個字段修改后的值。

根據(jù)場景，我們需要捕獲到每個row_insert和row_update操作中，各個字段修改后的值，然后寫入到表格存儲中。所以我們在流計算中，先配置好日志服務的源表、和表格存儲的目標表，中間的邏輯這樣寫：

即可完成此需求。

再比如有這樣一個場景，我的MYSQL里有一張用戶信息表，現(xiàn)在想要實時統(tǒng)計每日注冊用戶數(shù)，并通過大屏展示出來。

為完成這個需求，我選用的技術方案是：

日志服務SLS+流計算StreamCompute+表格存儲TableStore+數(shù)據(jù)可視化DataV

首先使用日志服務，配置對mysql中user_info表所在實例的binlog的收集。

根據(jù)場景，我們需要捕獲到每個row_insert操作的時間，并將時間截取到日期。統(tǒng)計每天有多少條往用戶信息表中插入的操作記錄。所以我們在流計算中，先配置好日志服務的源表、和表格存儲的目標表，中間邏輯這樣寫：

即可完成需求。

異步獲取MYSQL數(shù)據(jù)變化，觸發(fā)異步流程，避免了多個同步流程可能造成的執(zhí)行時間過長、或者由于網(wǎng)絡原因卡住等等導致的風險。同時，異步流程也可以并行，總體上加快了業(yè)務流程的速度，使“一份兒數(shù)據(jù)、多種處理”變得更加方便快捷。

當然，對于上邊作為例子的兩個場景來說，文中給出的方案并不是唯一的解決辦法，還可以使用函數(shù)計算代替流計算實現(xiàn)同樣的效果。

整套流程全部采用阿里云的服務化產(chǎn)品進行，使得本來全部獨立開發(fā)需要幾天的工作量，可以在幾分鐘之內搞定，方便快捷，且整套流程都有完善的監(jiān)控、告警機制，安全放心。

本文來自：阿里云MVP月度分享

當前題目：如何基于MySQL做實時計算？
路徑分享：http://aaarwkj.com/article22/dsecc.html

成都網(wǎng)站建設公司_創(chuàng)新互聯(lián)，為您提供服務器托管、網(wǎng)站維護、企業(yè)網(wǎng)站制作、商城網(wǎng)站、小程序開發(fā)、外貿建站

廣告

聲明：本網(wǎng)站發(fā)布的內容（圖片、視頻和文字）以用戶投稿、用戶轉載內容為主，如果涉及侵權請盡快告知，我們將會在第一時間刪除。文章觀點不代表本網(wǎng)站立場，如需處理請聯(lián)系客服。電話：028-86922220；郵箱：631063699@qq.com。內容未經(jīng)允許不得轉載，或轉載時需注明來源： 創(chuàng)新互聯(lián)