公司主營業(yè)務(wù)：網(wǎng)站設(shè)計(jì)制作、做網(wǎng)站、移動(dòng)網(wǎng)站開發(fā)等業(yè)務(wù)。幫助企業(yè)客戶真正實(shí)現(xiàn)互聯(lián)網(wǎng)宣傳，提高企業(yè)的競爭能力。成都創(chuàng)新互聯(lián)是一支青春激揚(yáng)、勤奮敬業(yè)、活力青春激揚(yáng)、勤奮敬業(yè)、活力澎湃、和諧高效的團(tuán)隊(duì)。公司秉承以“開放、自由、嚴(yán)謹(jǐn)、自律”為核心的企業(yè)文化，感謝他們對我們的高要求，感謝他們從不同領(lǐng)域給我們帶來的挑戰(zhàn)，讓我們激情的團(tuán)隊(duì)有機(jī)會用頭腦與智慧不斷的給客戶帶來驚喜。成都創(chuàng)新互聯(lián)推出長海免費(fèi)做網(wǎng)站回饋大家。

A公司專注為各種規(guī)模和復(fù)雜程度的金融投資機(jī)構(gòu)提供一體化投資管理系統(tǒng)，系統(tǒng)主要由投資組合管理、交易執(zhí)行管理、實(shí)時(shí)監(jiān)控管理、風(fēng)險(xiǎn)管理等功能模塊構(gòu)成。隨著企業(yè)管理產(chǎn)品數(shù)量的不斷增多，大量數(shù)據(jù)分散在各券商系統(tǒng)中且數(shù)據(jù)存儲格式各異，難以管理和利用。

為幫助投資機(jī)構(gòu)最大限度地提高投資決策和運(yùn)營效率，A公司需要實(shí)時(shí)監(jiān)控自己的用戶在各個(gè)交易平臺的基本信息、余額、訂單交易情況，并根據(jù)分析結(jié)果及時(shí)給出投資建議。

A公司的這種情況并不是個(gè)例。目前，越來越多的企業(yè)在數(shù)據(jù)傳輸?shù)男枨髨鼍爸校藦纳嫌尾煌瑯I(yè)務(wù)數(shù)據(jù)庫中實(shí)時(shí)、定時(shí)分配到下游系統(tǒng)之外，還有許多需求場景需要從外部合作商、供應(yīng)商中獲取業(yè)務(wù)數(shù)據(jù)。

如果想要每天從企業(yè)外部系統(tǒng)中獲取數(shù)據(jù)，通常會采用什么方法呢？

一些用戶給出的答案是：根據(jù)需要編寫不同的腳本，手動(dòng)調(diào)用第三方系統(tǒng)提供的API接口，在抓取數(shù)據(jù)后，自行編寫清洗邏輯，最后實(shí)現(xiàn)數(shù)據(jù)落地。

然而隨著第三方系統(tǒng)的日益增多，如果按原有方式會帶來過多的腳本維護(hù)成本和數(shù)據(jù)傳輸任務(wù)管理成本。為解決上述痛點(diǎn)，DataPipeline在新版本的數(shù)據(jù)同步任務(wù)中增加了「自定義數(shù)據(jù)源」功能，用戶可以通過上傳JAR包的方式自定義獲取數(shù)據(jù)邏輯。新功能支持任意的MySQL、Oracle、SQLServer、Hive、HBase等常見數(shù)據(jù)源，冷門數(shù)據(jù)庫等（如騰訊云TDSQL），常用的API調(diào)用，用戶自定義的SDK，或者通過Python抓取數(shù)據(jù)等。

一、「自定義數(shù)據(jù)源」提供的價(jià)值

1 通過「自定義數(shù)據(jù)源」，用戶可以：

• 統(tǒng)一管理數(shù)據(jù)獲取邏輯，快速合并JAR減少腳本開發(fā)量。

• 當(dāng)上游發(fā)生變化時(shí)，不需要對每一個(gè)數(shù)據(jù)傳輸任務(wù)進(jìn)行調(diào)整。

• 可結(jié)合DataPipeline的數(shù)據(jù)解析功能、清洗工具和目標(biāo)初始化功能減少整體開發(fā)量，并提供監(jiān)控和預(yù)警。

2 如何使用「自定義數(shù)據(jù)源」功能

用戶可通過以下四步使用「自定義數(shù)據(jù)源」功能：

• 創(chuàng)建自定義數(shù)據(jù)源，并上傳JAR包（或調(diào)取已上傳過的JAR包）。

• 選擇數(shù)據(jù)存放的目的地。

• 使用清洗工具完成數(shù)據(jù)解析邏輯。

• 配置目的地表結(jié)構(gòu)，即可完成所有配置。

3 關(guān)于「自定義數(shù)據(jù)源」的核心頁面：

（1）用戶在選擇自定義數(shù)據(jù)源和目的地后，需要在讀取設(shè)置步驟中上傳JAR包

• 用戶可以上傳新的JAR包，也可以點(diǎn)擊拖放框選擇歷史已經(jīng)上傳的JAR用作本次任務(wù)。

• 用戶通過填充類路徑和讀取數(shù)據(jù)所需要的配置信息即可完成數(shù)據(jù)源讀取邏輯。

（2） 用戶可以在一個(gè)任務(wù)中選擇一個(gè)或多個(gè)讀取對象，每個(gè)讀取對象可以映射到目標(biāo)表的表中

（3）完成讀取設(shè)置后，在寫入設(shè)置步驟中先確定每個(gè)讀取對象的數(shù)據(jù)解析邏輯

• DataPipeline會提供JSON解析樣例，用戶也可以參考樣例，自定義解析邏輯。

• 「樣例數(shù)據(jù)」模塊會顯示通過讀取對象配置獲取的數(shù)據(jù)。

• 完成清洗腳本內(nèi)容后，在「運(yùn)行結(jié)果」模塊點(diǎn)擊「試運(yùn)行」即可看到最終寫入到目的地的數(shù)據(jù)格式。

4 完成解析邏輯后，用戶可以手動(dòng)添加名稱并選擇對應(yīng)的數(shù)據(jù)類型 ，來完成目的地表結(jié)構(gòu)

• 完成所有配置后點(diǎn)擊「立即激活」即可執(zhí)行數(shù)據(jù)傳輸任務(wù)。

DataPipeline每一次版本的迭代都凝聚了團(tuán)隊(duì)對企業(yè)數(shù)據(jù)使用需求的深入思索，其它新功能還在路上，很快就會跟大家見面了，希望能夠切實(shí)幫助大家更敏捷高效地獲取數(shù)據(jù)。

新聞標(biāo)題：DataPipeline丨「自定義」數(shù)據(jù)源，解決復(fù)雜請求邏輯
當(dāng)前路徑：http://aaarwkj.com/article18/pegdgp.html

成都網(wǎng)站建設(shè)公司_創(chuàng)新互聯(lián)，為您提供關(guān)鍵詞優(yōu)化、小程序開發(fā)、Google、手機(jī)網(wǎng)站建設(shè)、定制開發(fā)、網(wǎng)站內(nèi)鏈

廣告

聲明：本網(wǎng)站發(fā)布的內(nèi)容（圖片、視頻和文字）以用戶投稿、用戶轉(zhuǎn)載內(nèi)容為主，如果涉及侵權(quán)請盡快告知，我們將會在第一時(shí)間刪除。文章觀點(diǎn)不代表本網(wǎng)站立場，如需處理請聯(lián)系客服。電話：028-86922220；郵箱：631063699@qq.com。內(nèi)容未經(jīng)允許不得轉(zhuǎn)載，或轉(zhuǎn)載時(shí)需注明來源： 創(chuàng)新互聯(lián)