python跨庫檢查數(shù)據(jù)一致性的示例分析，針對這個問題，這篇文章詳細(xì)介紹了相對應(yīng)的分析和解答，希望可以幫助更多想解決這個問題的小伙伴找到更簡單易行的方法。

創(chuàng)新互聯(lián)2013年開創(chuàng)至今，是專業(yè)互聯(lián)網(wǎng)技術(shù)服務(wù)公司，擁有項目成都網(wǎng)站制作、成都網(wǎng)站設(shè)計網(wǎng)站策劃，項目實施與項目整合能力。我們以讓每一個夢想脫穎而出為使命，1280元循化做網(wǎng)站,已為上家服務(wù),為循化各地企業(yè)和個人服務(wù),聯(lián)系電話:028-86922220

因為最近上線了samza實時流平臺，實時從源數(shù)據(jù)端實時傳輸數(shù)據(jù)到數(shù)據(jù)倉庫，于是就需要檢查samza數(shù)據(jù)傳輸?shù)臏?zhǔn)確性，則通過下面的python腳本定時檢查兩個數(shù)據(jù)端表的行數(shù)，以簡單的檢測下數(shù)據(jù)一致性。下面的腳本每天在早上6點(diǎn)運(yùn)行，檢查昨天以前的所有數(shù)據(jù)行數(shù)是否一致，并郵件通知。因為要檢測的表比較多，并且清洗規(guī)則不一致，所以只能一張表一張表的進(jìn)行比較，下面只是腳本的部分代碼

#coding=utf-8

import MySQLdb
import psycopg2
import smtplib
import time
from email.mime.text import MIMEText

#通用的郵件函數(shù)

def mail(sub,content):
    mailto_list=["hzwuj@tairanchina.com"]
    mail_host="smtp.tairanchina.com"
    mail_uer="trcloud@tairanchina.com"
    mail_pass="r!dHE#3OAGs5TGeh"
    message = MIMEText(content,_charset='utf-8')
    message['Subject'] = sub
    message['From']=mail_uer
    message['To'] = ";".join(mailto_list)
    try:
        s = smtplib.SMTP()
        s.connect(mail_host)
        s.login(mail_uer,mail_pass)
        s.sendmail(mail_uer, mailto_list, message.as_string())
        s.close()
        return True
    except Exception:
        print 'filed'
        return False

#設(shè)置變量為今天的日期
datetime=time.strftime("%Y%m%d", time.localtime())

#從源數(shù)據(jù)庫mysql去得出清洗后的總條數(shù)
conn=MySQLdb.connect(host='115.231.97.10',port=3306,user='select',passwd='123456',db='cms')
cursor1=conn.cursor(cursorclass=MySQLdb.cursors.DictCursor)
cursor1.execute("select 'biz_account' as tablename,count(*) as sum from biz_account where del_flag='0' and date(create_date)<%s" % datetime)
rows1=cursor1.fetchall()

for list1 in rows1:
    sum1=list1['sum']

    tablename1=list1['tablename']

#從數(shù)據(jù)庫倉庫greenplum從獲取samza清洗后的表總行數(shù)
conn2 = psycopg2.connect(database="dw", user="admin", password="123456", host="172.30.248.24", port="5432")
cursor2 = conn2.cursor()
cursor2.execute("select 'dw_biz_account' as tablename,count(*) as sum from dw.dw_biz_account where create_day<'%s'" % datetime )
rows2=cursor2.fetchall()

for list2 in rows2:
    sum2=list2[1]
    tablename2=list2[0]

#總條數(shù)比較
if sum1!=sum2:
    mail('數(shù)據(jù)不一致',"%s:%s  %s:%s"%(tablename1,sum1,tablename2,sum2))

else:

    mail('數(shù)據(jù)一致','數(shù)據(jù)一致'）

conn.close()
conn2.close()

關(guān)于python跨庫檢查數(shù)據(jù)一致性的示例分析問題的解答就分享到這里了，希望以上內(nèi)容可以對大家有一定的幫助，如果你還有很多疑惑沒有解開，可以關(guān)注創(chuàng)新互聯(lián)行業(yè)資訊頻道了解更多相關(guān)知識。

當(dāng)前文章：python跨庫檢查數(shù)據(jù)一致性的示例分析
路徑分享：http://aaarwkj.com/article12/jejogc.html

成都網(wǎng)站建設(shè)公司_創(chuàng)新互聯(lián)，為您提供、品牌網(wǎng)站制作、微信小程序、網(wǎng)頁設(shè)計公司、網(wǎng)站收錄、外貿(mào)網(wǎng)站建設(shè)

廣告

聲明：本網(wǎng)站發(fā)布的內(nèi)容（圖片、視頻和文字）以用戶投稿、用戶轉(zhuǎn)載內(nèi)容為主，如果涉及侵權(quán)請盡快告知，我們將會在第一時間刪除。文章觀點(diǎn)不代表本網(wǎng)站立場，如需處理請聯(lián)系客服。電話：028-86922220；郵箱：631063699@qq.com。內(nèi)容未經(jīng)允許不得轉(zhuǎn)載，或轉(zhuǎn)載時需注明來源： 創(chuàng)新互聯(lián)