這篇文章主要介紹“Python從不同格式文件中加載數(shù)據(jù)的速度舉例分析”,在日常操作中,相信很多人在Python從不同格式文件中加載數(shù)據(jù)的速度舉例分析問題上存在疑惑,小編查閱了各式資料,整理出簡(jiǎn)單好用的操作方法,希望對(duì)大家解答”Python從不同格式文件中加載數(shù)據(jù)的速度舉例分析”的疑惑有所幫助!接下來(lái),請(qǐng)跟著小編一起來(lái)學(xué)習(xí)吧!
在威縣等地區(qū),都構(gòu)建了全面的區(qū)域性戰(zhàn)略布局,加強(qiáng)發(fā)展的系統(tǒng)性、市場(chǎng)前瞻性、產(chǎn)品創(chuàng)新能力,以專注、極致的服務(wù)理念,為客戶提供網(wǎng)站設(shè)計(jì)、成都網(wǎng)站建設(shè) 網(wǎng)站設(shè)計(jì)制作定制開發(fā),公司網(wǎng)站建設(shè),企業(yè)網(wǎng)站建設(shè),品牌網(wǎng)站制作,營(yíng)銷型網(wǎng)站建設(shè),成都外貿(mào)網(wǎng)站建設(shè),威縣網(wǎng)站建設(shè)費(fèi)用合理。
熟悉Python數(shù)據(jù)分析和跟各種數(shù)據(jù)存儲(chǔ)文件打交道的人可能都知道,就算是相同的數(shù)據(jù)內(nèi)容,但用Python從不同格式的載體中讀取數(shù)據(jù)的速度是不一樣的。為了驗(yàn)證這一結(jié)論,我特意測(cè)試了一下,分別用Python從Excel,MySQL和CSV中讀取數(shù)據(jù)的效率。
工具:
jupyter notebook(Python),
Navicat(MySQL),
Microsoft Excel 2016
CSV(Excel按F12另存為)
接著進(jìn)入正題,以下就是我的測(cè)試結(jié)果:
聲明:使用的都是同一份數(shù)據(jù)源(除去表頭,總共有159727條數(shù)據(jù))!
① 直接用Python從Excel加載數(shù)據(jù)(29M),第1次花了48秒,第2次花46.1秒;另外,計(jì)算結(jié)果只需花費(fèi)幾十到幾百毫秒;
處理數(shù)據(jù)的時(shí)間,花了幾十到幾百毫秒不等:
② 把Excel的數(shù)據(jù)(29M)導(dǎo)入到Navicat(可以寫MySQL語(yǔ)句的一款編輯器)中,花了28.9秒;
處理數(shù)據(jù)的時(shí)間,花了0.134s
③ 用Python直接從MySQL中獲取剛才從Excel中導(dǎo)入的數(shù)據(jù),第1次花了1.91秒,第2次花了2.01秒,第3次花了1.99秒,第4次花了1.79秒;
處理數(shù)據(jù)的時(shí)間,花了59ms.
④ 用Python讀取把剛才29M的Excel,另存為一個(gè)32.1M大小的CSV文件(數(shù)據(jù)內(nèi)容相同),才試了一次,居然只花了1.3秒(瞬開!驚奇!)
處理數(shù)據(jù)的時(shí)間,花了19ms
到此,關(guān)于“Python從不同格式文件中加載數(shù)據(jù)的速度舉例分析”的學(xué)習(xí)就結(jié)束了,希望能夠解決大家的疑惑。理論與實(shí)踐的搭配能更好的幫助大家學(xué)習(xí),快去試試吧!若想繼續(xù)學(xué)習(xí)更多相關(guān)知識(shí),請(qǐng)繼續(xù)關(guān)注創(chuàng)新互聯(lián)網(wǎng)站,小編會(huì)繼續(xù)努力為大家?guī)?lái)更多實(shí)用的文章!
本文題目:Python從不同格式文件中加載數(shù)據(jù)的速度舉例分析
URL網(wǎng)址:http://aaarwkj.com/article4/iggeoe.html
成都網(wǎng)站建設(shè)公司_創(chuàng)新互聯(lián),為您提供網(wǎng)站改版、營(yíng)銷型網(wǎng)站建設(shè)、動(dòng)態(tài)網(wǎng)站、域名注冊(cè)、全網(wǎng)營(yíng)銷推廣、微信小程序
聲明:本網(wǎng)站發(fā)布的內(nèi)容(圖片、視頻和文字)以用戶投稿、用戶轉(zhuǎn)載內(nèi)容為主,如果涉及侵權(quán)請(qǐng)盡快告知,我們將會(huì)在第一時(shí)間刪除。文章觀點(diǎn)不代表本網(wǎng)站立場(chǎng),如需處理請(qǐng)聯(lián)系客服。電話:028-86922220;郵箱:631063699@qq.com。內(nèi)容未經(jīng)允許不得轉(zhuǎn)載,或轉(zhuǎn)載時(shí)需注明來(lái)源: 創(chuàng)新互聯(lián)