欧美一级特黄大片做受成人-亚洲成人一区二区电影-激情熟女一区二区三区-日韩专区欧美专区国产专区

MySQL每秒570000的寫入,如何實現(xiàn)?

2021-02-23    分類: 網(wǎng)站建設

一、需求

一個朋友接到一個需求,從大數(shù)據(jù)平臺收到一個數(shù)據(jù)寫入在20億+,需要快速地加載到MySQL中,供第二天業(yè)務展示使用。

二、實現(xiàn)再分析

對于單表20億, 在MySQL運維,說真的這塊目前涉及得比較少,也基本沒什么經(jīng)驗,但對于InnoDB單表Insert 如果內存大于數(shù)據(jù)情況下,可以維持在10萬-15萬行寫入。 但很多時間我們接受的項目還是數(shù)據(jù)超過內存的。 這里使用XeLabs TokuDB做一個測試。

三、XeLabs TokuDB 介紹

項目地址: https://github.com/XeLabs/tokudb

相對官方TokuDB的優(yōu)化:

  •  內置了jemalloc 內存分配
  •  引入更多的內置的TokuDB性能指標
  •  支持Xtrabackup備份
  •  引入ZSTD壓縮算法
  •  支持TokuDB的binlog_group_commit特性

四、測試表

TokuDB核心配置:

  1. loose_tokudb_cache_size=4G  
  2. loose_tokudb_directio=ON  
  3. loose_tokudb_fsync_log_period=1000  
  4. tokudb_commit_sync=0 

表結構

  1. CREATE TABLE `user_summary` (  
  2.  `user_id` bigint(20) unsigned NOT NULL COMMENT '用戶id/手機號',  
  3.  `weight` varchar(5) DEFAULT NULL COMMENT '和碼體重(KG)',  
  4.  `level` varchar(20) DEFAULT NULL COMMENT '重量級',  
  5.  `beat_rate` varchar(12) DEFAULT NULL COMMENT '擊敗率',  
  6.  `level_num` int(10) DEFAULT NULL COMMENT '同噸位人數(shù)',  
  7.  UNIQUE KEY `u_user_id` (`user_id`)  
  8. ) ENGINE=TokuDB DEFAULT CHARSET=utf8 

利用load data寫入數(shù)據(jù)

  1. root@localhost [zst]>LOAD DATA INFILE '/u01/work/134-136.txt' \  
  2. INTO TABLE user_summary(user_id, weight, level, beat_rate,level_num);  
  3. Query OK, 200000000 rows affected (5 min 48.30 sec)  
  4. Records: 200000000 Deleted: 0 Skipped: 0 Warnings: 0 

計算一下每秒寫入速度:

  1. root@localhost [zst]>select 200000000/(5*60+48.30);  
  2. +------------------------+  
  3. | 200000000/(5*60+48.30) |  
  4. +------------------------+  
  5. | 574217.6285 |  
  6. +------------------------+  
  7. 1 row in set (0.00 sec) 

文件大?。?/strong>

  1. -rw-r--r-- 1 root root 8.5G 11月 25 20:05 134-136.txt  
  2. -rw-r----- 1 mysql mysql 8.6K 11月 25 20:44 user_summary.frm  
  3. -rw-r----- 1 mysql mysql 3.5G 11月 25 20:51 user_summary_main_229_1_1d_B_0.tokudb 

實際文件8.5G,寫入TokuDB大小3.5G,只是接近于一半多點的壓縮量。 對于20億數(shù)據(jù)寫入,實際測試在58分鐘多點就可以完成??梢詽M足實際需求,另外對于磁盤IO比較好的機器(SSD類盤,云上的云盤),如果內存和數(shù)據(jù)差不多情況,這量級數(shù)據(jù)量測試在Innodb里需要添加自增列,可以在3個小多一點完成。 從好實戰(zhàn)上來看,Innodb和TokuDB都寫入同樣的數(shù)據(jù),InnoDB需要花大概是TokuDB3-4倍時間。文件大小區(qū)別,同樣20億數(shù)據(jù):

  1. -rw-r----- 1 mysql mysql 35G 11月 25 23:29 user2_main_26a_1_1d_B_0.tokudb  
  2. -rw-r----- 1 mysql mysql 176G 11月 26 03:32 user5.ibd 

文件大小在5倍大小的區(qū)別。

測試結論:

利用TokuDB在某云環(huán)境中8核8G內存,500G高速云盤環(huán)境,多次測試可以輕松實現(xiàn)57萬每秒的寫入量。

另外測試幾種場景也供大家參考: 如果在TokuDB中使用帶自增的主鍵,主鍵無值讓MySQL內部產(chǎn)生寫入速度,下降比較明顯,同樣寫入2億數(shù)據(jù),帶有自建主鍵:

  1. root@localhost [zst]>CREATE TABLE `user3` (  
  2.  -> `user_id` bigint(20) unsigned NOT NULL COMMENT '用戶id/手機號',  
  3.  -> `weight` varchar(5) DEFAULT NULL COMMENT '和碼體重(KG)',  
  4.  -> `level` varchar(20) DEFAULT NULL COMMENT '重量級',  
  5.  -> `beat_rate` varchar(12) DEFAULT NULL COMMENT '擊敗率',  
  6.  -> `level_num` int(10) DEFAULT NULL COMMENT '同噸位人數(shù)',  
  7.  -> `id` bigint(20) NOT NULL AUTO_INCREMENT,  
  8.  -> PRIMARY KEY (`id`),  
  9.  -> UNIQUE KEY `u_user_id` (`user_id`)  
  10.  -> ) ENGINE=TokuDB;  
  11. Query OK, 0 rows affected (0.03 sec)  
  12. root@localhost [zst]>LOAD DATA INFILE '/u01/work/134-136.txt' INTO TABLE user3(user_id, weight, level, beat_rate,level_num);  
  13. Query OK, 200000000 rows affected (22 min 43.62 sec)  
  14. Records: 200000000 Deleted: 0 Skipped: 0 Warnings: 0 

同樣的數(shù)據(jù)寫入在主鍵自增無值產(chǎn)生時,不能使用TokuDB的 Bulk loader data特性,相當于轉換為了單條的Insert實現(xiàn),所以效果上慢太多。

關于TokuDB Bulk Loader前提要求,這個表是空表,對于自增列,如自增列有值的情況下,也可以使用。 建議實際使用中,如果自增列有值的情況下,可以考慮去除自增屬性,改成唯一索引,這樣減少自增的一些處理邏輯,讓TokuDB能跑地更快一點。 另外在Bulk Loader處理中為了追求更快速的寫入,壓縮方面并不是很好。

關于TokuDB Bulk Loader :https://github.com/percona/PerconaFT/wiki/TokuFT-Bulk-Loader

五、測試環(huán)境說明

測試使用CentOS7環(huán)境,編譯的XeLabs TokuDB版本百度云地址:https://pan.baidu.com/s/1qYRyH3I 。

網(wǎng)頁題目:MySQL每秒570000的寫入,如何實現(xiàn)?
本文路徑:http://aaarwkj.com/news46/102496.html

成都網(wǎng)站建設公司_創(chuàng)新互聯(lián),為您提供營銷型網(wǎng)站建設App設計、移動網(wǎng)站建設、ChatGPT、靜態(tài)網(wǎng)站、微信公眾號

廣告

聲明:本網(wǎng)站發(fā)布的內容(圖片、視頻和文字)以用戶投稿、用戶轉載內容為主,如果涉及侵權請盡快告知,我們將會在第一時間刪除。文章觀點不代表本網(wǎng)站立場,如需處理請聯(lián)系客服。電話:028-86922220;郵箱:631063699@qq.com。內容未經(jīng)允許不得轉載,或轉載時需注明來源: 創(chuàng)新互聯(lián)

国产熟女系列一区二区三区| 国产精品美女露脸av毛片| 92午夜福利精品视频| 美女诱惑丝袜国产国产av丝袜| 亚洲精品日韩在线欧美| 91国产在线视频免费观看| 日日狠狠久久偷偷综合色| 亚洲欧美精品一区二区三区| 日本免费一区二区三区四区视频| 日韩电影一区二区在线观看中文字幕| 日韩有码高清av在线| 久久精品免成人费电影| 国产精品熟女一区二区三区| 亚洲青青草原自拍偷拍| 国产熟女精品自拍嫩草| 久久99久久久久久精品| 在线观看91精品国产秒播| 亚洲国产成人久久综合区| 成年人免费视频网站国产| 欧美成人精品三级在线网站| 中国女人内射91熟女| 亚洲精品a在线观看av| 亚洲欧洲日韩综合另类| 午夜91激情福利视频| 国产l精品国产亚洲区久久| 亚洲精品在线播放av| 男女互射视频在线观看| 大香蕉欧美视频伊在线| 亚洲一二三区精品与老人| 欧美性大片一区二区三区| 久草福利资源在线观看视频| 日韩熟女人妻一区二区| 亚洲男人天堂日本一区| 成人精品淫片一级免费| 护士一级特黄特色大片| 日本在线高清不卡免费播放| 熟妇激情欧美在线播放视频| 日产极品一区二区三区| 中文字幕日产乱码一二三区| 国产精品乱码中文字幕| 一区二区三区视频在线国产|