本文作者:吳炳錫
來源:https://yq.aliyun.com/articles/278034
一、需求一個朋友接到一個需求,從大數(shù)據(jù)平臺收到一個數(shù)據(jù)寫入在20億+,需要快速地加載到MySQL中,供第二天業(yè)務(wù)展示使用。
二、實現(xiàn)再分析對于單表20億, 在MySQL運維,說真的這塊目前涉及得比較少,也基本沒什么經(jīng)驗,但對于InnoDB單表Insert 如果內(nèi)存大于數(shù)據(jù)情況下,可以維持在10萬-15萬行寫入。 但很多時間我們接受的項目還是數(shù)據(jù)超過內(nèi)存的。 這里使用XeLabs TokuDB做一個測試。
三、XeLabs TokuDB介紹項目地址: https://github.com/XeLabs/tokudb
相對官方TokuDB的優(yōu)化:
內(nèi)置了jemalloc 內(nèi)存分配;
引入更多的內(nèi)置的TokuDB性能指標;
支持Xtrabackup備份;
引入ZSTD壓縮算法;
支持TokuDB的binlog_group_commit特性;
TokuDB核心配置:
表結(jié)構(gòu):
利用load data寫入數(shù)據(jù):
計算一下每秒寫入速度:
文件大?。?/p>
實際文件8.5G,寫入TokuDB大小3.5G,只是接近于一半多點的壓縮量。 對于20億數(shù)據(jù)寫入,實際測試在58分鐘多點就可以完成??梢詽M足實際需求,另外對于磁盤IO比較好的機器(SSD類盤,云上的云盤),如果內(nèi)存和數(shù)據(jù)差不多情況,這量級數(shù)據(jù)量測試在Innodb里需要添加自增列,可以在3個小多一點完成。 從最佳實戰(zhàn)上來看,Innodb和TokuDB都寫入同樣的數(shù)據(jù),InnoDB需要花大概是TokuDB3-4倍時間。文件大小區(qū)別,同樣20億數(shù)據(jù):
文件大小在5倍大小的區(qū)別。
測試結(jié)論:
利用TokuDB在某云環(huán)境中8核8G內(nèi)存,500G高速云盤環(huán)境,多次測試可以輕松實現(xiàn)57萬每秒的寫入量。
另外測試幾種場景也供大家參考: 如果在TokuDB中使用帶自增的主鍵,主鍵無值讓MySQL內(nèi)部產(chǎn)生寫入速度,下降比較明顯,同樣寫入2億數(shù)據(jù),帶有自建主鍵:
同樣的數(shù)據(jù)寫入在主鍵自增無值產(chǎn)生時,不能使用TokuDB的 Bulk loader data特性,相當于轉(zhuǎn)換為了單條的Insert實現(xiàn),所以效果上慢太多。
關(guān)于TokuDB Bulk Loader前提要求,這個表是空表,對于自增列,如自增列有值的情況下,也可以使用。 建議實際使用中,如果自增列有值的情況下,可以考慮去除自增屬性,改成唯一索引,這樣減少自增的一些處理邏輯,讓TokuDB能跑地更快一點。 另外在Bulk Loader處理中為了追求更快速的寫入,壓縮方面并不是很好。
關(guān)于TokuDB Bulk Loader :
https://github.com/percona/PerconaFT/wiki/TokuFT-Bulk-Loader
五、測試環(huán)境說明測試使用CentOS7環(huán)境,編譯的XeLabs TokuDB版本百度云地址:
https://pan.baidu.com/s/1cxoarGW8psQfQpJnpXq09Q
文章名稱:MySQL每秒57萬的寫入,快還是慢?-創(chuàng)新互聯(lián)
轉(zhuǎn)載源于:http://bm7419.com/article20/ijoco.html
成都網(wǎng)站建設(shè)公司_創(chuàng)新互聯(lián),為您提供小程序開發(fā)、網(wǎng)站策劃、云服務(wù)器、微信小程序、品牌網(wǎng)站設(shè)計、定制網(wǎng)站
聲明:本網(wǎng)站發(fā)布的內(nèi)容(圖片、視頻和文字)以用戶投稿、用戶轉(zhuǎn)載內(nèi)容為主,如果涉及侵權(quán)請盡快告知,我們將會在第一時間刪除。文章觀點不代表本網(wǎng)站立場,如需處理請聯(lián)系客服。電話:028-86922220;郵箱:631063699@qq.com。內(nèi)容未經(jīng)允許不得轉(zhuǎn)載,或轉(zhuǎn)載時需注明來源: 創(chuàng)新互聯(lián)
猜你還喜歡下面的內(nèi)容