MySql中怎么更新優(yōu)化策略

MySQL中怎么更新優(yōu)化策略,針對這個問題,這篇文章詳細介紹了相對應(yīng)的分析和解答,希望可以幫助更多想解決這個問題的小伙伴找到更簡單易行的方法。

松北ssl適用于網(wǎng)站、小程序/APP、API接口等需要進行數(shù)據(jù)傳輸應(yīng)用場景,ssl證書未來市場廣闊!成為創(chuàng)新互聯(lián)的ssl證書銷售渠道,可以享受市場價格4-6折優(yōu)惠!如果有意向歡迎電話聯(lián)系或者加微信:13518219792(備注:SSL證書合作)期待與您的合作!

模擬場景一:

給數(shù)據(jù)庫中的一張表的結(jié)構(gòu)調(diào)整,添加幾個字段,后面對之前的數(shù)據(jù)進行刷新,刷新的內(nèi)容是對其中的一個已有字段url進行匹配,然后更新新加的字段type和typeid。

后來就寫了個shell腳本來刷數(shù)據(jù),結(jié)果運行shell腳本后我就懵了,怎么這么慢~~~

情景再現(xiàn)

復(fù)制代碼 代碼如下: CREATE TABLE `fuckSpeed` ( `uin` bigint(20) unsigned NOT NULL DEFAULT 0, `id` int(11) unsigned NOT NULL DEFAULT 0, `url` varchar(255) NOT NULL DEFAULT '', `type` int(11) unsigned NOT NULL DEFAULT 0, `typeid` varchar(64) NOT NULL DEFAULT '', ...... KEY `uin_id` (`uin`,`id`)) ENGINE=InnoDB DEFAULT CHARSET=utf8;

表結(jié)構(gòu)大概是上面這樣的(省略了好多字段),表中只有一個聯(lián)合索引uin_id,而我在更新的時候是下面的思路:

首先根據(jù)一個id范圍獲取到一定數(shù)量的數(shù)據(jù)

復(fù)制代碼 代碼如下: select id,url from funkSpeed where id>=101 and id<=200;

遍歷所有的數(shù)據(jù),對每一條數(shù)據(jù)進行更新

#首先對數(shù)據(jù)進行處理,匹配獲取type和typeid

復(fù)制代碼 代碼如下: update fuckSpeed set type=[type],typeid=[typeid] where id=[id]

按照上面的思路搞了之后,發(fā)現(xiàn)更新特別的慢,平均每秒鐘3~5個左右,我也是醉了,我看看要更新的數(shù)據(jù),總共有32w+條,這樣更新下來大概需要24h+,也就是1天還要多,額~~哭了,想想肯定是哪里出問題了。

發(fā)現(xiàn)問題首先我想到的是是不是因為只有一個進程在更新,導(dǎo)致很慢,我啟動了5個進程,將id分段了,就像下面這樣

復(fù)制代碼 代碼如下: ./update_url.sh 0 10000 &./update_url.sh 10000 20001 &./update_url.sh 20001 30001 &./update_url.sh 30002 40002 &./update_url.sh 40003 50003 &

運行之后發(fā)現(xiàn)還是那樣,速度沒有提升多少,還是每秒鐘更新3~5個左右,想想也是啊,時間不可能花費在插入數(shù)據(jù)之前的那些步驟(匹配、組裝sql語句、。。。),應(yīng)該是插入的時候有問題

再來看看我的sql語句

復(fù)制代碼 代碼如下: select id,url from funkSpeed where id>=101 and id<=200;,

這里,試著在命令行執(zhí)行了下,結(jié)果如下

復(fù)制代碼 代碼如下: mysql> select id,url from funkSpeed where id>=0 and id<=200;Empty set (0.18 sec)

竟然花了0.18秒,這個時候我猜恍然大悟,聯(lián)合索引我沒有使用到,聯(lián)合索引生效的條件是——必須要有左邊的字段,用explain驗證下,果然是這樣:

復(fù)制代碼 代碼如下: mysql> explain id,url from funkSpeed where id>=0 and id<=200;+-------------+------+---------------+------+---------+------+--------+-------------+| table | type | possible_keys | key | key_len | ref | rows | Extra |+-------------+------+---------------+------+---------+------+--------+-------------+| funkSpeed | ALL | NULL | NULL | NULL | NULL | 324746 | Using where |+-------------+------+---------------+------+---------+------+--------+-------------+1 row in set (0.00 sec)

然后使用聯(lián)合索引:

復(fù)制代碼 代碼如下: mysql> select uin,id from funkSpeed where uin=10023 and id=162;+------------+----------+| uin | id |+------------+----------+| 10023 | 162 |+------------+----------+1 row in set (0.00 sec)mysql> explain select uin,id from funkSpeed where uin=10023 and id=162;+-------------+------+---------------+----------+---------+-------------+------+-------------+| table | type | possible_keys | key | key_len | ref | rows | Extra |+-------------+------+---------------+----------+---------+-------------+------+-------------+| funkSpeed | ref | uin_id | uin_id | 12 | const,const | 4 | Using index |+-------------+------+---------------+----------+---------+-------------+------+-------------+1 row in set (0.00 sec)

可以看到幾乎是秒查,這個時候基本可以斷定問題是出現(xiàn)在索引這個地方了

我select的時候次數(shù)比較少,每兩個select之間id相差10000,所以這里可以忽略掉,而且這里沒辦法優(yōu)化,除非在id上面添加索引。

問題發(fā)生在

復(fù)制代碼 代碼如下: update fuckSpeed set type=[type],typeid=[typeid] where id=[id]

這里在更新的時候也是會用到查詢的,我的mysql版本是5.5,不能explain update,不然肯定可以驗證我所說的,這里要更新32w+條數(shù)據(jù),每條數(shù)據(jù)都會去更新,每條數(shù)據(jù)0.2s左右,這太嚇人了~~

解決問題問題找到了,解決起來就容易多了~~

select的時候加了一個字段uin,改為下面這樣

復(fù)制代碼 代碼如下: select uin,id,url from funkSpeed where id>=101 and id<=200;

然后更新的時候使用

復(fù)制代碼 代碼如下: update fuckSpeed set type=[type],typeid=[typeid] where uin=[uin] id=[id]

這樣一來索引就是用上了。

三下五除二改好了代碼,試著啟動了一個進程,看看效果如何,果然,效果提升的不是一點點,平均30+次/s,這樣大概3個小時左右就可以完成所有的更新了。

模擬場景二:需求6個表 pid字段 寫到對應(yīng)的brand_id字段

問題sql背景:項目有6個表的要根據(jù)pid字段要寫入對應(yīng)的brand_id字段。但是這個其中有兩個表是千萬級別的。我的worker運行之后,線上的mysql主從同步立刻延遲了!運行了一個多小時之后,居然延遲到了40分鐘,而且只更新了十幾萬行數(shù)據(jù)。問題sql如下:

復(fù)制代碼 代碼如下: <!-- 根據(jù)商品id更新品牌id --> <update id="updateBrandIdByPid" parameterClass="com.jd.chat.worker.domain.param.UpdateBrandIdParam"> UPDATE $tableName$ SET brand_id = #newBrandId# WHERE pid = #pid# AND brand_id = 0 </update>

項目組的mysql專家?guī)臀曳治隽讼?,因為pid字段沒有索引,mysql引擎要逐行掃描出與傳入的pid值相等的列,然后更新數(shù)據(jù),也就是要掃描完1000W+行磁盤數(shù)據(jù)才能執(zhí)行完這個sql。更嚴重的是,這個千萬級的表里面有多少個不同的pid,我就要執(zhí)行多少個這樣的sql。同事給我的建議的根據(jù)id字段進行sql代碼層次的縱向分表。每次更新1000行的數(shù)據(jù),這樣mysql引擎就不用每次在掃全表了,數(shù)據(jù)庫壓力是之前的萬分之一。而且id作為主鍵,是有索引的有索引,有索引能大大優(yōu)化查詢性能,優(yōu)化后的sql如下:

復(fù)制代碼 代碼如下: <!-- 根據(jù)商品id更新品牌id --> <update id="updateBrandIdByPid" parameterClass="com.jd.chat.worker.domain.param.UpdateBrandIdParam"> UPDATE $tableName$ SET brand_id = #newBrandId# WHERE pid = #pid# AND brand_id = 0 AND id BETWEEN #startNum# AND #endNum# </update>

僅僅用了id限區(qū)間的語句,將一個千萬級的大表代碼層次上進行縱向切割。重新上線worker后,mysql主從沒有任何延遲!而且經(jīng)過監(jiān)視,短短10分鐘就更新了十幾萬數(shù)據(jù),效率是之前的6倍!更重要的是數(shù)據(jù)庫負載均衡,應(yīng)用健康運行。

關(guān)于MySql中怎么更新優(yōu)化策略問題的解答就分享到這里了,希望以上內(nèi)容可以對大家有一定的幫助,如果你還有很多疑惑沒有解開,可以關(guān)注創(chuàng)新互聯(lián)行業(yè)資訊頻道了解更多相關(guān)知識。

名稱欄目:MySql中怎么更新優(yōu)化策略
文章位置:http://bm7419.com/article18/jdsidp.html

成都網(wǎng)站建設(shè)公司_創(chuàng)新互聯(lián),為您提供靜態(tài)網(wǎng)站、品牌網(wǎng)站設(shè)計、網(wǎng)站營銷、網(wǎng)站收錄、動態(tài)網(wǎng)站定制開發(fā)

廣告

聲明:本網(wǎng)站發(fā)布的內(nèi)容(圖片、視頻和文字)以用戶投稿、用戶轉(zhuǎn)載內(nèi)容為主,如果涉及侵權(quán)請盡快告知,我們將會在第一時間刪除。文章觀點不代表本網(wǎng)站立場,如需處理請聯(lián)系客服。電話:028-86922220;郵箱:631063699@qq.com。內(nèi)容未經(jīng)允許不得轉(zhuǎn)載,或轉(zhuǎn)載時需注明來源: 創(chuàng)新互聯(lián)

成都定制網(wǎng)站網(wǎng)頁設(shè)計