mysql表分區(qū)怎么設(shè)計(jì) mysql 分表 分區(qū)

mysql表如何實(shí)現(xiàn)分區(qū)

CREATE TABLE employees ( id INT NOT NULL, /SPAN/p fname VARCHAR(30), /SPAN/p lname VARCHAR(30), /SPAN/p hired DATE NOT NULL DEFAULT '1970-01-01', /SPAN/pseparated DATE NOT NULL DEFAULT '9999-12-31', /SPAN/p job_code INT NOT NULL, /SPAN/pstore_id INT NOT NULL /SPAN/p) PARTITION BY RANGE (store_id) ( /SPAN/p PARTITION p0 VALUES LESS THAN (6), /SPAN/p PARTITION p1 VALUES LESS THAN (11), /SPAN/p PARTITION p2 VALUES LESS THAN (16), /SPAN/pPARTITION p3 VALUES LESS THAN MAXVALUE /SPAN/p); 這就是根據(jù)store_id的值來進(jìn)行分區(qū)你也可以參看相關(guān)資料詳細(xì)了解:

目前創(chuàng)新互聯(lián)已為近千家的企業(yè)提供了網(wǎng)站建設(shè)、域名、網(wǎng)絡(luò)空間、成都網(wǎng)站托管、企業(yè)網(wǎng)站設(shè)計(jì)、甌海網(wǎng)站維護(hù)等服務(wù),公司將堅(jiān)持客戶導(dǎo)向、應(yīng)用為本的策略,正道將秉承"和諧、參與、激情"的文化,與客戶和合作伙伴齊心協(xié)力一起成長,共同發(fā)展。

十、MySQL表分區(qū)

??表分區(qū)是將?個表的數(shù)據(jù)按照?定的規(guī)則?平劃分為不同的邏輯塊,并分別進(jìn)?物理存儲,這個規(guī)則就叫做分區(qū)函數(shù),可以有不同的分區(qū)規(guī)則。5.7可以通過show plugins語句查看當(dāng)前MySQL是否?持表分區(qū)功能。

??但當(dāng)表中含有主鍵或唯?鍵時,則每個被?作 分區(qū)函數(shù)的字段必須是表中唯?鍵和主鍵的全部或?部分 ,否則就?法創(chuàng)建分區(qū)表。?如下?的表由于唯?鍵和主鍵沒有相同的字段,所以?法創(chuàng)建表分區(qū)

上述例?中刪除唯?鍵,確保主鍵中的字段包含分區(qū)函數(shù)中的所有字段,創(chuàng)建成功

或者將主鍵擴(kuò)展為包含ref字段

表分區(qū)的主要優(yōu)勢在于:

??可以允許在?個表?存儲更多的數(shù)據(jù),突破磁盤限制或者?件系統(tǒng)限制

??對于從表?將過期或歷史的數(shù)據(jù)移除在表分區(qū)很容易實(shí)現(xiàn),只要將對應(yīng)的分區(qū)移除即可

??對某些查詢和修改語句來說,可以 ?動 將數(shù)據(jù)范圍縮?到?個或?個表分區(qū)上,優(yōu)化語句執(zhí)?效率。?且可以通過 顯示指定表分區(qū) 來執(zhí)?語句,?如 SELECT * FROM t PARTITION (p0,p1) WHERE c 5

表分區(qū)類型分為:

范圍表分區(qū),按照?定的范圍值來確定每個分區(qū)包含的數(shù)據(jù),分區(qū)函數(shù)使?的字段必須只能是 整數(shù)類型,分區(qū)的定義范圍必須是連續(xù)的,且不能有重疊部分,通過使?VALUES LESS THAN來定義分區(qū)范圍,表分區(qū)的范圍定義是從?到?定義的

?如:

??Store_id6的數(shù)據(jù)被放在p0分區(qū)?,6=store_id10之間的數(shù)據(jù)被放在p1分區(qū)?,以此類推,當(dāng)新插?的數(shù)據(jù)為(72, ‘Mitchell’, ‘Wilson’, ‘1998-06-25’, NULL, 13) 時,則新數(shù)據(jù)被插?到p2分區(qū)?,但當(dāng)插?的數(shù)據(jù)的store_id為21時,由于沒有分區(qū)去容納此數(shù)據(jù),所以會報錯,我們需要修改?下表的定義

報錯:

修改表的定義:

?? MAXVALUE關(guān)鍵詞的作?是表示可能的最?值,所以任何store_id=16的數(shù)據(jù)都會被寫?到p3分區(qū)?。分區(qū)函數(shù)中也可以使?表達(dá)式 ,?如:

?? 對timestamp字段類型可以使?的表達(dá)式?前僅有unix_timestamp ,其他的表達(dá)式都不允許

列表表分區(qū),按照?個?個確定的值來確定每個分區(qū)包含的數(shù)據(jù),通過PARTITION BY LIST(expr)分區(qū)函數(shù)表達(dá)式必須返回整數(shù),取值范圍通過VALUES IN (value_list)定義

對List表分區(qū)來說,沒有MAXVALUE特殊值,所有的可能取值都需要再VALUES IN中包含,如果有未定義的取值則會報錯

同樣,當(dāng)有主鍵或者唯?鍵存在的情況下,分區(qū)函數(shù)字段需要包含在主鍵或唯?鍵中

對range和list表分區(qū)來說,分區(qū)函數(shù)可以包含多個字段,分區(qū)多字段函數(shù)(column partition) 所涉及的字段類型可以包括:

范圍多字段分區(qū)函數(shù)與普通的范圍分區(qū)函數(shù)的區(qū)別在于:

a) 字段類型多樣化

b) 范圍多字段分區(qū)函數(shù) 不?持表達(dá)式,只能?字段名

c) 范圍多字段分區(qū)函數(shù)?持?個或多個字段

再?如創(chuàng)建如下的表分區(qū):

對多列對?來說:

當(dāng)然只要保證取值范圍是增?的,表分區(qū)就能創(chuàng)建成功,?如:

但如果 取值范圍不是增?的,就會返回錯誤 :

對其他數(shù)據(jù)類型的?持:

list列表多字段表分區(qū),例如:你有一個在12個城市客戶的業(yè)務(wù), 為了銷售和市場的目的, 你的組織每3個城市劃分為一個區(qū)域針對LIST COLUMNS分區(qū), 你可以基于城市的名稱創(chuàng)建一個客戶數(shù)據(jù)表并聲明4個分區(qū)當(dāng)你的客戶在對應(yīng)的這個區(qū)域:

使用日期分區(qū)

但是這種情況在日期增長到非常大的時候是很復(fù)雜的, 所以這種還是使用RANGE 分區(qū)方式比較好

??按照?個?定義的函數(shù)返回值來確定每個分區(qū)包含的數(shù)據(jù),這個 ?定義函數(shù)也可以僅僅是?個字段名字

??通過PARTITION BY HASH (expr)?句來表達(dá)哈希表分區(qū),其中的 expr表達(dá)式必須返回?個整數(shù),基于分區(qū)個數(shù)的取模(%)運(yùn)算。根據(jù)余數(shù)插?到指定的分區(qū)

??對哈希表分區(qū)來說只需要定義分區(qū)的個數(shù),其他的事情由內(nèi)部完成

如果沒有寫明PARTITIONS字段,則默認(rèn)為1,表達(dá)式可以是整數(shù)類型字段,也可以是?個函數(shù),?如

?如: CREATE TABLE t1 (col1 INT, col2 CHAR(5), col3 DATE) PARTITION BY HASH( YEAR(col3) ) PARTITIONS 4;

如果插??條數(shù)據(jù)對應(yīng)的col3為‘2005-09-15’時,則插?數(shù)據(jù)的分區(qū)計(jì)算?法為:

??與哈希表分區(qū)類似,只不過哈希表分區(qū)依賴于?定義的函數(shù),?key表分區(qū)的哈希算法是依賴MySQL本身, CREATE TABLE ... PARTITION BY KEY () 創(chuàng)建key表分區(qū), 括號??可以包含0個或者多個字段,所引?的字段必須是主鍵或者主鍵的?部分 ,如果括號??沒有字段,則代表使?主鍵

如果表中沒有主鍵但有唯?鍵,則使?唯?鍵,但 唯?鍵字段必須定義為not null ,否則報錯

所引?的字段未必必須是整數(shù)類型,其他的類型也可以使?,?如:

?表分區(qū),是在表分區(qū)的基礎(chǔ)上再創(chuàng)建表分區(qū)的概念, 每個表分區(qū)下的?表分區(qū)個數(shù)必須?致 ,?如:

ts表擁有三個范圍分區(qū),同時每個分區(qū)都各?有兩個?分區(qū),所以總共有6個分區(qū)

?表分區(qū)必須是范圍/列表分區(qū)+哈希/key?表分區(qū)的組合

?表分區(qū)也可以顯示的指定?表分區(qū)的名字,?如:

不同的表分區(qū)對NULL值的處理?式不同

對范圍表分區(qū)來說,如果插?的是NULL值,則將數(shù)據(jù)放到最?的分區(qū)表?

對list表分區(qū)來說,?持NULL值的唯?情況就是某個分區(qū)的允許值中包含NULL

對哈希表分區(qū)和Key表分區(qū)來說,NULL值會被當(dāng)成0值對待

通過alter table命令可以執(zhí)?增加,刪除,重新定義,合并或者拆分表分區(qū)的管理動作

對范圍表分區(qū)和列表表分區(qū)來說,刪除?個表分區(qū)命令如下:

刪除表分區(qū)的動作不光會把分區(qū)刪掉,也會把表分區(qū)?原來的數(shù)據(jù)給刪除掉

在原分區(qū)上增加?個表分區(qū)可以通過alter table … add partition語句來完成

但對范圍表分區(qū)來說,增加的表分區(qū)必須在尾部增加,在頭部或者在中間增加都會失?。?/p>

為解決這個問題,可以使? REORGANIZE 命令:

對列表表分區(qū)來說,只要新增加的分區(qū)對應(yīng)的值在之前的表分區(qū)中沒有出現(xiàn)過,就可以通過alter table… add partition來增加

當(dāng)然, 也可以通過REORGANIZE命令將之前的多個分區(qū)合并成?個或?個分區(qū),但要保持分區(qū)值?致:

更復(fù)雜的?如將多個分區(qū)重組成多個分區(qū):

mysql表分區(qū)使用及詳細(xì)介紹

一、分區(qū)概念

分區(qū)是將一個表分成多個區(qū)塊進(jìn)行操作和保存,從而降低每次操作的數(shù)據(jù),提高性能。而對于應(yīng)用來說則是透明的,從邏輯上看只有一張表,但在物理上這個表可能是由多個物理分區(qū)組成的,每個分區(qū)都是獨(dú)立的對象,可以進(jìn)行獨(dú)立處理。

二、分區(qū)作用

1.可以邏輯數(shù)據(jù)分割,分割數(shù)據(jù)能夠有多個不同的物理文件路徑。

2.可以存儲更多的數(shù)據(jù),突破系統(tǒng)單個文件最大限制。

3.提升性能,提高每個分區(qū)的讀寫速度,提高分區(qū)范圍查詢的速度。

4.可以通過刪除相關(guān)分區(qū)來快速刪除數(shù)據(jù)

5.通過跨多個磁盤來分散數(shù)據(jù)查詢,從而提高磁盤I/O的性能。

6.涉及到例如SUM()、COUNT()這樣聚合函數(shù)的查詢,可以很容易的進(jìn)行并行處理。

7.可以備份和恢復(fù)獨(dú)立的分區(qū),這對大數(shù)據(jù)量很有好處。

三、分區(qū)能支持的引擎

MySQL支持大部分引擎創(chuàng)建分區(qū),入MyISAM、InnoDB等;不支持MERGE和CSV等來創(chuàng)建分區(qū)。同一個分區(qū)表中的所有分區(qū)必須是同一個存儲引擎。值得注意的是,在MySQL8版本中,MyISAM表引擎不支持分區(qū)。

四、確認(rèn)MySQL支持分區(qū)

從MySQL5.1開始引入分區(qū)功能,可以如下方式查看是否支持:

老版本用:SHOW VARIABLES LIKE '%partition%';

新版本用:show plugins;

五、分區(qū)類型

1. RANGE分區(qū):基于屬于一個給定連續(xù)區(qū)間的列值,把多行分配給分區(qū)。

例如,可以將一個表通過年份劃分成兩個分區(qū),2001 -2010年、2011-2020。

2. LIST分區(qū):類似于RANGE分區(qū),LIST是列值匹配一個離散值集合中的某個值來進(jìn)行選擇。

比如 根據(jù)字段 把值為1、3、5的放到一起,2、4、6的另外放到一起 等等...

3. HASH分區(qū):基于用戶定義的表達(dá)式的返回值來進(jìn)行選擇分區(qū),該表達(dá)式使用將要插入到表中的這些行的列值來進(jìn)行計(jì)算,這個函數(shù)必須產(chǎn)生非負(fù)整數(shù)值。

通過HASH運(yùn)算來進(jìn)行分區(qū),分布的比較均勻

4. KEY分區(qū):類似于按HASH分區(qū),由MySQL服務(wù)器提供其自身的哈希函數(shù)。

按照KEY進(jìn)行分區(qū)類似于按照HASH分區(qū)

六、分區(qū)創(chuàng)建注意事項(xiàng)

1. 如果表中存在primary key 或者 unique key 時,分區(qū)的列必須是paimary key或者unique key的一個組成部分,也就是說,分區(qū)函數(shù)的列只能從pk或者uk這些key中取子集

2. 如果表中不存在任何的paimary key或者unique key,則可以指定任何一個列作為分區(qū)列

3. 5.5版本前的RANGE、LIST、HASH分區(qū)要求分區(qū)鍵必須是int;MySQL5.5及以上,支持非整形的RANGE和LIST分區(qū),即:range columns 和 list columns (可以用字符串來進(jìn)行分區(qū))。

七、分區(qū)命名

1. 分區(qū)的名字基本上遵循其他MySQL 標(biāo)識符應(yīng)當(dāng)遵循的原則,例如用于表和數(shù)據(jù)庫名字的標(biāo)識符。應(yīng)當(dāng)注意的是, 分區(qū)的名字是不區(qū)分大小寫的 。

2. 無論使用何種類型的分區(qū),分區(qū)總是在創(chuàng)建時就自動的順序編號,且從0開始記錄。

八、 創(chuàng)建分區(qū)

1. RANGE分區(qū):

CREATE TABLE `test01` (

`dayid` int(11) DEFAULT NULL,

`mac` varchar(32) NOT NULL DEFAULT '',

`dtype` varchar(50) NOT NULL DEFAULT ''

) ENGINE=InnoDB DEFAULT CHARSET=utf8

/*!50100 PARTITION BY LIST (dayid)

(PARTITION p20171205 VALUES IN (20171205) ENGINE = InnoDB,

PARTITION p20171204 VALUES IN (20171204) ENGINE = InnoDB,

PARTITION p20171206 VALUES IN (20171206) ENGINE = InnoDB,

PARTITION p20171207 VALUES IN (20171207) ENGINE = InnoDB) */

解讀:以上為 uuid小于5時放到p0分區(qū)下,uuid大于5且小于10放到p1分區(qū)下,uuid大于10且小于15放到p2分區(qū)下,uuid大于15 一直到最大值的存在p3分區(qū)下

2. LIST分區(qū):

CREATE TABLE tbl_test (

uuid INT NOT NULL,

title VARCHAR(20)

)

)

PARTITION BY List (uuid) (

PARTITION p0 VALUES in (1,2,3,5),

PARTITION p1 VALUES in (7,9,10),

PARTITION p2 VALUES in (11,15)

)

);

解讀:以上為uuid 等于1/2/3/5時放到p0分區(qū),7/9/10放到p1分區(qū),11/15放到p2分區(qū)。當(dāng)時用insert into時 如果uuid的值不存在p0/p1/p2分區(qū)時,則會插入失敗而報錯。

3. HASH分區(qū):

HASH分區(qū)主要用來確保數(shù)據(jù)在預(yù)先確定數(shù)目的分區(qū)中平均分布。在RANGE分區(qū)和LIST分區(qū)中必須明確指定一個指定的列值或列值集合以指定應(yīng)該保存在哪個分區(qū)中。而在HASH分區(qū)中,MySQL會自動完成這些工作,要做的只是基于將要被哈希的列值指定一個表達(dá)式,以及指定被分區(qū)的表將要被分割成的分區(qū)數(shù)量,如:

CREATE TABLE tbl_test (

uuid INT NOT NULL,

title VARCHAR(20)

))

PARTITION BY HASH (uuid) (

PARTITIONS 3

));

解讀:MySQL自動創(chuàng)建3個分區(qū),在執(zhí)行insert into時,根據(jù)插入的uuid通過算法來自動分配區(qū)間。

注意:

(1) 由于每次插入、更新、刪除一行,這個表達(dá)式都要計(jì)算一次,這意味著非常復(fù)雜的表達(dá)式可能會引起性能問題,尤其是在執(zhí)行同時影響大量行的運(yùn)算(例如批量插入)的時候。

(2) 最有效率的哈希函數(shù)是只對單個表列進(jìn)行計(jì)算,并且它的值隨列值進(jìn)行一致的增大或減小,因?yàn)檫@考慮了在分區(qū)范圍上的“修剪”。也就是說,表達(dá)式值和它所基于的列的值變化越接近,就越能有效地使用該表達(dá)式來進(jìn)行HASH分區(qū)。

3.1:線性HASH分區(qū)

線性HASH分區(qū)在“PARTITION BY”子句中添加“LINEAR”關(guān)鍵字。

線性HASH分區(qū)的有點(diǎn)在于增加、刪除、合并和拆分分區(qū)將變得更加快捷,有利于處理含有及其大量數(shù)據(jù)的表。它的缺點(diǎn)在于各個分區(qū)間數(shù)據(jù)的分布不大可能均衡。

4. KEY分區(qū)

類似于HASH分區(qū),HASH分區(qū)允許用戶自定義的表達(dá)式,而KEY分區(qū)則不允許使用用戶自定義的表達(dá)式;HASH分區(qū)只支持整數(shù)分區(qū),KEY分區(qū)支持除了blob和text類型之外的其他數(shù)據(jù)類型分區(qū)。

與HASH分區(qū)不同,創(chuàng)建KEY分區(qū)表的時候,可以不指定分區(qū)鍵,默認(rèn)會選擇使用主鍵或唯一鍵作為分區(qū)鍵,沒有主鍵或唯一鍵,就必須指定分區(qū)鍵。

CREATE TABLE tbl_test (

uuid INT NOT NULL,

title VARCHAR(20)

))

PARTITION BY LINEAR Key (uuid)

PARTITIONS 3;

解讀:根據(jù)分區(qū)鍵來進(jìn)行分區(qū)

5. 子分區(qū)

子分區(qū)是分區(qū)表中,每個分區(qū)的再次分割,適合保存非常大量的數(shù)據(jù)。

CREATE TABLE tbl_test (

registerTime Date

))

PARTITION BY GANGE(YEAR(registerTime))

SUBPARTITION BY HASH (TO_DAYS(registerTime))

SUBPARTITIONS 2

(

PARTITION p0 VALUES LESS THAN (2017),

PARTITION p1 VALUES LESS THAN (2020),

PARTITION p2 VALUES LESS THAN MAXVALUE

);

解讀:主分區(qū)使用RANGE按照年來進(jìn)行分區(qū),有3個RANGE分區(qū)。這3個分區(qū)中又被進(jìn)一步分成了2個子分區(qū),實(shí)際上,整個表被分成了3 * 2 = 6個分區(qū)。每個子分區(qū)按照天進(jìn)行HASH分區(qū)。小于2017的放在一起,2017-2020的放在一起,大于2020的放在一起。

注意:

(1) 在MySQL5.1中,對于已經(jīng)通過RANGE或LIST分區(qū)了的表在進(jìn)行子分區(qū)是可能的。子分區(qū)既可以使用HASH分區(qū),也可以使用KEY分區(qū)。這也被稱為復(fù)合分區(qū)。

(2) 每個分區(qū)必須有相同數(shù)量的子分區(qū)。

(3) 如果在一個分區(qū)表上的任何分區(qū)上使用SUBPARTITION來明確定義任何子分區(qū),那么就必須定義所有的子分區(qū)。

(4) 每個SUBPARTITION子句必須包含(至少)子分區(qū)的一個名字。

(5) 在每個子分區(qū)內(nèi),子分區(qū)的名字必須是惟一的,目前在整個表中,也要保持唯一。例如:

PARTITION BY RANGE(YEAR(registerTime))

SUBPARTITION BY HASH(TO_DAYS(registerTime))

(

PARTITION p0 VALUES LESS THAN (2017) (

SUBPARTITION s0,

SUBPARTITION s1

),

PARTITION p1 VALUES LESS THAN (2020) (

SUBPARTITION s2,

SUBPARTITION s3

),

PARTITION p2 VALUES LESS THAN MAXVALUE (

SUBPARTITION s4,

SUBPARTITION s5

)

)

子分區(qū)可以用于特別大的表,可以在多個磁盤間分配數(shù)據(jù)和索引。例如:

SUBPARTITION s0

DATA DIRECTORY = '/disk0/data'

INDEX DIRECTORY = '/disk0/idx'

,

,

SUBPARTITION s1

DATA DIRECTORY = '/disk1/data'

INDEX DIRECTORY = '/disk1/idx'

九、MySQL分區(qū)處理NULL值的方式

MySQL中的分區(qū)禁止空值NULL上沒有進(jìn)行處理,無論它是一個列值還是一個用戶定義表達(dá)式的值,一般而言,在這種情況下MySQL把NULL視為0。如果你希望回避這種做法,你應(yīng)該在設(shè)計(jì)表時聲明列“NOT NULL”。

十、分區(qū)管理概述

可以對分區(qū)進(jìn)行添加、刪除、重新定義、合并或拆分等管理操作。

① RANGE和LIST分區(qū)的管理

1. 刪除分區(qū)語句如:alter table tbl_test drop partition p0;

注意:

(1) 當(dāng)刪除了一個分區(qū),也同時刪除了該分區(qū)中所有的數(shù)據(jù)。

(2) 可以通過show create table tbl_test;來查看新的創(chuàng)建表的語句。

(3) 如果是LIST分區(qū)的話,刪除的數(shù)據(jù)不能新增進(jìn)來,因?yàn)檫@些行的列值包含在已經(jīng)刪除了的分區(qū)的值列表中。

2. 添加分區(qū)語句如:alter table tbl_test add partition(partition p3 values less than(50));

注意:

(1) 對于RANGE分區(qū)的表,只可以添加新的分區(qū)到分區(qū)列表的最高端。

(2) 對于LIST分區(qū)的表,不能添加已經(jīng)包含在現(xiàn)有分區(qū)值列表中的任意值。

3. 如果希望能不丟失數(shù)據(jù)的條件下重新定義分區(qū),可以使用如下語句:

ALTER TABLE tbl_name REORGANIZE PARTITION partition_list INTO(partition_definitions)

(1) 拆分分區(qū)如:

ALTER TABLE tbl_name REORGANIZE PARTITION partition_list INTO(partition s0 values less than(5),partition s1 values less than(10));

或者如:

ALTER TABLE tbl_name REORGANIZE PARTITION p0 INTO(partition s0 values in(1,2,3), partition s1 values in(4,5));

(2) 合并分區(qū)如:ALTER TABLE tbl_name REORGANIZE PARTITION s0,s1 INTO(partition p0 values in(1,2,3,4,5));

4. 刪除所有分區(qū),但保留數(shù)據(jù),形式:ALTER TABLE tbl_name remove partitioning;

② HASH和KEY分區(qū)的管理

1. 減少分區(qū)數(shù)量語句如:ALTER TABLE tbl_name COALESCE PARTITION 2;

2. 添加分區(qū)數(shù)量語句如:ALTER TABLE tbl_name add PARTITION partitions 2;

③ 其他分區(qū)管理語句

1. 重建分區(qū) :類似于先刪除保存在分區(qū)中的所有記錄,然后重新插入它們,可用于整理分區(qū)碎片。如:ALTER table tbl_name REBUILD PARTITION p2,p3;

2. 優(yōu)化分區(qū) :如果從分區(qū)中刪除了大量的行,或者對一個帶有可變長度的行(也就是說,有VARCHAR,BLOB或TEXT類型的列)做了許多修改,可以使用 ALTER TABLE tbl_name OPTIMIZE PARTITION來收回沒有使用的空間,并整理分區(qū)數(shù)據(jù)文件的碎片。如:ALTER TABLE tbl_name OPTIMIZE PARTITION p2,p3;

3. 分析分區(qū) :讀取并保存分區(qū)的鍵分布,如:ALTER TABLE tbl_name ANALYZE PARTITION p2,p3;

4. 檢查分區(qū) :檢查分區(qū)中的數(shù)據(jù)或索引是否已經(jīng)被破壞,如:ALTER TABLE tbl_name CHECK PARTITION p2,p3;

5. 修補(bǔ)分區(qū) :修補(bǔ)被破壞的分區(qū),如:ALTER TABLE tbl_name REPAIR PARTITION p2,p3;

十、查看分區(qū)信息

1. 查看分區(qū)信息:select * from information_schema.partitions where table_schema='arch1' and table_name = 'tbl_test' G;

2. 查看分區(qū)上的數(shù)據(jù):select * from tbl_test partition(p0);

3. 查看MySQL會操作的分區(qū):explain partitions select * from tbl_test where uuid = 2;

十一、 局限性

1. 最大分區(qū)數(shù)目不能超過1024,一般建議對單表的分區(qū)數(shù)不要超過50個。

2. 如果含有唯一索引或者主鍵,則分區(qū)列必須包含在所有的唯一索引或者主鍵在內(nèi)。

3. 不支持外鍵。

4. 不支持全文索引,對分區(qū)表的分區(qū)鍵創(chuàng)建索引,那么這個索引也將被分區(qū)。

5. 按日期進(jìn)行分區(qū)很合適,因?yàn)楹芏嗳掌诤瘮?shù)可以用。但是對字符串來說合適的分區(qū)函數(shù)不太多。

6. 只有RANGE和LIST分區(qū)能進(jìn)行子分區(qū),HASH和KEY分區(qū)不能進(jìn)行子分區(qū)。

7. 臨時表不能被分區(qū)。

8. 分區(qū)表對于單條記錄的查詢沒有優(yōu)勢。

9. 要注意選擇分區(qū)的成本,沒插入一行數(shù)據(jù)都需要按照表達(dá)式篩選插入的分區(qū)。

10. 分區(qū)字段盡量不要可以為null

MySQL數(shù)據(jù)庫性能優(yōu)化之分區(qū)分表分庫

分表是分散數(shù)據(jù)庫壓力的好方法。

分表,最直白的意思,就是將一個表結(jié)構(gòu)分為多個表,然后,可以再同一個庫里,也可以放到不同的庫。

當(dāng)然,首先要知道什么情況下,才需要分表。個人覺得單表記錄條數(shù)達(dá)到百萬到千萬級別時就要使用分表了。

分表的分類

**1、縱向分表**

將本來可以在同一個表的內(nèi)容,人為劃分為多個表。(所謂的本來,是指按照關(guān)系型數(shù)據(jù)庫的第三范式要求,是應(yīng)該在同一個表的。)

分表理由:根據(jù)數(shù)據(jù)的活躍度進(jìn)行分離,(因?yàn)椴煌钴S的數(shù)據(jù),處理方式是不同的)

案例:

對于一個博客系統(tǒng),文章標(biāo)題,作者,分類,創(chuàng)建時間等,是變化頻率慢,查詢次數(shù)多,而且最好有很好的實(shí)時性的數(shù)據(jù),我們把它叫做冷數(shù)據(jù)。而博客的瀏覽量,回復(fù)數(shù)等,類似的統(tǒng)計(jì)信息,或者別的變化頻率比較高的數(shù)據(jù),我們把它叫做活躍數(shù)據(jù)。所以,在進(jìn)行數(shù)據(jù)庫結(jié)構(gòu)設(shè)計(jì)的時候,就應(yīng)該考慮分表,首先是縱向分表的處理。

這樣縱向分表后:

首先存儲引擎的使用不同,冷數(shù)據(jù)使用MyIsam 可以有更好的查詢數(shù)據(jù)?;钴S數(shù)據(jù),可以使用Innodb ,可以有更好的更新速度。

其次,對冷數(shù)據(jù)進(jìn)行更多的從庫配置,因?yàn)楦嗟牟僮鲿r查詢,這樣來加快查詢速度。對熱數(shù)據(jù),可以相對有更多的主庫的橫向分表處理。

其實(shí),對于一些特殊的活躍數(shù)據(jù),也可以考慮使用memcache ,redis之類的緩存,等累計(jì)到一定量再去更新數(shù)據(jù)庫?;蛘適ongodb 一類的nosql 數(shù)據(jù)庫,這里只是舉例,就先不說這個。

**2、橫向分表**

字面意思,就可以看出來,是把大的表結(jié)構(gòu),橫向切割為同樣結(jié)構(gòu)的不同表,如,用戶信息表,user_1,user_2等。表結(jié)構(gòu)是完全一樣,但是,根據(jù)某些特定的規(guī)則來劃分的表,如根據(jù)用戶ID來取模劃分。

分表理由:根據(jù)數(shù)據(jù)量的規(guī)模來劃分,保證單表的容量不會太大,從而來保證單表的查詢等處理能力。

案例:同上面的例子,博客系統(tǒng)。當(dāng)博客的量達(dá)到很大時候,就應(yīng)該采取橫向分割來降低每個單表的壓力,來提升性能。例如博客的冷數(shù)據(jù)表,假如分為100個表,當(dāng)同時有100萬個用戶在瀏覽時,如果是單表的話,會進(jìn)行100萬次請求,而現(xiàn)在分表后,就可能是每個表進(jìn)行1萬個數(shù)據(jù)的請求(因?yàn)椋豢赡芙^對的平均,只是假設(shè)),這樣壓力就降低了很多很多。

延伸:為什么要分表和分區(qū)?

日常開發(fā)中我們經(jīng)常會遇到大表的情況,所謂的大表是指存儲了百萬級乃至千萬級條記錄的表。這樣的表過于龐大,導(dǎo)致數(shù)據(jù)庫在查詢和插入的時候耗時太長,性能低下,如果涉及聯(lián)合查詢的情況,性能會更加糟糕。分表和表分區(qū)的目的就是減少數(shù)據(jù)庫的負(fù)擔(dān),提高數(shù)據(jù)庫的效率,通常點(diǎn)來講就是提高表的增刪改查效率。

什么是分表?

分表是將一個大表按照一定的規(guī)則分解成多張具有獨(dú)立存儲空間的實(shí)體表,我們可以稱為子表,每個表都對應(yīng)三個文件,MYD數(shù)據(jù)文件,.MYI索引文件,.frm表結(jié)構(gòu)文件。這些子表可以分布在同一塊磁盤上,也可以在不同的機(jī)器上。app讀寫的時候根據(jù)事先定義好的規(guī)則得到對應(yīng)的子表名,然后去操作它。

什么是分區(qū)?

分區(qū)和分表相似,都是按照規(guī)則分解表。不同在于分表將大表分解為若干個獨(dú)立的實(shí)體表,而分區(qū)是將數(shù)據(jù)分段劃分在多個位置存放,可以是同一塊磁盤也可以在不同的機(jī)器。分區(qū)后,表面上還是一張表,但數(shù)據(jù)散列到多個位置了。app讀寫的時候操作的還是大表名字,db自動去組織分區(qū)的數(shù)據(jù)。

**MySQL分表和分區(qū)有什么聯(lián)系呢?**

1、都能提高mysql的性高,在高并發(fā)狀態(tài)下都有一個良好的表現(xiàn)。

2、分表和分區(qū)不矛盾,可以相互配合的,對于那些大訪問量,并且表數(shù)據(jù)比較多的表,我們可以采取分表和分區(qū)結(jié)合的方式(如果merge這種分表方式,不能和分區(qū)配合的話,可以用其他的分表試),訪問量不大,但是表數(shù)據(jù)很多的表,我們可以采取分區(qū)的方式等。

3、分表技術(shù)是比較麻煩的,需要手動去創(chuàng)建子表,app服務(wù)端讀寫時候需要計(jì)算子表名。采用merge好一些,但也要創(chuàng)建子表和配置子表間的union關(guān)系。

4、表分區(qū)相對于分表,操作方便,不需要創(chuàng)建子表。

我們知道對于大型的互聯(lián)網(wǎng)應(yīng)用,數(shù)據(jù)庫單表的數(shù)據(jù)量可能達(dá)到千萬甚至上億級別,同時面臨這高并發(fā)的壓力。Master-Slave結(jié)構(gòu)只能對數(shù)據(jù)庫的讀能力進(jìn)行擴(kuò)展,寫操作還是集中在Master中,Master并不能無限制的掛接Slave庫,如果需要對數(shù)據(jù)庫的吞吐能力進(jìn)行進(jìn)一步的擴(kuò)展,可以考慮采用分庫分表的策略。

**1、分表**

在分表之前,首先要選中合適的分表策略(以哪個字典為分表字段,需要將數(shù)據(jù)分為多少張表),使數(shù)據(jù)能夠均衡的分布在多張表中,并且不影響正常的查詢。在企業(yè)級應(yīng)用中,往往使用org_id(組織主鍵)做為分表字段,在互聯(lián)網(wǎng)應(yīng)用中往往是userid。在確定分表策略后,當(dāng)數(shù)據(jù)進(jìn)行存儲及查詢時,需要確定到哪張表里去查找數(shù)據(jù),

數(shù)據(jù)存放的數(shù)據(jù)表 = 分表字段的內(nèi)容 % 分表數(shù)量

**2、分庫**

分表能夠解決單表數(shù)據(jù)量過大帶來的查詢效率下降的問題,但是不能給數(shù)據(jù)庫的并發(fā)訪問帶來質(zhì)的提升,面對高并發(fā)的寫訪問,當(dāng)Master無法承擔(dān)高并發(fā)的寫入請求時,不管如何擴(kuò)展Slave服務(wù)器,都沒有意義了。我們通過對數(shù)據(jù)庫進(jìn)行拆分,來提高數(shù)據(jù)庫的寫入能力,即所謂的分庫。分庫采用對關(guān)鍵字取模的方式,對數(shù)據(jù)庫進(jìn)行路由。

數(shù)據(jù)存放的數(shù)據(jù)庫=分庫字段的內(nèi)容%數(shù)據(jù)庫的數(shù)量

**3、即分表又分庫**

數(shù)據(jù)庫分表可以解決單表海量數(shù)據(jù)的查詢性能問題,分庫可以解決單臺數(shù)據(jù)庫的并發(fā)訪問壓力問題。

當(dāng)數(shù)據(jù)庫同時面臨海量數(shù)據(jù)存儲和高并發(fā)訪問的時候,需要同時采取分表和分庫策略。一般分表分庫策略如下:

中間變量 = 關(guān)鍵字%(數(shù)據(jù)庫數(shù)量*單庫數(shù)據(jù)表數(shù)量)

庫 = 取整(中間變量/單庫數(shù)據(jù)表數(shù)量)

表 = (中間變量%單庫數(shù)據(jù)表數(shù)量)

實(shí)例:

1、分庫分表

很明顯,一個主表(也就是很重要的表,例如用戶表)無限制的增長勢必嚴(yán)重影響性能,分庫與分表是一個很不錯的解決途徑,也就是性能優(yōu)化途徑,現(xiàn)在的案例是我們有一個1000多萬條記錄的用戶表members,查詢起來非常之慢,同事的做法是將其散列到100個表中,分別從members0到members99,然后根據(jù)mid分發(fā)記錄到這些表中,牛逼的代碼大概是這樣子:

復(fù)制代碼 代碼如下:

?php

for($i=0;$i 100; $i++ ){

//echo "CREATE TABLE db2.members{$i} LIKE db1.members

";

echo "INSERT INTO members{$i} SELECT * FROM members WHERE mid%100={$i}

";

}

?

2、不停機(jī)修改mysql表結(jié)構(gòu)

同樣還是members表,前期設(shè)計(jì)的表結(jié)構(gòu)不盡合理,隨著數(shù)據(jù)庫不斷運(yùn)行,其冗余數(shù)據(jù)也是增長巨大,同事使用了下面的方法來處理:

先創(chuàng)建一個臨時表:

/*創(chuàng)建臨時表*/

CREATE TABLE members_tmp LIKE members

然后修改members_tmp的表結(jié)構(gòu)為新結(jié)構(gòu),接著使用上面那個for循環(huán)來導(dǎo)出數(shù)據(jù),因?yàn)?000萬的數(shù)據(jù)一次性導(dǎo)出是不對的,mid是主鍵,一個區(qū)間一個區(qū)間的導(dǎo),基本是一次導(dǎo)出5萬條吧,這里略去了

接著重命名將新表替換上去:

/*這是個頗為經(jīng)典的語句哈*/

RENAME TABLE members TO members_bak,members_tmp TO members;

就是這樣,基本可以做到無損失,無需停機(jī)更新表結(jié)構(gòu),但實(shí)際上RENAME期間表是被鎖死的,所以選擇在線少的時候操作是一個技巧。經(jīng)過這個操作,使得原先8G多的表,一下子變成了2G多。

當(dāng)前標(biāo)題:mysql表分區(qū)怎么設(shè)計(jì) mysql 分表 分區(qū)
本文地址:http://bm7419.com/article40/dohjdho.html

成都網(wǎng)站建設(shè)公司_創(chuàng)新互聯(lián),為您提供自適應(yīng)網(wǎng)站虛擬主機(jī)、網(wǎng)站設(shè)計(jì)公司服務(wù)器托管、企業(yè)建站、建站公司

廣告

聲明:本網(wǎng)站發(fā)布的內(nèi)容(圖片、視頻和文字)以用戶投稿、用戶轉(zhuǎn)載內(nèi)容為主,如果涉及侵權(quán)請盡快告知,我們將會在第一時間刪除。文章觀點(diǎn)不代表本網(wǎng)站立場,如需處理請聯(lián)系客服。電話:028-86922220;郵箱:631063699@qq.com。內(nèi)容未經(jīng)允許不得轉(zhuǎn)載,或轉(zhuǎn)載時需注明來源: 創(chuàng)新互聯(lián)

搜索引擎優(yōu)化