MySQL中怎么實(shí)現(xiàn)主從復(fù)制與讀寫分離

思維導(dǎo)圖

 

文章已收錄Github精選，歡迎Star：https://github.com/yehongzhi/learningSummary

前言

在很多項(xiàng)目，特別是互聯(lián)網(wǎng)項(xiàng)目，在使用MySQL時(shí)都會(huì)采用主從復(fù)制、讀寫分離的架構(gòu)。

為什么要采用主從復(fù)制讀寫分離的架構(gòu)？如何實(shí)現(xiàn)？有什么缺點(diǎn)？讓我們帶著這些問題開始這段學(xué)習(xí)之旅吧！

為什么使用主從復(fù)制、讀寫分離

主從復(fù)制、讀寫分離一般是一起使用的。目的很簡單，就是為了提高數(shù)據(jù)庫的并發(fā)性能。你想，假設(shè)是單機(jī)，讀寫都在一臺(tái)MySQL上面完成，性能肯定不高。如果有三臺(tái)MySQL，一臺(tái)mater只負(fù)責(zé)寫操作，兩臺(tái)salve只負(fù)責(zé)讀操作，性能不就能大大提高了嗎？

所以主從復(fù)制、讀寫分離就是為了數(shù)據(jù)庫能支持更大的并發(fā)。

隨著業(yè)務(wù)量的擴(kuò)展、如果是單機(jī)部署的MySQL，會(huì)導(dǎo)致I/O頻率過高。采用主從復(fù)制、讀寫分離可以提高數(shù)據(jù)庫的可用性。

主從復(fù)制的原理

①當(dāng)Master節(jié)點(diǎn)進(jìn)行insert、update、delete操作時(shí)，會(huì)按順序?qū)懭氲絙inlog中。

②salve從庫連接master主庫，Master有多少個(gè)slave就會(huì)創(chuàng)建多少個(gè)binlog dump線程。

③當(dāng)Master節(jié)點(diǎn)的binlog發(fā)生變化時(shí)，binlog dump 線程會(huì)通知所有的salve節(jié)點(diǎn)，并將相應(yīng)的binlog內(nèi)容推送給slave節(jié)點(diǎn)。

④I/O線程接收到 binlog 內(nèi)容后，將內(nèi)容寫入到本地的 relay-log。

⑤SQL線程讀取I/O線程寫入的relay-log，并且根據(jù) relay-log 的內(nèi)容對從數(shù)據(jù)庫做對應(yīng)的操作。

 

如何實(shí)現(xiàn)主從復(fù)制

我這里用三臺(tái)虛擬機(jī)(Linux)演示，IP分別是104(Master)，106(Slave)，107(Slave)。

預(yù)期的效果是一主二從，如下圖所示：

 

Master配置

使用命令行進(jìn)入mysql：

mysql -u root -p

接著輸入root用戶的密碼(密碼忘記的話就網(wǎng)上查一下重置密碼吧~)，然后創(chuàng)建用戶：

//192.168.0.106是slave從機(jī)的IP
GRANT REPLICATION SLAVE ON *.* to 'root'@'192.168.0.106' identified by 'Java@1234';
//192.168.0.107是slave從機(jī)的IP
GRANT REPLICATION SLAVE ON *.* to 'root'@'192.168.0.107' identified by 'Java@1234';
//刷新系統(tǒng)權(quán)限表的配置
FLUSH PRIVILEGES;

創(chuàng)建的這兩個(gè)用戶在配置slave從機(jī)時(shí)要用到。

接下來在找到mysql的配置文件/etc/my.cnf，增加以下配置：

# 開啟binlog
log-bin=mysql-bin
server-id=104
# 需要同步的數(shù)據(jù)庫，如果不配置則同步全部數(shù)據(jù)庫
binlog-do-db=test_db
# binlog日志保留的天數(shù)，清除超過10天的日志
# 防止日志文件過大，導(dǎo)致磁盤空間不足
expire-logs-days=10

配置完成后，重啟mysql：

service mysql restart

可以通過命令行show master status\G;查看當(dāng)前binlog日志的信息(后面有用)：

 

Slave配置

Slave配置相對簡單一點(diǎn)。從機(jī)肯定也是一臺(tái)MySQL服務(wù)器，所以和Master一樣，找到/etc/my.cnf配置文件，增加以下配置：

# 不要和其他mysql服務(wù)id重復(fù)即可
server-id=106

接著使用命令行登錄到mysql服務(wù)器：

mysql -u root -p

然后輸入密碼登錄進(jìn)去。

進(jìn)入到mysql后，再輸入以下命令：

CHANGE MASTER TO 
MASTER_HOST='192.168.0.104',//主機(jī)IP
MASTER_USER='root',//之前創(chuàng)建的用戶賬號(hào)
MASTER_PASSWORD='Java@1234',//之前創(chuàng)建的用戶密碼
MASTER_LOG_FILE='mysql-bin.000001',//master主機(jī)的binlog日志名稱
MASTER_LOG_POS=862,//binlog日志偏移量
master_port=3306;//端口

還沒完，設(shè)置完之后需要啟動(dòng)：

# 啟動(dòng)slave服務(wù)
start slave;

啟動(dòng)完之后怎么校驗(yàn)是否啟動(dòng)成功呢？使用以下命令：

show slave status\G;

可以看到如下信息（摘取部分關(guān)鍵信息）：

*************************** 1. row ***************************
               Slave_IO_State: Waiting for master to send event
                  Master_Host: 192.168.0.104
                  Master_User: root
                  Master_Port: 3306
                Connect_Retry: 60
              Master_Log_File: mysql-bin.000001
          Read_Master_Log_Pos: 619
               Relay_Log_File: mysqld-relay-bin.000001
                Relay_Log_Pos: 782
        Relay_Master_Log_File: mysql-bin.000001 //binlog日志文件名稱
             Slave_IO_Running: Yes //Slave_IO線程、SQL線程都在運(yùn)行
            Slave_SQL_Running: Yes
             Master_Server_Id: 104 //master主機(jī)的服務(wù)id
                  Master_UUID: 0ab6b3a6-e21d-11ea-aaa3-080027f8d623
             Master_Info_File: /var/lib/mysql/master.info
                    SQL_Delay: 0
          SQL_Remaining_Delay: NULL
      Slave_SQL_Running_State: Slave has read all relay log; waiting for the slave I/O thread to update it
           Master_Retry_Count: 86400
                Auto_Position: 0

另一臺(tái)slave從機(jī)配置一樣，不再贅述。

測試主從復(fù)制

在master主機(jī)執(zhí)行sql：

CREATE TABLE `tb_commodity_info` (
  `id` varchar(32) NOT NULL,
  `commodity_name` varchar(512) DEFAULT NULL COMMENT '商品名稱',
  `commodity_price` varchar(36) DEFAULT '0' COMMENT '商品價(jià)格',
  `number` int(10) DEFAULT '0' COMMENT '商品數(shù)量',
  `description` varchar(2048) DEFAULT '' COMMENT '商品描述',
  PRIMARY KEY (`id`)
) ENGINE=InnoDB DEFAULT CHARSET=utf8mb4 COMMENT='商品信息表';

接著我們可以看到兩臺(tái)slave從機(jī)同步也創(chuàng)建了商品信息表：

 

主從復(fù)制就完成了！java技術(shù)愛好者有點(diǎn)東西哦~

讀寫分離

主從復(fù)制完成后，我們還需要實(shí)現(xiàn)讀寫分離，master負(fù)責(zé)寫入數(shù)據(jù)，兩臺(tái)slave負(fù)責(zé)讀取數(shù)據(jù)。怎么實(shí)現(xiàn)呢？

實(shí)現(xiàn)的方式有很多，以前我公司是采用AOP的方式，通過方法名判斷，方法名中有g(shù)et、select、query開頭的則連接slave，其他的則連接master數(shù)據(jù)庫。

但是通過AOP的方式實(shí)現(xiàn)起來代碼有點(diǎn)繁瑣，有沒有什么現(xiàn)成的框架呢，答案是有的。

Apache ShardingSphere 是一套開源的分布式數(shù)據(jù)庫中間件解決方案組成的生態(tài)圈，它由 JDBC、Proxy兩部分組成。

ShardingSphere-JDBC定位為輕量級 Java 框架，在 Java 的 JDBC 層提供的額外服務(wù)。它使用客戶端直連數(shù)據(jù)庫，以 jar 包形式提供服務(wù)，無需額外部署和依賴，可理解為增強(qiáng)版的 JDBC 驅(qū)動(dòng)，完全兼容 JDBC 和各種 ORM 框架。

讀寫分離就可以使用ShardingSphere-JDBC實(shí)現(xiàn)。

 

下面演示一下SpringBoot+Mybatis+Mybatis-plus+druid+ShardingSphere-JDBC代碼實(shí)現(xiàn)。

項(xiàng)目配置

版本說明：

SpringBoot：2.0.1.RELEASE
druid：1.1.22
mybatis-spring-boot-starter:1.3.2
mybatis-plus-boot-starter：3.0.7
sharding-jdbc-spring-boot-starter:4.1.1

添加sharding-jdbc的maven配置：

<dependency>
    <groupId>org.apache.shardingsphere</groupId>
    <artifactId>sharding-jdbc-spring-boot-starter</artifactId>
    <version>4.1.1</version>
</dependency>

然后在application.yml添加配置：

# 這是使用druid連接池的配置，其他的連接池配置可能有所不同
spring:
  shardingsphere:
    datasource:
      names: master,slave0,slave1
      master:
        type: com.alibaba.druid.pool.DruidDataSource
        driver-class-name: com.mysql.jdbc.Driver
        url: jdbc:mysql://192.168.0.108:3306/test_db?useUnicode=true&characterEncoding=utf8&tinyInt1isBit=false&useSSL=false&serverTimezone=GMT
        username: yehongzhi
        password: YHZ@1234
      slave0:
        type: com.alibaba.druid.pool.DruidDataSource
        driver-class-name: com.mysql.jdbc.Driver
        url: jdbc:mysql://192.168.0.109:3306/test_db?useUnicode=true&characterEncoding=utf8&tinyInt1isBit=false&useSSL=false&serverTimezone=GMT
        username: yehongzhi
        password: YHZ@1234
      slave1:
        type: com.alibaba.druid.pool.DruidDataSource
        driver-class-name: com.mysql.jdbc.Driver
        url: jdbc:mysql://192.168.0.110:3306/test_db?useUnicode=true&characterEncoding=utf8&tinyInt1isBit=false&useSSL=false&serverTimezone=GMT
        username: yehongzhi
        password: YHZ@1234
    props:
      sql.show: true
    masterslave:
      load-balance-algorithm-type: round_robin
    sharding:
      master-slave-rules:
        master:
          master-data-source-name: master
          slave-data-source-names: slave0,slave1

sharding.master-slave-rules是標(biāo)明主庫和從庫，一定不要寫錯(cuò)，否則寫入數(shù)據(jù)到從庫，就會(huì)導(dǎo)致無法同步。

load-balance-algorithm-type是路由策略，round_robin表示輪詢策略。

啟動(dòng)項(xiàng)目，可以看到以下信息，代表配置成功：

 

編寫Controller接口：

 /**
     * 添加商品
     *
     * @param commodityName  商品名稱
     * @param commodityPrice 商品價(jià)格
     * @param description    商品價(jià)格
     * @param number         商品數(shù)量
     * @return boolean 是否添加成功
     * @author java技術(shù)愛好者
     */
    @PostMapping("/insert")
    public boolean insertCommodityInfo(@RequestParam(name = "commodityName") String commodityName,
                                       @RequestParam(name = "commodityPrice") String commodityPrice,
                                       @RequestParam(name = "description") String description,
                                       @RequestParam(name = "number") Integer number) throws Exception {
        return commodityInfoService.insertCommodityInfo(commodityName, commodityPrice, description, number);
    }

準(zhǔn)備就緒，開始測試！

測試

打開POSTMAN，添加商品：

 

控制臺(tái)可以看到如下信息：

 

查詢數(shù)據(jù)的話則通過slave進(jìn)行：

 

 

就是這么簡單！

缺點(diǎn)

盡管主從復(fù)制、讀寫分離能很大程度保證MySQL服務(wù)的高可用和提高整體性能，但是問題也不少：

• 從機(jī)是通過binlog日志從master同步數(shù)據(jù)的，如果在網(wǎng)絡(luò)延遲的情況，從機(jī)就會(huì)出現(xiàn)數(shù)據(jù)延遲。那么就有可能出現(xiàn)master寫入數(shù)據(jù)后，slave讀取數(shù)據(jù)不一定能馬上讀出來。

可能有人會(huì)問，有沒有事務(wù)問題呢？

實(shí)際上這個(gè)框架已經(jīng)想到了，我們看回之前的那個(gè)截圖，有一句話是這樣的：