MySQL之特定SQL下的并發(fā)性能測試講義

本文主要給大家介紹MySQL之特定SQL下的并發(fā)性能測試講義，希望可以給大家補充和更新些知識，如有其它問題需要了解的可以持續(xù)在創(chuàng)新互聯(lián)行業(yè)資訊里面關注我的更新文章的。

創(chuàng)新互聯(lián)公司是一家以重慶網(wǎng)站建設公司、網(wǎng)頁設計、品牌設計、軟件運維、seo優(yōu)化、小程序App開發(fā)等移動開發(fā)為一體互聯(lián)網(wǎng)公司。已累計為成都發(fā)電機維修等眾行業(yè)中小客戶提供優(yōu)質的互聯(lián)網(wǎng)建站和軟件開發(fā)服務。

場景描述

  • 從全文檢索或者緩存中獲取ID，根據(jù)ID查詢數(shù)據(jù)庫獲取基礎信息，進行頁面展示

  • SQL：select * from table where id in(id1,id2,id3...id40)

  • 此種場景的常規(guī)方案是將id對應的基礎信息在redis中緩存一份，mysql只是做為后端存儲。我們做如下測試就是嘗試mysql是否可應對這種查詢場景。然而根本原因是DBA告訴我，現(xiàn)在MySQL性能已經(jīng)極其厲害。
  • MySQL之特定SQL下的并發(fā)性能測試講義

數(shù)據(jù)量說明

  • 1.8億條數(shù)據(jù)
  • 使用Oneproxy分為200個數(shù)據(jù)表(200個表在同一臺機器）
  • 因為id是隨機的，查詢時oneproxy會將查詢分散到所有后端MySql

性能指標

  • 并發(fā)數(shù)
  • 每次查詢的響應時間

MySql云服務器

  • 騰訊云提供的MySQL服務

mysql的具體配置不在這里列舉，即下面的性能報告只是特定場景下的性能分析，不代表mysql的“真實”性能。本文核心是提供一種測試方法，而不是單純的提供一份數(shù)據(jù)報告 。

測試程序簡介

  • 基礎：php、swoole協(xié)程
  • 使用協(xié)程控制程序的并發(fā)數(shù)，每個協(xié)程中執(zhí)行一次查詢。當一次查詢完成，管道通知開始新的查詢。

程序代碼

mysql_test.php

<?php
ini_set('memory_limit', '1280M'); //協(xié)程會耗費較多的內存

define('MAX_MYSQLPOOL_NUM', $argv['1']); //mysql最大連接數(shù)，即并發(fā)數(shù)
define('TESTCOUNT', $argv['2']);  //一共的測試次數(shù)

$mysqlconf = [
    'host' => '127.0.0.1',
    'port' => 3307,
    'user' => 'root',
    'password' => '123456',
    'database' => '',
    'timeout' => 10
];

Swoole\Coroutine::create(function () use ($mysqlconf) {
    $stime = microtime(true); //程序開始時間

    $pool = new MysqlPool($mysqlconf); 
    $chan = new chan(MAX_MYSQLPOOL_NUM); //并發(fā)數(shù)，協(xié)程間使用channel通信

    for($i = 1; $i< TESTCOUNT + MAX_MYSQLPOOL_NUM; $i++) {
        $chan->push('x');
        Swoole\Coroutine::create(function() use($pool, $chan, $i) {
            //測試的業(yè)務邏輯開始
            $conn = $pool->get();
            if($conn) {
                $sql = "select /* parallel */ * from table where id in (".implode(',', getRandpid()).')';
                $time1 = microtime(true);
                $conn->query($sql);
                $time2 = microtime(true);

                if($i % intval(TESTCOUNT / 10) == 0) { //輸出執(zhí)行的進度
                    echo "\n finish $i / ".TESTCOUNT; 
                }
                $pool->put($conn, (($time2 - $time1) * 1000)); //每次查詢耗時就不單獨做實例，直接修改連接池類做簡單統(tǒng)計
            } else {
                echo "\n connect mysql fail，跳過SQL";
            }
            //業(yè)務邏輯結束
            $chan->pop();
        });
    }
    $etime = microtime(true);
    echo "\n ============執(zhí)行結果=============";
    echo "\n 并發(fā)數(shù)量： ".MAX_MYSQLPOOL_NUM;
    echo "\n 查詢次數(shù)： ".TESTCOUNT;
    echo "\n 執(zhí)行總耗時： ".intval($etime - $stime)."秒\n";

    echo "\n QPS (查詢次數(shù)/總耗時) :". intval((TESTCOUNT / ($etime - $stime)));
    echo "\n 每次查詢耗時平均值：".intval($pool->alltime / TESTCOUNT) ."ms";
    echo "\n ============end=============\n";
    die;
});

//數(shù)據(jù)庫連接池，https://wiki.swoole.com/wiki/page/852.html
class MysqlPool
{
    protected $pool;
    private $mysqlconf;
    public $alltime;

    public function __construct($mysqlconf)
    {
        $this->pool = new SplQueue();
        $this->mysqlconf = $mysqlconf;
        $this->alltime = 0;
    }

    public function put($mysql, $time = 0)
    {
        $this->pool->push($mysql);
        $this->alltime += $time;
    }

    public function get()
    {
        //有空閑連接
        if (count($this->pool) > 0) {
            return $this->pool->pop();
        }

        $mysql = new Swoole\Coroutine\Mysql();
        $res = $mysql->connect($this->mysqlconf);
        if ($res == false) {
            echo "\n connect error info: ".$mysql->error."\n";
            return false;
        } else {
            return $mysql;
        }
    }
}

//隨機生成的數(shù)字
function getRandpid()
{
    for ($i = 0; $i < 40; ++$i) {
        $ret[] = rand(1, 185724600);
    }
    return $ret;
}

測試1：直接連接mysql，查詢單表的性能

  • 測試代碼：修改以上代碼

    • 1：修改mysql配置為直接連接mysql，而不是oneproxy。即端口從3307改為3306

    • 2：“業(yè)務邏輯”部分中的SQL改為：

      $sql = "select * from table_10 where id in (".implode(',', getRandpid()).')';

  • 測試指令：

    php mysql_test.php 1 1000 //并發(fā)為1，查詢1000次
    php mysql_test.php 10 1000 //并發(fā)為10，查詢1000次
    php mysql_test.php 50 10000 //并發(fā)為50，查詢10000次
    ...
    php mysql_test.php 500 100000 //并發(fā)為500，查詢100000次

  • 測試結果：
    MySQL之特定SQL下的并發(fā)性能測試講義

  • 結果分析：
    根據(jù)主鍵查詢單表，mysql的性能基本可以滿足正常業(yè)務的需求

測試2

  • 說明    
    查詢oneproxy。因為查詢id是隨機的，每查一次oneproxy，對應查詢的是40個mysql的表。
    即，當oneproxy的并發(fā)數(shù)為1，mysql的對應并發(fā)數(shù)是40

  • 測試代碼：
    以上提供的代碼即為此種情況的代碼，無須修改。

  • 測試指令：

    php mysql_test.php 1 1000 //并發(fā)為1，查詢1000次
    php mysql_test.php 10 1000 //并發(fā)為10，查詢1000次
    php mysql_test.php 50 10000 //并發(fā)為50，查詢10000次
    ...
    php mysql_test.php 100 10000 //并發(fā)為100，查詢10000次

  • 測試結果：
    MySQL之特定SQL下的并發(fā)性能測試講義

  • 結果分析：
    • 1：OneProxy做為mysql的代理，對查詢性能基本0消耗。
      當oneproxy的查詢并發(fā)為5時，對應mysql的查詢并發(fā)為200。測試2的結果，并發(fā)為5，每次查詢耗時30ms。測試1，mysql并發(fā)200，每次查詢耗時29ms。可得到結論，oneproxy對性能0消耗。
    • 2：每次查詢耗時太高，很小流量的業(yè)務才能使用此方案。

測試3：后端mysql表分散到多臺機器

  • 分到兩臺，測試結果：
    MySQL之特定SQL下的并發(fā)性能測試講義

  • 分析：
    mysql分到兩臺機器。同樣并發(fā)數(shù)時，每次查詢耗時能縮短一倍。
  • 推測：
    mysql表分到更多的機器，每次查詢耗時能達到測試1的結果，可滿足正常的業(yè)務需求。

最后，關注性能的同時，也要關注系統(tǒng)的穩(wěn)定性、開發(fā)者的易用性、易維護性。

看了以上關于MySQL之特定SQL下的并發(fā)性能測試講義，希望能給大家在實際運用中帶來一定的幫助。本文由于篇幅有限，難免會有不足和需要補充的地方，如有需要更加專業(yè)的解答，可在官網(wǎng)聯(lián)系我們的24小時售前售后，隨時幫您解答問題的。

分享名稱：MySQL之特定SQL下的并發(fā)性能測試講義
分享地址：http://bm7419.com/article22/ijhicc.html

成都網(wǎng)站建設公司_創(chuàng)新互聯(lián)，為您提供網(wǎng)站營銷、網(wǎng)站策劃、關鍵詞優(yōu)化、移動網(wǎng)站建設、微信小程序、手機網(wǎng)站建設

廣告

聲明：本網(wǎng)站發(fā)布的內容（圖片、視頻和文字）以用戶投稿、用戶轉載內容為主，如果涉及侵權請盡快告知，我們將會在第一時間刪除。文章觀點不代表本網(wǎng)站立場，如需處理請聯(lián)系客服。電話：028-86922220；郵箱：631063699@qq.com。內容未經(jīng)允許不得轉載，或轉載時需注明來源： 創(chuàng)新互聯(lián)

網(wǎng)站優(yōu)化排名