如何解決Mysql大量數(shù)據(jù)導(dǎo)入遇到的問題

這篇文章主要介紹如何解決MySQL大量數(shù)據(jù)導(dǎo)入遇到的問題，文中介紹的非常詳細(xì)，具有一定的參考價(jià)值，感興趣的小伙伴們一定要看完！

10年積累的做網(wǎng)站、網(wǎng)站設(shè)計(jì)經(jīng)驗(yàn)，可以快速應(yīng)對(duì)客戶對(duì)網(wǎng)站的新想法和需求。提供各種問題對(duì)應(yīng)的解決方案。讓選擇我們的客戶得到更好、更有力的網(wǎng)絡(luò)服務(wù)。我雖然不認(rèn)識(shí)你，你也不認(rèn)識(shí)我。但先網(wǎng)站制作后付款的網(wǎng)站建設(shè)流程，更有高昌免費(fèi)網(wǎng)站建設(shè)讓你可以放心的選擇與我們合作。

在項(xiàng)目中，經(jīng)常會(huì)碰到往數(shù)據(jù)庫中導(dǎo)入大量數(shù)據(jù)，以便利用sql進(jìn)行數(shù)據(jù)分析。在導(dǎo)入數(shù)據(jù)的過程中會(huì)碰到一些需要解決的問題，這里結(jié)合導(dǎo)入一個(gè)大約4G的txt數(shù)據(jù)的實(shí)踐，把碰到的問題以及解決方法展現(xiàn)出來，一方面自己做個(gè)總結(jié)記錄，另一方面希望對(duì)那些碰到相同問題的朋友有個(gè)參考。

我導(dǎo)入的數(shù)據(jù)是百科的txt文件，文件大小有4G多，數(shù)據(jù)有6500萬余條，每條數(shù)據(jù)通過換行符分隔。每條數(shù)據(jù)包含三個(gè)字段，字段之間通過Tab分隔。將數(shù)據(jù)取出來的方法我采用的是用一個(gè)TripleData類來存放這三個(gè)字段，字段都用String，然后將多條數(shù)據(jù)存到List<TripleData>中，再將List<TripleData>存入mysql數(shù)據(jù)庫，分批將所有數(shù)據(jù)存到mysql數(shù)據(jù)庫中。

以上是一個(gè)大概的思路，下面是具體導(dǎo)入過程中碰到的問題。

1 數(shù)據(jù)庫連接的亂碼及兼容問題。

數(shù)據(jù)中如果有中文的話，一定要把鏈接數(shù)據(jù)庫的url設(shè)置編碼的參數(shù)，url設(shè)置為如下的形式。

URL="jdbc:mysql://"+IP+":"+PORT+"/"+DB_NAME+"?useSSL=false&useUnicode=true&characterEncoding=utf-8";

把編碼設(shè)置為UTF-8是解決亂碼問題，設(shè)置useSSL是解決JDBC與mysql的兼容問題。如果不設(shè)置useSSL，會(huì)報(bào)錯(cuò)。類似于

Establishing SSL connection without server's identity verification is not recommended. According to MySQL 5.5.45+, 5.6.26+ and 5.7.6+ requirements SSL connection must be established by default if explicit option isn't set. For compliance with existing applications not using SSL the verifyServerCertificate property is set to 'false'. You need either to explicitly disable SSL by setting useSSL=false, or set useSSL=true and provide truststore for server certificate verification.

這樣的錯(cuò)誤信息。主要是mysql版本比較高，JDBC版本比較低，需要兼容。

2 utf8mb4編碼問題

在導(dǎo)入數(shù)據(jù)的過程中，還會(huì)碰到類似于

SQLException :Incorrect string value: '\xF0\xA1\x8B\xBE\xE5\xA2...' for column 'name'

這樣的錯(cuò)誤信息，這是由于mysql中設(shè)置的utf-8是默認(rèn)3個(gè)字節(jié)的，對(duì)于一般的數(shù)據(jù)是沒有問題的，如果是大的數(shù)據(jù)量，里面難免會(huì)包含一些微信表情，或者特殊字符，它們占了4個(gè)字節(jié)，utf-8不能處理，所以報(bào)錯(cuò)。解決的辦法就是mysql在5.5.3以后的版本引入了4個(gè)字節(jié)的utf-8編碼，也就是utf8mb4，需要對(duì)mysql的編碼重新設(shè)置。

可以按照以下步驟進(jìn)行操作，一是對(duì)要修改的數(shù)據(jù)庫進(jìn)行備份，雖然utf8mb4是向下兼容utf8的，但為了以防操作不當(dāng)，還是需要防患于未然，做好備份工作。二是要修改數(shù)據(jù)庫的字符集編碼為utf8mb4—UTF-8 Unicode，排序規(guī)則utf8mb4_general_ci。以上修改我是使用navicat進(jìn)行修改的，如何用命令行修改，大家可以自行查找。三是要修改配置文件my.ini，在mysql安裝的根目錄下。加入以下設(shè)置。

[client]
default-character-set = utf8mb4
[mysqld]
character-set-server=utf8mb4
collation-server=utf8mb4_general_ci
[mysql]
default-character-set = utf8mb4

修改完成后，需要重新啟動(dòng)mysql，使修改生效。

然后再進(jìn)行數(shù)據(jù)的導(dǎo)入工作，應(yīng)該就可以正常導(dǎo)入了。

3 大批量導(dǎo)入的時(shí)間效率問題

由于我們的數(shù)據(jù)量比較大，我們把數(shù)據(jù)進(jìn)行了分割，我把6500萬條數(shù)據(jù)分為500個(gè)文件，每個(gè)文件大約11萬條數(shù)據(jù)，將這11萬條數(shù)據(jù)放到ArrayList<TripleObject>中，然后批量導(dǎo)入。大概的思路是采用“insert into tb (...) values(...),(...)...;”的方法，用insert一次性插入，這樣時(shí)間會(huì)節(jié)約很多時(shí)間。示例方法如下。

public static void insertSQL(String sql,List<TripleObject> tripleObjectList) throws SQLException{
    Connection conn=null;
    PreparedStatement psts=null;
    try {
      conn=DriverManager.getConnection(Common.URL, Common.DB_USERNAME, Common.DB_PASSWORD);
      conn.setAutoCommit(false); // 設(shè)置手動(dòng)提交 
      // 保存sql后綴
      StringBuffer suffix = new StringBuffer();
      int count = 0; 
      psts=conn.prepareStatement("");
      String s="";
      String p="";
      String o="";
      while (count<tripleObjectList.size()) {
        s=tripleObjectList.get(count).getSubject().replaceAll(",", ".").replaceAll("\\(", "").replaceAll("\\)", "").replaceAll("\'", "").replaceAll("\\\\", "");
        p=tripleObjectList.get(count).getPredicate().replaceAll(",", ".").replaceAll("\\(", "").replaceAll("\\)", "").replaceAll("\'", "").replaceAll("\\\\", "");
        o=tripleObjectList.get(count).getObject().replaceAll(",", ".").replaceAll("\\(", "").replaceAll("\\)", "").replaceAll("\'", "").replaceAll("\\\\", "");
        suffix.append("('" +s +"','"+p+"','"+ o+"'),");
        count++;
      }
      // 構(gòu)建完整SQL
      String allsql = sql + suffix.substring(0, suffix.length() - 1);
      // 添加執(zhí)行SQL
      psts.addBatch(allsql);
      psts.executeBatch(); // 執(zhí)行批量處理 
      conn.commit(); // 提交 
    } catch (Exception e) {
      e.printStackTrace();
    }finally{
      if(psts!=null){
        psts.close();
      }
      if(conn!=null){
        conn.close();
      }
    }
  }

這種方法的優(yōu)點(diǎn)是導(dǎo)入數(shù)據(jù)花費(fèi)的時(shí)間會(huì)很少，6500萬條數(shù)據(jù)，用了正好1個(gè)小時(shí)。缺點(diǎn)是如果數(shù)據(jù)中有一大段的句子，需要對(duì)里面的逗號(hào)，括號(hào)，反斜線等進(jìn)行處理，這里需要進(jìn)行衡量，是否使用該方法。

如果正常插入，也就是使用“insert into tb (...) values(...);insert into tb (...) values(...);……”的形式，則不用處理特殊的符號(hào)，但花費(fèi)的時(shí)間會(huì)很長(zhǎng)，我測(cè)試了一下，11萬條數(shù)據(jù)大約需要12分鐘左右，導(dǎo)入6500萬條數(shù)據(jù)大概要100個(gè)小時(shí)。

我們采用的是第一種方法，數(shù)據(jù)大概可以查看就可以，對(duì)數(shù)據(jù)要求沒有那么嚴(yán)格，節(jié)約了時(shí)間。

以上是“如何解決Mysql大量數(shù)據(jù)導(dǎo)入遇到的問題”這篇文章的所有內(nèi)容，感謝各位的閱讀！希望分享的內(nèi)容對(duì)大家有幫助，更多相關(guān)知識(shí)，歡迎關(guān)注創(chuàng)新互聯(lián)行業(yè)資訊頻道！

新聞名稱：如何解決Mysql大量數(shù)據(jù)導(dǎo)入遇到的問題
分享網(wǎng)址：http://bm7419.com/article2/goehoc.html

成都網(wǎng)站建設(shè)公司_創(chuàng)新互聯(lián)，為您提供品牌網(wǎng)站設(shè)計(jì)、外貿(mào)建站、網(wǎng)站導(dǎo)航、靜態(tài)網(wǎng)站、網(wǎng)站設(shè)計(jì)公司、品牌網(wǎng)站建設(shè)

聲明：本網(wǎng)站發(fā)布的內(nèi)容（圖片、視頻和文字）以用戶投稿、用戶轉(zhuǎn)載內(nèi)容為主，如果涉及侵權(quán)請(qǐng)盡快告知，我們將會(huì)在第一時(shí)間刪除。文章觀點(diǎn)不代表本網(wǎng)站立場(chǎng)，如需處理請(qǐng)聯(lián)系客服。電話：028-86922220；郵箱：631063699@qq.com。內(nèi)容未經(jīng)允許不得轉(zhuǎn)載，或轉(zhuǎn)載時(shí)需注明來源：創(chuàng)新互聯(lián)

猜你還喜歡下面的內(nèi)容