如何高效的在Mysql百萬(wàn)級數據量級下遷移到Redis

如何高效的在百萬(wàn)級數據量級下遷移到，相信很多沒(méi)有經(jīng)驗的人對此束手無(wú)策，為此本文總結了問(wèn)題出現的原因和解決方法，通過(guò)這篇文章希望你能解決這個(gè)問(wèn)題。

redis協(xié)議學(xué)習

協(xié)議的格式為：

*<參數數量>  \r\n
$<參數 1 的字節數量>  \r\n
<參數 1 的數據> \r\n
...
$<參數 N 的字節數量> \r\n
<參數 N 的數據> \r\n

比如：插入一條hash類(lèi)型的數據。

HSET id book1 book_description1

根據Redis協(xié)議，總共有4個(gè)部分，所以開(kāi)頭為*4，其余內容解釋如下：

內容長(cháng)度協(xié)議命令HSET4$4id2$2book15$5book_description117$17

注意一下：HSET命令本身也作為協(xié)議的其中一個(gè)參數來(lái)發(fā)送。

構造出來(lái)的協(xié)議數據結構：

*4\r\n$4\r\nHSET\r\n$2\r\nid\r\n$5\r\nbook1\r\n$17\r\nbook_description1\r\n

格式化一下：

*4\r\n
$4\r\n
HSET\r\n
$2\r\n
idvvvv\r\n
$5\r\n
book1\r\n
$17\r\n
book_description1\r\n

RESP協(xié)議 bulk

Redis客戶(hù)機使用一種稱(chēng)為RESP (Redis序列化協(xié)議)的協(xié)議與Redis通信。

redis-cli pipe模式需要和nc命令一樣快，并且解決了nc命令不知道何時(shí)命令結束的問(wèn)題。

在發(fā)送數據的同時(shí)，它同樣會(huì )去讀取響應，嘗試去解析。

一旦輸入流中沒(méi)有讀取到更多的數據之后，它就會(huì )發(fā)送一個(gè)特殊的20比特的echo命令，標識最后一個(gè)命令已經(jīng)發(fā)送完畢如果在響應結果中匹配到這個(gè)相同數據后，說(shuō)明本次批量發(fā)送是成功的。

使用這個(gè)技巧，我們不需要解析發(fā)送給服務(wù)器的協(xié)議來(lái)了解我們發(fā)送了多少命令，只需要解析應答即可。

在解析應答時(shí)，redis會(huì )對解析的應答進(jìn)行一個(gè)計數，在最后能夠告訴用戶(hù)大量插入會(huì )話(huà)向服務(wù)器傳輸的命令的數量。也就是上面我們使用pipe模式實(shí)際操作的響應結果。

將輸入數據源換成mysql

上面的例子中，我們以一個(gè)txt文本為輸入數據源，使用了pipe模式導入數據。

基于上述協(xié)議的學(xué)習和理解，我們只需要將mysql中的數據按照既定的協(xié)議通過(guò)pipe模式導入Redis即可。

實(shí)際案例--從Mysql導入百萬(wàn)級數據到Redis

首先造數據

由于環(huán)境限制，所以這里沒(méi)有用真實(shí)數據來(lái)實(shí)現導入，那么我們就先使用一個(gè)存儲過(guò)程來(lái)造一百萬(wàn)條數據把。使用存儲過(guò)程如下：

DELIMITER $$
USE `cb_mon`$$

DROP PROCEDURE IF EXISTS `test_insert`$$
CREATE DEFINER=`root`@`%` PROCEDURE `test_insert`()
BEGIN

        DECLARE i INT DEFAULT 1;
        WHILE i<= 1000000
            DO
            INSERT INTO t_book(id,number,NAME,descrition)
            VALUES (i, CONCAT("00000",i) , CONCAT('book',i)
            , CONCAT('book_description',i));    
            SET i=i+1;
        END WHILE ;
        COMMIT;
    END$$

DELIMITER ;

調用存儲過(guò)程：

CALL test_insert();

查看表數據：

按協(xié)議構造查詢(xún)語(yǔ)句

按照上述redis協(xié)議，我們使用如下sql來(lái)構造協(xié)議數據

SELECT
  CONCAT(
    "*4\r\n",
    "$",
    LENGTH(redis_cmd),
    "\r\n",
    redis_cmd,
    "\r\n",
    "$",
    LENGTH(redis_key),
    "\r\n",
    redis_key,
    "\r\n",
    "$",
    LENGTH(hkey),
    "\r\n",
    hkey,
    "\r\n",
    "$",
    LENGTH(hval),
    "\r\n",
    hval,
    "\r"
  )
FROM
  (SELECT
    "HSET" AS redis_cmd,
    id AS redis_key,
    NAME AS hkey,
    descrition AS hval
  FROM
    cb_mon.t_book
  ) AS t limit 1000000 

并將內容保存至redis.sql 文件中。

編寫(xiě)腳本使用pipe模式導入redis

編寫(xiě)shell腳本。由于我在主機上是通過(guò)docker安裝的redis和mysql，以下腳本供參考：

#!/bin/bash
starttime=`date +'%Y-%m-%d %H:%M:%S'`

docker exec -i 899fe01d4dbc mysql --default-character-set=utf8   

--skip-column-names --raw < ./redis.sql
| docker exec -i 4c90ef506acd redis-cli --pipe

endtime=`date +'%Y-%m-%d %H:%M:%S'`
start_seconds=$(date --date="$starttime" +%s);
end_seconds=$(date --date="$endtime" +%s);

echo "腳本執行耗時(shí)： "$((end_seconds-start_seconds))"s"

執行截圖：

可以看到百萬(wàn)級的數據導入redis，只花費了7秒，效率非常高。

注意事項

如果mysql表特別大，可以考慮分批導入，或者將表拆分，否則在導入過(guò)程中可能會(huì )發(fā)生

lost connection to mysql server during query

由于max_allowed_packed和超時(shí)時(shí)間限制，查詢(xún)數據的過(guò)程中，可能會(huì )造成連接斷開(kāi)，所以在數據表的數據量特別大的時(shí)候，需要分頁(yè)或者將表拆分導入。

小結

1. redis單線(xiàn)程執行命令，避免了線(xiàn)程切換所消耗的時(shí)間，但是在超大數據量級下，其發(fā)送、響應接收的時(shí)延不可忽視。

2. 網(wǎng)絡(luò )nc命令的應用場(chǎng)景，及在數據導入時(shí)存在的缺點(diǎn)。

3. redis RESP協(xié)議的理解和應用。

4. 百萬(wàn)量級Mysql數據的Redis快速導入案例。