MySQL中ICP的特性是什么

中ICP的特性是什么，相信很多沒(méi)有經(jīng)驗的人對此束手無(wú)策，為此本文總結了問(wèn)題出現的原因和解決方法，通過(guò)這篇文章希望你能解決這個(gè)問(wèn)題。

一、ICP簡(jiǎn)述

ICP：全稱(chēng)為Index Condition Pushdown，是MySQL 5.6引入的一項優(yōu)化策略。簡(jiǎn)單的來(lái)說(shuō)就是將本該在MySQL進(jìn)行過(guò)濾的條件下推到Innodb引擎層去做。但是這種策略和我們平時(shí)說(shuō)的使用到了索引實(shí)際上是不同的，我們平時(shí)說(shuō)的用到了索引一般指的是使用到了索引進(jìn)行定位和訪(fǎng)問(wèn)，但是這里卻是一種過(guò)濾操作。嚴格意義上來(lái)講和MySQL層的過(guò)濾區別并不大，但是由于這里過(guò)濾發(fā)生在Innodb層，并且還沒(méi)有進(jìn)行回表和加行鎖操作（for update），因此優(yōu)點(diǎn)有如下幾點(diǎn)：

• 減少了回表操作

• 減少了回表后主鍵加鎖（for update），但是對于查詢(xún)索引而言加鎖沒(méi)有變化。

• 減少了返回給MySQL層數據的數據

如果在執行計劃中出現了Using index condition則說(shuō)明進(jìn)行了下推操作，如果想禁用ICP特性則簡(jiǎn)單設置一下即可，如下：

set optimizer_switch='index_condition_pushdown=off';

下推過(guò)濾的操作是需要下推的條件和進(jìn)行Innodb層定位的條件同時(shí)包含在同一個(gè)組合索引才能完成，舉個(gè)列子比如索引包含（a ，b，c）三列，如果是（where a=* and c like ‘%%’），那么下推才能完成。

當然還有很多其它的限制這里不列出來(lái)了，可以自己參考一下官方手冊：

• 8.2.1.5 Index Condition Pushdown Optimization

二、WHERE條件解析

為了方便討論，我們使用下面的列子：

mysql>  show create table bgicp \G
*************************** 1. row ***************************
       Table: bgicp
Create Table: CREATE TABLE `bgicp` (
  `id` int(11) NOT NULL,
  `a1` int(11) DEFAULT NULL,
  `a2` varchar(20) DEFAULT NULL,
  `a3` varchar(20) DEFAULT NULL,
  PRIMARY KEY (`id`),
  KEY `a1` (`a1`,`a2`)
) ENGINE=InnoDB DEFAULT CHARSET=utf8
mysql> select * from bgicp;
+----+------+------+------+
| id | a1   | a2   | a3   |
+----+------+------+------+
|  1 |    1 | g1   | g1   |
|  2 |    2 | g2   | g2   |
|  3 |    2 | g3   | g3   |
|  4 |    4 | g4   | g4   |
|  5 |    5 | g5   | g5   |
|  6 |    6 | g6   | g6   |
|  7 |    6 | g7   | g7   |
|  8 |    6 | g7   | g8   |
|  9 |    9 | g9   | g9   |
| 10 |   10 | g10  | g10  |
+----+------+------+------+
mysql> desc select * from bgicp where a1=6 and a2 like '%7';
+----+-------------+-------+------------+------+---------------+------+---------+-------+------+----------+-----------------------+
| id | select_type | table | partitions | type | possible_keys | key  | key_len | ref   | rows | filtered | Extra                 |
+----+-------------+-------+------------+------+---------------+------+---------+-------+------+----------+-----------------------+
|  1 | SIMPLE      | bgicp | NULL       | ref  | a1            | a1   | 5       | const |    3 |    11.11 | Using index condition |
+----+-------------+-------+------------+------+---------------+------+---------+-------+------+----------+-----------------------+

這里的where條件會(huì )存儲在st_select_lex.m_where_cond 中。下圖就是這種關(guān)系：

以下部分為證明，可以不用關(guān)注：

這里實(shí)際上我們可以通過(guò)gdb進(jìn)行一下驗證，斷點(diǎn)可以放到st_select_lex::prepare上，如下：

and符號：

(gdb) p ((Item_cond *)m_where_cond)->functype()
$43 = Item_func::COND_AND_FUNC
(gdb) p ((Item_cond_and *)m_where_cond)->list->elements
$64 = 2 
（這是AND中的元素個(gè)數，這里是2，如上圖）

=符號：

(gdb) p ((Item_cond_and *)m_where_cond)->list->first->info
$47 = (void *) 0x7ffe7c007690
(gdb) p ((Item_cond*)((void *) 0x7ffe7c007690))->functype()
$48 = Item_func::EQ_FUNC

a = 6 條件：

(gdb) p ((Item_func_eq*)((void *) 0x7ffe7c007690))->args[1]
$49 = (Item *) 0x7ffe7c006888
(gdb) p ((Item_int *)$49)->value
$50 = 6 （這是值6）
(gdb)  p ((Item_func_eq*)((void *) 0x7ffe7c007690))->args[0]
$59 = (Item *) 0x7ffe7c007570
(gdb) p ((Item_field *)$59)->field_name
$60 = 0x7ffe7c0067c0 "a1"
（這是字段a1）

like符號：

(gdb)  p ((Item_cond_and *)m_where_cond)->list->first->next->info
$51 = (void *) 0x7ffe7c006b60
(gdb)  p ((Item_cond*)((void *) 0x7ffe7c006b60))->functype()
$52 = Item_func::LIKE_FUNC

a2 like ‘%7’ 條件：

(gdb) p ((Item_func_like *)((void *) 0x7ffe7c006b60 ))->args[1]
$54 = (Item *) 0x7ffe7c006aa8
(gdb)  p ((Item_string *)$54)->str_value
$55 = {m_ptr = 0x7ffe7c006aa0 "%7", m_length = 2, m_charset = 0x2e3bcc0, m_alloced_length = 0, m_is_alloced = false} 
（這是值 %7）
(gdb) p ((Item_func_like *)((void *) 0x7ffe7c006b60 ))->args[0]
$57 = (Item_field *) 0x7ffe7c007830
(gdb) p ((Item_field *)$56)->field_name
$58 = 0x7ffe7c0069e0 "a2" 
（這是字段a2）

通過(guò)這種方法我們也可以查看下推的具體條件是什么，下面我們來(lái)看看

三、ICP條件下推

實(shí)際上整個(gè)下推完成后如下圖，也會(huì )是（a2 like ‘%7’）這個(gè)條件進(jìn)行了下推：

以下是下推的證明，可以不用關(guān)注：

條件下推的時(shí)候會(huì )調用ha_innobase::idx_cond_push函數進(jìn)行下推，我們來(lái)看看上面的語(yǔ)句具體下推了什么條件到Innodb層。我們還是通過(guò)上面debug方式來(lái)進(jìn)行，斷點(diǎn)可以設置在ha_innobase::idx_cond_push上。具體的查看方式如下：

(gdb) p ((Item_cond *)pushed_idx_cond)->functype()
$67 = Item_func::LIKE_FUNC
(這是like 操作)
(gdb) p ((Item_func_like *)((void *) $66 ))->args[1]
$68 = (Item *) 0x7ffe7c006aa8
(gdb) p ((Item_string *)$68)->str_value
$69 = {m_ptr = 0x7ffe7c006aa0 "%7", m_length = 2, m_charset = 0x2e3bcc0, m_alloced_length = 0, m_is_alloced = false}
（這是字符串'%7'）
(gdb) p ((Item_func_like *)((void *) $66 ))->args[0]
$70 = (Item *) 0x7ffe7c007830
(gdb) p ((Item_field *)$70)->field_name
$71 = 0x7ffe7c99618f "a2"
（這是字段a2）

四、ICP條件下推的使用

如上圖，一旦（a2 like ‘%7’）條件下推過(guò)后，Innodb層就可以使用它了，使用流程大概如下：

• Innodb掃描一條數據（Innodb層）：本例中就是根據條件“a1=6” 獲取一行數據。

• 對索引記錄加行鎖（Innodb層）：比如for update語(yǔ)句是需要加行鎖的。

• 根據下推條件進(jìn)行數據過(guò)濾（Innodb層）：本例中就是根據條件“a2 like ‘%7’” 進(jìn)行數據的過(guò)濾。

• 進(jìn)行回表操作，并且對回表后的主鍵記錄加行鎖（Innodb層）：比如for update 語(yǔ)句是需要回表后對主鍵加行鎖的。

• 返回數據給MySQL層，并且進(jìn)行過(guò)濾（MySQL層）：這里也就是進(jìn)行其他條件的where過(guò)濾了，如果不符合條件還會(huì )進(jìn)行提前解鎖這行記錄（RR，RC都可以），參考末尾棧幀1。

上面就是ICP使用的過(guò)程了，我們可以發(fā)現對于這種流程來(lái)講，我們最開(kāi)始總結的優(yōu)點(diǎn)都體現出來(lái)了，它確實(shí)有機會(huì )提高查詢(xún)效率。

五、其他的下推時(shí)機

實(shí)際上下推操作并非總是如例子中所描述的那樣，其實(shí)總結一下

以下是源碼調用部分，可以不用關(guān)注：

這個(gè)過(guò)程會(huì )通過(guò)row_search_mvcc->row_search_idx_cond_check->innobase_index_cond完成，如果我們沒(méi)有開(kāi)啟ICP或者沒(méi)有ICP下推的條件那么會(huì )直接不做判斷，即row_search_idx_cond_check函數會(huì )直接返回。

對于函數innobase_index_cond而言也比較簡(jiǎn)單，但是他會(huì )先做一個(gè)對type=range方式的結束位置的判斷如下：

其他

棧幀1：

#0  lock_rec_unlock (trx=0x7fffd7803b10, block=0x7fff44598370, rec=0x7fff44fd40fc "\200", lock_mode=LOCK_X)
    at /mysqldata/percona-server-locks-detail-5.7.22/storage/innobase/lock/lock0lock.cc:4365
#1  0x0000000001bbb70a in row_unlock_for_mysql (prebuilt=0x7ffe70af2ec0, has_latches_on_recs=0)
    at /mysqldata/percona-server-locks-detail-5.7.22/storage/innobase/row/row0mysql.cc:3278
#2  0x0000000001a52954 in ha_innobase::unlock_row (this=0x7ffe70af20f0) at /mysqldata/percona-server-locks-detail-5.7.22/storage/innobase/handler/ha_innodb.cc:9237
#3  0x00000000014e3379 in rr_unlock_row (tab=0x7ffe70b02460) at /mysqldata/percona-server-locks-detail-5.7.22/sql/records.cc:821
#4  0x0000000001582226 in evaluate_join_record (join=0x7ffe70afe778, qep_tab=0x7ffe70b02460) at /mysqldata/percona-server-locks-detail-5.7.22/sql/sql_executor.cc:1705
#5  0x0000000001581372 in sub_select (join=0x7ffe70afe778, qep_tab=0x7ffe70b02460, end_of_records=false)