MySql分表、分庫、分片和分區知識點(diǎn)有哪些

這篇文章主要介紹了分表、分庫、分片和分區知識點(diǎn)有哪些，具有一定借鑒價(jià)值，感興趣的朋友可以參考下，希望大家閱讀完這篇文章之后大有收獲，下面讓小編帶著(zhù)大家一起了解一下。

一、前言

    數據庫的數據量達到一定程度之后，為避免帶來(lái)系統性能上的瓶頸。需要進(jìn)行數據的處理，采用的手段是分區、分片、分庫、分表。

二、分片（類(lèi)似分庫）

     分片是把數據庫橫向擴展（Scale Out）到多個(gè)物理節點(diǎn)上的一種有效的方式，其主要目的是為突破單節點(diǎn)數據庫的 I/O 能力限制，解決數據庫擴展性問(wèn)題。Shard這個(gè)詞的意思是“碎片”。如果將一個(gè)數據庫當作一塊大玻璃，將這塊玻璃打碎，那么每一小塊都稱(chēng)為數據庫的碎片（DatabaseShard）。將整個(gè)數據庫打碎的過(guò)程就叫做分片，可以翻譯為分片。

     形式上，分片可以簡(jiǎn)單定義為將大數據庫分布到多個(gè)物理節點(diǎn)上的一個(gè)分區方案。每一個(gè)分區包含數據庫的某一部分，稱(chēng)為一個(gè)片，分區方式可以是任意的，并不局限于傳統的水平分區和垂直分區。一個(gè)分片可以包含多個(gè)表的內容甚至可以包含多個(gè)數據庫實(shí)例中的內容。每個(gè)分片被放置在一個(gè)數據庫服務(wù)器上。一個(gè)數據庫服務(wù)器可以處理一個(gè)或多個(gè)分片的數據。系統中需要有服務(wù)器進(jìn)行查詢(xún)路由轉發(fā)，負責將查詢(xún)轉發(fā)到包含該查詢(xún)所訪(fǎng)問(wèn)數據的分片或分片集合節點(diǎn)上去執行。

三、Scale Out/Scale Up 和 垂直切分/水平拆分

Mysql的擴展方案包括Scale Out和Scale Up兩種。

Scale Out（橫向擴展）是指Application可以在水平方向上擴展。一般對數據中心的應用而言，Scale out指的是當添加更多的機器時(shí)，應用仍然可以很好的利用這些機器的資源來(lái)提升自己的效率從而達到很好的擴展性。

Scale Up（縱向擴展）是指Application可以在垂直方向上擴展。一般對單臺機器而言，Scale Up值得是當某個(gè)計算節點(diǎn)（機器）添加更多的CPU Cores，存儲設備，使用更大的內存時(shí)，應用可以很充分的利用這些資源來(lái)提升自己的效率從而達到很好的擴展性。

MySql的Sharding策略包括垂直切分和水平切分兩種。

垂直(縱向)拆分：是指按功能模塊拆分，以解決表與表之間的io競爭。比如分為訂單庫、商品庫、用戶(hù)庫...這種方式多個(gè)數據庫之間的表結構不同。

水平(橫向)拆分：將同一個(gè)表的數據進(jìn)行分塊保存到不同的數據庫中，來(lái)解決單表中數據量增長(cháng)出現的壓力。這些數據庫中的表結構完全相同。

表結構設計垂直切分。常見(jiàn)的一些場(chǎng)景包括

a).大字段的垂直切分。單獨將大字段建在另外的表中，提高基礎表的訪(fǎng)問(wèn)性能，原則上在性能關(guān)鍵的應用中應當避免數據庫的大字段

b). 按照使用用途垂直切分。例如企業(yè)物料屬性，可以按照基本屬性、銷(xiāo)售屬性、采購屬性、生產(chǎn)制造屬性、財務(wù)會(huì )計屬性等用途垂直切分

c). 按照訪(fǎng)問(wèn)頻率垂直切分。例如電子商務(wù)、Web 2.0系統中，如果用戶(hù)屬性設置非常多，可以將基本、使用頻繁的屬性和不常用的屬性垂直切分開(kāi)

表結構設計水平切分。常見(jiàn)的一些場(chǎng)景包括

a). 比如在線(xiàn)電子商務(wù)網(wǎng)站，訂單表數據量過(guò)大，按照年度、月度水平切分

b). Web 2.0網(wǎng)站注冊用戶(hù)、在線(xiàn)活躍用戶(hù)過(guò)多，按照用戶(hù)ID范圍等方式，將相關(guān)用戶(hù)以及該用戶(hù)緊密關(guān)聯(lián)的表做水平切分

c). 例如論壇的置頂帖子，因為涉及到分頁(yè)問(wèn)題，每頁(yè)都需要顯示置頂貼，這種情況可以把置頂貼水平切分開(kāi)來(lái)，避免取置頂帖子時(shí)從所有帖子的表中讀取

四、分表和分區

分表從表面意思說(shuō)就是把一張表分成多個(gè)小表，分區則是把一張表的數據分成N多個(gè)區塊，這些區塊可以在同一個(gè)磁盤(pán)上，也可以在不同的磁盤(pán)上。

分表和分區的區別

1，實(shí)現方式上

mysql的分表是真正的分表，一張表分成很多表后，每一個(gè)小表都是完正的一張表，都對應三個(gè)文件（MyISAM引擎：一個(gè).MYD數據文件，.MYI索引文件，.frm表結構文件）。

2，數據處理上

分表后數據都是存放在分表里，總表只是一個(gè)外殼，存取數據發(fā)生在一個(gè)一個(gè)的分表里面。分區則不存在分表的概念，分區只不過(guò)把存放數據的文件分成了許多小塊，分區后的表還是一張表，數據處理還是由自己來(lái)完成。

3，提高性能上

分表后，單表的并發(fā)能力提高了，磁盤(pán)I/O性能也提高了。分區突破了磁盤(pán)I/O瓶頸，想提高磁盤(pán)的讀寫(xiě)能力，來(lái)增加mysql性能。

在這一點(diǎn)上，分區和分表的測重點(diǎn)不同，分表重點(diǎn)是存取數據時(shí)，如何提高mysql并發(fā)能力上；而分區呢，如何突破磁盤(pán)的讀寫(xiě)能力，從而達到提高mysql性能的目的。

4，實(shí)現的難易度上

分表的方法有很多，用merge來(lái)分表，是最簡(jiǎn)單的一種方式。這種方式和分區難易度差不多，并且對程序代碼來(lái)說(shuō)可以做到透明的。如果是用其他分表方式就比分區麻煩了。分區實(shí)現是比較簡(jiǎn)單的，建立分區表，跟建平常的表沒(méi)什么區別，并且對代碼端來(lái)說(shuō)是透明的。

分區的適用場(chǎng)景

1. 一張表的查詢(xún)速度已經(jīng)慢到影響使用的時(shí)候。

2.表中的數據是分段的

3.對數據的操作往往只涉及一部分數據，而不是所有的數據

CREATE TABLE sales (
    id INT AUTO_INCREMENT,
    amount DOUBLE NOT NULL,
    order_day DATETIME NOT NULL,
    PRIMARY KEY(id, order_day)
) ENGINE=Innodb
PARTITION BY RANGE(YEAR(order_day)) (
    PARTITION p_2010 VALUES LESS THAN (2010),
    PARTITION p_2011 VALUES LESS THAN (2011),
    PARTITION p_2012 VALUES LESS THAN (2012),
PARTITION p_catchall VALUES LESS THAN MAXVALUE);

分表的適用場(chǎng)景

1. 一張表的查詢(xún)速度已經(jīng)慢到影響使用的時(shí)候。

2.當頻繁插入或者聯(lián)合查詢(xún)時(shí)，速度變慢。

分表的實(shí)現需要業(yè)務(wù)結合實(shí)現和遷移，較為復雜。

五、分表與分庫

分表能夠解決單表數據量過(guò)大帶來(lái)的查詢(xún)效率下降的問(wèn)題，但是，卻無(wú)法給數據庫的并發(fā)處理能力帶來(lái)質(zhì)的提升。面對高并發(fā)的讀寫(xiě)訪(fǎng)問(wèn)，當數據庫master服務(wù)器無(wú)法承載寫(xiě)操作壓力時(shí)，不管如何擴展slave服務(wù)器，此時(shí)都沒(méi)有意義了。因此，我們必須換一種思路，對數據庫進(jìn)行拆分，從而提高數據庫寫(xiě)入能力，這就是所謂的分庫。

與分表策略相似，分庫可以采用通過(guò)一個(gè)關(guān)鍵字取模的方式，來(lái)對數據訪(fǎng)問(wèn)進(jìn)行路由，如下圖所示

六、分區與分片區別