如果第二次看到我的文章，歡迎文末掃碼訂閱我個人的公眾號（跨界架構(gòu)師）喲~  

站在用戶的角度思考問題，與客戶深入溝通，找到樂至網(wǎng)站設(shè)計(jì)與樂至網(wǎng)站推廣的解決方案，憑借多年的經(jīng)驗(yàn)，讓設(shè)計(jì)與互聯(lián)網(wǎng)技術(shù)結(jié)合，創(chuàng)造個性化、用戶體驗(yàn)好的作品，建站類型包括：成都網(wǎng)站建設(shè)、網(wǎng)站設(shè)計(jì)、企業(yè)官網(wǎng)、英文網(wǎng)站、手機(jī)端網(wǎng)站、網(wǎng)站推廣、空間域名、網(wǎng)頁空間、企業(yè)郵箱。業(yè)務(wù)覆蓋樂至地區(qū)。

本文長度為5389字，建議閱讀14分鐘。

堅(jiān)持原創(chuàng)，每一篇都是用心之作～

沒想到這篇文章寫了這么長，一時半會沒消化完的話，可以收藏一下先。

這是「伸縮性」章節(jié)的第四篇，先給新來的小伙伴們簡單回顧下前三篇的內(nèi)容。

做「伸縮性」最重要的就是先做好「無狀態(tài)」，如此才可以隨心所欲的進(jìn)行橫向“擴(kuò)展”，而不用擔(dān)心在多個副本之間切換會產(chǎn)生錯亂?！斗植际较到y(tǒng)關(guān)注點(diǎn)——「無狀態(tài)」詳解》聊的就是這個。

不過，就算做好了橫向擴(kuò)展，本質(zhì)上還是一個“大程序”，只是變得「可復(fù)制」了而已。

如果要消滅“大程序”，那就得“切分”，做好切分必然離不開「高內(nèi)聚低耦合」的核心思想?！斗植际较到y(tǒng)關(guān)注點(diǎn)——「高內(nèi)聚低耦合」詳解》這篇聊的就是這個。

題外話：當(dāng)你遇到單點(diǎn)單應(yīng)用支撐不住使用的時候，Z哥給你的普適性建議是：先考慮“擴(kuò)”，再考慮“切”。這個和寫代碼一樣，“增加”新功能往往比在老功能上改容易。

“擴(kuò)”的話先考慮「垂直擴(kuò)」（加硬件，錢能解決的都不是問題），再考慮「水平擴(kuò)」（無狀態(tài)改造+多節(jié)點(diǎn)部署，這是小手術(shù)）。

“切”的話一般就是「垂直切」（根據(jù)業(yè)務(wù)切分，這是大手術(shù)），偶爾會用到「水平切」（其實(shí)就是單個應(yīng)用里的分層，比如前后端分離）。

第三篇《分布式系統(tǒng)關(guān)注點(diǎn)——彈性架構(gòu)》我們聊了常見的兩種「松耦合」架構(gòu)模式，為的是讓應(yīng)用程序的「伸縮性」更上一層樓。

以上這些呢都是應(yīng)用程序?qū)用娴墓ぷ?。一般情況下，在應(yīng)用程序?qū)用孀鲎鍪中g(shù)，再配合以緩存的充分運(yùn)用，就可以支撐系統(tǒng)發(fā)展很長時間了。特別是數(shù)據(jù)量不大，只是請求量大的「CPU密集型」場景。

但是，如果所處的工作場景是一個非常成熟且具有一定規(guī)模的項(xiàng)目，越發(fā)展到后面瓶頸總是出現(xiàn)在數(shù)據(jù)庫這里。甚至?xí)霈F(xiàn)cpu長期高負(fù)荷、宕機(jī)等現(xiàn)象。

在如此場景下，就不得不對數(shù)據(jù)庫開刀了。這次Z哥就來和你聊聊做數(shù)據(jù)庫的「伸縮性」有哪些好方法。

核心訴求

面臨數(shù)據(jù)庫需要開刀的時候，整個系統(tǒng)往往已經(jīng)長成這個樣子了。

正如前面所說，這時候的瓶頸往往會體現(xiàn)在「CPU」上。

因?yàn)閷?shù)據(jù)庫來說，硬盤和內(nèi)存的擴(kuò)容相對容易，因?yàn)樗鼈兌伎梢灾苯佑谩霸黾印钡姆绞竭M(jìn)行。

CPU就不同了，一旦CPU飆高，最多檢查下索引有沒有做好，完了之后基本就只能干看著。

所以解決這個問題的思路自然就變成了：如何將一個數(shù)據(jù)庫的CPU壓力分?jǐn)偟蕉鄠€CPU上去。甚至可以做到按需隨時增加。

那這不就是和應(yīng)用程序一樣做「切分」嘛。也是分布式系統(tǒng)的「分治」思想體現(xiàn)。

既然是切分，本質(zhì)上就和應(yīng)用程序一樣，也分為「垂直切分」和「水平切分」。

垂直切分

垂直切分有時候也會被稱作「縱向切分」。

同應(yīng)用程序一樣，它是以「業(yè)務(wù)」為維度的切分方式，在不同的數(shù)據(jù)庫服務(wù)器上跑不同業(yè)務(wù)的數(shù)據(jù)庫，各司其職。

一般情況下，Z哥建議你優(yōu)先考慮「垂直切分」而不是「水平切分」，為什么呢？你可以隨意打開手頭項(xiàng)目中的SQL語句看看，我想必然存在著大量的「join」和「transaction」關(guān)鍵字，這種關(guān)聯(lián)查詢和事務(wù)操作，本質(zhì)上是一種「關(guān)系捆綁」，一旦面臨數(shù)據(jù)庫拆分之后，就沒法玩了。

此時你只有2個選擇。

1. 要么將不必要的「關(guān)系捆綁」邏輯舍棄掉，這需要在業(yè)務(wù)上作出調(diào)整，去除不必要的“批量操作”業(yè)務(wù)，或者去除不必要的強(qiáng)一致性事務(wù)。不過你也知道，肯定有一些場景是去不完的。

2. 要么將「合并」，「關(guān)聯(lián)」等邏輯上浮，體現(xiàn)到業(yè)務(wù)邏輯層甚至是應(yīng)用層的代碼中。

最終，不管怎么選擇，改動起來都是一個大工程。

為了讓這個工程盡可能的動作小一些，追求更好的性價比，需要堅(jiān)持一個原則——“避免拆分緊密關(guān)聯(lián)的表”。

因?yàn)閮蓚€表之間關(guān)聯(lián)越緊密，意味著對「join」和「transaction」的需求越多，所以堅(jiān)持這個原則可以使得相同的模塊，緊密相關(guān)的業(yè)務(wù)都落在同一個庫中，這樣它們可以繼續(xù)使用「join」和「transaction」來工作。

因此，我們應(yīng)當(dāng)優(yōu)先采用「垂直切分」的方式。

做「垂直切分」思路很簡單，一般情況下，建議是與切分后的應(yīng)用程序一一對應(yīng)就好，不用多也不用少。

實(shí)際工作中，要做好「垂直切分」主要體現(xiàn)在「業(yè)務(wù)」的熟悉度上，所以這里就不繼續(xù)展開了。

「垂直切分」的優(yōu)點(diǎn)是：

1. 高內(nèi)聚，拆分規(guī)則清晰。相比「水平切分」數(shù)據(jù)冗余度更低。

2. 與應(yīng)用程序是1:1的關(guān)系，方便維護(hù)和定位問題。一旦某個數(shù)據(jù)庫中發(fā)現(xiàn)異常數(shù)據(jù)，排查這個數(shù)據(jù)庫的關(guān)聯(lián)程序就行了。

但是這并不是一個「一勞永逸」的方案，因?yàn)闆]人能預(yù)料到未來業(yè)務(wù)會發(fā)展的怎么樣，所以最明顯的缺點(diǎn)就是：對于訪問極其頻繁或者數(shù)據(jù)量超大的表仍然存在性能瓶頸。

確實(shí)需要解決這個問題的話，就需要搬出「水平切分」了。

題外話：不到迫不得己，盡量避免進(jìn)行「水平切分」?？赐杲酉氯サ膬?nèi)容你就知道原因了。

下面Z哥就給你好好聊聊「水平切分」，這才是本文的重點(diǎn)。

水平切分

想象一下，在你做了「垂直切分」之后，還是在某個數(shù)據(jù)庫中發(fā)現(xiàn)了一張數(shù)據(jù)量超過10億條的表。

這個時候要對這個表做「水平切分」，你會怎么思考這個事情？

Z哥教給你的思路是：

1. 先找到“最高頻“的「讀」字段。

2. 再看這個字段的實(shí)際使用中有什么特點(diǎn)（批量查詢多還是單個查詢多，是否同時是其它表的關(guān)聯(lián)字段等等）。

3. 再根據(jù)這個特點(diǎn)選擇合適的切分方案。

為什么要先找到高頻的「讀」字段呢？

因?yàn)樵趯?shí)際的使用中，「讀」操作往往是遠(yuǎn)大于「寫」操作的。一般進(jìn)行「寫」之前都得通過「讀」來做先行校驗(yàn)，然而「讀」還有自己單獨(dú)的使用場景。所以針對更高頻的「讀」場景去考慮，產(chǎn)生的價值必然也更大。

比如，現(xiàn)在那張10億數(shù)據(jù)量的表是一張訂單表，結(jié)構(gòu)是這樣：

order (orderId long, createTime datetime, userId long)

下面我們先來看看有哪幾種「水平切分」的方式，完了才能明白什么樣的場景適合哪種方式。

范圍切分

這是一種「連續(xù)式」的切分方式。

比如根據(jù)時間（createTime）切分的話，我們可以按年月來分，order_201901一個庫，order_201902一個庫，以此類推。

根據(jù)順序數(shù)（orderId）切分的話，可以100000～199999一個庫，200000～299999一個庫，以此類推。

這種切分法的優(yōu)點(diǎn)是：單個表的大小可控，擴(kuò)展的時候無需數(shù)據(jù)遷移。

缺點(diǎn)也很明顯，一般來說時間越近或者序號越大的數(shù)據(jù)越“新”，因此被訪問的頻率和概率相比“老”數(shù)據(jù)更多。會導(dǎo)致壓力主要集中在新的庫中，而歷史越久的庫，越空閑。

Hash切分

與「范圍切分」正好相反，這是一種「離散式」的切分方式。

它的優(yōu)點(diǎn)就是解決了「范圍切分」的缺點(diǎn)，新數(shù)據(jù)被分散到了各個節(jié)點(diǎn)中，避免了壓力集中在少數(shù)節(jié)點(diǎn)上。

同樣，缺點(diǎn)與「范圍切分」的優(yōu)點(diǎn)相反，一旦進(jìn)行二次擴(kuò)展，必然會涉及到數(shù)據(jù)遷移。因?yàn)镠ash算法是固定的，算法一變，數(shù)據(jù)分布就變了。

大多數(shù)情況下，我們的hash算法可以通過簡單的「取?！惯\(yùn)算來進(jìn)行即可。就像下面這樣：

假如分成11個庫的話，公式就是 orderId % 。 
 %  = ，分配到db0。 %  = ，分配到db1。
....
 %  = ，分配到db0。 %  = ，分配到db1。

其實(shí)，在某些場景下，我們可以通過自定義id的生成（可以參考之前的文章，《分布式系統(tǒng)中的必備良藥 —— 全局唯一單據(jù)號生成》）來做到既可以通過hash切分來打散熱點(diǎn)數(shù)據(jù)，又可以減少依賴全局表來定位具體的數(shù)據(jù)。

比如，在orderId中加入userId的尾數(shù)，以此達(dá)到orderId和userId取模結(jié)果相等的效果。還是來舉個例子：

一個用戶的userId是200004，如果取一個4bit尾數(shù)的話，這里就是4，用0100表示。

然后，我們通過自定義id算法生成orderId的前60位，在后面補(bǔ)上0100。

于是，orderId % 10和 userId % 10的結(jié)果就是一樣的了。

當(dāng)然，除了userId之外還想加入其他的因子就不好使了。也就是，可以在不增加全局表的情況下，額外多支持1個維度。

提到了兩次全局表，那么啥是全局表呢？

全局表

這種方式就是將用作切分依據(jù)的分區(qū)Key與對應(yīng)的每一條具體數(shù)據(jù)的id保存到一個單獨(dú)的庫或者表中。例如要增加一張這樣的表：

nodeId    orderId 01        100001
 02        100002
 01        100003
 01        100004
 ...

如此一來，的確將大部分具體的數(shù)據(jù)分布在了不同服務(wù)器上，但是這張全局表會給人一種「形散神不散」的感覺。

因?yàn)檎埱髷?shù)據(jù)的時候無法直接定位需要的數(shù)據(jù)在哪臺服務(wù)器上，所以每一次操作都要先查詢一下這張全局表好知道具體的數(shù)據(jù)被存放在哪里。

這種「中心化」的模式帶來的副作用就是瓶頸和風(fēng)險轉(zhuǎn)移到了這張全局表上。但是，勝在邏輯簡單。

好了，那么這幾種切分方案怎么選擇呢？

Z哥給你的建議是，如果熱點(diǎn)數(shù)據(jù)不是特別集中的場景，建議先用「范圍切分」，否則選擇另外2種。

選擇另外兩種的時候，數(shù)據(jù)量越大越傾向選擇Hash切分。因?yàn)楹笳咴谡w的可用性和性能上都比前者好，就是實(shí)現(xiàn)成本高一些。

「水平切分」真正做到了可以“無限擴(kuò)展”，但是也存在相應(yīng)的弊端。

1）批量查詢、分頁等需要做更多的額外工作。特別是當(dāng)一個表存在多個高頻字段用于where、order by或者group by的時候。

2）拆分規(guī)則不如「垂直切分」那么明確。

所以還是多說一句“廢話”：沒有完美的方案只有合適的方案，要結(jié)合具體的場景來選擇。（歡迎你在留言區(qū)提出你有疑惑的場景，和Z哥來討論討論）

如何實(shí)施

當(dāng)你在具體實(shí)施「水平切分」的時候可以在2個層面動刀，可以是「表」層面，也可以是「庫」層面。

表

在同一個數(shù)據(jù)庫下面分表，表名order_0 ,order_1, order_2.....。

它可以解決單表數(shù)據(jù)過大，但并不能解決CPU負(fù)荷的問題。所以，當(dāng)CPU并沒多少壓力，只是由于表太大，導(dǎo)致執(zhí)行SQL操作比較慢的話，可以選擇這種方式。

庫

這個時候表名可以不變，都叫order，只是分成10個庫。那么就是db0-user  db1-user db2-user......。

我們前面大篇幅都是基于這個模式在聊，就不多說了。

表+庫

也可以既分庫又分表，比如先分10個庫，然后每個庫再分10張表。

這其實(shí)是個二級索引的思路，通過庫來進(jìn)行第一次定位，減少一定的資源消耗。

比如，先按年分庫，再按月分表。如此一來，如果需要獲取的數(shù)據(jù)只跨月但不跨年，我們就可以在單個庫內(nèi)做聚合運(yùn)算來完成，不涉及到跨庫操作。

不過，不管選擇哪種方式來進(jìn)行，你還是會或多或少面臨以下兩個問題，逃不掉的。

1. 跨庫join。

2. 全局聚合或者排序操作。

解決第一個問題最佳方式還是需要改變你的編程思維。盡量將一些邏輯、關(guān)系、約束等體現(xiàn)在應(yīng)用程序的代碼中，避免因?yàn)榉奖愣赟QL中做這些事情。

畢竟代碼是可以寫成“無狀態(tài)”的，可以隨時做擴(kuò)展，但是SQL是跟著數(shù)據(jù)走的，而數(shù)據(jù)就是“狀態(tài)”，天然不利于擴(kuò)展。

當(dāng)然了，退而求其次，你也可以冗余大量的全局表來應(yīng)對。只是如此一來，對「數(shù)據(jù)一致性」工作是個很大的考驗(yàn)，另外，對存儲資源也是很大的開銷。

第二個問題的解決方案就是需要將原本的一次聚合或者一次排序變成兩次操作。其中的遍歷多個節(jié)點(diǎn)可以以「并行」的方式進(jìn)行。

那么數(shù)據(jù)切分完之后程序如何來使用呢？這又可以分為兩種模式，「進(jìn)程內(nèi)」和「進(jìn)程外」。

「進(jìn)程內(nèi)」的話，可以在封裝好的DAL訪問框架中做，也可以在ORM框架中做，還可以在數(shù)據(jù)庫驅(qū)動中做。這個模式比較知名的解決方案如阿里的tddl。

「進(jìn)程外」的話，就是代理模式，這個模式比較知名的解決方案是mycat、cobar、atlas等等，相對多一些，因?yàn)檫@種模式對應(yīng)用程序是「低侵入」的，使用起來像“一個數(shù)據(jù)庫”。但是由于多了一道網(wǎng)絡(luò)通信，性能上會多一些損耗。

老規(guī)矩，下面再分享一些最佳實(shí)踐。

最佳實(shí)踐

首先分享兩個可以不停機(jī)做數(shù)據(jù)切分的小竅門。我們以實(shí)施hash法做水平切分的例子來看一下。

第一次做切分的時候，你可以以「主-從」的形式將新增的節(jié)點(diǎn)作為原始節(jié)點(diǎn)的副本，進(jìn)行全量實(shí)時同步。

然后在這個基礎(chǔ)上刪除不屬于它的數(shù)據(jù)。（當(dāng)然了，不刪也沒啥問題，就是多占用一些空間）

這樣就可以不用停機(jī)了。

第二，隨著時間的推移，如果后續(xù)支撐不住了，需要二次切分的話，我們可以選擇用2的倍數(shù)來擴(kuò)展。

如此一來，數(shù)據(jù)的遷移變得很簡單，只需要做局部的遷移，和第一次做切分的思路是一樣的。

當(dāng)然了，如果選擇的切分方式是「范圍切分」的話，就沒有二次切分時的困擾，數(shù)據(jù)自然跑到最新的節(jié)點(diǎn)上去了。比如我們按年月分表的話。2019年3月的數(shù)據(jù)自然就落到了xxxx_201903的表中。

到這里，Z哥還是想特別強(qiáng)調(diào)的是，能不切分盡量不要切分，可以先使用「讀寫分離」之類的方案先來應(yīng)對面臨的問題。

如果實(shí)在要進(jìn)行切分的話，務(wù)必先「垂直切分」，再考慮「水平切分」。

一般來說，以這樣的順序來考慮，性價比更好。

總結(jié)

好了，我們總結(jié)一下。

這次呢，Z哥先向你介紹了做數(shù)據(jù)庫切分的兩種思路。兩種思路通俗理解就是：「垂直拆分」等于“列”變“行”不變，「水平拆分」等于“行”變“列”不變。

然后著重聊了下「水平切分」的3種實(shí)現(xiàn)方式和具體實(shí)施的思路。

最后分享了一些實(shí)踐中的經(jīng)驗(yàn)給你。

希望對你有所啟發(fā)。

相關(guān)文章：

• 分布式系統(tǒng)關(guān)注點(diǎn)——「無狀態(tài)」詳解

• 分布式系統(tǒng)關(guān)注點(diǎn)——「高內(nèi)聚低耦合」詳解

• 分布式系統(tǒng)關(guān)注點(diǎn)——彈性架構(gòu)

• 分布式系統(tǒng)中的必備良藥 —— 全局唯一單據(jù)號生成

---

作者：Zachary

出處：https://www.cnblogs.com/Zachary-Fan/p/databasesegmentation.html

如果你喜歡這篇文章，可以點(diǎn)一下左下角的「大拇指」。

這樣可以給我一點(diǎn)反饋。: )

謝謝你的舉手之勞。

?關(guān)于作者：張帆（Zachary，個人微信號：Zachary-ZF）。堅(jiān)持用心打磨每一篇高質(zhì)量原創(chuàng)。歡迎掃描下方的二維碼~。

定期發(fā)表原創(chuàng)內(nèi)容：架構(gòu)設(shè)計(jì)丨分布式系統(tǒng)丨產(chǎn)品丨運(yùn)營丨一些思考。

如果你是初級程序員，想提升但不知道如何下手。又或者做程序員多年，陷入了一些瓶頸想拓寬一下視野。歡迎關(guān)注我的公眾號「跨界架構(gòu)師」，回復(fù)「技術(shù)」，送你一份我長期收集和整理的思維導(dǎo)圖。

如果你是運(yùn)營，面對不斷變化的市場束手無策。又或者想了解主流的運(yùn)營策略，以豐富自己的“倉庫”。歡迎關(guān)注我的公眾號「跨界架構(gòu)師」，回復(fù)「運(yùn)營」，送你一份我長期收集和整理的思維導(dǎo)圖。

 

另外有需要云服務(wù)器可以了解下創(chuàng)新互聯(lián)scvps.cn，海內(nèi)外云服務(wù)器15元起步，三天無理由+7*72小時售后在線，公司持有idc許可證，提供“云服務(wù)器、裸金屬服務(wù)器、高防服務(wù)器、香港服務(wù)器、美國服務(wù)器、虛擬主機(jī)、免備案服務(wù)器”等云主機(jī)租用服務(wù)以及企業(yè)上云的綜合解決方案，具有“安全穩(wěn)定、簡單易用、服務(wù)可用性高、性價比高”等特點(diǎn)與優(yōu)勢，專為企業(yè)上云打造定制，能夠滿足用戶豐富、多元化的應(yīng)用場景需求。

網(wǎng)頁題目：分布式系統(tǒng)「伸縮性」大招之——「水平&垂直切分」詳解-創(chuàng)新互聯(lián)
文章來源：http://aaarwkj.com/article40/dpjcho.html

成都網(wǎng)站建設(shè)公司_創(chuàng)新互聯(lián)，為您提供微信公眾號、域名注冊、動態(tài)網(wǎng)站、云服務(wù)器、外貿(mào)建站、品牌網(wǎng)站制作

廣告

聲明：本網(wǎng)站發(fā)布的內(nèi)容（圖片、視頻和文字）以用戶投稿、用戶轉(zhuǎn)載內(nèi)容為主，如果涉及侵權(quán)請盡快告知，我們將會在第一時間刪除。文章觀點(diǎn)不代表本網(wǎng)站立場，如需處理請聯(lián)系客服。電話：028-86922220；郵箱：631063699@qq.com。內(nèi)容未經(jīng)允許不得轉(zhuǎn)載，或轉(zhuǎn)載時需注明來源： 創(chuàng)新互聯(lián)