更新時(shí)間:2022-10-11 來源:黑馬程序員 瀏覽量:
隨著互聯(lián)網(wǎng)及移動(dòng)互聯(lián)網(wǎng)的發(fā)展,應(yīng)用系統(tǒng)的數(shù)據(jù)量也是成指數(shù)式增長,若采用單數(shù)據(jù)庫進(jìn)行數(shù)據(jù)存儲(chǔ),存在以下性能瓶頸:
1. IO瓶頸:熱點(diǎn)數(shù)據(jù)太多,數(shù)據(jù)庫緩存不足,產(chǎn)生大量磁盤IO,效率較低。 請(qǐng)求數(shù)據(jù)太多,帶寬不夠,網(wǎng)絡(luò)IO瓶頸。
2. CPU瓶頸:排序、分組、連接查詢、聚合統(tǒng)計(jì)等SQL會(huì)耗費(fèi)大量的CPU資源,請(qǐng)求數(shù)太多,CPU出現(xiàn)瓶頸。
為了解決上述問題,我們需要對(duì)數(shù)據(jù)庫進(jìn)行分庫分表處理。
分庫分表的中心思想都是將數(shù)據(jù)分散存儲(chǔ),使得單一數(shù)據(jù)庫/表的數(shù)據(jù)量變小來緩解單一數(shù)據(jù)庫的性能問題,從而達(dá)到提升數(shù)據(jù)庫性能的目的。
分庫分表的形式,主要是兩種:垂直拆分和水平拆分。而拆分的粒度,一般又分為分庫和分表,所以組成的拆分策略最終如下:
垂直分庫以表為依據(jù),根據(jù)業(yè)務(wù)將不同表拆分到不同庫中。所以拆分完的每個(gè)庫的表結(jié)構(gòu)都不一樣。每個(gè)庫的數(shù)據(jù)也不一樣。所有庫的并集是全量數(shù)據(jù)。
垂直分表以字段為依據(jù),根據(jù)字段屬性將不同字段拆分到不同表中。并且每個(gè)表的結(jié)構(gòu)都不一樣。每個(gè)表的數(shù)據(jù)也不一樣,一般通過一列(主鍵/外鍵)關(guān)聯(lián)。所有表的并集是全量數(shù)據(jù)。
(1)水平分庫
水平分庫:以字段為依據(jù),按照一定策略,將一個(gè)庫的數(shù)據(jù)拆分到多個(gè)庫中。在水平分庫中每個(gè)庫的表結(jié)構(gòu)都一樣。每個(gè)庫的數(shù)據(jù)都不一樣。所有庫的并集是全量數(shù)據(jù)。
(2)水平分表
水平分表以字段為依據(jù),按照一定策略,將一個(gè)表的數(shù)據(jù)拆分到多個(gè)表中。特點(diǎn):每個(gè)表的表結(jié)構(gòu)都一樣。每個(gè)表的數(shù)據(jù)都不一樣。所有表的并集是全量數(shù)據(jù)。
在業(yè)務(wù)系統(tǒng)中,為了緩解磁盤IO及CPU的性能瓶頸,到底是垂直拆分,還是水平拆分;具體是分庫,還是分表,都需要根據(jù)具體的業(yè)務(wù)需求具體分析。
shardingJDBC:基于AOP原理,在應(yīng)用程序中對(duì)本地執(zhí)行的SQL進(jìn)行攔截,解析、改寫、路由處理。需要自行編碼配置實(shí)現(xiàn),只支持java語言,性能較高。
MyCat:數(shù)據(jù)庫分庫分表中間件,不用調(diào)整代碼即可實(shí)現(xiàn)分庫分表,支持多種語言,性能不及前者。