




版權(quán)說明:本文檔由用戶提供并上傳,收益歸屬內(nèi)容提供方,若內(nèi)容存在侵權(quán),請(qǐng)進(jìn)行舉報(bào)或認(rèn)領(lǐng)
文檔簡(jiǎn)介
1、 分布式數(shù)據(jù)庫(kù)在商業(yè)銀行設(shè)計(jì)與實(shí)踐相關(guān)的20個(gè)問題 前不久我們邀請(qǐng)行業(yè)專家分享了分布式數(shù)據(jù)庫(kù) TiDB 在商業(yè)銀行的設(shè)計(jì)與實(shí)踐(點(diǎn)擊標(biāo)題可閱讀),并與會(huì)員共同探討了在商業(yè)銀行中,分布式數(shù)據(jù)庫(kù)應(yīng)用的相關(guān)問題,獲得了廣泛關(guān)注,以下是嘉賓wanglaye根據(jù)活動(dòng)交流內(nèi)容總結(jié)出的重點(diǎn)問題和典型問題,有助于大家對(duì)分布式數(shù)據(jù)庫(kù)在商業(yè)銀行的應(yīng)用進(jìn)一步了解,以及弄清相關(guān)疑問、難點(diǎn)。供大家參考。背景大數(shù)據(jù)時(shí)代,為應(yīng)對(duì)海量數(shù)據(jù)的井噴式增長(zhǎng)和用戶需求的不斷增加,分布式數(shù)據(jù)庫(kù)應(yīng)運(yùn)而生。分布式數(shù)據(jù)庫(kù)將位于不同地點(diǎn)的多個(gè)服務(wù)器通過網(wǎng)絡(luò)互相連接,共同組成一個(gè)完整的、全局的大型數(shù)據(jù)庫(kù),它在邏輯上集中、物理上分布。在數(shù)據(jù)存儲(chǔ)上
2、,分布式數(shù)據(jù)庫(kù)將數(shù)據(jù)打散存儲(chǔ)在不同服務(wù)器上,故而將數(shù)據(jù)庫(kù)壓力分散到不同服務(wù)器上。分布式數(shù)據(jù)庫(kù)具有以下顯著特點(diǎn):高可擴(kuò)展性、高并發(fā)性、高可用性。分布式數(shù)據(jù)庫(kù)在互聯(lián)網(wǎng)應(yīng)用場(chǎng)景下已經(jīng)積累了很多成熟的技術(shù),但相比互聯(lián)網(wǎng)企業(yè),金融行業(yè)對(duì)分布式數(shù)據(jù)庫(kù)的要求更高,除了上文提到的高可擴(kuò)展性、高并發(fā)性、高可用性之外,分布式數(shù)據(jù)庫(kù)還需要具備支持分布式事務(wù)、提供業(yè)務(wù)數(shù)據(jù)一致性、易于維護(hù)等特性,因此,金融行業(yè)需要更加完備的技術(shù)支持。面對(duì)互聯(lián)網(wǎng)業(yè)務(wù)的不斷深化以及業(yè)務(wù)量的爆發(fā)式增長(zhǎng),傳統(tǒng)數(shù)據(jù)庫(kù)存儲(chǔ)能力有限、響應(yīng)時(shí)間長(zhǎng)、服務(wù)器壓力大、擴(kuò)容成本高等問題逐漸凸顯。面對(duì)交易復(fù)雜度及交易量的大幅提升,某行信息系統(tǒng)采用的傳統(tǒng)數(shù)據(jù)庫(kù)一
3、體化解決方案,在應(yīng)對(duì)此類場(chǎng)景時(shí)遇到了明顯的性能瓶頸。該行計(jì)劃搭建基于實(shí)時(shí)交易的分布式數(shù)據(jù)庫(kù)平臺(tái),響應(yīng)國(guó)家科技金融戰(zhàn)略,開辟數(shù)據(jù)庫(kù)創(chuàng)新的新路徑;對(duì)IT系統(tǒng)而言,使用分布式數(shù)據(jù)庫(kù)可以提高性能、縮減成本、保障數(shù)據(jù)安全與高可用;對(duì)運(yùn)維人員而言,分布式數(shù)據(jù)庫(kù)可以實(shí)現(xiàn)自動(dòng)資源調(diào)度,提高運(yùn)維效率。詳情可見:分布式數(shù)據(jù)庫(kù) TiDB 在商業(yè)銀行的設(shè)計(jì)與實(shí)踐本次交流活動(dòng)針對(duì)分布式數(shù)據(jù)庫(kù)在商業(yè)銀行領(lǐng)域的設(shè)計(jì)與實(shí)踐,基于上述實(shí)踐分享,就分布式數(shù)據(jù)庫(kù)的特點(diǎn)、應(yīng)用場(chǎng)景、選型、性能、設(shè)計(jì)、實(shí)踐等方面提出了20個(gè)問題,并做了較為深入的討論和詳細(xì)的解答。一、分布式數(shù)據(jù)庫(kù)的特點(diǎn)、應(yīng)用場(chǎng)景相關(guān)問題【Q1】分布式數(shù)據(jù)庫(kù)適用場(chǎng)景有哪些
4、?和傳統(tǒng)的數(shù)據(jù)庫(kù)有哪些不同?匿名用戶:分布式數(shù)據(jù)的使用場(chǎng)景,依賴于數(shù)據(jù)庫(kù)產(chǎn)品本身的特點(diǎn)來說的。如果非要說一些它的場(chǎng)景的話,哪就是兩個(gè)量大(數(shù)量量大,請(qǐng)求量大)共存的業(yè)務(wù)。和傳統(tǒng)數(shù)據(jù)庫(kù)的區(qū)別有幾點(diǎn):1.分布式。傳統(tǒng)數(shù)據(jù)庫(kù)基本上單機(jī)版。2.能支撐更大量的數(shù)據(jù),和請(qǐng)求量(或事務(wù)量)。3.因數(shù)據(jù)的分片方式不同,要結(jié)合應(yīng)用場(chǎng)景進(jìn)行選擇和應(yīng)用適配。傳統(tǒng)數(shù)據(jù)庫(kù)不需要mornsky 某銀行研發(fā)工程師:互聯(lián)網(wǎng)時(shí)代,數(shù)據(jù)量、并發(fā)量劇增,傳統(tǒng)單節(jié)點(diǎn)數(shù)據(jù)庫(kù)方式很難適應(yīng),這就是分布式數(shù)據(jù)庫(kù)的用武之地。今后,不管是互聯(lián)網(wǎng)企業(yè)還是金融業(yè)或傳統(tǒng)企業(yè),分布式數(shù)據(jù)庫(kù)是趨勢(shì),或者傳統(tǒng)數(shù)據(jù)庫(kù)也將走向分布式升級(jí)改造。wanglaye某
5、商業(yè)銀行技術(shù)經(jīng)理:分布式數(shù)據(jù)庫(kù)針對(duì)的是海量數(shù)據(jù)、高并發(fā)交易的應(yīng)用場(chǎng)景。傳統(tǒng)事務(wù)型業(yè)務(wù)場(chǎng)景在選擇數(shù)據(jù)庫(kù)時(shí),也要考慮分布式數(shù)據(jù)庫(kù)是否支持分布式事務(wù)。【Q2】TIDB 相對(duì)比一體機(jī)區(qū)別?tshqin PingCAP 數(shù)據(jù)庫(kù)管理員:具體是那種一體機(jī)呢?大機(jī),AS/400,Teradata,Netezza,Exadata,HANA?TiDB 一般使用場(chǎng)景是數(shù)據(jù)量較大的 OLTP 系統(tǒng),也可以混合輕量 OLAP 運(yùn)算。【Q3】分布式數(shù)據(jù)庫(kù)有沒有安裝簡(jiǎn)易的簡(jiǎn)易學(xué)習(xí)版或者單機(jī)版,用于學(xué)習(xí)普及培訓(xùn)?gaolyang 某商業(yè)銀行 技術(shù)經(jīng)理:建議到pingcap官網(wǎng)上看看,上面有很詳細(xì)的學(xué)習(xí)文檔,/docs-cn/
6、。MrSylar 某金融公司 數(shù)據(jù)庫(kù)管理員:有木有建議學(xué)習(xí)版或者單機(jī)版,我不是很確認(rèn)。但個(gè)人感覺,所有的數(shù)據(jù)庫(kù)安裝基本都不會(huì)是問題,無非是個(gè)熟悉的過程,你更多需要的是個(gè)成功的安裝文檔,so 多加幾個(gè)相關(guān)的群,你會(huì)發(fā)現(xiàn)一大堆。冰玉 北京瑞尼爾 數(shù)據(jù)庫(kù)開發(fā)工程師:分布式是在多臺(tái)服務(wù)器的基礎(chǔ)上的,單機(jī)的可以是分布式的單個(gè)節(jié)點(diǎn)獨(dú)立運(yùn)行。他的難點(diǎn)就是多臺(tái)機(jī)器協(xié)作作業(yè),單機(jī)可以運(yùn)行但是沒有什么意義。可以簡(jiǎn)單點(diǎn),在兩個(gè)虛擬機(jī)上安裝。分布式并不是很高深,內(nèi)部原理復(fù)雜,通常配置和使用并不是很麻煩。劉誠(chéng)杰 平安城科 數(shù)據(jù)庫(kù)管理員:mongodb的sharding,可以使用mtools工具快速安裝單機(jī)的學(xué)習(xí)版(測(cè)試
7、版)。【Q4】Db2 dpf數(shù)據(jù)庫(kù)屬于分布式數(shù)據(jù)庫(kù)嗎?有沒有正在使用的,性能、可靠性如何?wanglaye某商業(yè)銀行技術(shù)經(jīng)理:Db2是傳統(tǒng)數(shù)據(jù)庫(kù),與分布式數(shù)據(jù)庫(kù)還存在很大區(qū)別。tshqin PingCAP 數(shù)據(jù)庫(kù)管理員:shared nothing 的 MPP 在廣義上也屬于分布式架構(gòu),用于重型 OLAP 系統(tǒng),如經(jīng)營(yíng)分析,財(cái)務(wù)報(bào)表,反欺詐,決策支持等系統(tǒng)。在 MPP 數(shù)據(jù)庫(kù)中,一張表的數(shù)據(jù)分布在多個(gè)分區(qū)上,可靠性隨分區(qū)數(shù)量增加線性下降,可以通過對(duì)分區(qū)進(jìn)行多副本復(fù)制提高可用性。Join 性能是 MPP 的核心競(jìng)爭(zhēng)力,因此被大規(guī)模用于 OLAP 系統(tǒng)中,而 OLAP 對(duì)于可用性要求不太高的特點(diǎn)也
8、一定程度掩蓋了 MPP 的缺點(diǎn)。此種架構(gòu)不作 OLTP 系統(tǒng)數(shù)據(jù)庫(kù)使用。馮萬(wàn)里 IBM 數(shù)據(jù)庫(kù)架構(gòu)師:確切說dpf是屬于閹割了高可用功能的分布式數(shù)據(jù)庫(kù)。因?yàn)閐pf雖然有多個(gè)節(jié)點(diǎn),每個(gè)節(jié)點(diǎn)又有多個(gè)分區(qū),但是宕掉任何一個(gè)節(jié)點(diǎn),數(shù)據(jù)庫(kù)功能都無法正常使用,和平常大眾所認(rèn)知的分布式數(shù)據(jù)庫(kù)還有一些差別。【Q5】HBASE分布式數(shù)據(jù)庫(kù)特點(diǎn)?yinxin 某集團(tuán)公司 項(xiàng)目經(jīng)理:Hbase的優(yōu)點(diǎn):1 列的可以動(dòng)態(tài)增加,并且列為空就不存儲(chǔ)數(shù)據(jù),節(jié)省存儲(chǔ)空間.2 Hbase自動(dòng)切分?jǐn)?shù)據(jù),使得數(shù)據(jù)存儲(chǔ)自動(dòng)具有水平scalability.3 Hbase可以提供高并發(fā)讀寫操作的支持Hbase的缺點(diǎn):1 不能支持條件查詢,
9、只支持按照Row key來查詢.2 暫時(shí)不能支持Master server的故障切換,當(dāng)Master宕機(jī)后,整個(gè)存儲(chǔ)系統(tǒng)就會(huì)掛掉.其他:1.數(shù)據(jù)類型,HBase只有簡(jiǎn)單的字符類型,所有的類型都是交由用戶自己處理,它只保存字符串。而關(guān)系數(shù)據(jù)庫(kù)有豐富的類型和存儲(chǔ)方式;2.數(shù)據(jù)操作:HBase只有很簡(jiǎn)單的插入、查詢、刪除、清空等操作,表和表之間是分離的,沒有復(fù)雜的表和表之間的關(guān)系,而傳統(tǒng)數(shù)據(jù)庫(kù)通常有各式各樣的函數(shù)和連接操作;3.存儲(chǔ)模式:HBase是基于列存儲(chǔ)的,每個(gè)列族都由幾個(gè)文件保存,不同的列族的文件時(shí)分離的。而傳統(tǒng)的關(guān)系型數(shù)據(jù)庫(kù)是基于表格結(jié)構(gòu)和行模式保存的;4.數(shù)據(jù)維護(hù),HBase的更新操作不
10、應(yīng)該叫更新,它實(shí)際上是插入了新的數(shù)據(jù),而傳統(tǒng)數(shù)據(jù)庫(kù)是替換修改;5.可伸縮性,Hbase這類分布式數(shù)據(jù)庫(kù)就是為了這個(gè)目的而開發(fā)出來的,所以它能夠輕松增加或減少硬件的數(shù)量,并且對(duì)錯(cuò)誤的兼容性比較高。而傳統(tǒng)數(shù)據(jù)庫(kù)通常需要增加中間層才能實(shí)現(xiàn)類似的功能。【Q6】mycat主要的應(yīng)用場(chǎng)景是什么呢?是不是主要和mysql進(jìn)行結(jié)合?喂小飽me9 chinapay 數(shù)據(jù)庫(kù)運(yùn)維工程師:mycat是基于mysql的,目前正好有測(cè)這個(gè),我的主要目的是為了方便將SQL語(yǔ)句翻譯成MONGODB語(yǔ)句,應(yīng)用程序通過連接mycat去查詢后端的MONGODB,mycat也可以作為一個(gè)庫(kù)集成工具,對(duì)于用戶來說,只要查詢mycat,
11、就可以查到mycat后端的多個(gè)庫(kù)。TonyWang 系統(tǒng)工程師:建議看官網(wǎng)介紹 http:/www.mycat.io/【Q7】MySQL分布式有什么成熟的方案(除了MyCAT)?TonyWang系統(tǒng)工程師:MyCat 是MySQL分布式的一種實(shí)現(xiàn)方式,以數(shù)據(jù)庫(kù)代理方式其他方式也可以考慮,下圖是京東的網(wǎng)址:http:/shardingsphere.io/document/current/cn/overview/二、分布式數(shù)據(jù)庫(kù)的選型相關(guān)問題【Q1】主流的分布式數(shù)據(jù)庫(kù)有哪些?login 網(wǎng)絡(luò)架構(gòu)師:市面上的分布式數(shù)據(jù)庫(kù)有Tidb、巨杉、OB、TDSQL等。韓成亮 某金融 數(shù)據(jù)庫(kù)架構(gòu)師:補(bǔ)充下GPD
12、B/MariaDB ColumnStore/products/technology/columnstore【Q2】選擇分布式數(shù)據(jù)庫(kù)對(duì)于銀行自身的意義?有哪些好處?wanglaye某商業(yè)銀行技術(shù)經(jīng)理:隨著國(guó)家對(duì)信息系統(tǒng)安全可控的要求不斷提高,銀行業(yè)對(duì)于自身的技術(shù)路線選擇也應(yīng)自主可控。近年來,商業(yè)銀行紛紛加大對(duì)分布式數(shù)據(jù)庫(kù)的投入,大部分銀行仍處于探索階段,少數(shù)銀行將分布式數(shù)據(jù)庫(kù)技術(shù)應(yīng)用于非業(yè)務(wù)交易系統(tǒng)上。因此,我行計(jì)劃搭建基于實(shí)時(shí)交易的分布式數(shù)據(jù)庫(kù)平臺(tái),以開辟數(shù)據(jù)庫(kù)創(chuàng)新的新路徑。此外,對(duì)IT系統(tǒng)而言,分布式數(shù)據(jù)庫(kù)可提高性能、縮減成本、保障數(shù)據(jù)安全與高可用。對(duì)運(yùn)維人員而言,分布式數(shù)據(jù)庫(kù)可以進(jìn)行一定程
13、度的自動(dòng)資源調(diào)度,提高運(yùn)維效率。韓成亮 某金融 數(shù)據(jù)庫(kù)架構(gòu)師:首先需要明確一件事情,銀行也是需要分布式數(shù)據(jù)庫(kù)的。目前的數(shù)據(jù)庫(kù)系統(tǒng)架構(gòu),理論上當(dāng)然是沒問題的,但是隨著未來業(yè)務(wù)場(chǎng)景的變化,會(huì)造成諸如業(yè)務(wù)量的急速上升,同時(shí)周邊產(chǎn)品的蝴蝶效應(yīng),還有一些互聯(lián)網(wǎng)業(yè)務(wù)的發(fā)展,不可避免的會(huì)造成高并發(fā),高數(shù)據(jù)量,高可用性的相關(guān)要求,自然而然,分布式數(shù)據(jù)庫(kù)的需求就應(yīng)用而生,當(dāng)然,這兩者是有一定的關(guān)聯(lián)性,并不是一蹴而就的,對(duì)于其他行業(yè)而言,也是一樣的道理。對(duì)于銀行而言,目前的架構(gòu)容災(zāi)無可厚非,由于銀行行業(yè)的特殊性,一般話而言會(huì)有多個(gè)災(zāi)備中心,在大部分的情況下,災(zāi)備中心的機(jī)器會(huì)存在一定程度的資源浪費(fèi),乃至可以說是空置
14、,還需要經(jīng)常的進(jìn)行切換,保證災(zāi)備中心的可用性,還有就說機(jī)器的規(guī)模,基本上會(huì)要求1:1 ,無論是從硬件成本還是人力成本都是很大的開支。從某種角度上而言,銀行可能比其他任何行業(yè)都急需分布式數(shù)據(jù)庫(kù)的需求。分布式數(shù)據(jù)庫(kù)的好處,簡(jiǎn)單點(diǎn)說就是 成本低,易維護(hù),易擴(kuò)展,可以有更多的成本投入到業(yè)務(wù)中去。tshqin PingCAP 數(shù)據(jù)庫(kù)管理員:傳統(tǒng)架構(gòu)中的核心數(shù)據(jù)庫(kù)如大機(jī),AS/400,Power + Oracle Rac/DB2 PureScale 都已經(jīng)或?qū)⒚媾R一個(gè)非常核心的挑戰(zhàn) - OLTP 系統(tǒng)數(shù)據(jù)量超過了架構(gòu)所能承載的極限,離線部分如日終處理,季度結(jié)息等也耗時(shí)越來越久。分布式數(shù)據(jù)庫(kù)的計(jì)算+存儲(chǔ) s
15、cale-out 能力突破了現(xiàn)有架構(gòu)的容量限制。【Q3】當(dāng)前金融環(huán)境下分布數(shù)據(jù)庫(kù)選型?目前分布式數(shù)據(jù)庫(kù)各式各樣,要想選擇一個(gè)靠譜的分布式數(shù)據(jù)庫(kù)是特別的難。特別對(duì)于金融行業(yè),對(duì)數(shù)據(jù)的一致性、可用性要求這么高。p14159 數(shù)據(jù)庫(kù)管理員:目前很多金融公司都開始使用多云的環(huán)境,對(duì)應(yīng)的數(shù)據(jù)庫(kù)也開始向著分布式發(fā)展,OLTP OLAP的界限不再明顯。 市場(chǎng)上有很多類似的產(chǎn)品,商業(yè)的如阿里的DRDS、亞馬遜的Aurora等,開源的如CockroachDB 、TiDB 、 巨杉、 RadonDB 等。更多的選擇,更多的學(xué)習(xí)成本,給技術(shù)人員帶來了更多的挑戰(zhàn)。在分布式數(shù)據(jù)庫(kù)的選擇上,大家重點(diǎn)要考慮哪些因素?個(gè)人認(rèn)
16、為有如下幾點(diǎn):1 大廠/社區(qū)的支持2 龐大的用戶規(guī)模,豐富的生產(chǎn)使用案例3 開發(fā)團(tuán)隊(duì)更重視用戶的聲音,能夠及時(shí)調(diào)整設(shè)計(jì)思路。4 對(duì)原生的SQL完全支持5 完整的生態(tài),如備份遷移工具,優(yōu)化分析報(bào)告、監(jiān)控與自動(dòng)化管理等gaolyang 某商業(yè)銀行技術(shù)經(jīng)理:還有一點(diǎn)很重要,公司的技術(shù)支持態(tài)度及能力。wuwenpin 軟件開發(fā)工程師:自身的技術(shù)力量更重要。匿名用戶:我個(gè)人覺得從幾個(gè)地方去看:1.產(chǎn)品成熟度。數(shù)據(jù)庫(kù)是個(gè)非常重要的系統(tǒng),對(duì)系統(tǒng)的穩(wěn)定性要求非常好,產(chǎn)品成熟度高代表著穩(wěn)定性會(huì)好一些。2.使用廣泛。使用廣泛也是為了穩(wěn)定性,同時(shí)遇到問題,有響應(yīng)的社群交流。3.技術(shù)實(shí)力。公司是否具有很高的技術(shù)實(shí)力和
17、知名度。4.針對(duì)這些產(chǎn)品結(jié)合自己的金融場(chǎng)景來選擇,其實(shí)上面的不是都適合金融的OLTP場(chǎng)景。5.成本。這里包括購(gòu)買成本,以及維護(hù)成本,這個(gè)需要自己去測(cè)試一下。【Q4】選擇分布式數(shù)據(jù)庫(kù)所注重的數(shù)據(jù)庫(kù)特性有哪些?匿名用戶:我個(gè)人覺得有幾點(diǎn)需要關(guān)注:1.是OLTP還是OLAP?2.在具體的場(chǎng)景下性能如何?3.數(shù)據(jù)分布的策略是什么?4.增刪節(jié)點(diǎn)是否比較容易?5.后續(xù)在使用過程中如果遇到問題,它支持是否給力?【Q5】貴行對(duì)于分布式數(shù)據(jù)庫(kù)的技術(shù)評(píng)價(jià)項(xiàng)有哪些方面?wanglaye某商業(yè)銀行技術(shù)經(jīng)理:主要有以下幾個(gè)關(guān)鍵評(píng)價(jià)指標(biāo):可靠性和高可用性,靈活擴(kuò)展能力,分布式查詢支持性,兼容性,基礎(chǔ)運(yùn)維友好性。三、分布式
18、數(shù)據(jù)庫(kù)設(shè)計(jì)、實(shí)踐、性能相關(guān)問題【Q1】傳統(tǒng)數(shù)據(jù)庫(kù)如果要改造成分布式數(shù)據(jù)庫(kù),有哪些技術(shù)難點(diǎn)?韓成亮 某金融 數(shù)據(jù)庫(kù)架構(gòu)師:個(gè)人覺得主要是思維模式的轉(zhuǎn)變,畢竟分布式數(shù)據(jù)庫(kù)就目前而言,在事務(wù)而言,采用的分布式事務(wù),還有就是分布式數(shù)據(jù)庫(kù)主要有調(diào)度節(jié)點(diǎn),計(jì)算節(jié)點(diǎn)和存儲(chǔ)節(jié)點(diǎn)構(gòu)成,這個(gè)跟傳統(tǒng)的其實(shí)是個(gè)很大的差別,對(duì)于問題的排查可能需要更加準(zhǔn)確的認(rèn)知,還有一些分布式數(shù)據(jù)庫(kù)的特性,分布式數(shù)據(jù)庫(kù)的使用習(xí)慣,跟傳統(tǒng)的有很大差別,比方說一件擴(kuò)容,彈性擴(kuò)展,在線遷移,還有就是高可用等,其次是傳統(tǒng)意義上的備份方式就不是很實(shí)用了。至于傳統(tǒng)數(shù)據(jù)庫(kù)的改造,說到底就是業(yè)務(wù)的改變,簡(jiǎn)單點(diǎn)而言,無論是傳統(tǒng)數(shù)據(jù)庫(kù)還是分布式數(shù)據(jù)庫(kù)說到底
19、的本質(zhì)上而言是存儲(chǔ)數(shù)據(jù),并進(jìn)行相應(yīng)的業(yè)務(wù)邏輯處理,存儲(chǔ)數(shù)據(jù)庫(kù)大體是一致的,對(duì)于業(yè)務(wù)的處理部分就會(huì)牽扯到事務(wù)了,乃至于性能響應(yīng)了,這部分的難點(diǎn)不言而喻,事務(wù)的一致性跟性能的可用性就是一個(gè)取舍,當(dāng)然也可以使用事務(wù)的最終一致性來解決,而這個(gè)也是常規(guī)的分布式數(shù)據(jù)庫(kù)所推薦的方案。gaolyang 某商業(yè)銀行技術(shù)經(jīng)理:首先從業(yè)務(wù)系統(tǒng)角度來說,該系統(tǒng)所使用的數(shù)據(jù)庫(kù)對(duì)象構(gòu)成方面,最好只有簡(jiǎn)單的SQL語(yǔ)句,而無存儲(chǔ)過程等傳統(tǒng)數(shù)據(jù)庫(kù)中的復(fù)雜對(duì)象,也就是數(shù)據(jù)遷移成本;其次,對(duì)于所創(chuàng)建的分布式數(shù)據(jù)庫(kù)集群,由于集群有一定的服務(wù)器規(guī)模,所以要平衡硬件成本問題;最后我認(rèn)為,業(yè)務(wù)系統(tǒng)的類型除了應(yīng)滿足高并發(fā)等OLTP數(shù)據(jù)庫(kù)的特
20、性之外,還有海量數(shù)據(jù)存儲(chǔ)的需要。【Q2】貴行做的分布式數(shù)據(jù)庫(kù)的多活如何保證網(wǎng)絡(luò)的延時(shí)?wanglaye 某商業(yè)銀行技術(shù)經(jīng)理:集群內(nèi)部使用萬(wàn)兆網(wǎng)絡(luò)通訊最佳,多數(shù)據(jù)中心之間使用裸光纖+波分設(shè)備是最佳選擇,如果是異地,在條件允許的情況下,用光纖最佳,但要考慮高昂的成本。最好是從架構(gòu)層面設(shè)計(jì)多活,從業(yè)務(wù)層面考慮異地網(wǎng)絡(luò)的延時(shí)。chrislay UBI系統(tǒng)架構(gòu)師:多數(shù)據(jù)庫(kù)中心,租用運(yùn)營(yíng)商的帶寬,一般是波分設(shè)備,有的是拉裸纖,成本就高了,還有就是業(yè)務(wù)架構(gòu)上的優(yōu)化。【Q3】單數(shù)據(jù)中心,多 TiKV 進(jìn)程終止、TiKV 服務(wù)器宕機(jī)、TiDB 服務(wù)器宕機(jī)、PD 服務(wù)器宕機(jī),集群是否仍然可以對(duì)外服務(wù)?匿名用戶:?jiǎn)?/p>
21、數(shù)據(jù)中心下,出現(xiàn)一定程度(每個(gè)產(chǎn)品有一定的最大宕機(jī)數(shù))宕機(jī),集群是可以對(duì)外提供服務(wù)的。如果是多IDC下,目前很多分布式數(shù)據(jù)庫(kù)是做不到的,除非考慮IDC之間做專線。wanglaye 某商業(yè)銀行技術(shù)經(jīng)理:這個(gè)要考慮整個(gè)集群的架構(gòu)設(shè)計(jì)。TiKV 是一個(gè)集群,通過 Raft 協(xié)議保持?jǐn)?shù)據(jù)一致性,并通過 PD 做負(fù)載均衡調(diào)度。單個(gè)TiKV節(jié)點(diǎn)失效時(shí),會(huì)影響這個(gè)節(jié)點(diǎn)上存儲(chǔ)的所有Region。對(duì)于 Region 中的Leader 結(jié)點(diǎn),會(huì)中斷服務(wù),等待其他TiKV上的Region重新選舉Leader,待Leader選出了可繼續(xù)對(duì)外提供服務(wù),這個(gè)過程非常短;對(duì)于Region 中的Follower節(jié)點(diǎn),不會(huì)影響
22、服務(wù)。TiDB 是無狀態(tài)的,通過前端的F5對(duì)外提供服務(wù)。當(dāng)單個(gè)TiDB實(shí)例失效時(shí),僅僅會(huì)影響正在這個(gè)實(shí)例上進(jìn)行的會(huì)話,從應(yīng)用的角度看,會(huì)出現(xiàn)單次請(qǐng)求失敗的情況,應(yīng)用重新連接至其他TiDB實(shí)例后即可繼續(xù)獲得服務(wù)。單個(gè)TiDB實(shí)例失效后,可以重啟這個(gè)實(shí)例或者部署一個(gè)新的實(shí)例。PD 是一個(gè)集群,通過 Raft 協(xié)議保持?jǐn)?shù)據(jù)的一致性。單個(gè)實(shí)例失效時(shí),如果不是leader,那么服務(wù)完全不受影響;如果是leader,那么PD集群會(huì)重新選出新的leader,自動(dòng)恢復(fù)服務(wù)。在實(shí)際測(cè)試和應(yīng)用過程中,單數(shù)據(jù)中心,TiKV 服務(wù)不可用、TiKV 主機(jī)故障、TiDB 主機(jī)故障、PD 主機(jī)故障,數(shù)據(jù)庫(kù)均能正常提供服務(wù)。
23、【Q4】集群中單臺(tái)TiKV出現(xiàn)故障,如tikv進(jìn)程終止、TiKV 主機(jī)萬(wàn)兆網(wǎng)卡斷開、TiKV 主機(jī)服務(wù)器宕機(jī),集群是否仍然可以對(duì)外服務(wù)?wanglaye某商業(yè)銀行技術(shù)經(jīng)理:只要集群中剩余可用副本數(shù)仍占大多數(shù),集群就可以對(duì)外服務(wù)。TiKV 進(jìn)程終止,集群對(duì)外服務(wù)正常TiKV。進(jìn)程恢復(fù)后,數(shù)據(jù)同步正常,該TiKV 恢復(fù)正常狀態(tài)。單臺(tái) TiKV 網(wǎng)絡(luò)故障,數(shù)據(jù)庫(kù)正常提供服務(wù)。 網(wǎng)絡(luò)恢復(fù)后,數(shù)據(jù)同步正常,該 TiKV 恢復(fù)正常狀態(tài)。單臺(tái) TiKV 主機(jī)故障,數(shù)據(jù)庫(kù)正常提供服務(wù)。 主機(jī)恢復(fù)后,數(shù)據(jù)同步正常,該 TiKV 恢復(fù)正常狀態(tài)。tshqin PingCAP 數(shù)據(jù)庫(kù)管理員:在部署集群的時(shí)候可以為集群
24、中的 tikv 添加 label 信息,PD 會(huì)根據(jù) label 信息進(jìn)行副本調(diào)度,根據(jù)所配置的 label 級(jí)別的不同,可以避免將同一個(gè) region 的兩個(gè) replica 調(diào)度到:同一臺(tái)服務(wù)器的兩個(gè) tikv 實(shí)例上同一個(gè)機(jī)架的幾個(gè) tikv 實(shí)例上同一個(gè)機(jī)房的幾個(gè) tikv 實(shí)例上據(jù)此可以實(shí)現(xiàn)服務(wù)器級(jí)/機(jī)架級(jí)/機(jī)房級(jí)的容災(zāi),因?yàn)榧褐羞€存活大多數(shù)的副本就有能力對(duì)外提供服務(wù)。詳情參考官方手冊(cè):/docs/op-guide/location-awareness/【Q5】OLTP型分布式數(shù)據(jù)庫(kù)跨節(jié)點(diǎn)事務(wù)性能問題?金融銀行傳統(tǒng)業(yè)務(wù)采用分布式數(shù)據(jù)庫(kù)的話,業(yè)務(wù)場(chǎng)景復(fù)雜,例如對(duì)賬戶表的拆分,轉(zhuǎn)賬交易
25、的話可能會(huì)導(dǎo)致大量的分布式事務(wù),影響整體數(shù)據(jù)庫(kù)性能,或者無法發(fā)揮分布式數(shù)據(jù)庫(kù)的優(yōu)勢(shì),針對(duì)這個(gè)問題,有沒有比較理想的解決方案?劉誠(chéng)杰 平安城科數(shù)據(jù)庫(kù)管理員:CAP就占有技術(shù)本身就無法兼得,在銀行場(chǎng)景只能犧牲速度,保證事務(wù)執(zhí)行。除了核心的資金場(chǎng)景,少用事務(wù)可以更合理使用分布式數(shù)據(jù)庫(kù)。韓成亮 某金融數(shù)據(jù)庫(kù)架構(gòu)師:針對(duì)這個(gè)問題,首先我們需要了解事務(wù)的一致性,分布式數(shù)據(jù)庫(kù)不可避免的或多或少存在這樣的問題,簡(jiǎn)單點(diǎn)而言,我們有些時(shí)候并不需要保證單個(gè)事務(wù)的一致性,我們可能通過最終一致性來解決,而這個(gè)也是分布式數(shù)據(jù)庫(kù)設(shè)計(jì)的一個(gè)因素,因?yàn)橥行r(shí)候可用性和一致性很難平衡,這就有了保證最終一致性的各種措施比如消息隊(duì)列,全局事務(wù)表,二階段提交,三階段提交等。【Q6】分布式數(shù)據(jù)庫(kù)在運(yùn)維過程中的坑有哪些?陽(yáng)嗨超 某平臺(tái)架構(gòu)部高級(jí)技術(shù)經(jīng)理IT顧問:所謂的坑是需要看具體的某一個(gè)產(chǎn)品的。分布式數(shù)據(jù)庫(kù)運(yùn)維中,整體來說有幾個(gè)地方的挑戰(zhàn):1. 是運(yùn)維的復(fù)雜度會(huì)提升不少。譬如:異常故障的處理等。 2.備份和恢復(fù)會(huì)復(fù)雜一些。這些的恢復(fù)是指產(chǎn)生邏輯
溫馨提示
- 1. 本站所有資源如無特殊說明,都需要本地電腦安裝OFFICE2007和PDF閱讀器。圖紙軟件為CAD,CAXA,PROE,UG,SolidWorks等.壓縮文件請(qǐng)下載最新的WinRAR軟件解壓。
- 2. 本站的文檔不包含任何第三方提供的附件圖紙等,如果需要附件,請(qǐng)聯(lián)系上傳者。文件的所有權(quán)益歸上傳用戶所有。
- 3. 本站RAR壓縮包中若帶圖紙,網(wǎng)頁(yè)內(nèi)容里面會(huì)有圖紙預(yù)覽,若沒有圖紙預(yù)覽就沒有圖紙。
- 4. 未經(jīng)權(quán)益所有人同意不得將文件中的內(nèi)容挪作商業(yè)或盈利用途。
- 5. 人人文庫(kù)網(wǎng)僅提供信息存儲(chǔ)空間,僅對(duì)用戶上傳內(nèi)容的表現(xiàn)方式做保護(hù)處理,對(duì)用戶上傳分享的文檔內(nèi)容本身不做任何修改或編輯,并不能對(duì)任何下載內(nèi)容負(fù)責(zé)。
- 6. 下載文件中如有侵權(quán)或不適當(dāng)內(nèi)容,請(qǐng)與我們聯(lián)系,我們立即糾正。
- 7. 本站不保證下載資源的準(zhǔn)確性、安全性和完整性, 同時(shí)也不承擔(dān)用戶因使用這些下載資源對(duì)自己和他人造成任何形式的傷害或損失。
最新文檔
- 醫(yī)藥電商平臺(tái)藥品供應(yīng)鏈金融與合規(guī)風(fēng)險(xiǎn)管理報(bào)告
- 2025年生物質(zhì)能源分布式能源系統(tǒng)能源效率與環(huán)保標(biāo)準(zhǔn)優(yōu)化報(bào)告
- 金融科技行業(yè)估值方法與投資策略研究報(bào)告-2025年展望
- 現(xiàn)場(chǎng)演藝市場(chǎng)復(fù)蘇2025年虛擬現(xiàn)實(shí)演出形式研究報(bào)告001
- 2025年基層醫(yī)療衛(wèi)生機(jī)構(gòu)信息化建設(shè)中的醫(yī)療信息化與醫(yī)療服務(wù)互聯(lián)網(wǎng)化監(jiān)管體系報(bào)告
- 交通設(shè)備制造業(yè)數(shù)字化轉(zhuǎn)型與智能生產(chǎn)質(zhì)量保障報(bào)告
- 安全主管試題及答案
- 安全責(zé)任試題及答案
- 區(qū)塊鏈技術(shù)驅(qū)動(dòng)2025年數(shù)字貨幣在金融領(lǐng)域應(yīng)用與風(fēng)險(xiǎn)控制報(bào)告
- 安全試題單選竅門及答案
- 現(xiàn)場(chǎng)質(zhì)量問題分析與解決培訓(xùn)課件PPT
- 醫(yī)院年薪計(jì)算工分制分配方案
- 建筑工程施工現(xiàn)場(chǎng)質(zhì)量及安全管理流程圖措施體系落實(shí)計(jì)劃
- 混凝土減水劑測(cè)試指標(biāo)培訓(xùn)課件
- 山東中醫(yī)藥大學(xué)內(nèi)經(jīng)選讀(專升本)期末復(fù)習(xí)題
- 醫(yī)療保險(xiǎn)基本政策培訓(xùn)PPT
- 連云港師范高等專科學(xué)校輔導(dǎo)員考試題庫(kù)
- 2023年湖北黃岡市檢察機(jī)關(guān)招聘雇員制檢察輔助人員50人高頻考點(diǎn)題庫(kù)(共500題含答案解析)模擬練習(xí)試卷
- 《國(guó)有企業(yè)招投標(biāo)及采購(gòu)管理辦法》
- 05G525-吊車軌道聯(lián)結(jié)及車擋(適用于鋼吊車梁)課件
- TQGCML 757-2023 硫酸鈣晶須規(guī)程
評(píng)論
0/150
提交評(píng)論