1、第一講 分布式數(shù)據(jù)庫系統(tǒng)概論.1 什么是分布式數(shù)據(jù)庫系統(tǒng)？2 課程教學(xué)思緒3 課程考核方法第2頁，共73頁內(nèi)容提要.1.1 分布式數(shù)據(jù)庫系統(tǒng)的產(chǎn)生1.2 分布式數(shù)據(jù)庫系統(tǒng)的定義1.3 分布式數(shù)據(jù)庫系統(tǒng)的開展及研討熱點1.4 分布式數(shù)據(jù)庫系統(tǒng)開展趨勢 第3頁，共73頁1 什么是分布式數(shù)據(jù)庫系統(tǒng)？.1.1 分布式數(shù)據(jù)庫系統(tǒng)的產(chǎn)生分布式數(shù)據(jù)庫系統(tǒng)的產(chǎn)生是隨著各大網(wǎng)站的信息訪問量激增而產(chǎn)生及不斷開展的。傳統(tǒng)的集中式數(shù)據(jù)庫存儲與管理方式曾經(jīng)不能應(yīng)對新的數(shù)據(jù)存儲與訪問需求。1PB=1024TB 1TB=1024GB分布式數(shù)據(jù)庫系統(tǒng)根本構(gòu)型：C/S與B/S分布式數(shù)據(jù)庫不是單獨存在的，它對需求非滿足是成體系存

2、在的。.第5頁，共73頁集中式數(shù)據(jù)庫系統(tǒng)的優(yōu)點易于管理低冗余度運用程序和數(shù)據(jù)庫相對獨立數(shù)據(jù)恢復(fù)才干強等主機數(shù)據(jù)庫終端用戶處置結(jié)果存取懇求集中式系統(tǒng)模型.第6頁，共73頁集中式數(shù)據(jù)庫系統(tǒng)的缺乏系統(tǒng)規(guī)模有限；可擴展性和平安性相對較差；主機瓶頸，可靠性不高；通訊開銷加大，影響性能；很難順應(yīng)地理分散的大型公司管理數(shù)據(jù)需求；.更新硬件，如晉級到性能更高的效力器更新軟件，如移植到Oracle上利用復(fù)制定閱、鏡像等功能做擴展運用分布式數(shù)據(jù)庫架構(gòu)，用假設(shè)干臺中小型的效力器去替代大型的效力器第7頁，共73頁問題處理方案.分布式系統(tǒng)的定義：分布式系統(tǒng)distributed system是建立在網(wǎng)絡(luò)之上的軟件系統(tǒng)。

3、分布式系統(tǒng)由多個高度內(nèi)聚性和透明性的站點組成。這些站點分別承當數(shù)據(jù)訪問管理、數(shù)據(jù)存儲以及數(shù)據(jù)效力器監(jiān)控管理等功能。內(nèi)聚性是指每一個數(shù)據(jù)庫分布節(jié)點高度自治，有本地的數(shù)據(jù)庫管理系統(tǒng)。透明性是指每一個數(shù)據(jù)庫分布節(jié)點對用戶的運用來說都是透明的，看不出是由哪臺數(shù)據(jù)存儲效力器來完成。第8頁，共73頁.分布式系統(tǒng)的特點：在一個分布式系統(tǒng)中，一組相互獨立的計算機展現(xiàn)給用戶的是一個整體。系統(tǒng)擁有多種通用的物理和邏輯資源，可動態(tài)分配義務(wù)。分散的物理和邏輯資源經(jīng)過計算機網(wǎng)絡(luò)實現(xiàn)信息交換。系統(tǒng)中存在一個以全局的方式管理計算機資源的分布式操作系統(tǒng)。分布式操作系統(tǒng)往往又以現(xiàn)有的計算機操作系統(tǒng)為根底。對用戶來說，分散的數(shù)據(jù)

4、分布與數(shù)據(jù)處置對應(yīng)了同一個模型或范型。分布式操作系統(tǒng)之上有一層中間件擔任實現(xiàn)這個模型。一個著名的分布式系統(tǒng)的例子是萬維網(wǎng)。在萬維網(wǎng)中，一切的一切看起來就好似是一個文檔Web頁面一樣。第9頁，共73頁.分布式系統(tǒng)與網(wǎng)絡(luò)系統(tǒng)的區(qū)別：在計算機網(wǎng)絡(luò)中，這種一致性、模型以及其中的軟件都不存在。用戶看到的是實踐的機器，假設(shè)這些機器有不同的硬件或不同的操作系統(tǒng)，計算機網(wǎng)絡(luò)并沒有使這些機器看起來是一致的。由于多數(shù)分布式系統(tǒng)是建立在計算機網(wǎng)絡(luò)之上的，所以分布式系統(tǒng)與計算機網(wǎng)絡(luò)在物理構(gòu)造上是根本一樣的。第10頁，共73頁目前存在很多動態(tài)網(wǎng)站，如學(xué)校教務(wù)系統(tǒng)、選課系統(tǒng)，它們屬于分布式系統(tǒng)嗎？.分布式系統(tǒng)普通由以下幾

5、個部分等組成：分布式操作系統(tǒng)擔任管理分布式處置系統(tǒng)資源和控制分布式程序運轉(zhuǎn)。不需求直接納理系統(tǒng)硬件資源，因此它往往建立在現(xiàn)有操作系統(tǒng)根底之上。分布式程序設(shè)計言語用于編寫運轉(zhuǎn)于分布式計算機系統(tǒng)上的分布式程序?，F(xiàn)實是大部分現(xiàn)行分布式系統(tǒng)都采用普通的程序設(shè)計言語進展開發(fā)。第11頁，共73頁.分布式數(shù)據(jù)庫系統(tǒng)由分布于多個計算機結(jié)點上的假設(shè)干個數(shù)據(jù)庫系統(tǒng)組成,它提供有效的存取手段來支配這些結(jié)點上的子數(shù)據(jù)庫。分布式文件系統(tǒng)具有執(zhí)行遠程文件存取的才干,并以透明方式對分布在網(wǎng)絡(luò)上的文件進展管理和存取。第12頁，共73頁.分布式數(shù)據(jù)庫系統(tǒng)Distributed DataBase System，簡稱DDBS由一組

6、被管理的數(shù)據(jù)及管理軟件也就是熟稱的管理系統(tǒng)組成，這些數(shù)據(jù)以及管理軟件分布在計算機網(wǎng)絡(luò)的不同計算機上。分布式數(shù)據(jù)庫系統(tǒng)強調(diào)場地自治性部分運用以及自治場地之間的協(xié)作性全局運用。分布式數(shù)據(jù)庫系統(tǒng)是數(shù)據(jù)庫技術(shù)和網(wǎng)絡(luò)技術(shù)兩者相互浸透和有機結(jié)合的結(jié)果。主要的目的是用廉價的機器提供高性能的效力。第13頁，共73頁1.2 分布式數(shù)據(jù)庫系統(tǒng)的定義.第14頁，共73頁網(wǎng)絡(luò)場地3圖1 DDBMS構(gòu)造圖場地1LDBLDBMSGDBMSCM用戶GDD場地2.DDBMS由以下部分組成：LDBMSLocal Database Management System，部分數(shù)據(jù)庫管理系統(tǒng)，主要用于管理部分數(shù)據(jù)庫，提供場地自治才干，

7、執(zhí)行部分運用以及全局查詢的子查詢。LDBLocal Database，部分數(shù)據(jù)庫，主要用于存儲部分數(shù)據(jù)。GDBMSGlobal Database Management System，全局數(shù)據(jù)庫管理系統(tǒng)，主要用于向終端用戶提供分布透明性、協(xié)調(diào)全局事務(wù)的執(zhí)行、協(xié)調(diào)各部分DBMS以完成全局運用、保證各數(shù)據(jù)庫的全局一致性、執(zhí)行并發(fā)控制、實現(xiàn)更新同步、提供全局恢復(fù)等。第15頁，共73頁.GDDGlobal Data Dictionlary，全局數(shù)據(jù)字典，存放全局概念方式、分片方式、分布方式等的定義，以及各方式之間的映像定義，存放有關(guān)用戶存取權(quán)限的定義、完好性約束的定義等。CMCommunication

8、Management，通訊管理，主要用于在GDBMS與LDBMS或各LDBMS之間的通訊調(diào)度與路由。.按全局控制類型分類全局控制集中型DDBMS全局數(shù)據(jù)庫和全局數(shù)據(jù)字典集中于某一結(jié)點，其優(yōu)點是控制簡單，容易實現(xiàn)更新一致性，但該結(jié)點容易成為系統(tǒng)的瓶頸，系統(tǒng)也較脆弱。第17頁，共73頁分布式數(shù)據(jù)庫系統(tǒng)的分類.全局控制分散的DDBMS全局數(shù)據(jù)庫控制器和全局數(shù)據(jù)字典分散在網(wǎng)絡(luò)上的每一個結(jié)點上，每個結(jié)點都能完成全局事務(wù)的協(xié)調(diào)和部分數(shù)據(jù)庫事務(wù)的控制功能。每個結(jié)點既是全局事務(wù)的參與者，也是全局事務(wù)的協(xié)調(diào)者。其優(yōu)點是結(jié)點獨立，自治性強，但全局控制的協(xié)調(diào)機制和一致性維護都比較困難。全局控制部分分散的DDBMS介

9、于上述兩者之間，根據(jù)運用的需求將全局數(shù)據(jù)庫管理器和全局數(shù)據(jù)字典分散在某些結(jié)點上。第18頁，共73頁.按部分DBMS的數(shù)據(jù)模型類型分類同構(gòu)型DDBMS每個結(jié)點的部分數(shù)據(jù)庫具有一樣的DBMS；異構(gòu)型DDBMS各結(jié)點的部分數(shù)據(jù)庫具有不同的DBMS；第19頁，共73頁.數(shù)據(jù)獨立性數(shù)據(jù)的邏輯獨立性數(shù)據(jù)的物理獨立性數(shù)據(jù)的分布透明性集中與自治相結(jié)合的控制機構(gòu)數(shù)據(jù)的共享有兩個層次：一是部分共享；二是全局共享。第20頁，共73頁分布式數(shù)據(jù)庫系統(tǒng)的特點.全局一致性分布式數(shù)據(jù)庫系統(tǒng)中各部分數(shù)據(jù)庫應(yīng)滿足集中式數(shù)據(jù)庫的一致性、并發(fā)事務(wù)的可串行性和可恢復(fù)性。應(yīng)保證數(shù)據(jù)庫的全局一致性、全局并發(fā)事務(wù)的可串行性和系統(tǒng)全局的可恢

10、復(fù)性。分布式數(shù)據(jù)庫系統(tǒng)中全局運用要涉及兩個以上結(jié)點的數(shù)據(jù)，全局事務(wù)能夠由不同結(jié)點上的多個操作組成。第21頁，共73頁.數(shù)據(jù)存在一定冗余在不同的結(jié)點存儲同一數(shù)據(jù)的多個副本目的一：提高系統(tǒng)的可靠性、可用性，當某一結(jié)點出現(xiàn)缺點時，系統(tǒng)可以對另一結(jié)點的一樣副本進展操作，不會由于一處缺點而呵斥整個系統(tǒng)的癱瘓；目的二提高系統(tǒng)性能，系統(tǒng)可以選擇用戶最近的數(shù)據(jù)副本來進展操作，減少通訊代價，改善整個系統(tǒng)的性能。第22頁，共73頁.第23頁，共73頁分布式數(shù)據(jù)庫系統(tǒng)的優(yōu)點：本錢低廉數(shù)據(jù)訪問速度快數(shù)據(jù)存儲量大易于拓展分布式數(shù)據(jù)庫系統(tǒng)的缺陷：存取構(gòu)造復(fù)雜系統(tǒng)開銷大數(shù)據(jù)平安性和嚴密性較難處置.如今的分布式數(shù)據(jù)庫方式大致

11、有兩種：在原有關(guān)系型數(shù)據(jù)庫的根底上進展拓展，如Oracle、IBM DB2、MySQL、Amobea等。重新構(gòu)造合順運用需求的分布式數(shù)據(jù)構(gòu)造，如以XML或其它文件方式進展數(shù)據(jù)存儲，包括BigTable、HyperTable、HBase、Cassandra等。很多開源分布式數(shù)據(jù)庫系統(tǒng)都是基于Google公開發(fā)表的進展設(shè)計與實現(xiàn)的。第24頁，共73頁1.3 分布式數(shù)據(jù)庫系統(tǒng)的開展現(xiàn)狀.分布式數(shù)據(jù)庫系統(tǒng)的開展階段20世紀70年代末期產(chǎn)生20世紀80年代生長階段20世紀90年代商品化運用階段21世紀大規(guī)模運用階段第25頁，共73頁.目前開源分布式數(shù)據(jù)庫系統(tǒng)類型主要包括：以Google的BigTable

12、為原型和根底建立起來的面向數(shù)據(jù)半構(gòu)造化的開源分布式數(shù)據(jù)庫系統(tǒng)，其中包括Hypertable、Hbase、Cassandra。它們支持的是稀疏矩陣化的構(gòu)造化數(shù)據(jù)。面向文檔的分布式數(shù)據(jù)庫系統(tǒng)，包括MongoDB、CouchDB等。實現(xiàn)分布式緩存，如Memcached等。實現(xiàn)Key/Value數(shù)據(jù)庫引擎，包括Riak、Redis、Keyspace、Tokyo Cabinet等。基于嵌入式的分布式數(shù)據(jù)庫，包括Neo4j、Oracle Berkeley DB等。.目前分布式數(shù)據(jù)庫系統(tǒng)的研討熱點分布式數(shù)據(jù)存儲方式：Nosql和SQL方式分布式數(shù)據(jù)查詢與優(yōu)化分布式數(shù)據(jù)庫管理方式分配與監(jiān)管問題分布式事務(wù)處置分

13、布式數(shù)據(jù)并發(fā)控制分布式數(shù)據(jù)一致性問題平安與可靠性問題異構(gòu)互聯(lián)：？ 第27頁，共73頁.分布式數(shù)據(jù)庫的開展趨勢與計算機網(wǎng)絡(luò)、挪動、網(wǎng)格數(shù)據(jù)庫整合成為物流網(wǎng)、云計算根底云計算將網(wǎng)絡(luò)上分布的計算、存儲、效力構(gòu)件、網(wǎng)絡(luò)軟件等資源集中起來，基于資源虛擬化的方式，為用戶提供方便快捷的效力，它可以實現(xiàn)計算與存儲的分布式與并行處置。第28頁，共73頁1.4 分布式數(shù)據(jù)庫系統(tǒng)開展趨勢.物聯(lián)網(wǎng)Internet of Things,IoT最早于1999年由麻省理工學(xué)院提出。最開場的物聯(lián)網(wǎng)是指依托射頻識別Radio Frequency Identification，RFID技術(shù)和設(shè)備，按商定的通訊協(xié)議與互聯(lián)網(wǎng)相結(jié)合，

14、使物品實現(xiàn)智能化識別和管理，實現(xiàn)物品信息互聯(lián)?，F(xiàn)代意義的物聯(lián)網(wǎng)可以實現(xiàn)對物的感知識別控制、網(wǎng)絡(luò)化互聯(lián)和智能處置有機一致，從而構(gòu)成高智能決策。第29頁，共73頁.第30頁，共73頁.第31頁，共73頁.第32頁，共73頁架構(gòu)演化第一步：物理分別webserver和數(shù)據(jù)庫架構(gòu)演化第二步：添加頁面緩存補充資料1：大型網(wǎng)站構(gòu)架變化.第33頁，共73頁架構(gòu)演化第三步：添加頁面片段緩存架構(gòu)演化第四步：數(shù)據(jù)緩存.第34頁，共73頁架構(gòu)演化第五步：添加webserver架構(gòu)演化第六步：分庫.第35頁，共73頁架構(gòu)演化第七步：分表、DAL和分布式緩存.第36頁，共73頁架構(gòu)演化第八步：添加更多的webserver.第37頁，共73頁架構(gòu)演化第九步：數(shù)據(jù)讀寫分別和廉價存儲方案.第38頁，共73頁架構(gòu)演化第