單元1數(shù)據(jù)庫(kù)概述11.2分布式存儲(chǔ)系統(tǒng)目錄1.1數(shù)據(jù)庫(kù)系統(tǒng)21.3分布式數(shù)據(jù)庫(kù)

1.4分布式數(shù)據(jù)庫(kù)與關(guān)系型數(shù)據(jù)庫(kù)差別341.1數(shù)據(jù)庫(kù)系統(tǒng)系統(tǒng)數(shù)據(jù)庫(kù)技術(shù)是研究數(shù)據(jù)庫(kù)的結(jié)構(gòu)、存儲(chǔ)、設(shè)計(jì)、管理和使用的一門(mén)科學(xué)。數(shù)據(jù)庫(kù)系統(tǒng)（DatabaseSystem，DBS）是采用數(shù)據(jù)庫(kù)技術(shù)的計(jì)算機(jī)系統(tǒng)，它是由計(jì)算機(jī)硬件、軟件和數(shù)據(jù)資源組成的系統(tǒng)，能實(shí)現(xiàn)有組織地、動(dòng)態(tài)地存儲(chǔ)大量關(guān)聯(lián)數(shù)據(jù)，并方便多用戶(hù)訪問(wèn)。數(shù)據(jù)庫(kù)系統(tǒng)由用戶(hù)、數(shù)據(jù)庫(kù)應(yīng)用程序、數(shù)據(jù)庫(kù)管理系統(tǒng)（DatabaseManagementSystem，DBMS）和數(shù)據(jù)庫(kù)（Database，DB）組成1.1數(shù)據(jù)庫(kù)系統(tǒng)系統(tǒng)數(shù)據(jù)庫(kù)是長(zhǎng)期存儲(chǔ)在計(jì)算機(jī)內(nèi)的、有組織的、統(tǒng)一管理的、可以表現(xiàn)為多種形式的、可共享的數(shù)據(jù)集合。這里“共享”是指數(shù)據(jù)庫(kù)中的數(shù)據(jù)，可為多個(gè)不同的用戶(hù)、使用多種不同的語(yǔ)言、出于不同的目的而同時(shí)存取，甚至同一數(shù)據(jù)也可以同時(shí)存取；“集合”是指某特定應(yīng)用環(huán)境中的各種應(yīng)用的數(shù)據(jù)及其之間的聯(lián)系全部集中按照一定的結(jié)構(gòu)形式進(jìn)行存儲(chǔ)。由此可知，數(shù)據(jù)庫(kù)中的數(shù)據(jù)按一定的數(shù)據(jù)模型組織、描述和存儲(chǔ)，具有較小的冗余度、較高的數(shù)據(jù)獨(dú)立性和易擴(kuò)展性，并可被各種用戶(hù)共享。數(shù)據(jù)庫(kù)根據(jù)不同的邏輯模型可分成3種：層次型數(shù)據(jù)庫(kù)、網(wǎng)狀型數(shù)據(jù)庫(kù)和關(guān)系型數(shù)據(jù)庫(kù)。1.1數(shù)據(jù)庫(kù)系統(tǒng)系統(tǒng)（1）層次型數(shù)據(jù)庫(kù)早期的數(shù)據(jù)庫(kù)多采用層次型數(shù)據(jù)模型，稱(chēng)為層次型數(shù)據(jù)庫(kù)，如圖1-2所示，它用樹(shù)形（層次）結(jié)構(gòu)表示實(shí)體類(lèi)型及實(shí)體間的聯(lián)系。在樹(shù)形結(jié)構(gòu)中，數(shù)據(jù)按自然的層次關(guān)系組織起來(lái)，以反映數(shù)據(jù)之間的隸屬關(guān)系，樹(shù)中的節(jié)點(diǎn)是記錄類(lèi)型，每個(gè)非根節(jié)點(diǎn)都只有一個(gè)父節(jié)點(diǎn)，而父節(jié)點(diǎn)可同時(shí)擁有多個(gè)子節(jié)點(diǎn)，父節(jié)點(diǎn)和子節(jié)點(diǎn)的聯(lián)系是1∶N的聯(lián)系。1.1數(shù)據(jù)庫(kù)系統(tǒng)系統(tǒng)（2）網(wǎng)狀型數(shù)據(jù)庫(kù)。采用網(wǎng)狀型數(shù)據(jù)模型的數(shù)據(jù)庫(kù)，稱(chēng)為網(wǎng)狀型數(shù)據(jù)庫(kù)。網(wǎng)狀型數(shù)據(jù)庫(kù)通過(guò)網(wǎng)絡(luò)結(jié)構(gòu)表示數(shù)據(jù)間聯(lián)系，如圖1-3所示。圖中的節(jié)點(diǎn)代表數(shù)據(jù)記錄，連線描述不同節(jié)點(diǎn)數(shù)據(jù)間的聯(lián)系。這種數(shù)據(jù)模型的基本特征：一是節(jié)點(diǎn)數(shù)據(jù)之間沒(méi)有明確的從屬關(guān)系，一個(gè)節(jié)點(diǎn)可與其他多個(gè)節(jié)點(diǎn)建立聯(lián)系，即節(jié)點(diǎn)之間的聯(lián)系是任意的；二是任何兩個(gè)節(jié)點(diǎn)之間都能發(fā)生聯(lián)系，可表示多對(duì)多的關(guān)系。1.1數(shù)據(jù)庫(kù)系統(tǒng)系統(tǒng)（3）關(guān)系型數(shù)據(jù)庫(kù)。關(guān)系模型是通過(guò)滿(mǎn)足一定條件的二維表格來(lái)表示實(shí)體集合以及數(shù)據(jù)間聯(lián)系的一種模型。關(guān)系型數(shù)據(jù)模型具有堅(jiān)實(shí)的數(shù)學(xué)基礎(chǔ)與理論基礎(chǔ)，使用靈活方便，適應(yīng)面廣，因此發(fā)展十分迅速。目前流行的一些數(shù)據(jù)庫(kù)系統(tǒng)，如Oracle、Sybase、Ingress、MySQL等都屬于關(guān)系型數(shù)據(jù)庫(kù)。1.1數(shù)據(jù)庫(kù)系統(tǒng)系統(tǒng)關(guān)系型數(shù)據(jù)庫(kù)關(guān)系型數(shù)據(jù)庫(kù)，是建立在關(guān)系型數(shù)據(jù)模型基礎(chǔ)上的數(shù)據(jù)庫(kù)，借助于集合代數(shù)等數(shù)學(xué)概念和方法來(lái)處理數(shù)據(jù)庫(kù)中的數(shù)據(jù)。現(xiàn)實(shí)世界中的各種實(shí)體以及實(shí)體之間的各種聯(lián)系均可用關(guān)系模型來(lái)表示，市場(chǎng)上占很大份額的Oracle、MySQL、DB2等都是面向關(guān)系模型的DBMS。1.1數(shù)據(jù)庫(kù)系統(tǒng)系統(tǒng)（3）關(guān)系型數(shù)據(jù)庫(kù)。關(guān)系模型是通過(guò)滿(mǎn)足一定條件的二維表格來(lái)表示實(shí)體集合以及數(shù)據(jù)間聯(lián)系的一種模型。關(guān)系型數(shù)據(jù)模型具有堅(jiān)實(shí)的數(shù)學(xué)基礎(chǔ)與理論基礎(chǔ)，使用靈活方便，適應(yīng)面廣，因此發(fā)展十分迅速。目前流行的一些數(shù)據(jù)庫(kù)系統(tǒng)，如Oracle、Sybase、Ingress、MySQL等都屬于關(guān)系型數(shù)據(jù)庫(kù)。1.1數(shù)據(jù)庫(kù)系統(tǒng)系統(tǒng)關(guān)系型數(shù)據(jù)庫(kù)基本概念在關(guān)系型數(shù)據(jù)庫(kù)中，實(shí)體以及實(shí)體間的聯(lián)系均由單一的結(jié)構(gòu)類(lèi)型來(lái)表示，這種邏輯結(jié)構(gòu)是一張二維表。關(guān)系型數(shù)據(jù)庫(kù)以行和列的形式存儲(chǔ)數(shù)據(jù)，這一系列的行和列被稱(chēng)為表，一組表組成了數(shù)據(jù)庫(kù)。1.1數(shù)據(jù)庫(kù)系統(tǒng)系統(tǒng)常見(jiàn)關(guān)系型數(shù)據(jù)庫(kù)MySQL數(shù)據(jù)庫(kù)瑞典MySQLAB公司研發(fā)，流行的關(guān)系型數(shù)據(jù)庫(kù)管理系統(tǒng)之一，使用SQL語(yǔ)言，開(kāi)放源碼，適用于中小型企業(yè)網(wǎng)站開(kāi)發(fā)。SQLServer微軟出品，高性能數(shù)據(jù)庫(kù)系統(tǒng)，支持分布式計(jì)算，與WindowsNT緊密結(jié)合，提供企業(yè)級(jí)信息管理解決方案。Oracle數(shù)據(jù)庫(kù)甲骨文公司產(chǎn)品，高效率、可靠性好，適應(yīng)高吞吐量，處于數(shù)據(jù)庫(kù)領(lǐng)域領(lǐng)先地位，最新版本為OracleDatabase20c，引入多承租方架構(gòu)，支持?jǐn)?shù)據(jù)庫(kù)云。數(shù)據(jù)庫(kù)對(duì)比MySQL：開(kāi)源、成本低；SQLServer：與Windows集成度高；Oracle：高吞吐量、云支持，各有優(yōu)勢(shì)，適用于不同場(chǎng)景。1.分布式存儲(chǔ)系統(tǒng)的概念分布式存儲(chǔ)系統(tǒng)是指將數(shù)據(jù)分散存儲(chǔ)在多個(gè)節(jié)點(diǎn)上，通過(guò)網(wǎng)絡(luò)連接實(shí)現(xiàn)數(shù)據(jù)的共享和訪問(wèn)的一種存儲(chǔ)方式。它可以提高數(shù)據(jù)的可靠性和可擴(kuò)展性，同時(shí)也可以提高數(shù)據(jù)的訪問(wèn)速度和并發(fā)性。分布式存儲(chǔ)系統(tǒng)在應(yīng)對(duì)海量數(shù)據(jù)的儲(chǔ)存和訪問(wèn)上有著不可替代的作用。與傳統(tǒng)的集中式存儲(chǔ)系統(tǒng)相比，分布式存儲(chǔ)系統(tǒng)具有高可靠性、高可擴(kuò)展性、高吞吐量等優(yōu)勢(shì)，可以應(yīng)對(duì)大規(guī)模數(shù)據(jù)的儲(chǔ)存和訪問(wèn)需求。1.2分布式存儲(chǔ)系統(tǒng)2.分布式存儲(chǔ)系統(tǒng)的組成部分分布式存儲(chǔ)系統(tǒng)由多臺(tái)計(jì)算機(jī)構(gòu)成，其中包括服務(wù)節(jié)點(diǎn)和存儲(chǔ)節(jié)點(diǎn)。服務(wù)節(jié)點(diǎn)負(fù)責(zé)管理整個(gè)系統(tǒng)的運(yùn)行，包括文件的儲(chǔ)存、索引和訪問(wèn)等。存儲(chǔ)節(jié)點(diǎn)則負(fù)責(zé)實(shí)際儲(chǔ)存文件，并根據(jù)服務(wù)節(jié)點(diǎn)的指示，完成文件的傳輸和訪問(wèn)。為了實(shí)現(xiàn)分布式存儲(chǔ)系統(tǒng)的高可靠性和高可擴(kuò)展性，分布式存儲(chǔ)系統(tǒng)通常具有多份備份機(jī)制，即將同一份文件儲(chǔ)存在多臺(tái)計(jì)算機(jī)上，以增加數(shù)據(jù)的可靠性。1.2分布式存儲(chǔ)系統(tǒng)分布式存儲(chǔ)系統(tǒng)的實(shí)現(xiàn)方式1.2分布式存儲(chǔ)系統(tǒng)

分布式存儲(chǔ)系統(tǒng)的實(shí)現(xiàn)方式通常包括兩種：共享存儲(chǔ)和分布式存儲(chǔ)。共享存儲(chǔ)方式是指將所有的存儲(chǔ)節(jié)點(diǎn)共享同一份數(shù)據(jù)，通過(guò)硬件和軟件技術(shù)實(shí)現(xiàn)多節(jié)點(diǎn)共享文件的訪問(wèn)。分布式存儲(chǔ)方式是指將整個(gè)分布式存儲(chǔ)系統(tǒng)分割成多個(gè)部分，并將不同的數(shù)據(jù)儲(chǔ)存在不同的節(jié)點(diǎn)上，通過(guò)網(wǎng)絡(luò)連接，將各個(gè)節(jié)點(diǎn)之間的數(shù)據(jù)進(jìn)行交互，實(shí)現(xiàn)文件的儲(chǔ)存和訪問(wèn)。分布式存儲(chǔ)系統(tǒng)的實(shí)現(xiàn)1.2分布式存儲(chǔ)系統(tǒng)分布式存儲(chǔ)系統(tǒng)包括分布式文件系統(tǒng)、分布式鍵值系統(tǒng)、分布式表格系統(tǒng)、分布式數(shù)據(jù)庫(kù)等不同類(lèi)型。其中，分布式文件系統(tǒng)主要用于大規(guī)模文件的存儲(chǔ)和管理，分布式鍵值系統(tǒng)主要用于鍵值對(duì)的存儲(chǔ)和查詢(xún)，分布式表格系統(tǒng)主要用于結(jié)構(gòu)化數(shù)據(jù)的存儲(chǔ)和查詢(xún)，分布式數(shù)據(jù)庫(kù)則是將傳統(tǒng)的關(guān)系型數(shù)據(jù)庫(kù)分布式化實(shí)現(xiàn)的一種存儲(chǔ)方式。在分布式存儲(chǔ)系統(tǒng)中，一致性是一個(gè)非常重要的問(wèn)題，因?yàn)槎鄠€(gè)副本之間的數(shù)據(jù)一致性是整個(gè)分布式存儲(chǔ)系統(tǒng)的理論核心。1.2分布式存儲(chǔ)系統(tǒng)1.分布式文件系統(tǒng)的實(shí)現(xiàn)

分布式文件系統(tǒng)是分布式存儲(chǔ)系統(tǒng)的核心。通過(guò)將文件分割成多份，并將這些文件儲(chǔ)存在不同的節(jié)點(diǎn)上，實(shí)現(xiàn)文件的高可靠性和高可擴(kuò)展性。分布式文件系統(tǒng)的實(shí)現(xiàn)通常采用分塊存儲(chǔ)和儲(chǔ)存元數(shù)據(jù)的方式。分塊存儲(chǔ)是指將文件分成多個(gè)塊，然后存儲(chǔ)到不同的節(jié)點(diǎn)上。這樣做的優(yōu)點(diǎn)是可以并行地傳輸和處理塊，同時(shí)也方便進(jìn)行數(shù)據(jù)的備份。儲(chǔ)存元數(shù)據(jù)是指將文件的元數(shù)據(jù)，如文件名、類(lèi)型、大小、創(chuàng)建時(shí)間、修改時(shí)間等信息儲(chǔ)存在特殊的節(jié)點(diǎn)上，以實(shí)現(xiàn)文件的訪問(wèn)和索引。目前，應(yīng)用廣泛的分布式文件系統(tǒng)主要包括GFS（Google文件系統(tǒng)）和HDFS（Hadoop分布式文件系統(tǒng)），HDFS是GFS的開(kāi)源實(shí)現(xiàn)。1.2分布式存儲(chǔ)系統(tǒng)2.分布式數(shù)據(jù)庫(kù)的實(shí)現(xiàn)

分布式數(shù)據(jù)庫(kù)是應(yīng)對(duì)大數(shù)據(jù)儲(chǔ)存和訪問(wèn)需求的一種有效方式。它可以將數(shù)據(jù)庫(kù)分割成不同的子數(shù)據(jù)庫(kù)，分別儲(chǔ)存在不同的節(jié)點(diǎn)上，并通過(guò)網(wǎng)絡(luò)連接實(shí)現(xiàn)數(shù)據(jù)的查詢(xún)和更新。分布式數(shù)據(jù)庫(kù)的實(shí)現(xiàn)通常采用水平切分和垂直切分兩種方式。水平切分是指將數(shù)據(jù)庫(kù)表中的數(shù)據(jù)按照某種規(guī)則進(jìn)行分割，分割后的每個(gè)子表都儲(chǔ)存在不同節(jié)點(diǎn)上，實(shí)現(xiàn)數(shù)據(jù)的橫向分布，提高數(shù)據(jù)庫(kù)的讀寫(xiě)性能。垂直切分則是按功能將數(shù)據(jù)庫(kù)表分成不同的子表，每個(gè)子表包含不同的字段。這樣可以將數(shù)據(jù)分散到不同的節(jié)點(diǎn)上，并提高查詢(xún)效率。分布式數(shù)據(jù)庫(kù)概述1.3分布式數(shù)據(jù)庫(kù)大數(shù)據(jù)需要通過(guò)分布式的集群方式來(lái)解決存儲(chǔ)和訪問(wèn)的問(wèn)題。以下將從分布式的角度來(lái)介紹數(shù)據(jù)庫(kù)的數(shù)據(jù)管理。分布式系統(tǒng)的核心理念是讓多臺(tái)服務(wù)器協(xié)同工作，完成單臺(tái)服務(wù)器無(wú)法處理的任務(wù)，尤其是高并發(fā)或者大數(shù)據(jù)量的任務(wù)。分布式數(shù)據(jù)庫(kù)是數(shù)據(jù)庫(kù)技術(shù)與網(wǎng)絡(luò)技術(shù)相結(jié)合的產(chǎn)物，它通過(guò)網(wǎng)絡(luò)技術(shù)將物理上分開(kāi)的數(shù)據(jù)庫(kù)連接在一起，進(jìn)行邏輯層面上的集中管理。在分布式數(shù)據(jù)庫(kù)系統(tǒng)中，一個(gè)應(yīng)用程序可以對(duì)數(shù)據(jù)庫(kù)進(jìn)行透明操作，數(shù)據(jù)庫(kù)中的數(shù)據(jù)分別存儲(chǔ)在不同的局部數(shù)據(jù)庫(kù)中，由不同機(jī)器上不同的DBMS進(jìn)行管理。分布式數(shù)據(jù)庫(kù)數(shù)據(jù)管理1.3分布式數(shù)據(jù)庫(kù)1.分布的透明管理2.復(fù)制數(shù)據(jù)的透明管理3.事務(wù)的可靠性分布式數(shù)據(jù)庫(kù)分類(lèi)列族數(shù)據(jù)庫(kù)適用于分布式數(shù)據(jù)存儲(chǔ)與管理，以列族式存儲(chǔ)，將同一列數(shù)據(jù)存儲(chǔ)在一起，實(shí)現(xiàn)高擴(kuò)展性和快速查找，但功能局限，不支持事務(wù)強(qiáng)一致性。文檔數(shù)據(jù)庫(kù)面向Web應(yīng)用，存儲(chǔ)半結(jié)構(gòu)化數(shù)據(jù)，如JSON文檔，數(shù)據(jù)結(jié)構(gòu)靈活，可根據(jù)文檔內(nèi)容創(chuàng)建索引，但缺乏統(tǒng)一查詢(xún)語(yǔ)法。鍵值數(shù)據(jù)庫(kù)用于內(nèi)容緩存和頻繁讀寫(xiě)場(chǎng)景，采用鍵值對(duì)存儲(chǔ)，擴(kuò)展性好，性能高，但數(shù)據(jù)無(wú)結(jié)構(gòu)化，查詢(xún)受限于鍵。1.3分布式數(shù)據(jù)庫(kù)圖形數(shù)據(jù)庫(kù)圖形數(shù)據(jù)庫(kù)來(lái)源于圖論中的拓?fù)鋵W(xué)，以節(jié)點(diǎn)、邊及節(jié)點(diǎn)之間的關(guān)系來(lái)存儲(chǔ)復(fù)雜網(wǎng)絡(luò)中的數(shù)據(jù)HBase是一種基于Hadoop的分布式NoSQL數(shù)據(jù)庫(kù)，它不支持完整的事務(wù)性，僅支持基于RowKey的索引，在性能上不如memcached和Redis，但是在海量數(shù)據(jù)、持久化存儲(chǔ)方面比內(nèi)存類(lèi)型的NoSQL優(yōu)秀。因HBase基于Hadoop實(shí)現(xiàn)，可以和HDFS、MapReduce、Spark等非常好地結(jié)合。HBase不僅可以方便地進(jìn)行存儲(chǔ)，還可以更加方便地對(duì)數(shù)據(jù)進(jìn)行處理和運(yùn)算，這些都是關(guān)系型數(shù)據(jù)庫(kù)所無(wú)法比擬的。1.3分布式數(shù)據(jù)庫(kù)存儲(chǔ)方式分布式數(shù)據(jù)庫(kù)將數(shù)據(jù)分散存儲(chǔ)在多臺(tái)獨(dú)立的計(jì)算機(jī)上，而關(guān)系型數(shù)據(jù)庫(kù)將數(shù)據(jù)集中存儲(chǔ)在一臺(tái)計(jì)算機(jī)上。擴(kuò)展方式基于NoSQL的分布式數(shù)據(jù)庫(kù)通常比較容易實(shí)現(xiàn)擴(kuò)展，因?yàn)樗鼈儾捎昧怂椒制姆绞絹?lái)存儲(chǔ)數(shù)據(jù)。當(dāng)系統(tǒng)需要處理更多的數(shù)據(jù)時(shí)，關(guān)系型數(shù)據(jù)庫(kù)可能需要重新設(shè)計(jì)數(shù)據(jù)庫(kù)結(jié)構(gòu)，這會(huì)帶來(lái)一定的復(fù)雜性

數(shù)據(jù)操作方式關(guān)系型數(shù)據(jù)庫(kù)采用結(jié)構(gòu)化查詢(xún)語(yǔ)言(即SQL)對(duì)數(shù)據(jù)庫(kù)進(jìn)行查詢(xún)分布式數(shù)據(jù)庫(kù)使用的是非結(jié)構(gòu)化查詢(xún)語(yǔ)言，1.4分布式數(shù)據(jù)庫(kù)與關(guān)系型數(shù)據(jù)庫(kù)的差別規(guī)范化在關(guān)系型數(shù)據(jù)庫(kù)中，一個(gè)數(shù)據(jù)實(shí)體一般首先要分割成多個(gè)部分，然后再對(duì)分割的部分進(jìn)行規(guī)范化，規(guī)范化以后再分別存入多張關(guān)系型數(shù)據(jù)表中，分布式數(shù)據(jù)庫(kù)則沒(méi)有這方面的問(wèn)題，它不需要