1、第第 9 章章 物聯網數據和物聯網數據和信號處理技術信號處理技術 學習任務學習任務可擴展標記語言可擴展標記語言 高性能計算高性能計算 海量數據數據庫技術 Click to add title in here 123本章主要涉及：本章主要涉及：4語義網語義網 學習任務學習任務智能決策算法智能決策算法 人工智能技術人工智能技術 人機交互技術人機交互技術 Click to add title in here 567本章主要涉及：本章主要涉及：4語義網語義網 9.1 可擴展標記語言可擴展標記語言vXML（Extensible Markup Language）即可）即可擴展標記語言，它與擴展標記語言，它

2、與HTML一樣，都是一樣，都是SGML(Standard Generalized Markup Language, 標準通用標記語言標準通用標記語言)。vXml是是Internet環境中跨平臺的，依賴于內容的環境中跨平臺的，依賴于內容的技術，是當前處理結構化文檔信息的有力工具。技術，是當前處理結構化文檔信息的有力工具。9.1.1 可擴展標記語言（可擴展標記語言（XML）簡）簡介介v擴展標記語言擴展標記語言XML是一種簡單的數據存儲語是一種簡單的數據存儲語言，使用一系列簡單的標記描述數據，而這些言，使用一系列簡單的標記描述數據，而這些標記可以用方便的方式建立，標記可以用方便的方式建立，v雖然雖然

3、XML占用的空間比二進制數據要占用更占用的空間比二進制數據要占用更多的空間，但多的空間，但XML極其簡單易于掌握和使用。極其簡單易于掌握和使用。9.1.1 可擴展標記語言（可擴展標記語言（XML）簡）簡介介1. XML語法語法v在在XML中，采用了如下的語法：中，采用了如下的語法： （1） 任何的起始標簽都必須有一個結束標簽。任何的起始標簽都必須有一個結束標簽。 （2） 可以采用另一種簡化語法，可以在一個標簽中可以采用另一種簡化語法，可以在一個標簽中同時表示起始和結束標簽。同時表示起始和結束標簽。 這種語法是在大于符號之前緊跟一個斜線（這種語法是在大于符號之前緊跟一個斜線（/），），例如例如。

4、XML解析器會將其翻譯成解析器會將其翻譯成。9.1.1 可擴展標記語言（可擴展標記語言（XML）簡介）簡介（3） 標簽必須按合適的順序進行嵌套，標簽必須按合適的順序進行嵌套，v所以結束標簽必須按鏡像順序匹配起始標簽，所以結束標簽必須按鏡像順序匹配起始標簽，這好比是將起始和結束標簽看作是數學中的左這好比是將起始和結束標簽看作是數學中的左右括號：在沒有關閉所有的內部括號之前，是右括號：在沒有關閉所有的內部括號之前，是不能關閉外面的括號的。不能關閉外面的括號的。 （4） 所有的特性都必須有值。所有的特性都必須有值。 （5） 所有的特性都必須在值的周圍加上雙引號。所有的特性都必須在值的周圍加上雙引號。

5、9.1.1 可擴展標記語言（可擴展標記語言（XML）簡）簡介介2. XML實例實例v v v v An Introduction to XML v Chunbin v 2010 v 98.0 v v v The Performance of DataBase v John v 1996 v 56.0 v v 9.1.1 可擴展標記語言（可擴展標記語言（XML）簡）簡介介v上面的上面的XML文檔對應的樹形結構如下：文檔對應的樹形結構如下： XML文檔對應的樹形結構文檔對應的樹形結構 9.1.2 可擴展標記語言特性可擴展標記語言特性vXML與與Access,Oracle和和SQL Server等等

6、數據庫不同，數據庫提供了更強有力的數據存數據庫不同，數據庫提供了更強有力的數據存儲和分析能力，例如：數據索引、排序、查找、儲和分析能力，例如：數據索引、排序、查找、相關一致性等，相關一致性等，XML僅僅是展示數據。僅僅是展示數據。v事實上事實上XML與其他數據表現形式最大的不同與其他數據表現形式最大的不同是：它極其簡單。是：它極其簡單。vXML與與HTML的設計區別是：的設計區別是：XML是用來存是用來存儲數據的，重在數據本身。而儲數據的，重在數據本身。而HTML是用來是用來定義數據的，重在數據的顯示模式。定義數據的，重在數據的顯示模式。 9.1.2 可擴展標記語言特性可擴展標記語言特性vXM

7、L的簡單使其易于在任何應用程序中讀寫數據，的簡單使其易于在任何應用程序中讀寫數據，這使這使XML很快成為數據交換的唯一公共語言，意很快成為數據交換的唯一公共語言，意味著程序可以更容易的與味著程序可以更容易的與Windows、Mac OS, Linux以及其他平臺下產生的信息結合，以及其他平臺下產生的信息結合，v然后可以很容易加載然后可以很容易加載XML數據到程序中并分析他，數據到程序中并分析他，并以并以XML格式輸出結果。格式輸出結果。 9.1.3 可擴展標記語言文檔結構可擴展標記語言文檔結構 v每個每個XML文檔都由文檔都由XML序言開始，在前面的代碼中的序言開始，在前面的代碼中的第一行便是

8、第一行便是XML序言，序言，。v這一行代碼會告訴解析器和瀏覽器，這個文件應該按照這一行代碼會告訴解析器和瀏覽器，這個文件應該按照前面討論過的前面討論過的XML規則進行解析。規則進行解析。v第二行代碼，第二行代碼，則是文檔元素，則是文檔元素（document element），它是文件中最外面的標），它是文件中最外面的標簽（我們認為元素（簽（我們認為元素（element）是起始標簽和結束標）是起始標簽和結束標簽之間的內容）。簽之間的內容）。9.1.3 可擴展標記語言文檔結構可擴展標記語言文檔結構 v 所有其他的標簽必須包含在這個標簽之內所有其他的標簽必須包含在這個標簽之內來組成一個有效的來組成一

9、個有效的XML文件。文件。XML文件的第文件的第二行并不一定要包含文檔元素；如果有注釋或二行并不一定要包含文檔元素；如果有注釋或者其他內容，文檔元素可以遲些出現。者其他內容，文檔元素可以遲些出現。 v范例文件中的第三行代碼是注釋，你會發范例文件中的第三行代碼是注釋，你會發現它與現它與HTML中使用的注釋風格是一樣的。這中使用的注釋風格是一樣的。這是是XML從從SGML中繼承的語法元素之一。中繼承的語法元素之一。 9.1.3 可擴展標記語言文檔結構可擴展標記語言文檔結構 XML 文檔結構文檔結構 9.1.4 XML的優勢的優勢vXML 的優勢有以下六個方面：的優勢有以下六個方面： v XML可以

10、從可以從HTML中分離數據中分離數據 v XML用于交換數據用于交換數據 v XML可以用于共享數據可以用于共享數據 v XML可以用于存儲數據可以用于存儲數據 v XML可以充分利用數據可以充分利用數據 v XML可以用于創建新的語言可以用于創建新的語言 9.2 高性能計算高性能計算v高性能計算高性能計算(High Performance Computing)是計算機科學的一個分支，主是計算機科學的一個分支，主要是指從體系結構、并行算法和軟件開發等方要是指從體系結構、并行算法和軟件開發等方面研究開發高性能計算機的技術。面研究開發高性能計算機的技術。v高性能計算高性能計算(HPC) 指通常使用

11、很多處理器指通常使用很多處理器（作為單個機器的一部分）或者某一集群中組（作為單個機器的一部分）或者某一集群中組織的幾臺計算機（作為單個計算資源操作）的織的幾臺計算機（作為單個計算資源操作）的計算系統和環境。計算系統和環境。 9.2.1 高性能計算概述高性能計算概述 v有許多類型的有許多類型的HPC 系統，其范圍從標準計算機系統，其范圍從標準計算機的大型集群，到高度專用的硬件。的大型集群，到高度專用的硬件。v大多數基于集群的大多數基于集群的HPC系統使用高性能網絡互系統使用高性能網絡互連，比如那些來自連，比如那些來自 InfiniBand 或或 Myrinet 的網絡互連。的網絡互連。v基本的網

12、絡拓撲和組織可以使用一個簡單的總基本的網絡拓撲和組織可以使用一個簡單的總線拓撲，在性能很高的環境中，網狀網絡系統線拓撲，在性能很高的環境中，網狀網絡系統在主機之間提供較短的潛伏期，所以可改善總在主機之間提供較短的潛伏期，所以可改善總體網絡性能和傳輸速率。體網絡性能和傳輸速率。9.2.1 高性能計算概述高性能計算概述 v下圖顯示了一網狀下圖顯示了一網狀 HPC 系統。在網狀網絡拓系統。在網狀網絡拓撲中，該結構支持通過縮短網絡節點之間的物撲中，該結構支持通過縮短網絡節點之間的物理和邏輯距離來加快跨主機的通信。理和邏輯距離來加快跨主機的通信。 .HPC 網狀網絡拓撲網狀網絡拓撲 9.2.1 高性能計

13、算概述高性能計算概述 vHPC 環境中的任務執行，有兩個模型：單指令環境中的任務執行，有兩個模型：單指令/多多數據數據 (SIMD) 和多指令和多指令/多數據多數據 (MIMD)。vSIMD在跨多個處理器的同時執行相同的計算指令在跨多個處理器的同時執行相同的計算指令和操作，但對于不同數據范圍，它允許系統同時使和操作，但對于不同數據范圍，它允許系統同時使用許多變量計算相同的表達式。用許多變量計算相同的表達式。vMIMD允許允許HPC 系統在同一時間使用不同的變量系統在同一時間使用不同的變量執行不同的計算，使整個系統看起來并不只是一個執行不同的計算，使整個系統看起來并不只是一個沒有任何特點的計算資

14、源，可以同時執行許多計算。沒有任何特點的計算資源，可以同時執行許多計算。 9.2.1 高性能計算概述高性能計算概述 v不管是使用不管是使用 SIMD 還是還是 MIMD，典型，典型 HPC 的的基本原理仍然是相同的：整個基本原理仍然是相同的：整個HPC 單元的操作和單元的操作和行為像是單個計算資源，它將實際請求的加載展行為像是單個計算資源，它將實際請求的加載展開到各個節點。開到各個節點。vHPC 解決方案也是專用的單元，被專門設計和部解決方案也是專用的單元，被專門設計和部署為能夠充當（并且只充當）大型計算資源。署為能夠充當（并且只充當）大型計算資源。 9.2.2 高性能計算機的應用高性能計算機

15、的應用v高性能計算機是價格在高性能計算機是價格在10萬元以上的服務器。萬元以上的服務器。v高性能計算機也有高、中、低檔之分，中高檔高性能計算機也有高、中、低檔之分，中高檔系統可分為兩種系統可分為兩種:v一種叫超級計算機，主要是用于科學工程計算一種叫超級計算機，主要是用于科學工程計算及專門的設計，如及專門的設計，如Cray T3E；v另一種叫超級服務器，可以用來支持計算、事另一種叫超級服務器，可以用來支持計算、事務處理、數據庫應用、網絡應用與服務，如務處理、數據庫應用、網絡應用與服務，如IBM的的SP和國產的曙光和國產的曙光2000。 9.2.2 高性能計算機的應用高性能計算機的應用v高性能計算

16、機在國內的研究與應用已取得了一些高性能計算機在國內的研究與應用已取得了一些成功，包括成功，包括:v航空航天工業中的數字風洞，可以減少實驗次數，航空航天工業中的數字風洞，可以減少實驗次數，縮短研制周期，節約研制費用；縮短研制周期，節約研制費用；v利用高性能計算機做氣象預報和氣候模擬利用高性能計算機做氣象預報和氣候模擬;v在生物工程、生物信息學、船舶設計、汽車設計在生物工程、生物信息學、船舶設計、汽車設計和碰撞模擬和碰撞模擬;v三峽工程施工管理和質量控制等領域都有高性能三峽工程施工管理和質量控制等領域都有高性能計算機成功應用的實例。計算機成功應用的實例。9.2.3 高性能計算分類高性能計算分類1.

17、 高吞吐計算高吞吐計算(High-throughput Computing)v有一類高性能計算，可以把它分成若干可以并行有一類高性能計算，可以把它分成若干可以并行的子任務，而且各個子任務彼此間沒有什么關聯。的子任務，而且各個子任務彼此間沒有什么關聯。因為這種類型應用的一個共同特征是在海量數據因為這種類型應用的一個共同特征是在海量數據上搜索某些特定模式，所以把這類計算稱為高吞上搜索某些特定模式，所以把這類計算稱為高吞吐計算。吐計算。v所謂的所謂的Internet計算都屬于這一類。按照計算都屬于這一類。按照Flynn的分類，高吞吐計算屬于的分類，高吞吐計算屬于SIMD（Single Instruc

18、tion/Multiple Data,單單指令流指令流-多數據流）的范疇。多數據流）的范疇。9.2.3 高性能計算分類高性能計算分類2. 分布計算分布計算(Distributed Computing)v另一類計算剛好和高吞吐計算相反，它們雖然可另一類計算剛好和高吞吐計算相反，它們雖然可以給分成若干并行的子任務，但是子任務間聯系以給分成若干并行的子任務，但是子任務間聯系很緊密，需要大量的數據交換。很緊密，需要大量的數據交換。v按照按照Flynn的分類，分布式的高性能計算屬于的分類，分布式的高性能計算屬于MIMD（Multiple Instruction/Multiple Data，多指令流，多指

19、令流-多數據流）的范疇。多數據流）的范疇。9.2.4 分布式計算分布式計算v所謂分布式計算就是在兩個或多個軟件互相共享所謂分布式計算就是在兩個或多個軟件互相共享信息，這些軟件既可以在同一臺計算機上運行，信息，這些軟件既可以在同一臺計算機上運行，也可以在通過網絡連接起來的多臺計算機上運行。也可以在通過網絡連接起來的多臺計算機上運行。v分布式計算是利用互聯網上的計算機的分布式計算是利用互聯網上的計算機的 CPU 的的閑置處理能力來解決大型計算問題的一種計算科閑置處理能力來解決大型計算問題的一種計算科學。學。v分布式計算是近年提出的一種新的計算方式。分布式計算是近年提出的一種新的計算方式。9.2.4

20、 分布式計算分布式計算v分布式計算是一門計算機科學。分布式計算是一門計算機科學。v它研究如何把一個需要非常巨大的計算能力才能它研究如何把一個需要非常巨大的計算能力才能解決的問題分成許多小的部分，然后把這些部分解決的問題分成許多小的部分，然后把這些部分分配給許多計算機進行處理，最后把這些計算結分配給許多計算機進行處理，最后把這些計算結果綜合起來得到最終結果。果綜合起來得到最終結果。9.2.4 分布式計算分布式計算v最近的分布式計算項目已經被用于使用世界各地成最近的分布式計算項目已經被用于使用世界各地成千上萬志愿者的計算機的閑置計算能力，千上萬志愿者的計算機的閑置計算能力，v通過因特網，您可以分析

21、來自外太空的電訊號，尋通過因特網，您可以分析來自外太空的電訊號，尋找隱蔽的黑洞，并探索可能存在的外星智慧生命；找隱蔽的黑洞，并探索可能存在的外星智慧生命；v您可以尋找超過您可以尋找超過1000萬位數字的梅森質數；萬位數字的梅森質數；v您也可以尋找并發現對抗艾滋病毒更為有效的藥物。您也可以尋找并發現對抗艾滋病毒更為有效的藥物。v用以完成需要驚人的計算量的龐大項目。用以完成需要驚人的計算量的龐大項目。9.2.5 網格計算網格計算 v網格計算系統的關鍵元素是網格中的各個節點，網格計算系統的關鍵元素是網格中的各個節點，它們不是專門的專用組件。它們不是專門的專用組件。v在網格中，各種系統常常基于標準機器

22、或操作系在網格中，各種系統常常基于標準機器或操作系統。位于這種標準環境頂部的是應用軟件，它們統。位于這種標準環境頂部的是應用軟件，它們支持網格功能。支持網格功能。v網格可能由一系列同樣的專用硬件、多種具有相網格可能由一系列同樣的專用硬件、多種具有相同基礎架構的機器或者由多個平臺和環境組成的同基礎架構的機器或者由多個平臺和環境組成的完全異構的環境組成。完全異構的環境組成。v專用計算資源在網格中并不是必需的。許多網格專用計算資源在網格中并不是必需的。許多網格是通過重用現有基礎設施組件產生新的統一計算是通過重用現有基礎設施組件產生新的統一計算資源來創建的。資源來創建的。 9.2.5 網格計算網格計算

23、 網格與傳統網格與傳統HPC解決方案之間的主要不同是：解決方案之間的主要不同是：vHPC解決方案設計用于提供特定資源解決方案，解決方案設計用于提供特定資源解決方案，比如強大的計算能力以及在內存中保存大量數據比如強大的計算能力以及在內存中保存大量數據以便處理它們的能力。以便處理它們的能力。v另一方面，網格是一種分布式計算資源，這意味另一方面，網格是一種分布式計算資源，這意味著網格可以根據需要共享任何組件，包括內存、著網格可以根據需要共享任何組件，包括內存、CPU電源，甚至是磁盤空間。電源，甚至是磁盤空間。 9.2.5 網格計算網格計算 具體的網格計算的應用框架結構具體的網格計算的應用框架結構 9

24、.2.6 網格類型網格類型（1） 高吞吐量網格高吞吐量網格v在這種網格中，發給每個網格節點的各個任務單在這種網格中，發給每個網格節點的各個任務單元通常都非常小，每個單元的請求和預期執行時元通常都非常小，每個單元的請求和預期執行時間都很小。間都很小。v這些網格通常會在計算系統中使用，其中請求的這些網格通常會在計算系統中使用，其中請求的數量反應數量反應 了給定函數或計算的不同輸入值的范了給定函數或計算的不同輸入值的范圍。圍。v例如，在單個作業中可能有例如，在單個作業中可能有 10,000 甚至甚至 100,000 個請求。個請求。9.2.6 網格類型網格類型（2）高計算量（高計算量（High-co

25、mputational）網）網格格 v 在計算網格中，每個節點都負責為函數或表在計算網格中，每個節點都負責為函數或表達式提供達式提供 CPU 處理能力。處理能力。v每個工作單元的持續時間可能會很長（與高吞每個工作單元的持續時間可能會很長（與高吞吐量網格中較短的執行時間相比）。吐量網格中較短的執行時間相比）。 9.2.6 網格類型網格類型（3）高內存量（）高內存量（High-memory grid）的網）的網格格v 在處理大量數據時使用這種類型的網格，例如在處理大量數據時使用這種類型的網格，例如計算機動畫繪圖、計算流體動力學（計算機動畫繪圖、計算流體動力學（CFD）分）分析或制造和監視系統中處理

26、大量數據所使用的析或制造和監視系統中處理大量數據所使用的網格。網格。 （4）存儲網格）存儲網格 v存儲網格在需要將大量信息存儲在大量計算機存儲網格在需要將大量信息存儲在大量計算機上時使用，所以數據的大小以及從網格存儲上時使用，所以數據的大小以及從網格存儲/檢索信息這樣的負載被分布到網格中。檢索信息這樣的負載被分布到網格中。 9.2.7 高性能計算集群高性能計算集群(HPC CLUSTER)v高性能集群主要用于處理復雜的計算問題，應用在高性能集群主要用于處理復雜的計算問題，應用在需要大規模科學計算的環境中，如天氣預報、石油需要大規模科學計算的環境中，如天氣預報、石油勘探與油藏模擬、分子模擬、基因

27、測序等。勘探與油藏模擬、分子模擬、基因測序等。v高性能集群上運行的應用程序一般使用并行算法，高性能集群上運行的應用程序一般使用并行算法，把一個大的普通問題根據一定的規則分為許多小的把一個大的普通問題根據一定的規則分為許多小的子問題，在集群內的不同節點上進行計算，而這些子問題，在集群內的不同節點上進行計算，而這些小問題的處理結果，經過處理可合并為原問題的最小問題的處理結果，經過處理可合并為原問題的最終結果。終結果。v由于這些小問題的計算一般是可以并行完成的，從由于這些小問題的計算一般是可以并行完成的，從而可以縮短問題的處理時間。而可以縮短問題的處理時間。9.2.7 高性能計算集群高性能計算集群(

28、HPC CLUSTER)1. 高性能計算集群系統模型高性能計算集群系統模型v（1）Beowulf集群集群v簡單的說，簡單的說，Beowulf是一種能夠將多臺計算機用是一種能夠將多臺計算機用于并行計算的體系結構。通常于并行計算的體系結構。通常Beowulf系統由通系統由通過以太網或其他網絡連接的多個計算節點和管理過以太網或其他網絡連接的多個計算節點和管理節點構成。節點構成。v管理節點控制整個集群系統，同時為計算節點提管理節點控制整個集群系統，同時為計算節點提供文件服務和對外的網絡連接。它使用的是常見供文件服務和對外的網絡連接。它使用的是常見的硬件設備，象普通的硬件設備，象普通PC、以太網卡和集線

29、器。、以太網卡和集線器。vBeowulf集群的軟件也是隨處可見的，象集群的軟件也是隨處可見的，象Linux、PVM和和MPI。 9.2.7 高性能計算集群高性能計算集群(HPC CLUSTER)（2）COW集群集群v象象Beowulf一樣，一樣，COW（Cluster Of Workstation）也是由最常見的硬件設備和軟件）也是由最常見的硬件設備和軟件系統搭建而成。通常也是由一個控制節點和多個計系統搭建而成。通常也是由一個控制節點和多個計算節點構成。算節點構成。v因為因為COW中的計算節點主要的目的是桌面應用，所中的計算節點主要的目的是桌面應用，所以它們都具有顯示器、鍵盤和鼠標等外設。而以

30、它們都具有顯示器、鍵盤和鼠標等外設。而Beowulf的計算節點通常沒有這些外設，對這些計的計算節點通常沒有這些外設，對這些計算節點的訪問通常是在管理節點上通過網絡或串口算節點的訪問通常是在管理節點上通過網絡或串口線實現的。線實現的。 9.2.7 高性能計算集群高性能計算集群(HPC CLUSTER)（3）COW和和Beowulf的區別：的區別：vCOW中的計算節點主要都是閑置的計算資源，如中的計算節點主要都是閑置的計算資源，如辦公室中普通的辦公室中普通的PC，采用普通的局域網進行連接。，采用普通的局域網進行連接。因為這些計算節點白天會作為工作站使用，所以因為這些計算節點白天會作為工作站使用，所

31、以主要的集群計算發生在晚上和周末等空閑時間。主要的集群計算發生在晚上和周末等空閑時間。v而而Beowulf中的計算節點都是專職于并行計算，中的計算節點都是專職于并行計算，并且進行了性能優化。并且進行了性能優化。Beowulf采用高速網采用高速網（InfiniBand, SCI, Myrinet）上的消息傳遞）上的消息傳遞（PVM或或MPI）進行進程間通信（）進行進程間通信（IPC）。）。 9.2.7 高性能計算集群高性能計算集群(HPC CLUSTER)2高性能計算集群配置高性能計算集群配置 在搭建高性能計算集群（在搭建高性能計算集群（HPC CLUSTER）之前，我們首先要根據具體的應）之前

32、，我們首先要根據具體的應用需求，在用需求，在:v(1) 節點的部署節點的部署v(2) 高速互連網絡的選擇、高速互連網絡的選擇、v(3)集群管理和通訊軟件集群管理和通訊軟件 這三個方面作出配置。這三個方面作出配置。9.2.7 高性能計算集群高性能計算集群(HPC CLUSTER)（1）節點的部署）節點的部署v根據功能，把集群中的節點劃分為根據功能，把集群中的節點劃分為6種類型：種類型： v 用戶節點用戶節點(User Node)； v 控制節點控制節點(Control Node)；v 管理節點管理節點(Management Node)； v 存儲節點存儲節點(Storage Node)； v 安

33、裝節點安裝節點(Installation Node)； v計算節點計算節點(Compute Node).9.2.7 高性能計算集群高性能計算集群(HPC CLUSTER)（2）高速互連網絡的選擇）高速互連網絡的選擇v網絡是集群最關鍵的部分網絡是集群最關鍵的部分.它的容量和性能直接影它的容量和性能直接影響了整個系統對高性能計算響了整個系統對高性能計算(HPC)的適用性。的適用性。v根據調查根據調查,大多數高性能科學計算任務都是通信密大多數高性能科學計算任務都是通信密集型的集型的,因此如何盡可能的縮短節點間的通信延遲因此如何盡可能的縮短節點間的通信延遲和提高吞吐量是一個核心問題。和提高吞吐量是一個

34、核心問題。9.2.7 高性能計算集群高性能計算集群(HPC CLUSTER) Myrinet互連技術互連技術vMyrinet 提供網卡和交換機，其單向互連速度提供網卡和交換機，其單向互連速度最高可達到最高可達到 1.28 Gbps。v網卡有兩種形式，銅線型和光纖型。網卡有兩種形式，銅線型和光纖型。 v銅線型銅線型 LAN 可以在可以在10英尺距離內以全速進行英尺距離內以全速進行通信。通信。v光纖型光纖型 Myrinet 可以在可以在6.25英里長的單模光英里長的單模光纖或者纖或者340英尺長的多模光纖上全速運行。英尺長的多模光纖上全速運行。9.2.7 高性能計算集群高性能計算集群(HPC CL

35、USTER) InfiniBand互連技術互連技術vInfiniBand 是一種用于實現基于通道的交換式是一種用于實現基于通道的交換式技術的通用技術的通用I/O規范。由于規范。由于IB的理論帶寬極高的理論帶寬極高30Gbit/S, 因此備受業內關注。因此備受業內關注。InfiniBand 的解決方案包括一個連接多個獨立的解決方案包括一個連接多個獨立處理器和處理器和I/O平臺的系統區域網絡，它所定義的平臺的系統區域網絡，它所定義的通信和管理結構同時支持通信和管理結構同時支持I/O和處理器與處理器和處理器與處理器之間的通信。之間的通信。vInfiniBand 系統可以是只有少量系統可以是只有少量I

36、/O設備的單設備的單處理器服務器，也可以是大型的并行超級計算機。處理器服務器，也可以是大型的并行超級計算機。 9.2.7 高性能計算集群高性能計算集群(HPC CLUSTER)InfiniBand 規范定義了規范定義了3個基本組件：個基本組件：v一個主機信道適配器（一個主機信道適配器（HCA）；一個目標信）；一個目標信道適配器（道適配器（TCA）；一個網絡交換機。）；一個網絡交換機。InfiniBand體系架構模型體系架構模型 9.2.7 高性能計算集群高性能計算集群(HPC CLUSTER)（3）集群管理和通訊軟件）集群管理和通訊軟件v 國內和國際上有多種集群管理和通訊軟件，國內和國際上有多

37、種集群管理和通訊軟件，一些是由一些是由 HPC 集成商自己編寫的專用軟件，捆集成商自己編寫的專用軟件，捆綁硬件銷售的，也有專業的軟件公司提供的通用綁硬件銷售的，也有專業的軟件公司提供的通用軟件包。軟件包。v全球知名的全球知名的HPC軟件公司軟件公司挪威挪威 Scali公司。公司。Scali 軟件的最大特點是支持多種高速互連網絡：軟件的最大特點是支持多種高速互連網絡：從千兆以太網，從千兆以太網，SCI,Myrinet,到到 InfiniBand 都可以支持。都可以支持。9.3 海量數據數據庫技術海量數據數據庫技術v在物聯網領域的應用中，選擇一個適合自己項目在物聯網領域的應用中，選擇一個適合自己項

38、目的數據平臺對整個項目成敗而言尤為重要，其原的數據平臺對整個項目成敗而言尤為重要，其原則有二：則有二：v第一，根據數據類別和實際應用選擇正確的數據第一，根據數據類別和實際應用選擇正確的數據庫類型。業務數據、管理數據要使用關系型數據庫類型。業務數據、管理數據要使用關系型數據庫，海量數據、實時數據要使用實時數據庫；庫，海量數據、實時數據要使用實時數據庫；v第二，必須具有前瞻性。目前物聯網項目大多是第二，必須具有前瞻性。目前物聯網項目大多是試點項目，如果在初步設計的時候沒有考慮這一試點項目，如果在初步設計的時候沒有考慮這一點的話，試點也就失去了試點本身的意義了。點的話，試點也就失去了試點本身的意義了

39、。9.3.1傳統的關系型數據庫面臨更大的挑傳統的關系型數據庫面臨更大的挑戰戰 v 傳統的關系型數據庫具有數據結構化、最低傳統的關系型數據庫具有數據結構化、最低冗余度、較高的程序與數據獨立性、易于擴充、冗余度、較高的程序與數據獨立性、易于擴充、易于編制應用程序等優點，目前較大的信息系統易于編制應用程序等優點，目前較大的信息系統都是建立在結構化數據庫設計之上的。都是建立在結構化數據庫設計之上的。 v然而，隨著越來越多企業海量數據的產生，然而，隨著越來越多企業海量數據的產生，使得非結構化數據的應用日趨擴大，以及對海量使得非結構化數據的應用日趨擴大，以及對海量數據快速訪問、有效的備份恢復機制、實時數據

40、數據快速訪問、有效的備份恢復機制、實時數據分析等等的需求分析等等的需求 9.3.1傳統的關系型數據庫面臨更大的挑傳統的關系型數據庫面臨更大的挑戰戰 傳統的關系數據庫在應對海量數據處理上傳統的關系數據庫在應對海量數據處理上仍有許多不足。主要表現在：仍有許多不足。主要表現在：v 缺乏對海量數據的快速訪問能力缺乏對海量數據的快速訪問能力 v 缺乏海量數據訪問靈活性缺乏海量數據訪問靈活性 v 對非結構化數據處理能力薄弱對非結構化數據處理能力薄弱 v 海量數據導致存儲成本、維護管理成本不海量數據導致存儲成本、維護管理成本不斷增加斷增加 v 海量數據缺乏快速備份與災難恢復機制海量數據缺乏快速備份與災難恢復

41、機制 9.3.2 支撐物聯網的數據庫技術支撐物聯網的數據庫技術 v數據庫是存儲在計算機系統內的有結構的數據的數據庫是存儲在計算機系統內的有結構的數據的集合。數據庫是由很多數據庫文件以及若干輔助集合。數據庫是由很多數據庫文件以及若干輔助操作文件組成的。操作文件組成的。v基本的數據庫模型有三種：網狀數據庫模型、層基本的數據庫模型有三種：網狀數據庫模型、層次數據庫模型和關系型數據庫模型。次數據庫模型和關系型數據庫模型。 v新一代的數據技術應該是在成熟、穩定的基礎數新一代的數據技術應該是在成熟、穩定的基礎數據庫架構上，開發和重新定義新的數據庫概念，據庫架構上，開發和重新定義新的數據庫概念，比如語義數據

42、模式、事件驅動數據庫，等等。比如語義數據模式、事件驅動數據庫，等等。 9.3.2 支撐物聯網的數據庫技術支撐物聯網的數據庫技術 目前在數據庫技術領域的技術發展中，已目前在數據庫技術領域的技術發展中，已經出現以下類型的數據庫管理系統：經出現以下類型的數據庫管理系統：1）面向對象數據庫）面向對象數據庫。v面向對象數據庫采用面向對象數據模型，是面面向對象數據庫采用面向對象數據模型，是面向對象技術與傳統數據庫技術相結合的產物。向對象技術與傳統數據庫技術相結合的產物。v面向對象數據模型能夠完整地描述現實世界的面向對象數據模型能夠完整地描述現實世界的數據結構，具有豐富的表達能力。數據結構，具有豐富的表達能

43、力。v目前，在許多關系數據庫系統中已經引入并具目前，在許多關系數據庫系統中已經引入并具備了面向對象數據庫系統的某些特性。備了面向對象數據庫系統的某些特性。9.3.2 支撐物聯網的數據庫技術支撐物聯網的數據庫技術 2）分布式數據庫。）分布式數據庫。v分布式數據庫（分布式數據庫（Distributed Data Base，DDB）是傳統數據庫技術與網絡技術相結合的產）是傳統數據庫技術與網絡技術相結合的產物。一個分布式數據庫是物理上分散在計算機網物。一個分布式數據庫是物理上分散在計算機網絡各結點上，但在邏輯上屬于同一系統的數據集絡各結點上，但在邏輯上屬于同一系統的數據集合。合。v分布式數據庫管理系統

44、（分布式數據庫管理系統（DDBMS）支持分布式）支持分布式數據庫的建立、使用與維護，負責實現局部數據數據庫的建立、使用與維護，負責實現局部數據管理、數據通信、分布式數據管理以及數據字典管理、數據通信、分布式數據管理以及數據字典管理等功能。管理等功能。v分布式數據庫在物聯網系統中將有廣泛的應用前分布式數據庫在物聯網系統中將有廣泛的應用前景。景。9.3.2 支撐物聯網的數據庫技術支撐物聯網的數據庫技術 3）多媒體數據庫）多媒體數據庫。v多媒體數據庫（多媒體數據庫（Multimedia Data Base，MDB）是傳統數據庫技術與多媒體技術相結合的）是傳統數據庫技術與多媒體技術相結合的產物，是以數

45、據庫的方式存儲計算機中的文字、圖產物，是以數據庫的方式存儲計算機中的文字、圖形、圖像、音頻和視頻等多媒體信息。形、圖像、音頻和視頻等多媒體信息。v 多媒體數據庫管理系統（多媒體數據庫管理系統（MDBMS）是一個支持）是一個支持多媒體數據庫的建立、使用與維護的軟件系統，負多媒體數據庫的建立、使用與維護的軟件系統，負責實現對多媒體對象的存儲、處理、檢索和輸出等責實現對多媒體對象的存儲、處理、檢索和輸出等功能。功能。9.3.2 支撐物聯網的數據庫技術支撐物聯網的數據庫技術 4）并行數據庫）并行數據庫。v并行數據庫（并行數據庫（Parallel Data Base，PDB）是傳統數據庫技術與并行技術相

46、結合的產物，它是傳統數據庫技術與并行技術相結合的產物，它在并行體系結構的支持下，實現數據庫操作處理在并行體系結構的支持下，實現數據庫操作處理的并行化，以提高數據庫的效率。的并行化，以提高數據庫的效率。v超級并行機的發展推動了并行數據庫技術的發展。超級并行機的發展推動了并行數據庫技術的發展。并行數據庫的設計目標是提高大型數據庫系統的并行數據庫的設計目標是提高大型數據庫系統的查詢與處理效率，而提高效率的途徑不僅是依靠查詢與處理效率，而提高效率的途徑不僅是依靠軟件手段，更重要的是依靠硬件的多軟件手段，更重要的是依靠硬件的多CPU的并行的并行操作來實現。操作來實現。9.3.2 支撐物聯網的數據庫技術支

47、撐物聯網的數據庫技術 5）演繹數據庫）演繹數據庫。v演繹數據庫（演繹數據庫（Deductive Data Base，DeDB）是傳統數據庫技術與邏輯理論相結合的）是傳統數據庫技術與邏輯理論相結合的產物，是指具有演繹推理能力的數據庫。產物，是指具有演繹推理能力的數據庫。v通常，它用一個數據庫管理系統和一個規則管理通常，它用一個數據庫管理系統和一個規則管理系統來實現。系統來實現。v將推理用的事實數據存放在數據庫中，稱為外延將推理用的事實數據存放在數據庫中，稱為外延數據庫；用邏輯規則定義要導出的事實，稱為內數據庫；用邏輯規則定義要導出的事實，稱為內涵數據庫。涵數據庫。9.3.2 支撐物聯網的數據庫技

48、術支撐物聯網的數據庫技術 6）主動數據庫）主動數據庫。v主動數據庫（主動數據庫（Active Data Base，Active DB）是相對于傳統數據庫的被動性而言的，它是數據庫是相對于傳統數據庫的被動性而言的，它是數據庫技術與人工智能技術相結合的產物。技術與人工智能技術相結合的產物。v傳統數據庫及其管理系統是一個被動的系統，它只傳統數據庫及其管理系統是一個被動的系統，它只能被動地按照用戶所給出的明確請求，執行相應的能被動地按照用戶所給出的明確請求，執行相應的數據庫操作，完成某個應用事務。數據庫操作，完成某個應用事務。v 主動數據庫提供主動服務功能，在計算機集成主動數據庫提供主動服務功能，在計

49、算機集成制造系統、管理信息系統、辦公自動化系統中，能制造系統、管理信息系統、辦公自動化系統中，能夠根據當前狀態主動地作出反應，執行某些操作，夠根據當前狀態主動地作出反應，執行某些操作，向用戶提供所需的信息。向用戶提供所需的信息。 9.3.3 關系型數據庫關系型數據庫v關系數據庫，是建立在關系模型基礎上的數據庫，關系數據庫，是建立在關系模型基礎上的數據庫，借助于集合代數等數學概念和方法來處理數據庫借助于集合代數等數學概念和方法來處理數據庫中的數據。現實世界中的各種實體以及實體之間中的數據。現實世界中的各種實體以及實體之間的各種聯系均用關系模型來表示。的各種聯系均用關系模型來表示。v標準數據查詢語

50、言標準數據查詢語言SQL就是一種基于關系數據庫就是一種基于關系數據庫的語言，這種語言執行對關系數據庫中數據的檢的語言，這種語言執行對關系數據庫中數據的檢索和操作。索和操作。 v關系模型由關系數據結構、關系操作集合、關系關系模型由關系數據結構、關系操作集合、關系完整性約束三部分組成。完整性約束三部分組成。9.3.3 關系型數據庫關系型數據庫v近年來，計算機的應用已從傳統的科學計算、事近年來，計算機的應用已從傳統的科學計算、事務處理等領域，逐步擴展到工程設計統計、人工務處理等領域，逐步擴展到工程設計統計、人工智能、多媒體、分布式等領域，智能、多媒體、分布式等領域，v這些新的應用領域需要有新的數據庫

51、支撐，而傳這些新的應用領域需要有新的數據庫支撐，而傳統的關系數據庫系統是以商業應用、事務處理為統的關系數據庫系統是以商業應用、事務處理為背景而發展起來的，它并不完全適用于新領域。背景而發展起來的，它并不完全適用于新領域。v因此，新的領域期待有新的數據庫系統來支撐。因此，新的領域期待有新的數據庫系統來支撐。9.3.4 非關系型數據庫（非關系型數據庫（NoSQL） 傳統的關系數據庫在將來大量出現的物聯傳統的關系數據庫在將來大量出現的物聯網應用，暴露了很多難以克服的問題：網應用，暴露了很多難以克服的問題：v 對數據庫高并發讀寫的需求對數據庫高并發讀寫的需求 v 對海量數據的高效率存儲和訪問的需求對海

52、量數據的高效率存儲和訪問的需求 v 對數據庫的高可擴展性和高可用性的需求對數據庫的高可擴展性和高可用性的需求 9.3.4 非關系型數據庫（非關系型數據庫（NoSQL） NoSQL數據庫大致可以分為以下的三類：數據庫大致可以分為以下的三類： v1）Key-Value數據庫數據庫v高性能高性能Key-Value數據庫的主要特點就是具有數據庫的主要特點就是具有極高的并發讀寫性能，極高的并發讀寫性能，Redis，Tokyo Cabinet， Flare，這，這3個個Key-Value DB都都是用是用C編寫的，他們的性能都相當出色，但出了編寫的，他們的性能都相當出色，但出了出色的性能，他們還有自己獨特

53、的功能。出色的性能，他們還有自己獨特的功能。9.3.4 非關系型數據庫（非關系型數據庫（NoSQL）2）滿足海量存儲需求和訪問的面向文檔的數據）滿足海量存儲需求和訪問的面向文檔的數據庫庫：Mongo DB，Couch DB v面向文檔的非關系數據庫主要解決的問題不是面向文檔的非關系數據庫主要解決的問題不是高性能的并發讀寫，而是保證海量數據存儲的高性能的并發讀寫，而是保證海量數據存儲的同時，具有良好的查詢性能。同時，具有良好的查詢性能。vMongo DB是用是用C+開發的，而開發的，而Couch DB則是則是Erlang開發的。開發的。 9.3.4 非關系型數據庫（非關系型數據庫（NoSQL）3

54、）滿足高可擴展性和可用性的面向分布式計算的）滿足高可擴展性和可用性的面向分布式計算的數據庫數據庫：Cassandra，Voldemort v面向面向scale能力的數據庫必須是一個分布式的數能力的數據庫必須是一個分布式的數據庫系統，由分布在不同節點上面的數據庫共同據庫系統，由分布在不同節點上面的數據庫共同構成一個數據庫服務系統，并且根據這種分布式構成一個數據庫服務系統，并且根據這種分布式架構來提供架構來提供online的，具有彈性的可擴展能力。的，具有彈性的可擴展能力。vCassandra常常被看成是一個開源版本的常常被看成是一個開源版本的Google BigTable的替代品。的替代品。vC

55、assandra和和Voldemort都是用都是用Java開發的。開發的。 9.3.5 實時數據庫實時數據庫v實時數據庫（實時數據庫（Real Time Data Base，RTDB）是數據庫系統發展的一個分支，是數據庫技術結是數據庫系統發展的一個分支，是數據庫技術結合實時處理技術產生的。合實時處理技術產生的。1. 實時數據庫應用框架實時數據庫應用框架 v實時數據庫系統是開發實時控制系統、數據采集實時數據庫系統是開發實時控制系統、數據采集系統、系統、CIMS系統等的支撐軟件。系統等的支撐軟件。v實時數據庫已經成為企業信息化的基礎數據平臺。實時數據庫已經成為企業信息化的基礎數據平臺。9.3.5

56、實時數據庫實時數據庫實時數據庫應用框架實時數據庫應用框架 9.3.5 實時數據庫實時數據庫v在流程行業中，大量使用實時數據庫系統進行在流程行業中，大量使用實時數據庫系統進行控制系統監控，系統先進控制和優化控制，并控制系統監控，系統先進控制和優化控制，并為企業的生產管理和調度、數據分析、決策支為企業的生產管理和調度、數據分析、決策支持及遠程在線瀏覽提供實時數據服務和多種數持及遠程在線瀏覽提供實時數據服務和多種數據管理功能。據管理功能。 9.3.5 實時數據庫實時數據庫v針對不同行業不同類型的企業，實時數據庫針對不同行業不同類型的企業，實時數據庫的數據來源方式也各不相同。的數據來源方式也各不相同。

57、v總的來說數據的主要來源有總的來說數據的主要來源有DCS控制系統、由控制系統、由組態軟件組態軟件 + PLC建立的控制系統、數據采集建立的控制系統、數據采集系統（系統（SCADA）、關系數據庫系統、直接連）、關系數據庫系統、直接連接硬件設備和通過人機界面人工錄入的數據。接硬件設備和通過人機界面人工錄入的數據。 9.3.5 實時數據庫實時數據庫2. 實時數據庫結構實時數據庫結構v由采集站由采集站DA、數據服務器、數據服務器、 WEB服務器、客服務器、客戶端組成，同時和關系數據庫進行有效的數據戶端組成，同時和關系數據庫進行有效的數據交換，交換，DCS的數據經過的數據經過DA進行采集，由進行采集，由

58、DA SERVER送到數據服務器，數據服務器再有效送到數據服務器，數據服務器再有效的送給其它客戶端。的送給其它客戶端。9.3.5 實時數據庫實時數據庫3. 實時數據庫的常規功能實時數據庫的常規功能 v 高高I/O事物吞吐量事物吞吐量v 高效壓縮技術歸檔算法高效壓縮技術歸檔算法 v 特征化斷面查詢特征化斷面查詢 v 智能化恢復及負載均衡智能化恢復及負載均衡 v 數據序列化及災難恢復數據序列化及災難恢復 9.3.6 分布式數據庫系統分布式數據庫系統 分布式數據庫系統有兩種：分布式數據庫系統有兩種：v一種是物理上分布的，但邏輯上卻是集中的。這種一種是物理上分布的，但邏輯上卻是集中的。這種分布式數據庫

59、只適宜用途比較單一的、不大的單位分布式數據庫只適宜用途比較單一的、不大的單位或部門。或部門。v另一種分布式數據庫系統在物理上和邏輯上都是分另一種分布式數據庫系統在物理上和邏輯上都是分布的，也就是所謂聯邦式分布數據庫系統。由于組布的，也就是所謂聯邦式分布數據庫系統。由于組成聯邦的各個子數據庫系統是相對成聯邦的各個子數據庫系統是相對“自治自治”的，這的，這種系統可以容納多種不同用途的、差異較大的數據種系統可以容納多種不同用途的、差異較大的數據庫，比較適宜于大范圍內數據庫的集成。庫，比較適宜于大范圍內數據庫的集成。9.3.6 分布式數據庫系統分布式數據庫系統1. 簡介簡介v分布式數據庫系統分布式數據

60、庫系統(DDBS)包含分布式數據庫管包含分布式數據庫管理系統理系統(DDBMS)和分布式數據庫和分布式數據庫(DDB)。v在分布式數據庫系統中，一個應用程序可以對數據在分布式數據庫系統中，一個應用程序可以對數據庫進行透明操作，數據庫中的數據分別在不同的局庫進行透明操作，數據庫中的數據分別在不同的局部數據庫中存儲、由不同的部數據庫中存儲、由不同的 DBMS進行管理、在進行管理、在不同的機器上運行、由不同的操作系統支持、被不不同的機器上運行、由不同的操作系統支持、被不同的通信網絡連接在一起。同的通信網絡連接在一起。 9.3.6 分布式數據庫系統分布式數據庫系統v一個分布式數據庫在邏輯上是一個統一的