1、第9章 機群計算機9.1 機群的基本概念和結構9.2 機群的特點9.3 機群的分類9.4 典型機群系統簡介目前流行的高性能并行計算機系統結構通常可以分成5類：并行向量處理機（PVP）對稱多處理機（SMP）大規模并行處理機（MPP）分布共享存儲多處理機（DSM）機群（Cluster）優勢：低廉的價格、極強的靈活性和可擴縮性成為近年來發展勢頭最為強勁的系統結構全球Top500中機群計算機的數量和比例時間 1997.6 1997.11 1998.6 1998.11 1999.6 1999.11 2000.6 2000.11 數量 1112671128比例 0.2% 0.2% 0.2% 0.4% 1.

2、2% 1.4% 2.2% 5.6% 時間2001.6 2001.11 2002.6 2002.11 2003.6 2003.11 2004.6 2004.11 數量32438193149208289294比例6.4% 8.6% 16.2% 18.6% 29.8% 41.6% 57.8% 58.8% 時間2005.6 2005.11 2006.6 2006.11 數量304361364361比例60.8% 72.2% 72.8% 72.2% 機群一種價格低廉、易于構建、可擴縮性極強的并行計算機系統。由多臺同構或異構的獨立計算機通過高性能網絡或局域網互連在一起，協同完成特定的并行計算任務。從用戶的

3、角度來看，機群就是一個單一、集中的計算資源。9.1.1 機群的基本概念和結構9.1 機群的基本概念和結構9.1 機群的基本概念和結構一個簡單PC機群的邏輯結構4臺PC機通過交換機連接在一起。NIC表示網絡接口，PCI表示I/O總線。這是一種無共享的結構，大多數機群都采用這種結構。如果將下圖中的交換機換為共享磁盤，則可以得到共享磁盤的機群系統結構。 9.1 機群的基本概念和結構一個包含4個結點的簡單PC機群9.1 機群的基本概念和結構構成機群的每臺計算機都被稱為一個結點。每個結點都是一個完整的系統，擁有本地磁盤和操作系統，可以作為一個單獨的計算資源供用戶使用。除了PC機外，機群的結點還可以是工作

4、站，甚至是規模較大的對稱多處理機。機群的各個結點一般通過商品化網絡連接在一起。網絡接口與結點的I/O總線以松散耦合的方式相連。 9.1 機群的基本概念和結構機群操作系統：在各結點的操作系統之上建立一層操作系統來管理整個機群。機群操作系統的功能 提供硬件管理、資源共享以及網絡通信 實現單一系統映象Single System Image，SSI一項重要功能機群的一個重要特征9.1.2 機群的軟件模型9.1 機群的基本概念和結構SSI包含四重含義單一系統單一控制邏輯上，最終用戶或系統用戶使用的服務都來自機群中唯一的位置。系統管理員通過一個唯一的控制點配置機群的所有軟、硬件組件。對稱性：用戶可以從任一

5、個結點上獲得機群服務。位置透明：用戶不必了解真正提供服務的物理設備的具體位置。 9.1 機群的基本概念和結構簡單機群系統中的SSI至少應該提供以下三種服務：單一登錄即用戶可以通過機群中的任何一個結點登錄，而且在整個作業執行過程中只需登錄一次，不必因作業被分派到其他結點上執行而重新登錄。單一文件系統在機群系統中，有一些對整個機群所有結點而言都相同的軟件，它們沒有必要在每一個結點上重復安裝。另外執行并行作業時要求每個結點都可以訪問到可執行文件，即這些軟件和可執行文件在整個機群系統中應該只有一個唯一的副本。9.1 機群的基本概念和結構單一作業管理系統用戶可以透明地從任一結點提交作業，作業可以以批處理

6、、交互或并行的方式被調度執行。PBS、LSF、Condor和JOSS都是目前比較具有代表性的作業管理系統。 并行編程模型以及相關的并行編程環境 比較流行的并行編程工具： MPI、PVM、OpenMP、HPF 機群系統的軟件框架 9.1 機群的基本概念和結構機群系統的軟件框架機群系統的優點系統開發周期短 結點采用商品化的PC機、工作站，通過商用網絡連接。系統開發的重點：通信子系統和并行編程環境可靠性高 每個結點都是獨立的PC機或工作站 可擴縮性強 機群的計算能力隨著結點數量的增加而增大機群結構靈活（結點之間以松耦合方式連接）機群系統的硬件容易擴充和替換，可以靈活配置。 9.2 機群的特點9.2

7、機群的特點性能價格比高 用戶編程方便機群的迅猛發展還得益于微處理器技術、網絡技術和并行程序設計技術的進步。微處理器技術的進步使得微處理器的性能不斷提高，價格不斷下降 。機群系統更容易融和到已有的網絡系統中，而且隨著網絡技術的進步和高性能通信協議的引入，機群結點間的通信帶寬進一步提高，通信延遲進一步縮短，逐步緩解了由于結點松散耦合引起的機群系統通信瓶頸問題。 9.2 機群的特點隨著PVM、MPI、HPF、OpenMP等并行編程模型的應用與成熟，使得在機群系統上開發并行應用更加方便。 機群的不足之處 由于機群由多臺完整的計算機組成，它的維護相當于要同時去管理多個計算機系統，因此維護工作量較大，維護

8、費用也較高。 根據組成機群的各個結點和網絡是否相同，分為： 同構、異構根據結點是PC還是工作站，分為： PC機群、工作站機群 以機群系統的使用目的為依據，分為： 高可用性機群、負載均衡機群以及高性能機群 （最常用的分類方法 ）9.3 機群的分類9.3 機群的分類高可用性機群 主要目的：當系統中某些結點出現故障的情況下，仍能繼續對外提供服務。 采用冗余機制當系統中某個結點由于軟、硬件故障而失效時，該結點上的任務將在最短的時間內被遷移到機群內另一個具有相同功能與結構的結點上繼續執行。對于用戶而言，系統可以一直為其提供服務。適用于Web服務器、醫學監測儀、銀行POS系統等要求持續提供服務的應用。 9

9、.3 機群的分類負載均衡機群主要目的：提供與結點個數成正比的負載能力要求：機群能夠根據系統中各個結點的負載情況實時地進行任務分配。專門設置了一個重要的監控結點，負責監控其余每個工作結點的負載和狀態，并根據監控結果將任務分派到不同的結點上。適合大規模網絡應用 如Web服務器或FTP服務器、大工作量的串行或批處理作業（如數據分析）9.3 機群的分類負載均衡機群適用于提供靜態數據的服務；而高可用性機群既適用于提供靜態數據的服務，又適用于提供動態數據的服務。 高性能計算機群主要目的：降低高性能計算的成本它通過高速的商用互連網絡，將數十臺乃至上千臺PC機或工作站連接在一起，可以提供接近甚至超過傳統并行計

10、算機系統的計算能力，但其價格卻僅是具有相同計算能力的傳統并行計算機系統的幾十分之一。 9.3 機群的分類按照構建方式將機群分為：（一種比較常用的分類方法）專用機群吞吐率較高，響應時間較短。專用機群的結點往往是同構的，一般采用集中控制，由一個（或一組）管理員統一管理，而且用戶一般需要通過一臺終端機來訪問它。 企業機群各結點之間一般通過標準的LAN或WAN互連通信開銷較大、延遲較長企業機群的各個結點一般是異構的 美國加州大學Berkeley分校開發 具有很多優點：采用商用千兆以太網和主動消息通信協議支持有效的通信。通過用戶級整合機群軟件GLUNIX提供單一系統映象、資源管理和可用性，開發了一種新的

11、無服務器網絡文件系統xFS，以支持可擴縮性和單一文件層次的高可用性。 9.4 典型機群系統簡介9.4.1 Berkeley NOW9.4 典型機群系統簡介主動消息 實現低開銷通信的一種異步通信機制基本思想在消息頭部控制信息中攜帶一個用戶級子例程（稱作消息處理程序）的地址。當消息頭到達目的結點時，調用消息處理程序通過網絡獲取剩下的數據，并把它們集成到正在進行的計算中。主動消息相當高效和靈活，以至于各種系統都逐漸地用它作為基本的通信機制。 9.4 典型機群系統簡介GLUNIX 運行在工作站標準UNIX上的一個軟件層，屬于自包含軟件。主要思想機群操作系統應由底層和高層組成。其中底層是執行在核模式下的

12、結點商用操作系統，高層是能提供機群所需的一些功能的用戶級操作系統。特別地，這一軟件層能夠提供機群內結點的單一系統映象，使得所有的處理器、存儲器、網絡容量和磁盤帶寬均可以被分配給串行和并行應用。 9.4 典型機群系統簡介無服務器文件系統xFS一個無服務器的分布式文件系統。將文件服務的功能分布到機群的所有結點上，以提供低延遲高帶寬的文件系統服務功能。主要采用廉價冗余磁盤陣列、協同文件緩存和分布式管理等技術。 9.4 典型機群系統簡介目標 1G Flops的計算處理能力和10 GB的存儲容量價格不能過高一個具有16個結點的機群（Thomas Sterling與Don Becker二人構建）硬件：In

13、tel的DX4處理器以及10 Mbps的以太網軟件：基于Linux系統以及其他一些GNU軟件 9.4.2 Beowulf9.4 典型機群系統簡介將這個系統命名為Beowulf這種基于COTS（Commodity Off The Shelf）思想的技術也迅速由NASA傳播到其他科研機構。這類機群被稱為Beowulf機群。 （Beowulf Class Cluster Computers）Beowulf并不是一套具體的軟件包或是一種新的網絡拓撲結構，它只是一種思想。 在達到既定目標的前提下，把注意力集中在獲取更高的性能價格比上。 9.4 典型機群系統簡介使用低成本、小配置（28個處理器）的SMP來

14、構建機群系統逐漸成為主流。這種結構的系統被統稱為CLUMPs （CLUster of MultiProcessors）由于SMP結點內部與SMP結點之間通信能力往往不一致，CLUMPs一般使用專門的通信協議和通信算法。 9.4.3 LAMP9.4 典型機群系統簡介LAMP（Local Area MultiProcessor）由NEC實驗室構建，基于Pentium Pro PC機、SMP機群共有16個結點 每個結點包含兩個Pentium Pro 200 MHz的CPU以及256 MB內存。操作系統使用了支持SMP的Linux 2.0.34內核版本，提供MPICH 1.1.0并行程序開發環境。同一

15、個SMP結點內的兩個CPU之間采用基于共享存儲器的消息傳遞機制進行通信，而結點間通信則通過Myrinet完成。9.4 典型機群系統簡介深藍：采用30個RS/6000工作站（帶有專門設計的480片國際象棋芯片）的IBM SP2機群 異步的MIMD，具有分布式存儲器系統結構。9.4.4 IBM SP29.4 典型機群系統簡介結點：一臺RS/6000工作站，帶有自己的存儲器和本地磁盤。結點中采用的處理器：一臺6流出的超標量處理機 每個時鐘周期可以執行6條指令，包括2條讀數寫數指令，2條浮點乘或加指令，1條變址增量指令和1條分支指令。每個結點配有一套完整的AIX操作系統（IBM的UNIX）。結點間的互連網絡接口是松散耦合的，通過結點本身的I/O微通道（MCC）接到網絡上，而不是通過本身的存儲器總線。9.4 典型機群系統簡介SP2的結點數可以從2個到512個不等，除了每個結點采用RS/6000工作站外，整個SP2系統還需要配置另外一臺RS/6000工作站作為系統控制臺 。SP2的結點可分為3類：寬結點、細結點、細2結點 它們都有：1個指令Cache1個數據Cache1個分支指令和轉移控制部件2個整數部件2個浮點部件9.4 典型機群系統簡介但它們在存儲器容量、數據寬度和I/O總