并行計算、集群與網格技術在虛擬天文臺中應用探討并行計算、集群與網格技術在虛擬天文臺中應用探討1內容大綱并行計算技術集群及相關技術網格計算內容大綱并行計算技術2如何滿足不斷增長的計算力需求？用速度更快的硬件，也就是減少每一條指令所需時間優化算法（或者優化編譯）用多個處理機(器)同時解決一個問題并行計算如何滿足不斷增長的計算力需求？用速度更快的硬件，也就是減少每3串行計算與并行計算串行計算與并行計算4并行的層次程序級并行子程序級并行語句級并行操作級并行微操作級并行并行粒度粗細并行的層次程序級并行并行粒度粗細5共享內存與分布式內存P=處理器M=內存S=網絡交換設備PMP…PMPMS…共享內存與分布式內存P=處理器PMP…PMPMS…6局部共享內存…SPMP…PMP…NodeNode局部共享內存…SPMP…PMP…NodeNode7實現并行計算的常見方法1、多線程程序2、基于OpenMP的并行程序3、基于消息傳遞的并行程序PVMMPI實現并行計算的常見方法1、多線程程序8XPVMXPVM9XPVMXPVM10并行計算環境簡介PVP（ParallelVectorProcessor）使用專用向量處理器銀河I，CrayT90，NEC的地球模擬器。。。SMP（SymmetricMultiprocessor）同一主板上多個處理器可以等同訪問共享存儲器、I/O設備和操作系統服務IBMRS6000。。。Cluster由很多連接在一起的獨立計算機組成，像一個單獨的集成的計算機一樣協同工作集群的節點可以是SMP（或者PVP）Cluster1350，藍色基因。。。并行計算環境簡介PVP（ParallelVectorPr11在虛擬天文臺中的應用情形處理實時性要求很高的大量觀測數據觀測數據的并行可視化處理并行數據挖掘并行數據服務提供。。。。。。在虛擬天文臺中的應用情形處理實時性要求很高的大量觀測數據12集群技術集群概念最早由IBM于20世紀60年代提出集群一般由高速網絡連接起來的高性能工作站或PC機組成。集群在工作中像一個統一的整合資源，所有節點使用單一界面。集群技術集群概念最早由IBM于20世紀60年代提出13集群

NotaCluster Cluster

集群 NotaCluster 14集群計算系統體系結構集群計算系統體系結構15集群相關技術網絡層網絡互聯結構、通信協議、信號技術等。節點機及操作系統層高性能PC或工作站、分層或基于微內核的操作系統等。集群系統管理層資源管理、資源調度、負載平衡、并行I/O、安全等。應用層并行程序開發環境、串行應用、并行應用等。集群相關技術網絡層16Cluster1350Cluster1350是IBM公司目標定位于高性能計算市場的Linux集群，包括一套完整的解決方案，集成了眾多IBM與非IBM的先進的軟硬件技術，有其特有的技術優勢與強大的服務支持。Cluster1350Cluster1350是IBM公司目標17Cluster1350邏輯結構Cluster1350邏輯結構18Cluster1350節點硬件、網絡和操作系統(天津大學IBM中心）管理節點IBMeServerxSeries345(1)計算節點IBMeServerxSeries335(16)網絡千兆以太網操作系統RedHatLinux7.3Cluster1350節點硬件、網絡和操作系統(天津大學IB19CSM（ClusterSystemManagement）CSM是IBM公司開發，專門用于集群系統管理的中間件，在Cluster1350解決方案集成。CSM的設計思想與體系結構來自PSSP(IBMParallelSystemSupportProgramsforAIX)與其它一些開源的集群管理軟件。還有一些中間件及技術，雖然不直接為用戶服務，但構成了CSM的不可或缺的基礎，包括RMC、SRC、RSCT等。CSM（ClusterSystemManagement）20CSMCSM21Cluster1350系統管理整個集群由單一結點控制所有結點的開機、關機、狀態查詢顯示遠程控制臺安裝操作系統升級(安裝)各結點系統及應用軟件。。。一個完整的集群只需一套外置輸入/輸出設備(鍵盤、鼠標、顯示器)Cluster1350系統管理整個集群由單一結點控制22Linux集群上可用的任務調度系統Mosix（MulticomputerOperatingSystemforUnIX）可以自動完成節點間進程遷移需要重新編譯Linux內核對用戶來說是透明的PBS（PortableBatchSystem）由NASA的Ames研究中心開發為了達到集群系統整體上的負載平衡，對各個節點上的任務進行調度，但不進行節點間任務遷移不需要重新編譯內核Linux集群上可用的任務調度系統Mosix（Multic23集群上的應用程序（計算）開發適于開發基于消息傳遞的并行應用程序可以使用PVM/MPI步驟：配置并行計算的編譯與運行環境主要是rsh/ssh設計、編寫、編譯程序使用PVM/MPI提供的程序庫及編譯環境部署應用程序ftp、rcp、scp、CSM、NFS、GPFS等方式運行程序集群上的應用程序（計算）開發適于開發基于消息傳遞的并行應用程24配置高可用集群最大程度地減少服務中斷，而不是容錯。HearbeatLVS（LinuxVirtualSever）IBM的Tivoli和WebSphere系列軟件……配置高可用集群最大程度地減少服務中斷，而不是容錯。25Heartbeat集群Heartbeat集群26LVS集群LVS集群27集群在虛擬天文臺中的角色高性能計算構成虛擬天文臺網格環境中強有力的計算資源高可用服務在網格環境中提供穩定、可靠的數據、計算、調度等服務集群在虛擬天文臺中的角色高性能計算28網格計算“Resourcesharing&coordinatedproblemsolvingindynamic,multi-institutionalvirtualorganizations”網格計算“Resourcesharing&c29OnDemandOnDemand30理想的網格理想的網格31理想的網格理想的網格32ThepictureabovedescribesaDataGridtestbedwiththreesitesandaCertificationAuthority.Forspacereasonswedonotshowallthemachinesofeachsite.TheuserrequestsacertificatetotheCertificateAuthoritywebfront-end.ThecertificateisproducedandsignedbytheCertificateServer.Theusergetsthecertificate.Nowthattheuserhashis/hercertificateinstalledonhis/herUserInterface,he/shecansubmithis/herjobrequests.ThepictureabovedescribesaAftercreatingaproxyprocesswithtemporarycredentials(“grid-proxy-init”command),theusersubmitshis/herjobrequesttotheResourceBroker.SubmittedTheResourceBrokerqueriestheReplicaCatalogandInformationIndextofindsuitableresources(storagespace,dataandcomputingpower).WaitingAftercreatingaproxyprocessTheResourceBrokerselectstheresources.ReadyTheResourceBrokersubmitsthejobtotheselectedComputingElement(s).ScheduledTheComputingElementdeliversthejobtoitsWorkerNode(s),whichwilldotherealwork.DoneTheResourceBrokerselectsthOutputReadyTheoutputismovedtotheResourceBrokerOutputReadyTheoutputismoveTheusergetshis/heroutputClearedTheusergetshis/heroutputCl網格計算環境示例GridWANClusterGridSMPGridSMPGridClusterUI/APIGridLANGridSMPGridSMPGridSMPGridClusterClusterClusterSMPGridClusterGridGridGridLANSiteASiteBSiteCUI/APIGridUI/APIGridLAN網格計算環境示例GridWANClusterGridSMPG38結束語虛擬天文臺將構筑于網格環境之上集群將構成網格環境中強有力的計算與服務支撐平臺并行計算將為具體事務處理提供技術與手段上支持結束語虛擬天文臺將構筑于網格環境之上39Thanks!Thanks!40并行計算、集群與網格技術在虛擬天文臺中應用探討并行計算、集群與網格技術在虛擬天文臺中應用探討41內容大綱并行計算技術集群及相關技術網格計算內容大綱并行計算技術42如何滿足不斷增長的計算力需求？用速度更快的硬件，也就是減少每一條指令所需時間優化算法（或者優化編譯）用多個處理機(器)同時解決一個問題并行計算如何滿足不斷增長的計算力需求？用速度更快的硬件，也就是減少每43串行計算與并行計算串行計算與并行計算44并行的層次程序級并行子程序級并行語句級并行操作級并行微操作級并行并行粒度粗細并行的層次程序級并行并行粒度粗細45共享內存與分布式內存P=處理器M=內存S=網絡交換設備PMP…PMPMS…共享內存與分布式內存P=處理器PMP…PMPMS…46局部共享內存…SPMP…PMP…NodeNode局部共享內存…SPMP…PMP…NodeNode47實現并行計算的常見方法1、多線程程序2、基于OpenMP的并行程序3、基于消息傳遞的并行程序PVMMPI實現并行計算的常見方法1、多線程程序48XPVMXPVM49XPVMXPVM50并行計算環境簡介PVP（ParallelVectorProcessor）使用專用向量處理器銀河I，CrayT90，NEC的地球模擬器。。。SMP（SymmetricMultiprocessor）同一主板上多個處理器可以等同訪問共享存儲器、I/O設備和操作系統服務IBMRS6000。。。Cluster由很多連接在一起的獨立計算機組成，像一個單獨的集成的計算機一樣協同工作集群的節點可以是SMP（或者PVP）Cluster1350，藍色基因。。。并行計算環境簡介PVP（ParallelVectorPr51在虛擬天文臺中的應用情形處理實時性要求很高的大量觀測數據觀測數據的并行可視化處理并行數據挖掘并行數據服務提供。。。。。。在虛擬天文臺中的應用情形處理實時性要求很高的大量觀測數據52集群技術集群概念最早由IBM于20世紀60年代提出集群一般由高速網絡連接起來的高性能工作站或PC機組成。集群在工作中像一個統一的整合資源，所有節點使用單一界面。集群技術集群概念最早由IBM于20世紀60年代提出53集群

NotaCluster Cluster

集群 NotaCluster 54集群計算系統體系結構集群計算系統體系結構55集群相關技術網絡層網絡互聯結構、通信協議、信號技術等。節點機及操作系統層高性能PC或工作站、分層或基于微內核的操作系統等。集群系統管理層資源管理、資源調度、負載平衡、并行I/O、安全等。應用層并行程序開發環境、串行應用、并行應用等。集群相關技術網絡層56Cluster1350Cluster1350是IBM公司目標定位于高性能計算市場的Linux集群，包括一套完整的解決方案，集成了眾多IBM與非IBM的先進的軟硬件技術，有其特有的技術優勢與強大的服務支持。Cluster1350Cluster1350是IBM公司目標57Cluster1350邏輯結構Cluster1350邏輯結構58Cluster1350節點硬件、網絡和操作系統(天津大學IBM中心）管理節點IBMeServerxSeries345(1)計算節點IBMeServerxSeries335(16)網絡千兆以太網操作系統RedHatLinux7.3Cluster1350節點硬件、網絡和操作系統(天津大學IB59CSM（ClusterSystemManagement）CSM是IBM公司開發，專門用于集群系統管理的中間件，在Cluster1350解決方案集成。CSM的設計思想與體系結構來自PSSP(IBMParallelSystemSupportProgramsforAIX)與其它一些開源的集群管理軟件。還有一些中間件及技術，雖然不直接為用戶服務，但構成了CSM的不可或缺的基礎，包括RMC、SRC、RSCT等。CSM（ClusterSystemManagement）60CSMCSM61Cluster1350系統管理整個集群由單一結點控制所有結點的開機、關機、狀態查詢顯示遠程控制臺安裝操作系統升級(安裝)各結點系統及應用軟件。。。一個完整的集群只需一套外置輸入/輸出設備(鍵盤、鼠標、顯示器)Cluster1350系統管理整個集群由單一結點控制62Linux集群上可用的任務調度系統Mosix（MulticomputerOperatingSystemforUnIX）可以自動完成節點間進程遷移需要重新編譯Linux內核對用戶來說是透明的PBS（PortableBatchSystem）由NASA的Ames研究中心開發為了達到集群系統整體上的負載平衡，對各個節點上的任務進行調度，但不進行節點間任務遷移不需要重新編譯內核Linux集群上可用的任務調度系統Mosix（Multic63集群上的應用程序（計算）開發適于開發基于消息傳遞的并行應用程序可以使用PVM/MPI步驟：配置并行計算的編譯與運行環境主要是rsh/ssh設計、編寫、編譯程序使用PVM/MPI提供的程序庫及編譯環境部署應用程序ftp、rcp、scp、CSM、NFS、GPFS等方式運行程序集群上的應用程序（計算）開發適于開發基于消息傳遞的并行應用程64配置高可用集群最大程度地減少服務中斷，而不是容錯。HearbeatLVS（LinuxVirtualSever）IBM的Tivoli和WebSphere系列軟件……配置高可用集群最大程度地減少服務中斷，而不是容錯。65Heartbeat集群Heartbeat集群66LVS集群LVS集群67集群在虛擬天文臺中的角色高性能計算構成虛擬天文臺網格環境中強有力的計算資源高可用服務在網格環境中提供穩定、可靠的數據、計算、調度等服務集群在虛擬天文臺中的角色高性能計算68網格計算“Resourcesharing&coordinatedproblemsolvingindynamic,multi-institutionalvirtualorganizations”網格計算“Resourcesharing&c69OnDemandOnDemand70理想的網格理想的網格71理想的網格理想的網格72ThepictureabovedescribesaDataGridtestbedwiththreesitesandaCertificationAuthority.Forspacereasonswedonotshowallthemachinesofeachsite.TheuserrequestsacertificatetotheCertificateAuthoritywebfront-end.ThecertificateisproducedandsignedbytheCertificateServer.Theusergetsthecertificate.Nowthattheuserhashis/hercertificateinstalledonhis/herUserInterface,he/shecansubmithis/herjobrequests.ThepictureabovedescribesaAftercreatingaproxyprocesswithtemporarycredentials(“grid-proxy-init”command),theusersubmitshis/herjobrequesttotheResourceBroker.SubmittedTheResourceBrokerqueriesthe