《云計算基礎教程》實驗指導書目錄TOC\o"1-5"\h\z《云計算基礎教程》實驗指導書 1\o"CurrentDocument"實驗ーMPI的搭建及OpenMP的配置 3\o"CurrentDocument"實驗二集群系統的管理與任務 9\o"CurrentDocument"實驗三 PBS 17\o"CurrentDocument"實驗四MAUI 25\o"CurrentDocument"實驗五 Ganglia 27\o"CurrentDocument"實驗六 Nagios 33\o"CurrentDocument"實驗七 VMware虛擬機 50\o"CurrentDocument"實驗八VirtualBox的安裝與配置 63\o"CurrentDocument"實驗九Xen的安裝與配置 66\o"CurrentDocument"實驗十KVM與QEMU 80\o"CurrentDocument"實驗H—GNBD環境下的冗余磁盤陣列 89\o"CurrentDocument"實驗十二HDFS的安裝與配置 92\o"CurrentDocument"實驗十三NFS的安裝與配置 97\o"CurrentDocument"實驗十四LVM的安裝與創建 98\o"CurrentDocument"實驗十五LVM環境下的RAID鏡像 102\o"CurrentDocument"實驗十六Proxmox的使用 106\o"CurrentDocument"實驗十七基于Hadoop大數據平臺的搭建與配置 114實驗MPI實驗MPI的搭建及OpenMP的配置MP!簡介消息傳遞接口(MessagePassingInterface,MPI)是目前應用較廣泛的ー種并行計算軟件環境,是在集群系統上實現并行計算的軟件接口。為了統ー互不兼容的的用戶界面,1992年成立了MPI委員會,負責制定MPI的新標準,支持最佳的可移植平臺。MPI不是一門新的語言,確切地說它是ー個C和Fortran的函數庫,用戶通過調用這些函數接口并采用并行編譯器編譯源代碼就可以生成可并行運行的代碼。MPI的目標是要開發ー個廣泛用于編寫消息傳遞程序的標準,要求用戶界面實用、可移植,并且高效、靈活,能廣泛應用于各類并行機,特別是分布式存儲的計算機。每個計算機廠商都在開發標準平臺上做了大量的工作,出現了一批可移植的消息傳遞環境。MPI吸收了它們的經驗，同時從句法和語法方面確定核心庫函數,使之能適用于更多的并行機。MPI在標準化過程中吸收了許多代表參加,包括研制并行計算機的大多數廠商，以及來自大學、實驗室與工業界的研究人員。1992年開始正式標準化MPI,1994年發布了MPI的定義與實驗標準MPI1,相應的MPI2標準也已經發布。MPI吸取了眾多消息傳遞系統的優點,具有很好的可以執行、易用性和完備的異步通信功能等。MPI事實上只是ー個消息傳遞標準,并不是軟件實現并行執行的具體實現,目前比較著名的MPI具體實現有MPICH、LAMMPI等,其中MPICH是目前使用最廣泛的免費MPI系統,MPICH2是MPI2標準的ー個具體實現,它具有較好的兼容性和可擴展性,目前在高性能計算集群上使用非常廣泛。MPICH2的使用也非常簡單,用戶只需在并行程序中包含MPICH的頭文件,然后調用ー些MPICH2函數接口將計算任務分發到其他計算節點即可,MPICH2為并行計算用戶提供了100多個C和Fortran函數接口，表IT列出了一些常用的MPICH2的C語言函數接口,用戶可以像調用普通函數ー樣,只需要做少量的代碼改動就可以實現程序的并行運行,MPICH并行代碼結構如圖1-1所示。表07常用的MPICH2函數接口編號函數名稱功能描述01MPI」nit初始化MPI接口02MPICommsize通信器進程數03MPI_Comm_rank當前進程的進程號04MPIBcast廣播方式發送數據05MPIReduce組合數據到主進程06MPIFinalize終止MPI(l)#includc"mpi.h-/Z包含MPICH的頭文件(2) I! 其他代碼(3)MP1lnit();//初始化MPl(4)MPICommrank(MPlCOMMWORLD.&rank縣前進程標識號(5)MPl_Comm_size(MPl_COMM_WORLD.&siz);/參加運笄的進程的個數(6)MPl_Bcast()i 〃 廣播發送任務(7) 〃 發送的H算任務(8)MPl_Rcduce<)i〃聚親各節點運舞結果(9)MPI_Finalize();//結束MPI圖!-1MPICH并行代碼結構在Linux集群環境下,MPICH2運行并行程序需要借助于網絡文件系統(NetworkFileSystem,NFS)共享工作區和使用SSH(SecureSHELL)通過網絡發送共享工作區中的并行可執行代碼,其中NFS需要編譯內核使Linux支持網絡文件系統。NFS的內核選項在FileSystem-NetworkFileSystem下,服務器端要變異NFSServerSupport,客戶端編譯NFSClientSupport〇下面以在RedHatEnterpriseLinux5上安裝MPICH2為例簡述在IBMBlade集群環境下搭建MPI并行運行環境的過程。MPI的搭建1)服務器的配置(1)編譯安裝MPICH2MPICH2的安裝可以使用根用戶root安裝也可以使用普通用戶權限安裝,這里我們以root用戶安裝為例，首先創建MPICH2的安裝目錄,如/user/local/mpich2-install,然后指定mpich2T.1.Oal.tar.gz安裝包,切換至リ該目求下足仃./configure-prefix=/user/local/mpich2-install指定MPICH2安裝目錄，執行命令make&&makeinstal!將MPICH2的可執行程序及庫文件安裝到/user/local/mpich2-install目錄下。(2)設置NFS服務器端修改/etc/exports,在文件中加A/user/local/mpich2-install*(rw,no_root_squash,sync)指定將MPICH2的安裝目錄(這里我么將MPICH2安裝目錄作為工作區)通過NFS服務器共享給所有客戶機。(3)設置SSH更改/etc/hosts文件,添加主機名IP地址,例如:localhost.Localdomainlocalhostbclnlbcln2bcln3配置host,conf文件完成后，為了使節點相互通信不需要輸入密碼，還要進行安全驗證的配置,使用ssh-keygen-trsa命令生成SSH密鑰對。切換到/root目錄下，cpid_rsa.pubauthorize_keys將公鑰拷貝為授權鑰匙，并將在/root目錄下生成的.ssh文件夾拷貝到所有節點。這里我們使用了IBM集群管理軟件XCAT的并行拷貝命令pscp-r/root/.sshbclnl-bclnl4:/root/一次性地將.ssh目錄并行拷貝到所有的計算節點上,避免重復多次運行scp命令的麻煩。(4)修改環境變量profile在/etc/profile中加入MICH2可執行文件的環境變量exportPATH="$PATH:/user/MPICH-install/bin",用命令source/etc/profile是新增加的環境變量生效。(5)添加mpd.conf文件#echo“secretword=myword”>/etc/mpd.conf#echo/etc/mpd.conf#echo600/etc/mpd.conf(6)添加主機名稱集合文件mpd.hosts文件在mpd.hosts文件中加入如下主機名:bclnlbcln22)客戶端的配置(1)掛載網絡文件系統在/user/local目錄下創建mpich2-install文件夾,然后在/etc/fstab中加入需要掛載的網絡文件系統,將服務器端共享的工作區掛載到本地,內容如下。Server:/user/local/mpich2-install/user/local/mpich2-installnfsdefaylts00(2)添加環境變量類似于服務器端,在/etc/profile中加入MPICH2可執行文件的環境變量ecportPATH="$PATH:/user/MPICH-install/bin”，,使用命令source/etc/profile是新增加的環境變量生效。MPICH2測試切換到工作區,運行mpdboot-n<numberifhosts>-fmpd.conf啟動mpi的守護程序,,該守護程序通知所有參加并行計算的計算節點,接下來運行mpiexec-n<numberofprocesess>cpi命令測試由MPICH2提供的計算圓周率的并行程序，若運行完畢未出現錯誤提示,則表示MPICH2的環境配置成功。OpenMP簡介OpenMP是ー種針對共享內存的多線程編程技術(SMP是配合OpenMP進行多線程編程的最佳硬件架構),是由一些具有國際影響力的大規模軟件和硬件廠商共同定義的的標準。它是ー種編程指導語句,指導多線程、共享內存并行的應用程序編程接口,OpenMP是ー種能被用于顯示指導多線程、共享內存并行的應用程序編程接口。其規范由SGI發起。OpenMP具有良好的可移植性,支持多種編程語言。OpenMP能夠支持多種平臺,包括大多數的類UNIX及WindowsNT系統。OpenMP最初是為了共享內存多處理的系統結構而設計的并行編程方法,與通過消息傳遞進行并行編程的模型有很大的區別。這是用來處理多處理器共享的ー個內存設備的情況。多個處理器在訪問內存的時候使用的是相同的內存編址空間。SMP是ー種共享內存的體系結構，分布式共享內存將多及的內存資源通過虛擬化的方式形成一個統ー的內存空間提供給多個機器上的處理器使用,OpenMP對這樣的機器也提供了一定的支持。OpenMP的編程模型以線程為基礎，通過編譯指導語句來顯示地指導并行化，為編程人員提供了對并行化的完整控制。OpenMP使用Fork-Join(派生連接,見圖!-2)并行執行模型。一個OpenMP程序從ー個單個線程開始執行,在程序某點需要并行時程序派生(Fork)出ー些額外的線程組成線程組,被派生出來的線程稱為組的從屬線程,并行區域中的代碼在不同的線程中并行執行,程序執行到并行區域末尾,線程將會等待直到整個線程組到達,然后將它們連接(Join)在ー起。在該點處線程組中的從屬線程終止而初始主線程繼續執行直到下ー個并行區域到來。ー個程序中可以定義任意數目的并行塊,因此,在ー個程序的執行中可Foek-Join若干次。使用OpenMP在編譯器編譯程序時,會識別特定的注釋,而這些特定的注釋就包含著OpenMP程序的ー些語句。在C/C++程序中,OpenMP是以#pragmaomp開始,后面跟具體的功能指令。在OpenMP中編譯指導語句是用來表示開始并行運算的特定注釋，在編譯器編譯程序時，編譯指導語句能夠被并行編譯程序識別,串行編譯程序則忽略這些語句。并行編譯程序根據這些指導語句將相關代碼轉換成在并行計算機中運行的代碼。一條編譯指導語句由directive（命令/指令）和clauselist（子句列表）組成。OpenMP的編譯指導語句格式為:#pragmaompdirective-name[clauseE[,[Clause]…]new-lineStructured-blockOpenMP的所有編譯指導語句由#pragmaomp開始,其中directive部分包含OpenMP的主要命令,包括parallel、for、parallelfor,section,sections,single,master,critical,flush,ordered,barrier和atomic。這些指令用來分配任務或同步。后面的可選子句Clause給出了相應的編譯指導語句的參數，子句可以影響到編譯指導語句的具體行為,每ー個編譯指導語句都有一系列適合它的子句,其中有6個指令（master,critical,flush、ordered,atomic,barrier）不能跟相應的子句。new-line為換行符,表示一條編譯指導語句的終止。編譯指令不能嵌入C,C++,Fortran語句,C,C++,Fortran語句也不能嵌入編譯指令。OpenMP運行時庫函數用來設置和獲取執行環境相關的信息,其中也包含一系列用一同步的API。要使用運行時庫函數所包含的函數,應該在相應的源文件中包含OpenMP頭文件,即omp.h。OpenMP運行時庫函數的使用類似與相應編程語言內部的函數調用。有編譯指導語句和運行時庫函數可見,OpenMP同時結合了兩種并行編程的方式,通過編譯指導語句,可以將串行的程序逐步改造成一個并行程序,達到增量更新程序的目的,從而在一定程度上減少程序編寫人員的負擔。同時，這樣的方式也能將串行程序和并行程序保存在同一個源代碼文件中,減少了維護的負擔。在運行的時候,OpenMP需要運行函數庫的支持,并會獲取ー些環境變量來控制運行的過程。這里提到的環境變量是動態函數庫中用來控制函數運行的ー些參數。OpenMP的配置OpenMP的配置非常簡單,GCC4.2以上的版本的編譯器都自帶了OpenMP的頭文件和庫,幾乎不需要再做修改和配置就能使用OpenMP實現共享內存并行運行,下面我們通過ー個實例來闡述在Linux下如何配置OpenMPSinclude<omp.h>Intmain(argc,argv)intargc;Char**argv;#pragmaompparallelprintf("Helloworld!\nM);return0;}考察上面這段簡單的Helloworld代碼,可以看出,除了多了一行#pragmaompparallel以外,這段代碼和普通的C語言代碼沒有什么區別,#pragmaompparallel是一條OpenMP標準的語句,它的含義是讓后面的語句按照多線程來執行。當我們采用GCC編譯時，加入OpenMP的參數一fopenmp,即可將程序并行化，命令如下:[root@localhost?]#gcc-fopenmphelloworld,c[root@localhostヽ]#./a.outHelloworld!編譯、執行程序,屏幕上打印出了一遍‘'Helloworld”。-fopenmp是GCC編譯支持OpenMP程序的參數,GCC4.2以上的版本默認支持OpenMPo由于系統環境變量中的NUM_THREADS的默認為1,所以程序只使用ー個線程來執行。如果要使用多線程執行程序,可以修改環境變量NUM_OMP_THREADS,命令如下:[root@localhostコ#NUM_0MP_THREADS=5[root@localhost?]#exportNUMOMPTHREADS[root@localhost]#./a.outHelloworld!Helloworld!Helloworld!Helloworld!Helloworld!以上命令表示給線程數量的環境變量NUM_OMP_THREADS賦值為5并導出,再執行程序,得到5遍的“Hell。world!”,說明程序將打印語句用5個線程分別執行一遍。如果不希望受到運行系統環境變量的限制，也可以將代碼#pragmaompparallel替換成#pragmaompparallelnumthreads(10).編譯之后再執行程序,得到!0遍“Helloworld!M這是無論環境變量NUM_OMP_THREADS的值為多少,都只得到10遍的“Hell。world!只實驗二集群系統的管理與任務XCAT簡介一個普通的小規模集群系統(節點小于10)在沒有集群管理軟件進行管理的情況下,通過手動安裝、配置每臺計算節點,其工作量的多少是可想而知的，以ー個包含10個節點的集群系統為例,在每一臺計算節點上安裝操作系統、配置并行計算機環境、同步集群用戶，在保證不出錯的情況下,花費的時間大約是兩個小時,10個計算節點ー共需要20個小時左右,這還是ー個比較小的集群系統,如果像石油勘探、天氣預報等使用的動輒幾百個節點的集群系統，照這種方法逐個配置計算節點,雖然耗費的時間太多,而且要重啟計算節點也必須逐個進行，操作極其繁瑣,因此需要集群管理軟件來管理集群系統,提高工作效率。XCAT(ExtremeClusterAdministrationToolkit)是由大型計算設備提供商IBM開發的ー套集群管理套件,在IBM的刀片箱上集成了一個KVM的硬件模塊,該模塊控制著箱內的所有刀片,包括電源開關、啟動順序等,XCAT可以控制KVM模塊,用戶可以通過該套件實現集群計算節點的管理,使得集群管理更容易,用戶只需要安裝好管理節點,配置好XCAT的相關參數,就可以通過XCAT控制計算節點的安裝(使用PXE網絡啟動和KickStart),配置、重啟等操作，特別是使用XCAT安裝計算節點,在管理節點上設置安裝源以后,運行發送命令,計算節點就會自動從管理節點同步安裝文件,自動將管理員設置好的軟件包等安裝到計算節點上,無需管理員諸葛安裝和配置每臺計算節點,為集群管理員節省了大量時間。XCAT的配置XCAT能幫助管理員有效地管理集群,避免了手動管理每ー個集群計算節點的麻煩。只需要載管理節點上安裝和配置好XCAT的運行環境,就能使集群的管理更加簡單,接下來介紹XCAT的安裝與配置。XCAT安裝的前提條件管理節點上至少要有兩個網卡,ー個對內部的計算節點進行管理,一個對外提供計算應用。除此之外,還需要如下4個XCAT的軟件包。xcat-dist-core-1.2.0-RC3.tgzxcat-dist-doc-1.2.0-RC3.tgzxcat-dist-ibm-1.2.0-RC3.tgzxcat-dist-oss-1.2.0-RC3.tgz2）安裝XCAT解壓縮前面列出的XCAT必須的4個軟件包，如果將這4個軟件包解壓到/〇pt/xcat目錄下則運行如下命令。[root@manager]#tar-xzvpfxcat-dist-core-1.2,0-RC2.tgz-C/opt/xcat[root@manager]#tar-xzvpfxcat-dist-oss-1.2.0-RC2.tgz-C/opt/xcat[root@manager]#tar-xzvpfxcat-dist-ibm-1.2.0-RC2.tgz-C/opt/xcat[root@manager]#tar-xzvpfxcat-dist-doc-1.2.0-RC2.tgz-C/opt/xcat安裝包解壓完成后，會在/〇pt/xcat中生成安裝腳本setupxcat,載生成的文件夾中進行XCAT的首次安裝。[root@manager]#./setupxcat配置網絡時間同步服務器（NTP）o設置NTP的目的是為了使集群中的計算節點能自動管理節點上同步時間,避免了手動修改每臺計算節點造成的時間不統ー的問題，首先我們載管理節點上設置好NTP服務器端，編輯/etc/ntp.conf配置文件,載文件中輸入如下內容。#vi/etc/ntp.confserverserverfudgestratum10driftfile/var/lib/ntp/drift編輯ntp.conf完成后,需要載服務器開啟NTP服務,使系統自動的時候自動加載NTP服務,命令如下。#chkconfig—level345ntpdon④定義集群XCAT對計算節點的管理主要依靠集群設備中硬件的定義信息表,這個表由管理員載集群管理節點上配置,表2-1列出了常用的幾個表名及用途。表2-1 XCAT中的表表名用 途site.tabxCAT住配置表,集群的全局定義表,是整個XCAT中最重要的一個表,它定義了rsh路徑、rep路徑、安裝計算節點需要的tftp目錄、集群的域名解析服務器地址、管理節點的名稱、使用的作業管理系統名稱、資源調度器名稱等nodehm.tabXCAT的計算節點硬件管理表,記錄了節點名稱、高級系統管理適配器、電源類型、終端類型等硬件信息Nodelist.tab定義集群中多有節點的名稱、節點從屬組、運行狀態等Nodepos.tab記錄了每個節點所安放的物理位置noderes.tab定義節點組名稱、節點的啟動方式、tRp服務器IP地址、nfs服務器1P地址、安裝啟動的網卡設備名稱等Nodetype.tab定義節點的系統類型、構架,使用的鏡像類型及從屬的組名稱passwd.tab定義各種管理設備使用的用戶及密碼postscripts.tab定義kickstar等安裝結束后配置節點的相關腳本Postdeps.tab定義postscripts中腳本的相互依存關系Networks.tab定義節點所使用的網段、掩碼、網關、DNS信息conserver.tab定義節點通過何種方式轉發console信息mp.tab定義節點的管理設備及在插槽的位置mpa.tab定義管理設置的類型及使用何種方式進行管理等定義好XCAT管理集群的表以后,就可以在系統管理節點上創建DNS服務、收集計算節點的MAC地址、創建DHCP服務等,按照傳統的方式配置這些服務,不僅需要管理員非常熟悉DNS、DHCP服務器等的配置,還非常容易載配置中出現錯誤。XCAT已經為管理員簡化了這方面的配置,剩下的事情就交由XCAT自動執行安裝配置,不僅簡化了操作，還節約了時間,同時在保證所有表配置信息不出錯的情況下,XCAT能將這些服務器安裝、配置正確。下面分別給出了創建DNS、收集MAC地址信息、創建DHCP服務的命令。⑤創建DNS服務。#makedns⑥收集所有計算節點的MAC地址信息至mac.tab〇#getmacscompute⑦倉リ建DHCP服務。#makedhcp—new—allmac⑧第二次運行setupxcat,完成CAT的安裝。#./setupxcat\3.使用XCAT安裝計算節點XCAT配置完成后,就可以通過XCAT安裝計算節點了,在安裝計算節點前,還需要設置系統安裝鏡像及NFS、TFTP服務等。首先要利用Linux的安裝光盤建立安裝計算節點需要的操縱系統下載源，這樣當所有的計算節點來時安裝系統時會自動到管理節點上下載安裝包到本地執行安裝。這需要在管理節點上打開TFTP服務，XCAT整合了這些繁瑣的操作，只需要運行一個命令copycds就可以實現,運行完這個命令后,會在根目錄下生成install文件夾,在這個文件夾下生成系統的安裝源文件,以64位的RedHatEnterpriseLinux為例,生成目錄為/install/rheLSERVER5.3/x86.64,拷貝安裝源文件這個過程會耗費約10分鐘，具體時間根據管理節點的性能而有差異。拷貝完安裝源文件,接下來再復制XCAT 目錄下保存的系統安裝完成后額外需要安裝的軟件,命令如下。#cd/opt/xcat#findpost-print|cpio-dump/install安裝源和額外安裝的軟件配置完成后,需要建立計算節點啟動的鏡像文件,以便于計算節點從網卡啟動時,自動從管理節點上下載啟動鏡像文件,命令如下。#cd/opt/xcat/stage#./mkstage完成上面的設置以后,為確保XCAT正常控制計算節點,可以先進行電源管理命令的測試,以查看XCAT是否正常檢測計算節點的狀態,在管理節點的終端輸入如下命令。#rpowercomputestat若返回如下計算節點的狀態信息,則表示XCAT已能正常控制計算節點,否則應根據錯誤提示,重新配置XCAT。Bclnl:onBcln2:onBcln3:onBcln4:onBclnl2:onBclnl3:onBclnl4:on當XCAT所有的配置完成以后,接下來要進行計算節點的系統安裝,采用XCAT來安裝計算節點不僅能節省大量的時間,而且所有的計算節點的環境都是ー樣的,XCAT安裝計算節點非常簡單,只需要運行幾個命令即可。剩下的事繳費XCAT處理就可以了，首先要通過XCAT設置計算節點的啟動順序,由于計算節點是采用網卡引導安裝的,因此需要將網卡的啟動順序設置在最前面,命令如下。#rbootseqcomputen,c￡h該命令的作用是設置計算節點的啟動順序為network、cdrom、floppy.harddisk接下來執行節點的安裝命令。#nodesetbladeinstall其中blade為計算節點所屬的組,安裝的目標為blade組中所有的計算節點,也可以用范圍來表示,如要安裝bcln!至bclnl4的計算節點,可以用命令nodesetbclnl-bclnl4instalL執行完nodeset命令后,XCAT中的nodeset表的狀態會發生改變,只要重啟計算節點,從網卡啟動計算節點,就可以開始計算節點的安裝,可以用tabdumpnodeset命令來查看該狀態,表中的內容如下。#node,groups,status,appstatus,comments,disableHunknownn,ncompute,mm,maths,blade,allnbcln；,mm,air,,naliven?,”bc1n8"Jcompute,blade,aH”/installing”,”nbc1n4M,ncompute,maths,blade,all“Jinstalling”，，，”bc1n7"Jcompute,blade,all”,installing”,””bc1n12”,”compute,blade,all”,”installing”,””bcln2”,”compute,maths,blade,aU”,”installing”，，，”bc1n14n,Hcompute,blade,allゝ”installing””，”bc1n9”,”compute,blade,all”,”installing”,””bc1n13”,”compute,blade,all”,”installing”?,”bc1n1n,Mcompute,blade,all”,installing”,,，”bc1n6”,”compute,blade,all”,installing””，”bc1n!〇”,”compute,blade,all”,”installing””，”bcln3”,”compute,maths,blade,aH”,”installing”，，，”bcln5”,”compute,maths,blade,all”,”installing”，，,”bc1n11n,Mcompute,blade,allヽ”installing””，然后重新啟動所有的計算節點,剩下的工作就是等待XCAT控制所有計算節點完成系統的安裝,重啟計算節點的命令如下。#rpowerbladereset安裝完所有節點以后,需要配置管理節點上的資源,包括生成SSH密鑰、建立NFS服務等,具體步驟如下。生成root的SSHkeys〇#gensshkeysroot在/〇pt/xcat/etc/下將生成一個gkh文件更新/etc/exports文件。#vi/etc/exports/opt/xcat*(ro,no_root_squash,sync)/usr/local*(ro,no_root_squash,sync)/install*(ro,async,no_root_squash)/home *(rw,no_root_squash,sync)啟動NFS服務或使用exportfs〇#servicenfsstart或#exportfs-rvexporting*:/xcatdata/installexporting*:/xcatdata/localexporting*:/xcatdata/homeexporting*:/xcatdata/xcat安裝結束后,收集SSHhostkeys〇#makesshgkhcompute測試psh,查看各節點時間是否正常。#pshcomputedate;date4.使用XCAT管理計算節點XCAT安裝配置完成計算節點的安裝后,需要添加集群的用戶,與單獨的服務器不同,這不僅需要在管理節點上建立集群用戶,管理節點上的用戶還必需在計算節點上存儲ー份鏡像,以便于集群用戶能使用所有的節點。首先在管理節點添加集群用戶和用戶組。[root]#groupaddibm[root]#addclusteruserEnterusername:hpcuserEntergroup:hpcuserEnterUID(returnfbrnext):501Enterabsolutehomedirectoryroot:/homeEnterpassed(blankfbrrandom):redbookChangingpasswordfbruseribm.passwd:allauthenticationtokensupdatedsuccessfully.在集群管理節點上完成了用戶和組的建立,然后將所有集群用戶同步到所有計算機節點上,利用命令pushuser執行。[root]#pushuserallhpcuser在沒有安裝XCAT的集群上,計算節點間的文件拷貝是比較費力的,必須重復地使用scp命令拷貝文件到各個計算節點上,雖然可以使用腳本編程語言用循環實現,但其工作量也不小,另外,有些需要在每個計算節點上依次執行的命令,如果按照傳統的方式登錄到計算節點上去執行,工作的難度可想而知。針對節點間文件拷貝和命令執行不方便這兩個問題，XCAT提供了pscp和psh命令,使用它們可以實現計算節點文件的并行拷貝和命令的并行執行,只需一個命令就可以向所有的節點拷貝文件或執行命令,另外,XCAT還提供了并行網絡檢測命令pping、節點電源控制命令rpower等,大大減輕了管理員的工作負擔,命令如下。并行執行psh命令可以在管理節點上并行執行計算節點上的命令。[root]#pshbe1n1-be1n3uname-rBcln2:2.6.9-34.ELBclnl:2.6.9-34.ELBcln3:2.6.9-34.EL并行遠程拷貝命令pscp可以并行拷貝文件到計算節點上。[root]#pscp-r/usr/localbe1n1,bc1n3:/usr/local[root]#pscppasswdgroupall:/etc并行網絡連接測試命令pping可以并行測試集群計算節點的網絡狀態。[root]#ppingbcln4-bcln6Be1n4:pingBcln6:pingBcln5:noping 〃表示網絡不能到達(4)遠程電源控制命令rpowerorpower[noderange][on|off]state|reset|boot|cycle][root]#rpowerbe1n4,bc1n4statBclnl4:onBcln5:off[root]#rpowerbcln5onBcln5:on實驗三PBSPBS簡介PBS(PortableBatchSystem)最初由NASA的Ames研究中心開發,目的是提供ー個能滿足異構計算網絡需要的軟件包,特別是滿足高性能計算的需要。它カ求提供對批處理的初始化和調度執行的控制,允許作業在不同主機間路由。PBS獨立的調度模塊允許系統管理員定義資源和每個作業可使用的數量。調度模塊存有各個可用的排隊作業、運行作業和系統資源使用狀況信息,系統管理員可以使用PBS提供的TCL、BACL、C過程語言。PBS的調度策略可以很容易被修改,以適應不同的計算需要和目標。①PBS的結構及功能。PBS主要由4個部分組成:控制臺、服務進程、調度進程和執行進程。控制臺實質上由一系列PBS提供的命令構成，PBS同時還提供了圖形化界面XPBS,實現了圖形界面與PBS命令的映射:服務進程即pbs_server(簡稱server),是PBS運行的核心,它集中控制整個集群上的作業運作。調度進程即pbs_sched,它包含了作業運行及運行地點和時間的站點控制策略。執行進程即pbs_mom,實際上由它產生所有正在執行的作業。②調度策略。PBS為了調度那些應該放在執行隊列的作業，提供了一個單獨的進程。這是ー個靈活的機制,可以實現大量的策略。這個調度程序使用標準的PBSAPI來和服務器通信,使用ー個額外的API來和PBS執行進程通信。通過使用ー些額外提供的API,可以增強調度的策略,進而實現ー個可替換的調度程序。第一代批處理系統和許多其他的批處理系統都使用大量基于限制作業或控制調度作業的隊列。為了按照時間來控制作業的排序,隊列會被打開或關閉,或者限制載隊列里運行作業的數量;而PBS支持多重隊列,并且這些隊列有很多其他批處理系統所使用的作業調度屬性,PBS服務器本身并不運行作業,也不添加任何限制,這些都是由隊列屬性實現的。事實上,調度程序僅僅擁有不超過一個有管理員特權的客戶端。控制調度的服務器和隊列屬性可以通過擁有特權的客戶端來調整,這些特權命令是qmgro然而,這些控制通常駐留在調度程序上,而不是服務器上。這些調度程序必須檢查服務器、隊列和作業的狀態,決定服務器和隊列屬性的設置。在之后的決策中,調度程序必須使用這些設置。另ー個方法就是wholepool方法,所有的作業都放在ー個單獨的隊列中,調度程序評估每個作業的特點并且決定運行哪ー個作業。這些策略能很容易地包括一些因素,如每天的運行時間、系統的裝載、作業的大小等。隊列里作業的順序不需要被考慮。這個方法的主要優勢在于用戶可以根據自己的主要需求來產生策略,通過調度,使當前的作業更好地適應當前可用的資源。③PBS系統中的作業執行。PBS系統中的作業執行主要依靠服務進程、調度進程、執行進程等部分，如圖3-1,簡單的執行過程如下。a.由客戶產生事件，時間通知服務進程開始一個調度周期;b,服務進程發送ー個調度命令給作業調度器;c.作業調度器向執行過程請求可利用的資源信息；d.執行做成返回給作業調度器ー個資源信息；e.得到資源信息后，調度器向服務進程請求作業信息；f,服務進程接受請求，并發送作業信息至作業調度器，產生執行作業的策略;g.作業調度器發送執行作業請求至服務進程；h,服務進程接受請求后,發送作業至執行進程執行作業。圖3-1PBS的執行過程

PBS的安裝PBS的安裝應該說是ー個標準的Linux的tarball安裝方式。安裝過程主要有如下幾個步驟。①下載PBS的源碼包。OpenPBS-2.3.12sc2.tar②解壓縮軟件包。#tarzxvpfOpenPBS-2.3.12sc2.tar③進入相應的目錄,配置、編譯。#cdSPBS-1.0.OS./configure-docs-disable-gui$make#makeinstall其中,選項ーenable-docs指定要編譯文檔,選項--disable-gui指定去掉圖形界面;選項ーenable?scp,先使用scp命令,再使用!*cp命令進行數據的復制。默認情況下,PBS會安裝在.usr/spoole/PBS目錄下,該目錄在./configure的時候指定-prefix。PBS的配置配置server_name編輯所有的節點的$PBS_HOME/server_name,在里面寫入選定的server的主機名,例如:manager配置管理節點在manager的$PBS_HOME/server_priv目錄下建立nodes文件。#touchnodes在nodes文件寫入所有mom節點的名稱。bclnlnp=4bcln2np=4bclnl4np=4其中的np代表的是虛擬處理器的個數,實際上也就是該節點最多可以同時運行多少個任務。3)配置計算節點為了使計算節點接受管理節點的控制,需編輯每個計算節點$PBS_HOME/mom_priv目錄下的config文件,寫入如下信息。SlogeventOxlffSclienthostmanager$logevent用于指定日志的級別,使用默認值就可以了,$clienthost為指定server的地址。PBS的作業管理PBS安裝配置完畢后需啟動服務,可以手動執行啟動,也可以載rc.local文件中加入啟動腳本,最好按mom、server、sched的順序啟動命令,具體如下。#/usi71ocal/sbin/pbsmom#/usr/local/sbin/pbs_server-tcreate#/usr/local/sbin/pbssched其中create在第一次啟動的時候要用,用于創建一些初始化必要的環境,以后啟動就不再需要/〇接下來要創建作業隊列,PBS中的隊列分為兩種類型,即執行隊列和路由隊列,下面是ー個創建隊列的腳本。##Createanddefinequeueverylong#createqueueverylongsetqueueverylongqueuetype=ExecutionsetqueueverylongPriority=40setqueueverylongmaxrunning=10setqueueverylongresources_max.cput=72:00:00setqueueverylongresources_min.cput=12:00:01setqueueverylongresources_default.cput=72:00:00setqueueverylongenabled=Truesetqueueverylongstarted=True##Createanddefinequeuelong#Createqueuelongsetqueuelongqueuetype=ExecutionsetqueuelongPriority=60setqueuelongmaxrunning=10setqueuelongresourcesmax.cput=12:00:00setqueuelongresources_min.cput=02:00:01setqueuelongresourcesdefault.cput=12:00:00setqueuelongenabled=Truesetqueuelongstarted=True##Createanddefinequeuemedium#createqueuemediumsetqueuemediumqueue_type=ExecutionsetqueuemediumPriority=80setqueuemediummaxrunning=10setqueuemediumresourcesmax.cput=02:00:00setqueuemediumresourcesmin.cput=00:20:01setqueuemediumresourcesdefault.cput=02:00:00setqueuemediumenabled=Truesetqueuemediumstarted=True##Createanddefinequeuesmall#createqueuesmallsetqueuesmallqueuetype=ExecutionsetqueuesmallPriority=100setqueuesmallmaxrunning=10setqueuesmallresourcesmax.cput=00:20:00setqueuesmallresourcesmin.cput=00:20:00setqueuesmallresourcesdefault.cput=00:20:00setqueuesmallenabled=Truesetqueuesmallstarted=True##Createanddefinequeuedefault#createqueuedefaultsetqueuedefaultqueuetype=Routesetqueuedefaultmaxrunning=10setqueuedefaultroutedestination=smallsetqueuedefaultroutedestination+=mediumsetqueuedefaultroutedestination+=longsetqueuedefaultroutedestination+=verylongsetqueuedefaultenabled=Truesetqueuedefaultstarted=True##Setserverattributes.#setserverscheduling=Truesetservermaxuserrun=6setserveraclhostenable=Truesetserveraclhosts=*setserverdefalultqueue=defaultsetserverlogevents=63setservermailfrom=admsetserverqueryotherjobs=Truesetserverresourcesdefault.cput=01:00:00setserverresources_deihult.neednodes=1setserverresources_default.nodect=1setserverresourcesdefault.nodes=1setserverscheduleriteration=60setserverdefaultnode=1#shared該腳本定義了verylong、long、medium>small這4個作業隊列和ー個default路由隊列,里面的幾個比較重要的屬性如下。①Enable表示作業隊列可用,也就是可以往里面添加新的作業了。②Actived指示作業隊列處于活動狀態,可以參加調度了。③Server的scheduling屬性指示server開始調度。PBS隊列創建完畢，接下來要進行PBS腳本編寫,下面是ー個PBS腳本的實例。!/bin/shPBS-NmyjobPBS-1ncpus=25PBS-1mem=213MBPBS-1walltime=3:20:00PBS-omypath/my.outPBS-emvpath/my.errPBS-qdefalutmpiexec-fmpd.hosts-np14,/cpi其中第一行表示該文件為ー個Shell腳本,從第二個開始為PBS的腳本,-Nmyjob表示作業的名稱，即提交作業后,在作業隊列里面可以看到的作業名稱;ncpus表示給該作業分配多少個CPU,這個腳本中分配了25個CPU；mem表示為作業分配的內存大小，該腳本中為作業分配了213MB內存;walltime表示該作業可以執行的墻上時間；ー〇mypath/my.out表示作業運行完畢后,運行輸出結果的存儲路徑,作業完成計算后,會在mypath/my.out中輸出計算結果；-emypath/my.err表示作業出現錯誤時輸出的錯誤信息;-qdefault表示該作業隸屬于de危ult隊列；最后一行表示并行程序的執行,其中一fmpd.hosts表示該作業要用到mpd.hosts里面列舉的計算節點，-np表示該作業使用的進程數，cpi表示已編譯好的并行程序。編寫完PBS作業腳本以后,就可以提交作業了,PBS作業提交簡單,只需要運行qusb命令加上作業腳本名稱就可以了,具體如下。#qsubpbsscript作業提交完成后，用戶可以使用qstat命令查詢自己提交的作業,查看到作業的狀態,下面是執行qstat命令后系統返回的結果。其中Jobid表示該作業載隊列中的序號,Name是作業名稱,User表示提交該作業的用戶名稱,TimeUse表示該作業已執行的時間,S表示作業的狀態,R狀態表示正在運行(Running),Queue表示作業所在的隊列。JobidNameUserTimeUseSQueue48.managerpbstesttestl 00:00:05Rdefaultqstat命令的參數與操作如表3-1所示。qstat命令的參數命令與參數操作qstat-q列出系統的所有隊列狀態qstat-Q列出系統隊列的限制值qstat-a列出系統的所有作業qstat-auuserid列出指定用戶的所有作業qstat-B列出PBSServer信息qstat-r列出所有正在運行的作業qstat-fjobid列出指定作業的信息qstat-Qfqueue列出指定隊列的信息作業提交以后,如果用戶想撤銷該作業,可以使用qstat命令查詢到該作業的id,然后執行qdel命令將作業從作業隊列中刪除,命令如下。#qdeljoblD實驗四MAUI.MAUI簡介Maui是一個高級的作業調度器,它采用積極的調度策略優化資源的利用和減少作業的響應時間。Maui的資源和伏在管理允許高級的參數配置:作業優先級(JobPriority)、調度和分配(SchedulingandAllocation)、公平性和公平共享(FairnessandFairshare)>預留策略(ReservationPolicy)〇Maui的QoS機制允許資源和服務的直接傳遞、策略解除(PolicyExemption)和指定特征的受限訪問。Maui采用高級的資源預留架構可以保證精確控制資源何時、何地、被誰、怎樣使用。Maui的預留架構完全支持非入侵式的元調度。在集群系統中,作業管理系統是很重要的ー個部分。好的作業管理系統能夠公平、合理地分配計算資源,杜絕資源浪費。在小型的集群系統中,人們一般用TorquePBS作為作業管理系統,它本身自帶ー個管理工具——pbs_sched,該管理工具能夠根據先進先出的原則安排作業,對一般的集群管理應該是足夠了。但如果集群有幾十個節點,分成若干個隊列,則pbssched就カ不從心了。為此,Torque推出了一個免費的管理軟件maui,它能夠實現多個隊列、多個用戶的作業管理，允許管理人員建立各種作業排隊的規則，是ー款很好的小型集群系統作業管理軟件。.安裝MAUI下面是它的安裝簡介，前提是先安裝調試好TorquePBS后，用maui替代pbsschedo①在管理節點上安裝maui〇/home/tgz/torque/maui-3.2.6p21/configure-with-pbs=usr/localmakemakeinstall②修改ui的守護程序,并修改MAULPRFIX指定maui所在路徑。cp/home/tgztorque-3.2.6p21/etc/maui.d/etc/init.d/vi/etc/init.d/maui.dMAUI_PREFIX=/usr/local/maui③啟動maui的守護程序。/etc/init.d/maui.dstartchkconfig-addmaui.dchkconfig-level3456maui.don”chkconfig—listmaui.d實驗五GangliaGanglia實驗簡介Ganglia監控軟件主要是用來監控系統性能的軟件,如cpu、內存、硬盤利用率,I/O負載、網絡流量情況等,通過曲線很容易見到每個節點的工作狀態,對合理調整、分配系統資源,提高系統整體性能起到重要作用。Ganglia由加州大學伯克利分校開發,是ー個為諸如大規模集群和分布式網格等高性能計算系統開發的ー個可擴展的監控系統,Ganglia有兩個Daemon,分別是:客戶端GangliaMonitoringDaemon(gmond)和服務端GangliaMetaDaemon(gmetad),還有GangliaPHPWebFrontend(基于web的動態訪問方式)組成,是ー個Linux下圖形化監控系統運行性能的軟件,但不能監控節點硬件技術指標。Ganglia系統是建立在分級、聯邦的基礎之上，其結構為樹狀結構,這使得它有很好的可擴展性,可以容易地適應不同規模的集群。基于XML技術的數據傳遞將系統的狀態數據跨越不同的系統平臺進行交互。用簡潔緊湊的XDR作為集群內部各節點發布數據的方式和設置閾值,使得Ganglia具有很低的額外開銷。但由于每個節點要保存所有節點的狀態信息,所以單節點的資源使用情況會隨著節點的增多而增大。同時監控數據采用多播的數據發布方式,當性能數據量增大或性能數據變化較快時，會對網絡性能有一定的影響。Ganglia的安裝RRDTool安裝完成后,可以開始GANGLIA的安裝，先下載GANGLIA的安裝包到/tmp/,安裝命令如下cd/tmp/tarzxvfGanglia*gzcdGanglia-3.1.1/./configure—with-gmetadmakemakeinstallGanglia的配置對每臺需要監視的客戶端即監視節點都只需要安裝Ganglia-gmondo安裝后啟動服務:#servicegmondstart#chkconfiggmondon然后修改計算節點的配置文件:修改/etc/gmond.conf：cluster{name="manager”（本網段的名字或集群的名,在Ganglia網頁中顯示的是每個集群的名稱）owner="HPCUSER”（所有者）latlong="unspecified”（經緯度）url=”unspecified”）找到tcp_accept_channel在里面加入服務器的ip地址tcp_accept_channel{port=8649acl{default=”deny”access{ip=mask=32action="allow”}）}Ganglia的配置就完成了,圖ー1是Ganglia檢測到的整個集群的資源負載百分比信息,從這個圖像可以看出哪些資源比較空閑,哪些資源比較緊張。Ganglia資源監控Ganglia最主要的功能是監控集群中各個節點的CPU、內存、網絡吞吐量的

情況,如圖ー1餅狀圖表示的是集群在某個時間段內的資源總體消耗情況,紅色表示集群資源占用非常高,橙色次之,灰白色表示集群資源空閑。ClusterLoadPercentages圖5-1集群資源負載百分比圖5-2是集群在某ー個小時內的資源使用情況,分別対應集群的進程數、集群CPU占用百分比、集群內存占用總數、集群網絡流量。百分比、集群內存占用總數、集群網絡流量。hpc_in_boxClusterCPUlasthour■UserCPU□NiceCPU■SysteaCPU〇WAITCPU□IdleCPUhpc_in_boxClusterCPUlasthour■UserCPU□NiceCPU■SysteaCPU〇WAITCPU□IdleCPU 一□1-ainLoadQNodes■CPUs■RunningProcesseshpcinboxClusterMemorylasthourhpcinboxClusterNetwork'lasthourHLULllllLr-In■Out■MemoryUsed■HeooryShared□Me?oryCached□MeaoryBuffered ■MeaorySwapped■TotalIn-CoreMeaoryOverviewofhpcmboxhpc_in_boxClusterLoadlasthour60 ~圖5-2集群資源使用總統概況圖ー3表示集群中節點數和CPU核心數，綠色的直線表示集群中有15個節點（1個管理節點和14個計算節點），紅色的直線表示整個集群ー共有64個CPU核心。

圖5-3上一個小時集群活動進程數圖ー4表示用戶占用CPU時間,以百分比表示,藍色填充圖部分表示這段時間CPU的占用率約為3%左右,表示集群資源當前比較空閑。圖圖ー4上一個小時集群處理器資源占用情況圖ー5表示集群的內存和交換內存(swap)使用情況,紅色的直線表示集群一共有64GB內存,紫色的直線表示集群一共有16GB交換內存，青色表示內存Bufer,深青色表示在buffer中已命中的情況，藍色表示用戶進程占用內存情況。

hpc_in_boxClusterHemorylasthour】?hpc_in_boxClusterHemorylasthour】?圖圖ー5上一個小時集群內存資源占用情況圖-6表示集群網絡資源占用情況,綠色的曲線表示數據流向集群,藍色曲線表示從集群流出的數據。圖圖ー6上一個小時集群內存資源占用情況圖ー7表示集群中每個節點（包括管理節點）資源占用情況，白色表示集群空閑，綠色表示集群節點正在被使用，橙色和紅色表示集群的資源負載比較大。管理員可以根據這個

監控圖查看集群中哪些節點空閑哪些節點負載較高,以方便將空閑的資源提供給用戶和減輕高負載節點的負荷。ShowHosts:yes?no〇Ihpc_inboxloadonelasthoursoileddescending|columns4vSi2Csmall▼bclnl3bclnllmanager。bclnl2bclnSbcln6bcln9。bcln3bcln7一?一.ShowHosts:yes?no〇Ihpc_inboxloadonelasthoursoileddescending|columns4vSi2Csmall▼bclnl3bclnllmanager。bclnl2bclnSbcln6bcln9。bcln3bcln7一?一.bclnl4bcln2bcln4bclnlbcln5圖圖ー7集群計算節點資源使用情況圖ー8表示集群中某個節點的總體情況,藍色的主機標志該集群節點正在運行中,且資源比較空閑，若該主機標志為橙色或者紅色則表示該節點負載較高。可以根據該概況圖查看集群的硬件配置和系統參數,表示該節點有4個CPU,每個CPU的頻率為2GHz,物理內存為4GB,交換內存約10GB。該節點的操作系統位LinuxX86_64,2.6.28內核。bclnl3OverviewIIPThishostislipaudnuuiiugTuneandStiuigMetricsUm,01Jan1970O-00:00"HTOOOFFMon,26Sep201111:30X)1+08000days.0:00:18x86_64Linux2.6.2815330days.9:45:22ConstantMetrics4CPUs2000MHz4060.56.000KB1052248.000KB圖圖ー8節點硬件與系統配置實驗六NagiosNagios簡介Nagios是ー個監視系統運行狀態和網絡信息的監視系統,Nagios能監視所指定的本地或遠程主機及服務,同時提供異常通知功能等。Nagios可運行在Linux/UNIX平臺之上,同時提供ー個可選的基于瀏覽器的Web界面以方便系統管理人員查看網路狀態、各種系統問題及日志等,Nagios具有以下功能。網絡月艮務監控(SMTP、POP3、HTTP、NNTP、!CMP,SNMP、FTP、SSH)o主機資源監控(CPUload>diskusage,systemlogs)也包括Windows主機(使用NSClient++plugin)。可以指定自己編寫的Plugin通過網絡收集數據來監控任何情況(如溫度、警告)。可以通過配置Nagios遠程執行插件,遠程執行腳本。遠程監控支持SSH或SSL加通道方式進行監控。簡單的plugin設計允許用戶很容易地開發自己需要的檢查服務，支持很多開發語言(如ShellScripts,C++,Perl,Ruby,Python,PHP,C#等)。包含很多圖形化數據Plugin(Nagiosgraph,Nagiosgrapher,PNP4Nagios等)。⑧可并行服務檢查。能夠定義網絡主機的層次,允許逐級檢查,就是從父主機開始向下檢查。當服務或主機出現問題時發出通告,可通過E-mail,Pager,SMN或任意用戶自定義的plugin進行通知。11能夠自定義事件處理機制,重新激活出問題的服務或主機。12自動日志循環。13支持冗余監控。14包括Web界面可以查看當前的網絡狀態、通知、問題歷史、日志文件等。Nagios的安裝①在安裝之前首先檢測系統是否安裝以下包。httpdphpgccglibcglibc-commongdgd-devel#rpm-qa grephttpd#rpm-qa grepphp#rpm-qagrepgd②創建用戶。#useraddnagios#groupaddnagcmd#/usr/sbin/usermod-a-Gnagcmdnagios#/usr/sbin/usermod-a-Gnagcmdapache③安裝Nagios包tarzxvfnagios-3.2.0.tar.gzcdnagios-3.2.0#./configure-prefix=/usr/local/nagios-with-command-group=nagicmd#makemakeinstallmakeinstall-initmakeinstall-configmakeinstall-commandmode#makeinstall-webconf④創建管理用戶并啟動叩ache。#htpasswd-c/usr/local/nagios/etc/htpasswd.usersnagiosadminpasswd：******此處所創建用戶為nagiosadmin,如果為其他用戶則后面要修改文件。#servicehttpdrestart⑤安裝nagios-plugins（此處用1413版本）。#tarzxvfnagios-plugins-1.4.13.tar.gz#cdnagios-plugins-1.4.13#./configure-with-nagios-user=nagios -with-nagios-group=nagios-prefix=/usr/local/nagios#make#makeinstall⑥注冊服務,設置開機啟動。#chkconfig—addnagios#chkconfignagioson⑦完成初步安裝,可以監控查看本機的一些服務,檢測配置文件并啟動nagios〇#/usr/local/nagios/bin/nagios-v/usr/local/nagios/etc/nagios.cfgCheckingforcircularpathsbetweenhost...Checkingforcircularhostandservicedependencies...Checkingglobaleventhandlers...Checkingobsessivecompulsiveprocessorcommands...Checkingmiscsettings...#servicenagiosstart⑧登錄查看。http：//3/nagios/輸入創建的用戶名nagiosadmin與設置密碼,可登錄管理界面做相應的操作。3.Nagios監控端的配置①在服務器端安裝nrpeo#tarzxvfnrpe-2.12.tar.gz#cdnrpe-2.12#./configure#makeall#makeinstall-plugin#makeinstall-daemon#makeinstall-daemon-config#Is/usr/local/nagios/libexec/check_nrpe/usr/local/nagios/libexec/check_nrpe配置Nagios主配置文件nagios.cfgocatnagios.cfg只寫出改動文件,下同cg_file=/usr/local/nagios/etc/objects/commands.cfgcg_file=/usr/local/nagios/etc/objects/contacts.cfgcg_file=/usr/local/nagios/etc/objects/timeperiods.cfgcg_file=/usr/local/nagios/etc/objects/templates.cfg新添加下面4句,指向子文件所在的位置。cfg_file=/usr/local/nagios/etc/hosts.cfgcf^_file=/usr/local/nagios/etc/hostgroups.cf^cfg_file=/usr