1、青海大學浪潮高性能集群 2014/6/24目錄青海大學浪潮高性能集群1一：集群配置各項信息31.1：機柜拓撲31.2：集群IP地址分布41.3：集群軟件環境5二：高性能集群環境搭建122.1：光盤安裝redhat操作系統122.2：網絡灌裝計算節點操作系統282.3：配置并行環境41三：編譯器安裝553.1：intel 2013編譯器安裝553.2：intel并行編譯器安裝673.3：PGI編譯器安裝74四：mpi實現安裝76五：libs安裝77六：WRF安裝79安裝jasper79安裝hdf580七：PBS使用1037.1：PBS腳本1037.2：PBS常用命令解析104八：集群報修106一

2、：集群配置各項信息1.1：機柜拓撲機柜由上而下依次為：mu01管理節點、cu01-cu05計算節點、kvm視頻切換器、cu06-cu12計算節點、千兆以太網交換機、infiniband 40Gb交換機。1.2：集群IP地址分布節點名稱節點作用以太網地址Infiniband地址外網連接地址Mu01管理節點000040cu01第1個計算節點cu02第2個計算節點cu03第3個計算節點cu04第4個計算節點

3、cu05第5個計算節點cu06第6個計算節點cu07第7個計算節點cu08第8個計算節點cu09第9個計算節點cu10第10個計算節點00cu11第11個計算節點1cu12第12個計算節點21.3：集群軟件環境1.3.1：集群基本環境操作系統版本Redhat 6.4 X86_

4、64內核版本2.6.32-358.el6.x86_64Infiniband驅動版本MLNX_OFED_LINUX-2.0-3.0.0-rhel6.4-x86_641.3.2：編譯器版本編譯器名稱版本安裝位置GccRed Hat 4.4.7-3/usr/binGfortranRed Hat 4.4.7-3/usr/binPython Python 2.6.6/usr/binPGI10.6/opt/pgiIcc2013/opt/intelIfort2013/opt/intelMpicc36/opt/intel/impiMpiifrot36/opt/intel/impi1

5、.3.3：mpi實現mpi名稱版本安裝位置impi (intel mpi)36/opt/intel/impimpich-gnu3.1.1/opt/mpi/mpich-3.1.1-gnumpich-intel3.1.1/opt/mpi/mpich-3.1.1-intel2013mvapich2.1.9/opt/mpi/mvapich2-1.9mvapich-intel2.1.9/opt/mpi/mvapich2-1.9-intelopenmpi-gnu1.4.1/opt/mpi/openmpi-1.4.1-gnuopenmpi-intel1.4.1/opt/mpi/mvapich2

6、-1.9-intel2013openmi-gnu1.6.5/opt/mpi/openmpi-1.6.5-gnuopenmpi-intel1.6.5/opt/mpi/openmpi-1.6.5-intel20131.3.4：libs庫名稱版本安裝位置Blas/opt/libs/blasFftw-gnu2.1.5/opt/libs/fftw-2.1.5-gnuFftw-intel2.1.5/opt/libs/fftw-2.1.5-intel2013Fftw-gnu3.3.4/opt/libs/fftw-3.3.4-gnuFftw-intel3.3.4/opt/libs/fftw-3.3.4-int

7、el2013Gsl1.15/opt/gsl-1.15Hdf5/opt/libs/hdf5-intel2013Jasper/opt/libs/jasperLapack/opt/libs/lapackLibfm1.4.0/opt/libs/libfm-1.4.0Libint2.0.3/opt/libs/libint-2.0.3Libpng/opt/libs/libpngLibxc1.1.0/opt/libs/libxc-1.1.0Libxc1.2.0/opt/libs/libxc-1.2.0Mpiblacs/opt/libs/mpiblacsNetcdf/opt/libs/netcdfNetcdf

8、-gnu/opt/libs/netcdf-gnuSPARSKIT2/opt/libs/SPARSKIT2spglib1.6.0/opt/libs/spglib-1.6.0Tcl8.6/opt/libs/tcl5.6Zlib1.2.8/opt/libs/zlib-1.2.8Hdf5-pgi1.8.9/opt/libs/pgi-libs/hdf5Jasper-pgi1.701/opt/libs/pgi-libs/jasperLibpng-pgi/opt/libs/pgi-libs/libpngNetcdf-pgi4.2/opt/libs/pgi-libs/netcdf1.3.5：應用軟件安裝軟件名

9、稱安裝版本安裝位置WRFV3-intelV3/opt/soft/WRFV3.intelWRFV3-PGIV3/opt/soft/WRFV3-pgiWPS-intelV3/opt/soft/WPSWPS-PGIV3/opt/soft/WPS-pgiARWpostV3/opt/soft/ARWpostARWpostV3/opt/soft/ARWpost-pgiMM5/opt/soft/MM51.3.6：存儲規劃600GB SAS 15K （ID5）600GB SAS 15K （ID11）600GB SAS 15K （ID17）600GB SAS 15K （ID23）600GB SAS 15K （I

10、D4）600GB SAS 15K （ID10）600GB SAS 15K （ID16）600GB SAS 15K （ID22）600GB SAS 15K （ID3）600GB SAS 15K （ID9）600GB SAS 15K （ID15）600GB SAS 15K （ID21）600GB SAS 15K （ID2）600GB SAS 15K （ID8）600GB SAS 15K （ID14）600GB SAS 15K （ID20）600GB SAS 15K （ID1）600GB SAS 15K （ID7）600GB SAS 15K （ID13）600GB SAS 15K （ID19）600

11、GB SAS 15K （ID0）600GB SAS 15K （ID6）600GB SAS 15K （ID12）600GB SAS 15K （ID18）黃色標示23塊600GB SAS硬盤創建raid5，空間大小為12TB，紅色硬盤代表熱備盤，在有硬盤故障時，紅色硬盤自動加入raid5組，保證數據安全。所有節點通過NFS服務掛載存儲12TB空間，用于數據的讀寫，所有節點掛載目錄為/data，掛載命令為：mount -t nfs -o vers=3 00:/nfs/data-data1 /data/1.3.7：新建用戶請使用root用戶登陸管理節點，進入/opt/useradd目錄

12、。以新建inspur用戶為例，執行./useradd inspur即可完成用戶的創建與rsh ssh無密碼訪問的設置。腳本信息如下：#!/bin/bashuseradd $1 -d /data/home/$1 （指定用戶目錄位置）echo "111111" |passwd $1 stdin （初始用戶密碼）cd /var/ypmakeecho "NIS user $1 has been added.-passwd:111111home: /home/$1-"#echo module unuse /usr/share/Modules/modulefiles

13、 >> /lustre/home/$1/.bashrc#echo module use /lustre/inspur/modules >>/lustre/home/$1/.bashrccp -rf /opt/useradd/ssh-configure /data/home/$1 （拷貝ssh無密碼訪問腳本）su $1 -c "/data/home/$1/ssh-configure/step1.exp $1" （生成ssh-key）echo "step1.exp is ok.-#50%-"su $1 -c "/data/h

14、ome/$1/ssh-configure/step2.exp $1 111111" （所有節點創建無密碼訪問）echo "step2.exp is ok.mow you can use ssh for $1-#100%-"注：新創建用戶密碼為111111，為了保證集群和數據的安全，請創建完用戶后及時修改密碼。1.3.8：集群開關機順序開機：首先開啟存儲節點，稍等5分鐘后等存儲節點充分啟動完畢后開啟mu01管理節點（需要啟動時間5分鐘），mu01節點充分啟動完畢后依次開啟cu01cu12計算節點。關機：使用root用戶登陸管理節點，在/root目錄下運行sh pow

15、eroff.sh即可完畢對所有計算節點的關閉。計算節點關機完畢后運行poweroff關閉管理節點。二：高性能集群環境搭建2.1：光盤安裝redhat操作系統以紅帽6.4的操作系統安裝為例1插入光盤，引導機器選擇從光盤啟動。選擇第一個，第一個是常用基本系統安裝，第二項為帶顯卡驅動的系統安裝，如果有GPU的時候，可能需要選擇第二個，然后到系統中之后，在更改為本身的驅動2.如需加載相應驅動（一般為raid卡驅動），否則直接回車，則在按tab鍵，進入選擇界面，在boot：處輸入linux dd ，安裝引導程序會提示需要插入U盤，并選擇相應驅動。插入U盤3. 檢查光盤介質，如果確認光盤介質完好則選擇SK

16、IP4. 歡迎界面，點NEXT5. 選擇語言，請選擇English（English）；選擇習慣鍵盤，請選擇U.S.English6. 選擇存儲方式，為基本存儲設備7. 輸入主機名，網絡可以到系統中配置8，選擇時區，為東八區，上海9，輸入root密碼，Next繼續10，系統分區方式，請選擇Create custom layout11，分區；如客戶無特別需求，則默認按/boot分區512M；swap分區為內存的1-2倍；其他空間歸為根分區/12，設置grub，直接點NEXT13. 選擇安裝包，請選擇Customize now；之后點擊NEXT14.選擇安裝包，可根據用戶需要來安裝，如果沒要求，就全

17、部安裝，避免編譯過程中缺少必要的庫文件，務必選全Application，Development，Base System每一項。小技巧：可以像windows一樣按住shift鍵把右邊的小項全選，再點擊右鍵有個“all optional packages”可選。15. 選擇完成后，出現安裝準備畫面，點擊NEXT，后進入到格式化，格式化完成就會安裝系統。16. 安裝完成后點擊Reboot 重啟。17. 第一次啟動會進入下圖界面，進行系統初始化得設定18. License，直接點擊Forward19設置軟件升級，直接Forward21添加用戶，不添加，直接Forward，可在系統中添加用戶22Date

18、 and Time 直接Forward23Kdump，直接Forward，選擇不可用Kdump，點擊finish至此系統安裝完畢。系統安裝完畢后的配置1， 關閉防火墻2， 關閉selinux3， 關閉NetworkManger服務4， 配置網絡，可以通過setup來配置如下所示，在Terminal中運行setup然后配置網絡，也可以修改/etc/sysconfig/network-scripts/ifcfg-eth0配置文件來配置網絡，也可以配置修改配置網絡，配置文件事例如下：5，修改ssh配置如果通過修改/etc/ssh/sshd_config文件實現機器遠程ssh相應速度非常慢，可關閉ss

19、h的DNS的解析rootmu01 # vi /etc/ssh/sshd_config修改UseDNS一行，就可以實現修改完成后，重啟機器即可2.2：網絡灌裝計算節點操作系統配置HTTP服務HTTP服務提供了安裝過程中的所需要的安裝包和提供安裝的配置文件，配置http過程如下：1， 啟動httpd服務rootmu01 # service httpd startStarting httpd: httpd: Could not reliably determine the server's fully qualified domain name, using 00 fo

20、r ServerName OK 2， 配置http服務修改hosts文件，使各個節點可正常解析rootmu01 # cat /etc/hosts localhost localhost.localdomain localhost4 localhost4.localdomain4:1 localhost localhost.localdomain localhost6 localhost6.localdomain600 mu01 cu01rootmu01 # mkdir /var/www/html/rhel6u4x64將安裝iso文件

21、中的所有文件拷貝到/var/www/html/rhel6u4x64，也可以直接掛在iso鏡像到/var/www/html/rhel6u4x64下，如下所示：rootmu01 # mount /dev/cdrom /var/www/html/rhel6u4x64/mount: block device /dev/sr0 is write-protected, mounting read-onlyrootmu01 # df -hFilesystem Size Used Avail Use% Mounted on/dev/sda2 56G 22G 32G 40% /tmpfs 246M 100K 2

22、46M 1% /dev/shm/dev/sr0 3.5G 3.5G 0 100% /var/www/html/rhel6u3x64配置TFTP服務1， 配置tftp文件修改紅色標注處，將tftp服務開啟rootmu01 # vi /etc/xinetd.d/tftp # default: off# description: The tftp server serves files using the trivial file transfer # protocol. The tftp protocol is often used to boot diskless # workstations,

23、 download configuration files to network-aware printers, # and to start the installation process for some operating systems.service tftp socket_type = dgram protocol = udp wait = yes user = root server = /usr/sbin/in.tftpd server_args = -s /tftpboot disable = no per_source = 11 cps = 100 2 flags = I

24、Pv42， 重啟xintd服務rootmu01 # /etc/init.d/xinetd restartStopping xinetd: OK Starting xinetd: OK 配置DHCP服務1， 配置dhcp文件實例中的配置文件只列舉了部分配置，如果需要其他配置，可以查閱相關資料，修改紅色字體標注部分rootmu01 # vi /etc/dhcp/dhcpd.conf # DHCP Server Configuration file.# see /usr/share/doc/dhcp*/dhcpd.conf.sample# see 'man 5 dhcpd.conf'

25、ddns-update-style interim;ignore client-updates;subnet netmask # - default gateway option routers 00; option subnet-mask ; option nis-domain "TS10K"# option domain-name ""# option domain-name-servers 00; opt

26、ion time-offset -18000; # Eastern Standard Time# option ntp-servers 00;# option netbios-name-servers 00;# - Selects point-to-point node (default is hybrid). Don't change this unless# - you understand Netbios very well# option netbios-node-type 2;range dynamic-bootp 192.

27、168.0.1 0;（起止IP地址） default-lease-time 21600; max-lease-time 43200;# network installation configuration allow booting; allow bootp; class "pxeclients" match if substring(option vendor-class-identifier, 0, 9) = "PXEClient"next-server 00; filename "pxelinu

28、x.0" # network installation configuration# we want the nameserver to appear at a fixed address如果需要添加節點的MAC地址與地址綁定，請添加如下配置host cu01 hardware ethernet 00:0C:29:73:78:F0; fixed-address ; 2， 啟動DHCP服務rootmu01 # /etc/init.d/dhcpd restartStopping dhcpd: OK Starting dhcpd: OK 配置網絡灌裝腳本修改tftp配

29、置rootmu01 # mkdir /tftpbootrootmu01 # mkdir /tftpboot/pxelinux.cfgrootmu01 # cp /usr/share/syslinux/pxelinux.0 /tftpboot/rootmu01 # cp /var/www/html/rhel6u4x64/isolinux/isolinux.cfg /tftpboot/pxelinux.cfg/defaultrootmu01 # cp /var/www/html/rhel6u4x64/images/pxeboot/initrd.img /tftpboot/rootmu01 # cp

30、 /var/www/html/rhel6u4x64/images/pxeboot/vmlinuz /tftpboot/rootmu01 # cp /var/www/html/rhel6u4x64/isolinux/vesamenu.c32 /tftpboot/rootmu01 # chmod 644 /tftpboot/pxelinux.cfg/defaultrootmu01 # vi /tftpboot/pxelinux.cfg/defaultdefault vesamenu.c32#prompt 1timeout 600display boot.msgmenu background spl

31、ash.jpgmenu title Welcome to Red Hat Enterprise Linux 6.4!menu color border 0 #ffffffff #00000000menu color sel 7 #ffffffff #ff000000menu color title 0 #ffffffff #00000000menu color tabmsg 0 #ffffffff #00000000menu color unsel 0 #ffffffff #00000000menu color hotsel 0 #ff000000 #ffffffffmenu color ho

32、tkey 7 #ffffffff #ff000000menu color scrollbar 0 #ffffffff #00000000label linux menu label Install or upgrade an existing system menu default kernel vmlinuz append initrd=initrd.img ksdevice=eth0ks=00/rhel6u4x64ks.cfglabel vesa menu label Install system with basic video driver kerne

33、l vmlinuz append initrd=initrd.img xdriver=vesa nomodesetlabel rescue menu label Rescue installed system kernel vmlinuz append initrd=initrd.img rescuelabel local menu label Boot from local drive localboot 0xfffflabel memtest86 menu label Memory test kernel memtest append -生成KS文件文件如果原來生成過，可以根據需要修改即可

34、生成KS文件過程如下：1， 配置本地base的yum源，以便生成安裝包列表，修改yum文件即可rootmu01 # vi /etc/yum.repos.d/rhel-source.repo basename=basebaseurl=file:/var/www/html/rhel6u4x64gpgcheck=0enabled=1gpgkey=file:/etc/pki/rpm-gpg/RPM-GPG-KEY-redhat-beta打開kickstart軟件，配置相應選項打開之后，根據選擇配置選項，然后點擊File保存即可選擇需要安裝的包時，選擇全部安裝即可然后點擊file點擊保存即可保存之后可以

35、生成ks.cfg文件，將文件放置在/var/www/html目錄下即可然后將計算節點開機，按下F12從網絡引導，或者修改引導順序即可引導安裝操作系統，如下圖所示2.3：配置并行環境RSH服務開啟root用戶對所有節點的rsh權限編輯/etc/hosts，加入所有（包括本機的）節點的ip地址和對應的計算機名；此文件在一臺機器上編輯完畢可以拷貝到別的節點上使用；注意這一行不要動，否則會影響到nis的正常使用。例如：rootmu01 # cat /etc/hosts localhost localhost.localdomain localhost4 localh

36、ost4.localdomain4:1 localhost localhost.localdomain localhost6 localhost6.localdomain600 mu01 cu012、編輯/root/.rhosts和/etc/hosts.equiv，加入所有節點的計算機名例如：mu01cu013、開啟rsh服務：setupsystem services*rsh*rlogin*rexec去掉sendmail（影響OS啟動速度，并非必需）。4、編輯/etc/securetty，加入rsh，rexec，rlogin（在文件后面添加就可以）5

37、、重起服務service xinetd restart rsh的配置需要在所有節點上進行。配置SSH 無密碼訪問集群節點之間一般都是通過腳本配置無密碼訪問，腳本配置過程如下：將所有將要使用ssh登錄的機器主機明寫入hostfile中，每一行一個主機名（1）root用戶的無密碼訪問rootmu01 # cd ssh-configure-root/rootmu01 ssh-configure-root# pwd/root/ssh-configure-rootrootmu01 ssh-configure-root# lltotal 12-rw-r-r- 1 root root 663 May 8 1

38、7:30 step1.exp-rw-r-r- 1 root root 693 May 8 17:30 step2.exp-rw-r-r- 1 root root 599 May 8 17:30 step3.exprootmu01 ssh-configure-root# vi hostfilemu01cu01rootmu01 ssh-configure-root# chmod 777 step*rootmu01 ssh-configure-root# ./step1.exp spawn ssh-keygen -t dsaGenerating public/private dsa key pair

39、.Enter file in which to save the key (/root/.ssh/id_dsa): Created directory '/root/.ssh'.Enter passphrase (empty for no passphrase): Enter same passphrase again: Your identification has been saved in /root/.ssh/id_dsa.Your public key has been saved in /root/.ssh/id_dsa.pub.The key fingerprin

40、t is:88:1a:2b:b7:76:d8:5e:8d:3e:1a:8d:29:16:78:f3:d3 rootmu01The key's randomart image is:+- DSA 1024-+| | | | . . . |. = . . S | . B = o |. *o* E . | +ooo=. | .oo. |+-+rootmu01 ssh-configure-root# ./step2.exp 111111spawn ssh mu01 hostnameThe authenticity of host 'mu01 (00)' c

41、an't be established.RSA key fingerprint is 6c:b9:d4:ae:ef:71:c1:5d:2c:99:d4:93:c9:0f:e8:d5.Are you sure you want to continue connecting (yes/no)? yesWarning: Permanently added 'mu01,00' (RSA) to the list of known hosts.mu01send: spawn id exp4 not open while executing"send

42、 - "111111r""spawn ssh cu01 hostnameThe authenticity of host 'cu01 ()' can't be established.RSA key fingerprint is 20:68:2b:a0:57:ca:f5:18:d9:cb:c9:a5:37:54:b5:14.Are you sure you want to continue connecting (yes/no)? yesWarning: Permanently added 'cu01,192.

43、168.0.1' (RSA) to the list of known hosts.rootcu01's password: cu01rootmu01 ssh-configure-root# ./step3.exp 111111spawn scp -rp /root/.ssh mu01:/rootauthorized_keys 100% 599 0.6KB/s 00:00 id_dsa.pub 100% 599 0.6KB/s 00:00 id_dsa 100% 668 0.7KB/s 00:00 known_hosts 100% 798 0.8KB/s 00:00 send:

44、 spawn id exp4 not open while executing"send - "111111r""spawn scp -rp /root/.ssh cu01:/rootrootcu01's password: authorized_keys 100% 599 0.6KB/s 00:00 id_dsa.pub 100% 599 0.6KB/s 00:00 id_dsa 100% 668 0.7KB/s 00:00 known_hosts 100% 798 0.8KB/s 00:00說明：A、所有機器的root密碼必須全部都相同，所有

45、主機是可解析的（/etc/hosts文件）。B、三個可執行腳本實際上都是autoexpect腳本。C、在執行step2.exp與step3.exp時需要將ROOT_PASSWORD替換為root密碼。D、如三個腳本中的任何一個執行出現錯誤，必須按照循序，重新再執行一次這三個腳本。E、各腳本作用如下：step1.exp 腳本是用于生成root密匙step2.exp腳本是將所有主機加入ssh已知主機列表，也就是/root/.ssh/known_hosts文件step3.exp是將ssh配置文件復制到所有遠程主機上面，這樣所有主機之間就可以實現ssh無密碼訪問。（二）普通用戶的配置方法：普通用戶由于

46、共享了home目錄，所以不需要將ssh配置文件復制到遠程主機上。（以下操作除特殊聲明外，都在/home/USERNAME /ssh-configure目錄下完成。本文檔中使用的是inspur賬戶）（1）將所有將要使用ssh登錄的機器主機明寫入hostfile中，每一行一個主機名。（同root用戶書寫方法）inspur mu01 ssh-configure$ pwd/home/inspur/ssh-configureinspur mu01 ssh-configure$ lshostfilestep1.expstep2.expinspurmu01 ssh-configure$ ./step1.exp inspurinspur mu01 ssh-configure$ ./step2.exp inspur TEST_PASSWORD說明：A、所有主機是可解析的（/etc/hosts文件）B 、兩個可執行腳本實際上都是autoexpect腳本C 、在執行step2.exp時需要將TEST_PASSWORD替換為inspur密碼D 、如兩個腳本中的任何一個執行出現錯誤，必須按照循序，重新再執行一次這兩個腳本。NFS服務NFS，是Network Fil