1、MPI 并行計算環(huán)境的建立一、配置前的準(zhǔn)備工作假設(shè)機群是 3個節(jié)點。1. 安裝 Linux(CentOS 5.2系統(tǒng),并保證每個節(jié)點的 sshd 服務(wù)能正常啟動。筆者并沒采用真實的 3臺機器,而是利用虛擬機 (VMware Workstation6.5 在一臺裝有 XP 系 統(tǒng)的機器上安裝多個 Linux 系統(tǒng)進(jìn)行模擬。注意事項:(1因為筆者采用 mpich2-1.3.2p1.tar.gz ,此版本對 gcc 、 autoconf 等軟件包版本要求較高, 為避免出錯,盡量安裝最新的 Linux 系統(tǒng)。(2在用 VMware Workstation安裝 Linux 系統(tǒng)時可能會遇到磁盤類型不兼容

2、的問題,筆者 采用的版本就出現(xiàn)了這樣的問題,解決要點如下:a. 啟動 Workstation 選擇創(chuàng)建定制的虛擬機;b.SCSI 適配器類型選 LSI Logic (Linux內(nèi)核在 2.4以下的選擇 BusLogic ;c. 選擇虛擬磁盤類型 (IDE。(3安裝 VMware Workstation tools。Linux 系統(tǒng)啟動后,選擇菜單欄虛擬機安裝 VMware tools,按照提示將相應(yīng)的安裝 包復(fù)制到你想要的目錄下,執(zhí)行命令:tar zxvf vmware-tools.tar.gzcd vmware-tools(進(jìn)入解壓目錄./install.pl(因版本不同,名字不一定相同,讀

3、者注意,執(zhí)行名字類似的即可2. 為 每 個 節(jié) 點 分 配 IP 地 址 , IP 地 址 最 好 連 續(xù) 分 配 , 如 192.168.1.2、 192.168.1.3、 192.168.1.4、 . 。 (不要分配 192.168.1.13. 配置 /etc/hosts文件,該文件可以實現(xiàn) IP 地址和機器的對應(yīng)解析,所有節(jié)點的該文件均要 按下面的內(nèi)容修改:192.168.1.2 node1192.168.1.3 node2192.168.1.4 node3通過以上配置后節(jié)點之間能夠通過各節(jié)點的機器名稱相互訪問。例如,可以通過 ping node2進(jìn)行測試。注意事項:該測試必須在關(guān)閉 L

4、inux 防火墻的條件下進(jìn)行,否則可能失敗。永久生效:chkconfig iptables on/off(重啟生效即時生效:service iptables start/stop(重啟失效二、掛載 NFS 文件系統(tǒng)由于 MPICH 的安裝目錄和用戶可執(zhí)行程序在并行計算時需要在所有節(jié)點保存副本,而且目 錄要相互對應(yīng),每次一個節(jié)點一個節(jié)點的復(fù)制非常麻煩,采用 NFS 文件系統(tǒng)后可以實現(xiàn)所 有節(jié)點內(nèi)容與主節(jié)點內(nèi)容同步更新,并自動實現(xiàn)目錄的對應(yīng)。 NFS 文件系統(tǒng)使得所有機器 都能以同樣的路徑訪問服務(wù)器上保存的文件, 訪問方法如同對本地文件的訪問。 通常我們會 將 MPICH 的安裝目錄及并行程序存放

5、目錄配置為 NFS 共享目錄, 這樣可以省去將文件向各 個節(jié)點復(fù)制的麻煩,大大提高工作效率。NFS 文件系統(tǒng)的配置方法示例如下(假設(shè) NFS 服務(wù)器 IP 為 192.168.1.2,配置需要在 root 用戶下完成 。1. 服務(wù)器端配置方法(下面的配置只在主節(jié)點進(jìn)行 。(1 /etc/exports文件配置在文件 /etc/exports中增加以下幾行:/usr/cluster 192.168.1.3(rw,sync,no_root_squash,no_subtree_check/usr/cluster 192.168.1.4(rw,sync,no_root_squash,no_subtre

6、e_check這幾行文字表明 NFS 服務(wù)器向 IP 地址為 192.168.1.3,192.168.1.4的 2個節(jié)點共享其 /usr/cluster目錄(目錄必須存在 ,并使這些節(jié)點具有相應(yīng)的權(quán)限(可查詢相關(guān)的文檔 。 如有更多的節(jié) 點可按此方法填寫。(2啟動 NFS 服務(wù)啟動 NFS 服務(wù)只需要以下兩個命令:service portmap start注:在最新的內(nèi)核中, NFS 守護(hù)進(jìn)程改為 rpcbind ,如是新內(nèi)核,啟動 NFS 守護(hù)進(jìn)程的命令 是“ service rpcbind start” 。service nfs start到此 IP 為 192.168.1.2的服務(wù)器已可

7、以向其他兩個節(jié)點提供 /usr/cluster目錄的文件共享。2. 客戶端配置方法(需要在所有子節(jié)點做同樣的配置 。(1建立共享目錄。建立與服務(wù)器相同的共享目錄用于共享服務(wù)器文件:mkdir /usr/cluster(2查看服務(wù)器已有的共享目錄(這步可省略 。showmount -e 192.168.1.2通過這條命令我們可以查看 IP 地址為 192.168.1.2服務(wù)器可以共享的目錄情況。(3掛載共享目錄。mount -t nfs 192.168.1.2:/usr/cluster /usr/cluster這一命令將 NFS 服務(wù)器 192.168.1.2上的共享目錄掛載到本地 /usr/c

8、luster目錄下。我們也可 在所有子節(jié)點的 /etc/fstab文件中輸入以下的代碼,使文件系統(tǒng)在啟動時實現(xiàn)自動掛載 NFS :192.168.1.2:/usr/cluster /usr/cluster nfs defaults 0 0至此我們已可以實現(xiàn)對 NFS 共享目錄的本地訪問, 所有子節(jié)點的 /usr/cluster文件夾都共享了 NFS 服務(wù)器的同名文件夾的內(nèi)容,我們可以像訪問本地文件一樣訪問共享文件。 MPICH 的 安裝目錄和用戶存放并行程序的文件夾都需要實現(xiàn) NFS 共享,從而避免了每次向各節(jié)點發(fā) 送程序副本。三、配置 ssh 實現(xiàn) MPI 節(jié)點間用戶的無密碼訪問由于 MPI

9、 并行程序需要在各節(jié)點間進(jìn)行信息傳遞,所以必須實現(xiàn)所有節(jié)點兩兩之間能無密 碼訪問。節(jié)點間的無密碼訪問是通過配置 ssh 公鑰認(rèn)證來實現(xiàn)的。例如,對新用戶 user 配置 ssh 公鑰認(rèn)證,先在 node1上做以下操作。(1生成了私鑰 id_dsa和公鑰 id_dsa.pub,具體操作方法如下。mkdir /.sshcd /.sshssh-keygen -t dsa系統(tǒng)顯示一些信息,遇到系統(tǒng)詢問直接回車即可。(2將該密鑰用作認(rèn)證,進(jìn)行訪問授權(quán)。按如下命令在 node1執(zhí)行。cp /.ssh/id_dsa.pub /.ssh/authorized_keyschmod go-rwx /.ssh/au

10、thorized_keys(3將 /.ssh目錄下的文件復(fù)制到所有節(jié)點。scp -r /.ssh node2:scp -r /.ssh node3:(4檢查是否可以直接(不需要密碼登錄其他節(jié)點。ssh node1ssh node2如能兩兩之間不需要密碼登錄其他節(jié)點,則表明配置成功。四、安裝 MPICH21. 下載并解壓 MPICH2壓縮包。tar zxvf mpich2-1.3.2p1.tar.gz解壓完成后將在當(dāng)前目錄生成一個 MPICH 文件目錄。2. 進(jìn)入 MPICH 解壓后的目錄,配置安裝目錄。注意事項:最新版本 mpich2的進(jìn)程管理默認(rèn)使用 hydra , 而不是 mpd 。 如果

11、你要使用 mpd , 使用 ./configure -with-pm=mpd:hydra./configure -prefix=/usr/cluster/mpich2 -with-pm=mpd:hydra根據(jù)以上配置 MPICH 將安裝在目錄 /usr/cluster/mpich2,并確保所有節(jié)點已建立針對該目錄 的 NFS 共享。3. 編譯安裝 MPICH2。 進(jìn)入解壓后的 MPICH 文件目錄, 分別執(zhí)行 make 和 make install指令, 這會花一段較長的時間。4. 在當(dāng)前用戶主目錄下建立并編輯配置文件 mpd.hosts 。將所有你允許訪問本機進(jìn)行并行計 算的機器名填入,一行

12、一個機器名,如果該機器上有兩個 CPU ,就將它的名字加入兩次,以此類型。node1node2node3node4注意,文中包含自己的目的是為了在只有一個節(jié)點時也可以模擬并行計算環(huán)境。5. 配置環(huán)境變量。編輯用戶主目錄下的 /.bashrc文件,增加一行:PATH=$PATH:/usr/cluster/mpich2/bin這一行代碼將 MPI 的安裝路徑加入用戶的當(dāng)前路徑列表。重新打開命令行窗口后生效。6. 啟動 mpd 守護(hù)進(jìn)程。運行 mpirun ,首先要運行 mpd 。在啟動 mpd 守護(hù)進(jìn)程前要在各個節(jié) 點的安裝目錄(/usr/MPICHI-install/etc/mpd.conf生成

13、一個 mpd.conf 文件,內(nèi)容為: secretword=123456其中, “ 123456”為識別口令,在所有節(jié)點中都建立該文件并保持口令一致,口令可自己設(shè) 定。進(jìn)入 /usr/MPICHI-install/etc/目錄執(zhí)行以下命令touch mpd.confchmod 600 mpd.confmpd &mpd &為啟動本地 mpd 的命令,我們也可以采用以下命令同時啟動 mpd.hosts 中所列節(jié)點的 mpd 。mpdboot -n -f mpd.hosts這一命令將同時在 mpd.hosts 文件中所指定的節(jié)點上啟動 mpd 管理器。mpd 啟動后執(zhí)行“ mpdtrace -l”可以查看各個節(jié)點機器名。7. 編譯、 運行一個