1、一種基于Quattor的差異化機群自動部署方法第十六屆全國科學計算與信息化會議暨科研大數(shù)據(jù)論壇提綱機群自動部署工具Quattor的介紹Quattor的改進差異化的自動部署方法Quattor在高能物理研究所的應用2022/7/172Quattor的介紹Quattor是一套集群系統(tǒng)自動化安裝和配置工具集通過自動控制PXE+Kickstart+DHCP實現(xiàn)操作系統(tǒng)的自動安裝通過編譯模版來生成節(jié)點所有信息的描述文件（xml or json）所有的模版都是是由pan語言來編寫模版文件保存在SCDB的版本控制服務器中節(jié)點安裝quattor的客戶端讀取 xml or json文件對本機進行配置2022/7/

2、173Quattor的特性所有節(jié)點的配置文件保存在有版本控制的數(shù)據(jù)庫（SCDB）可重新安裝：重新安裝的系統(tǒng)與原系統(tǒng)保持一致。改變節(jié)點的配置只需要更改 配置數(shù)據(jù)庫即可（SCDB）可以控制節(jié)點從安裝到退役的整個過程。初始化安裝使用PXE+KickstartSCDB可以方便的版本回退。服務配置可以重復利用不同的節(jié)點可以共享一個服務的配置。便捷的維護。只需要修改一個配置文件就可以在所有節(jié)點上起做用。在部署應用前對配置文件進行一致性和語法的檢查，降低錯誤的配置對系統(tǒng)造成的危害。2022/7/174Quattor的主要組件Panc 編譯器SCDB Svn based configuration datab

3、aseAII（Auto Installation Infrastructure）ccm and ncm-components Software repositorys2022/7/175Quattor的主要組件 Panc 編譯器Panc編譯器把用pan語言編寫的模版最終生成xml 或者 json文件Pan是一種高層次的描述性語言支持function定義支持變量的定義變量種類很多，類似 structure/class的定義支持變量類型的轉(zhuǎn)換Hierarchical organization of information例子： /hardware/network/interfaces/eth0/i

4、p = 2022/7/176Quattor主要組件-SCDBSVN版本控制的Pan templates節(jié)點profiles不在svn下面，但是可以重新編譯。SCDB使用”ant”來操作純Java編寫，可以在所有平臺使用 3各主要的操作Compile: 本地編譯Deploy: 配置的部署 在server端生成節(jié)點的profile文件僅在成功編譯并且local working dir 和SVN服務器同步的情況下才能成功執(zhí)行。 update.rep.templates 刷新軟件包列表的模板2022/7/177Quattor主要組件-AIIAII : Automated Installation In

5、frastructurePXE (DHCP+TFTP) + Kickstart 使用aii的命令aii-shellfe 來控制DHCP : 自動從節(jié)點profile文件獲取信息寫入dhcp配置文件TFTP :Kickstart :通過aii命令自動生成kiskstart文件Re-installation 節(jié)點始終設置PXE啟動通過aii命令修改節(jié)點的狀態(tài) install or boot2022/7/178Quattor主要組件 ccm and ncm客戶端 : Configuration Cache Manager (CCM)進程： cdp-listend當服務器端有配置改動時，接收服務器端的

6、notification然后下載新的配置文件(command ccm-fetch)也可以手動執(zhí)行這個命令ccm-fetch客戶端 : Node Configuration Manager (NCM)進程 ncm-cdispdImplements configuration changesBased on “components” (plug-ins)1 component manages 1 “service” (NIS, accounts, Globus)A component is a Perl script with a particular APIncm-query 可以查詢顯示配置數(shù)

7、據(jù)。2022/7/179Quattor主要組件 components Package deployment : SPMANCM的組件對系統(tǒng)的安裝包進行安裝卸載管理基于”軟件包名-版本-arch”允許升級和降級檢查軟件包的依賴關系其它components每一個component可以實現(xiàn)對一類或者多累系統(tǒng)和軟件環(huán)境的配置已有的 ssh, account, network, chkconfig, afsclt, pbs, 2022/7/1710Quattor工作流 節(jié)點xml編譯過程2022/7/1711檢查模版語法調(diào)用PANC編譯器節(jié)點profile模版確定節(jié)點類型配置類型Cluster 配置模版

8、確定操作系統(tǒng)版本Site 配置模版確定統(tǒng)一配置參數(shù)dns, ntp, repository,dhcp, Grid site info, 操作系統(tǒng)模版RPMs select, version control, Kernel version, Drivers config, System tools select.軟件定義模版配置根據(jù)節(jié)點類型配置硬件配置模版硬盤，網(wǎng)卡，cpu，生成節(jié)點pro文件Quattor工作流 節(jié)點自動安裝配置過程節(jié)點加電啟動通過pxe + DHCP 獲取IP地址和啟動鏡像通過mac地址識別節(jié)點名稱獲取節(jié)點kickstart文件開始系統(tǒng)安裝安裝minimal 系統(tǒng)安裝結束寫入

9、ks-post-boot腳本調(diào)用aii命令改變安裝狀態(tài)重啟系統(tǒng)執(zhí)行ks-post-boot腳本安裝quattor客戶端獲取節(jié)點xml文件安裝軟件包設定kernel version配置系統(tǒng)環(huán)境配置軟件參數(shù)配置用戶和組信息完成系統(tǒng)配置重啟系統(tǒng)2022/7/1712Quattor改進 原因支持的應用在不斷增多不同應用對軟件環(huán)境的不同需求傳統(tǒng)的實現(xiàn)方式維護模版數(shù)量多，模版不能重復使用2022/7/1713Quattor改進原先的模型2022/7/1714安裝服務器配置信息軟件安裝與配置管理, 系統(tǒng)服務,網(wǎng)格服務 安裝包軟件包節(jié)點配置管理軟件包RPM 包服務器軟件包組系統(tǒng)安裝與配置管理軟件緩存RPM 包

10、管理配置信息管理器機群4配置信息管理器機群3配置信息管理器機群2配置信息管理器機群1配置緩存節(jié)點1機群3機群2機群1Quattor改進 實現(xiàn)方法模塊化的設計方法。擴展配置信息管理器的功能并添加調(diào)用接口和模塊選擇器。開發(fā)出統(tǒng)一接口并且可以實現(xiàn)對各個模塊進行調(diào)用取舍。按照統(tǒng)一的接口標準對功能模塊進行改進。每一個模塊實現(xiàn)一個功能，模塊可以復用。所有開發(fā)使用Pan語言完成2022/7/1715Quattor改進 實現(xiàn)方法2022/7/1716功能模塊1功能模塊2功能模塊3功能模塊4模塊選擇器配置信息管理器調(diào)用接口機群1機群2機群3節(jié)點1Quattor改進 實現(xiàn)后的模型2022/7/1717安裝服務器配

11、置信息軟件安裝與配置管理, 系統(tǒng)服務,網(wǎng)格服務 安裝包軟件包節(jié)點配置管理軟件包RPM 包服務器軟件包組系統(tǒng)安裝與配置管理軟件緩存RPM 包管理配置信息管理器配置緩存節(jié)點1機群3機群2機群1Quattor在高能所的應用網(wǎng)格系統(tǒng)網(wǎng)格系統(tǒng)的自動安裝和部署網(wǎng)格系統(tǒng)的升級網(wǎng)格CVMFS的自動部署dCache存儲系統(tǒng)的自動部署DPM存儲系統(tǒng)的自動部署2022/7/1718Quattor在高能所的應用集群系統(tǒng)計算節(jié)點的自動配置節(jié)點pbs-client的自動配置集群環(huán)境的自動配置autofs, symlinks, lustre, panfs, 用戶和組的自動配置并行計算MPI集群的自動部署并行文件系統(tǒng)Lustre的自動部署并行文件系統(tǒng)gLuster的自動部署2022/7/1719Quattor在高能所的應用GPU節(jié)點的自動安裝和部署GPU opencl驅(qū)動的自動安裝GPU監(jiān)控系統(tǒng)的自動安裝2022/7/1720Quattor在高能所的應用Quattor輔助工具批量添加節(jié)點模版工具。并行ssh的工具。2022/7/1721Quattor在高能所的應用正在研究云計算的自動部署。物理機操作系統(tǒng)