1、1.準備工作1.1 恢復 agent所有的節點運行如下，將 roller 所需的 agent 恢復，包括 crontab、rsyslog 和mcollective服務，內容如下：若干分鐘后，在 roller 上檢查節點的狀況，確保所有的節點狀態均處于 online 狀態，如下：#/bin/bashBACKUPDIR=/usr/local/src/EasyStack function recovery_roller_agent()debug recovery rsyslog,nailgun agent,mcollective agent -d $BACKUPDIR | (echo $BACKUP

2、DIR not exists. & exit 1) -f $BACKUPDIR/00-remote.conf & mv -v $BACKUPDIR/00-remote.conf/etc/rsyslog.d/00-remote.conf-f$BACKUPDIR/nailgun-agent&mv-v$BACKUPDIR/nailgun-agent/etc/cron.d/nailgun-agentsystemctl restart rsyslog.service systemctl restart crond.serviceservice mcollective restart /dev/null

3、2&1 chkconfig mcollective oninfo recovery rsyslog,nailgun agent,mcollective agent done.function main()recovery_roller_agentmain1.2 設置 ceph 標志位由于需要擴展節點，對于 ceph 而言，當有新的 osd 加入到集群中，會導致數據的rebalance，為了避免數據的 rebalance 對生產數據的影響，需要設置 noin 標志位，osd 加入，后續通過修改 osd 的 weight 來實現數據的平衡擴展。1.3 節點將節點到 roller 中，其中設置工作內

4、容包括：1.將網卡模式設置為 BIOS，設置半載的網卡為第一啟動項，如下：2.配置 RAID，計算節點設置兩塊硬盤為 RAID1，節點設置兩塊硬盤為 RAID1，SSD設置為 non-RAID 或 JBOD，OSD 所在的磁盤設置為 RAID01.4 網絡配置1.4.1 計算節點計算節點使用 bond 的模式執行，其中 bond 承載 public，mgmt，private 和 storage 流量，具體設置如下，另外兩個千兆網卡 bond，用于承載 dmz 的 private 流量，具體設置如下：rootnode-1 # ceph osd set noin set noinrootnode-

5、1 # ceph -scluster 6f469bbc-cd4c-477c-b27a-49f152e891e5 health HEALTH_WARNnoin flag(s) setmonm3:3monsatnode-1=10.20.1.3:6789/0,node-2=10.20.1.4:6789/0,node-3=10.20.1.5:6789/0election epoch 48, quorum 0,1,2 node-1,node-2,node-3osdm607: 40 osds: 40 up, 40 in flags noinpgmap v4421908: 2560 pgs, 3 pools

6、, 7857 GB data, 1924 kobjects23529 GB used, 50912 GB / 74441 GB avail2558 active+clean2 active+clean+scrubbing+deep cnt io 1083 kB/s rd, 5737 kB/s wr, 539 op/s節點1.4.2節點由于網卡不夠，不做 bond 設置，將 mgmt 和 storage 網絡分離，具體設置為mgmt+public，storage+private(由于節點沒有 private 和 public 流量)，參考如下圖：1.5配置計算節點只有一塊硬盤，只需要設置系統磁盤

7、空間和虛擬機的空間即可，如下是設置其中一塊磁盤的例子：節點，需要設置系統盤(如上)，ceph journal 和 ceph osd，其中 ceph journal 設置如下，需要將磁盤的所有空間劃分給 ceph journal，其他空間設置為 0，具體設置參考下圖：同理 ceph osd 設置方法一樣，ceph 設置為整個磁盤的空間大小，其他設置為 0，參考如下：2.安裝配置2.1 節點安裝節點到 roller 中，配置好網絡和磁盤后，執行網絡監察，校驗云中的網絡配置是否正常，如果發現沒有錯誤，則執行部署按鈕，開始的部署，擴容的節點會執行操作系統的安裝和的部署，的部署推送根據所選的角色會自動執

8、行 puppet 的因子。2.2平衡由于擴容之前設置了ceph 的標志位 noin，此時添加進來的 osd 并未存有 pg，此時通過 ceph s 查看會有少量的元數據執行 rebalance 和 recovery 操作，影響較小，如果需要將數據均衡至新的 osd 節點上，可以安裝如下方法來執行：調整 osd 的 weightceph osd crush set osd.40 0.409996 root=default host=node-20查看 weight 設置id: -6,name: node-20,type: host, type_id: 1,items: id: 40,name:

9、osd.40,type: osd,2.3 網絡配置DMZ 區域的 private 網絡 roller 默認無法支持，需要手動配置 dmz 區域所需的網橋，如下是配置的方法：#!/bin/bash # : hai #DATE=date +%F#添加 dmz 區域的 public 網絡所需的網橋，需要 roller 安裝部署的時候手動創建好 br-bond2綁定網橋function add_dmz_public_bridge()ovs-vsctl br-exists br-ovs-bond2 if $? -ne 0 ;thenecho -e 03332mbr-ovs-bond2 is not ex

10、ists,creating.,please wait.0330m ovs-vsctl add-br br-ovs-bond2ovs-vsctl add-bond br-ovs-bond2 ovs-bond2 eth1 eth2ovs-vsctl br-exists br-ovs-bond2 & echo br-ovs-bond2 create sucsfully!fiovs-vsctl br-exists br-dmz-public if $? -ne 0 ;thenovs-vsctl add-br br-dmz-publicovs-vsctl add-port br-dmz-public b

11、r-dmz-public-br-ovs-bond2ovs-vsctlseterfacebr-dmz-public-br-ovs-bond2type=patch options:peer=br-ovs-bond2-br-dmz-publicovs-vsctl add-port br-ovs-bond2 br-ovs-bond2-br-dmz-publicovs-vsctlseterfacebr-ovs-bond2-br-dmz-publictype=patch options:peer=br-dmz-public-br-ovs-bond2fitype_id: 0,crush_weight: 0.

12、409988,depth: 2,3.將 osd 加入到crush 中ip link set br-ovs-bond2 up ip link set br-dmz-public upfunction configure_neutron_plugin()cp-v/etc/neutron/plugins/ml2/ml2_conf.ini/etc/neutron/plugins/ml2/ml2_conf.ini_backup_$DATEcp-v/etc/neutron/plugins/ml2/openvswitch_agent.ini/etc/neutron/plugins/ml2/openvswit

13、ch_agent.ini_backup_$DATEopenstack-config -set /etc/neutron/plugins/ml2/ml2_conf.ini ml2_type_vlan network_vlan_ranges physnet2:305:309,physnet2:326:328,physnet3:106:108hostname=hostname | awk -F . pr$1 case $hostname innode-1-3)openstack-config-set/etc/neutron/plugins/ml2/openvswitch_agent.ini ovs

14、bridge_maps physnet1:br-ex,physnet2:br-prv,physnet3:br-dmz-publicsystemctl restart neutron-serversystemctl restart neutron-openvswitch-agent;*)openstack-config-set/etc/neutron/plugins/ml2/openvswitch_agent.ini ovs bridge_maps physnet2:br-prv,physnet3:br-dmz-publicsystemctl restart neutron-openvswitc

15、h-agent;esacopenstack-config -get /etc/neutron/plugin.ini ml2_type_vlan network_vlan_ranges openstack-config-get/etc/neutron/plugins/ml2/openvswitch_agent.iniovsbridge_maps2.4配置由于該環境對接了兩套，需要配置 secret key，以便支持對第二套 ssdvolume的支持，需要到新擴容的計算節點上執行如下：#!/bin/bashSECRET_ID=e9571fce-1ae1-4612-974d-050a307a6eaa

16、 SSD_KEYRING=lx1Y0ixSFRAA3sjdngVUOG6+HZwOkME+EA=cat ssdsecret.xml EOF$SECRET_IDcnt.ssd secret EOFfunction define_ssd_secret()virsh secret-define ssdsecret.xmlvirsh secret-set-value -secret $SECRET_ID -base64 $SSD_KEYRINGecho -e 03333mDebug:$(virsh secret-list)0330mnecho -e 03333mDebug:$(virsh secret-get-value $SECRET_ID)0330m rm -f ssdsecret.xml & rm -f $0function main()define_ssd_secretfunction main()a