簡 CUDB對外IP接 CUDB網絡CUDBNWI-E板對外接 CUDB系統簡 硬件簡 日常CUDB工具準 CUDB接 登陸操 系統狀態檢 CUDB備份與恢 系統配置備份和恢 用戶數據單元備份和恢 系統用戶數據備份和恢 DMX配置備份與恢 DMX配置備 DMX配置恢 NWI-E配置備份與恢 NWI-E配置備 NWI-E配置恢 容災倒 EBS架構關鍵電路板單板重啟方 CUDBIP鏈路閉CUDBIP鏈路閉 CUDBIP鏈路CUDB節點與容災倒 PotentialSplitBrainDetected簡 CUDB節點CUDB容災倒 簡本文檔對UDCCUDB的日常操作提供了盡可能詳細的信息，其中包括CUDB對外IP接口，CUDB常用指令說明，CUDB關鍵系統狀態檢查及告警檢查方法、EBS架構中各種硬件板卡更換流程。本文檔硬件部分重點描述CUDB架構，系統部分重點描述CUDBUDC相關的功能。所有操作指令與流程，請以ALEX文檔為準，本文檔僅作參考。CUDB對外IP接SRIP/MPLSSRIP/MPLSSRBOSSBOSSOAMOAMBOSSBOSSCE1CE2HSS-GE10,Link

O&M MMLLDAP BOSSOMOMInter-CUDBTrafficS6aTraffic

SS7CUDB對外IP接口，從邏輯上分為四種 接與OAM網相連，提供操作的接口CUDB-DB接與IP骨干網相連，CUDB節點間同步狀態接口CUDB-PG接與IP骨干網相連，提供與PG相連的LDAP信令接口CUDB-FE接與IP骨干網相連，提供與HLR-FE,HSS-FE相連的LDAP接口CUDBNWI-ECUDB硬件平臺為EBS平臺,EBS平臺中對外的IP接口板為NWI-E本文檔重點描述EBS架構CUDB的對外IP接口板NWI-E。一個CUDB中有兩塊NWI-E電路板，以新區CUDB為例，對外IP接口的具體描述

CUDB對外端口連接情況NWI-E00-100/1000Base-NWI-E00-100/1000BaseNWI-E00-100/1000BaseNWI-E00-100/1000BaseNWI-E00-100/1000BaseNWI-E01-100/1000Base-NWI-E01-100/1000BaseNWI-E01-100/1000BaseNWI-E01-100/1000BaseNWI-E01-100/1000BaseCUDB的NWI向外連接的Port舉例說明端冗余制本端地本端地址本端VRRP址對端地89CUDB系統簡NWI-NWI-NWI-NWI-NWI-NWI-.CUDB總共有三種硬件板卡NWI-NWI-NWI-NWI-NWI-NWI-NWI-NWI-NWI-NWI-NWI-在每個機框內有兩塊SCXB板，個，為主備關系。機框之間通過SCXB板進行互聯。SCXB通過背板于所有GEP3相連接SCXB主要承擔二層交換和機框管理工作NWI-NWI是單元，提供3層交換NWI是CUDB與外部的唯一接口一個機柜內只有兩塊NWI，每個機框的SCXB均與該NWI相連CUDB業務板，提供CUDB所有業務的處理，用戶數據的，CUDB系統在CUDB系統中，GEP3板又可以分為SC板，PL板和DS板SC板作為CUDB系統的主控板卡，SC板本身不用戶數據，但所有系統的配置，告警和統計的收集，的操作由SC板處理，每個CUDB有兩塊SC板。PL板中存放用戶索引數據，該索引決定具體去哪個DS中找用戶數據，每PL中的IndexData相同，每個CUDB有六塊PL板DS中存放具體的用戶數據，每個節點有兩塊DS板相同的用戶數據，D每個節點的DS板卡數為DS數量的兩倍。日CUDB工具準硬件工具準備T5，T6,T8螺絲TSR491603網口連接文檔準EricssonCentralizedUserDatabase(CUDB)13B,Support(EN/LZN7020398/1R1D)EricssonCentralizedUserDatabase(CUDB)13B,Tools(EN/LZN7020400R1A)EricssonUserD onsolidation(UDC)13B,InstallationandSupport(EN/LZN7020405P1A2)DMX2.0CP4,Support(EN/LZN7800012R2G)LinuxOpen Cluster(LOTC)2.1CP18,Support(EN/LZN7020281/1R2X)EricssonSNMPAgent(ESA)4.0CP2(EN/LZN7020358R3A)從的角度，在CUDB系統有FM,PM,CM,SWM四個模塊從對CUDB提供維CUDB通過FM模塊，將CUDB系統告警以SNMP消息的方式發送到OSS。 PM(PerformanceManagement)CUDB通過PM模塊收集CUDB統計信息，并提供為OSSSFTP，SCP接CM(ConfigurationCUDBCM模塊提供SSHCLI接口，提供對于CUDB的配置相關操作，如CUDB提供SWM模塊對于CUDB進行管理，用戶通過SSHCLI可以CUDB進行備份，恢復，升級，補丁等操作有兩種方式可以登陸到Console直Console直連的方式在日常操作中不使用。通過Console直連的操作一般CUDB系統Console連接配置表硬件名波特數據奇偶校停止流8181NWI-81通過網絡連在對于CUDB的日常操作時，通過網絡連接CUDB從OSS登陸SC板卡和DMX板卡使用SSH協議，登陸NWI使 NET協議CUDB系統登陸信息登陸節登陸方端用戶登陸命CUDBssh-lroot<CUDB-OAM-sshexpert@<DMXOAMIP>-pnet<NWIOAM告警檢登錄到CUDB的SC板卡，查看CUDB系統是否存在告警ssh-lroot<CUDB_OAM_VIP>正常情況下輸出為空CUDB1SC_2_1#fmactivealarmsActivealarms:CUDB系統狀態檢登錄到CUDB的SC板卡，查看CUDB系統狀態ssh-lroot<CUDB_OAM_VIP>參數解-a|alarms系統告-s|--sm-status:系統狀-C|new-cluster-statusNDBCluster狀-m|check-mysqlMysql連接狀---R|new-replication-statusCUDBPLDBDS的主備狀態'M':'Sn':Slaven代表是哪一個同步通道，如S1，S2.'S?':Slave–同步狀態位置.'[S]':Slave—同步通道出現問題'Xm':Wrongstate—masterless'Xu':WrongstateHA狀態檢登錄到CUDB的SC板卡，查看SAF狀態以及相關組件是否正常ssh-lroot<CUDB_OAM_VIP>正常情況下LOTCclusterstate無新加入的板卡AMFclusterstate狀態都UnlockedEnabled,SIHAstateactivestandby,SUStatesOK。4）NTP狀態檢查登錄到CUDB的SC板卡，查看NTP狀態是否正常ssh-lroot<CUDB_OAM_VIP>ntpq-cpeersESA狀態檢登錄到CUDB的SC板卡，查看ESA狀態是否正常ssh-lroot<CUDB_OAM_VIP>esastatus正常情況下輸出的結果為ESA各個進程runningHFCUDB1SC_2_1#esa[info]ESAMasterAgentis[info]ESASubAgentis[info]ESAPMAgentisLDAPFE狀態檢登錄到CUDB的任意板卡中，查看該板卡的LDAPFE狀態是否正常ssh-lroot<CUDB_OAM_VIP>sshPL_2_X/etc/init.d/cudbLDAPFrontEndstatus正常情況下，slapd進程狀態為UPCUDB1PL_2_3#/etc/init.d/cudbLDAPFrontEndslapdprocessis磁盤狀態檢登錄到CUDB的任意板卡中，查看該板卡的磁盤利用情況是否正常ssh-lroot<CUDB_OAM_VIP>sshPL_2_Xdf-k8）CPU狀態檢查登錄到CUDB的SC板卡中，查看CPU的利用率ssh-lroot<CUDB_OAM_VIP>9）進程管理登錄到CUDB的任意板卡中，查看進程管理ssh-lroot<CUDB_OAM_VIP>sshPL_2_X在CUDB系統中備份分為備份和數據備份，本章節將介紹CUDB備份和恢復的幾種方式系統配置備份和恢CUDB的配置對于CUDB系統非常重要，一般建議每周對CUDB配置做一次備CUDB配置的備份包含以下四個內容CUDB節點middleware的配CUDB節點配置信所有在CUDB節點中安裝的CUDB在PLDB中有關聯的信 登陸到CUDB系統的SC板卡：ssh-lroot<CUDB_OAM_VIP>SC_2_1#cudbSwBackup-c<backupName>為備份文件的名稱當備份結束后，會生成三個備份文件，分別是CUDB節點middleware配置備份文件，以targzip格式在/cluster/storage/no-CUDB節點包和節點信息備份文件，以targzip格式在/CUDB在PLDB中有關聯的信息備份，以SQL文件的格式 系統配置恢一般只有出現以下兩種情況，才需要對于CUDB配置進行恢CUDB節點的兩塊SC板卡同時出現故障1）登陸到CUDB系統的SC板卡：ssh-lroot<CUDB_OAM_VIP>2）對CUDB相關狀態進行檢查確保所有板卡的SAF服務狀態正常cudbManageStore--all--order確保所有PLDB和DS數據庫都為UP狀態進行恢cudbSwBackup-r<backupName>為所需恢復的備份名稱4關閉所有板卡NUMA服務登陸板卡SC_2_1ssh關閉SC_2_1NUMA服sed-i's/kernel\/vmlinuzpanic=10console=tty0console=ttyS0,115200cluster=(type=control,disk_cache=0,clean_rootfs=0)/kernel\/vmlinuzpanic=10console=tty0console=ttyS0,115200cluster=(type=control,disk_cache=0,clean_rootfs=0)numa=off/' 檢查SC_2_1NUMAgrep"numa=off" NUMA關閉狀態的返回應kernel/vmlinuzpanic=10console=tty0console=ttyS0,115200cluster=(type=control)關閉所有PL板卡的NUMA服sed-i's/APPENDinitrd=netboot_initrdpanic=10console=tty0console=ttyS0,115200cluster=(type=payload)/APPENDinitrd=netboot_initrdpanic=10console=tty0console=ttyS0,115200cluster=(type=payload)numa=off/'/cluster/nodes/3/boot/pxelinux.conf檢查所有PL板卡NUMA狀grep"numa=off/cluster/nodes/*/boot/pxelinux.confNUMA關閉狀態的返回應為APPENDinitrd=initrdpanic=10console=tty0console=ttyS0,115200cluster=(type=payload)numa=offsshSC_2_2關閉SC_2_2NUMA服sed-i's/kernel\/vmlinuzpanic=10console=tty0console=ttyS0,115200cluster=(type=control,disk_cache=0,clean_rootfs=0)/kernel\/vmlinuzpanic=10console=tty0console=ttyS0,115200cluster=(type=control,disk_cache=0,clean_rootfs=0)numa=off/' 檢查SC_2_2NUMAgrep"numa=off"/boot/grub/ NUMA關閉狀態的返回應為kernel/vmlinuzpanic=10console=tty0console=ttyS0,115200cluster=(type=control)5）CUDB節點進行重clusterreboot6)檢查數據庫狀態cudbManageStoreaorderstatus當CUDB節點重啟完成后，進行配置的激活用戶數據單元備份和恢一般只有出現以下兩種情況，才需要對于用戶數據單元備份和恢復CUDBSLAVE側的某個DS或者PLDB由于系統原因導致數據不同步CUDBSLAVE側的某個DS或者PLDB由于數據IPbackbone問題導致數據不同步。1）登陸到CUDB系統的SC板卡ssh-lroot2)進行備份和恢對于PLDB進行備份和恢cudbUnitDataBackupAndRestore-p-n<nodeId>為需要恢復的節點號對于DS進行備份和恢cudbUnitDataBackupAndRestore–d<dsgId>-n<nodeId>為需要恢復的節點號<dsgId>為DS號（1~13）cunitDatckupAndRestore指令的原理是在r側進行數據庫備份，并將備份文件自動傳送到Slave側，Slave側根據接收到的備份文件進行數據庫恢復。系統用戶數據備份和恢CUDB中系統用戶數據備份為用戶數據的全備份，包括PLDB和所有的DS中的用戶數據。一般建議每個晚上對于系統用戶數據進行自動備份。當CUDB進行系統用戶數據備份和恢復時，將會向PG發送Lock消息，PG會停止向CUDB進行數據寫入，當CUDB系統用戶數據備份和恢復結束后，CUDB會向PG發送消息，PG恢復向CUDB進行數據寫入。1）登陸到CUDB系統的SC板卡ssh-lroot2)進行系統用戶數據備cudbSystemDataBackupAndRestore備份完成后系統用戶數據將會于/home/cudb/automatedBackupStorage路徑下1）登陸到CUDB系統的SC板卡ssh-lroot2)進行系統用戶數據恢cudbSystemDataBackupAndRestore-r<backupDir>為備份文件的路徑和文件名}administrativeState}administrativeState在DMX中備份為配置備份，本章節將介紹DMX配置備份和恢復DMX配置備在DMX配置備份時兩側板卡必須為unlocked狀態。當配置備份成功后，會產 pleteAlert的告警，如果配置備份失敗則產生備份完成后將DMX備份導出到CUDB的SC板卡。備份的流程為1）登陸到CUDB系統的SC板卡，在SC板卡上新建文件夾，以DMX備份ssh-lroot<CUDB_OAM_VIP>mkdir/local/backupmkdir2)登陸需要備份的DMX板卡，并檢查兩側DMX的狀態sshexpert@82-pshowallManagedElement1DmxFunctions1BladeGroupManagement1GroupDMXShelfSlotBlade1administrativeStateShelfSlot0-0Blade1正確的結果為兩側ShelfSlot0-0Blade1}}ShelfSlot0-25Blade1}administrativeState}ShelfSlot}ShelfSlot1-0Blade1}ShelfSlot1-25}administrativeState}}ShelfSlot2-0Blade1}administrativeStateBlade1}}administrativeState}}ShelfSlot2-25Blade1}administrativeState如果有一邊的DMX的狀態為locked，則停止備份，}ShelfSlot2-25Blade1}administrativeStatesetManagedElement1Equipment1ShelfXSlotYBlade1administrativeStateunlockedX為機框號，Y為板號。如果unlock指令無效，則查詢原因并進行換板執行DMX配置備份指令requestManagedElement1DmxFunctions1SoftwareManagement1ConfigurationBackup1指令執行時間大約為10秒。如果備份成功DMX會產生alertswmCo ert，如果備份失敗DMX會產生alertswmConfigurationSaveFailedAlert。將DMX配置備份文件導出到CUDB的SC板卡requestManagedElement1DmxFunctions1SoftwareManagement1ConfigurationBackup1exportfilename/local/backup/DMX/<filename>.bupipAddress<ipAddress>usernameroot<filename>為備份的文件名，<ipAddress>為CUDBSC板卡OAM的IP地址登陸CUDB的SC板卡，查詢備份文件是否成功導出ssh-lroot<CUDB_OAM_VIP>ls/local/backup/DMXDMX配置恢由于DMX配置的備份文件中的DMX的硬件和信息，所以需要恢復的DMX的硬件和在恢復的過程中，DMX不會重啟，但恢復過程中DMX會進行切邊。在恢復成功后，DMX會產生swmConfi pleteAlert告警。恢復的流程為DMX的備份文件由外部服務器導入DMX：sshexpert@82-p2024requestManagedElement1DmxFunctions1SoftwareManagement1ConfigurationBackup1importfilename<filename>ipAddress<ipAddress>username<username><filename>為備份的文件名，ipAddress>為外部服務器的IP地址，<username>為外部服務進行恢復requestManagedElement1DmxFunctions1SoftwareManagement1ConfigurationBackup1恢復時連接將會中斷大約5秒并進行切邊，重新登錄后，恢復完成。如果恢復成功，DMX將產生AlertswmConfi pleteAlert，如果失敗DMX將產生AlertNWI-E在NWI中備份為配置備份，本章節將介紹NWI-E配置備份和恢復NWI-E配置備NWI-E配置的備份共有兩種方法如果OAM網絡中存在TFTPServer功能的文件服務器，如OSS等，可以使用指令將NWI-E的配置保存為備份文件，并通過TFTP導出。netSaveconfigurationas-scriptUploadconfiguration<IP><file.xsf>vr“VR-<file>為備份的名稱，<file.xsf>為備份文件名稱，<IP>TFTPServer功能文件服如果OAM網絡中不存在TFTPServer功能的文件服務器，可以使用指令將E打印出，并在本地保存為配置文件netshowconfiguration配置打印結束后，保存為本地文件NWI-E配置恢NWI-E配置的恢復時需檢查另一塊NWI-E的狀態，確保在恢復配置時，另一塊NWI-E板卡可以正常工作，NWI-E配置的恢復共有兩種方法：如果備份文件為.xsfOAM網絡中存在TFTPServer功能的文件服務器，可以nettftpget<IP>vr"VR-Default"<file.xsf>為備份文件名稱，<IP>TFTPServer功能文件服務器的地址。確認備份文件已經拷貝在更換后的NWI上還原配loadscript保存配如果OAM網絡中不存在TFTPServer功能的文件服務器，可以使用指令將E配置備份重新對NWI-E進行配置net清除之前的配unconfigureswitch容災倒EBS本章節將介紹EBS架構關鍵電路板重啟方法，由于GEP3板重啟有多種方式（DMX閉接鎖Cluster單板reboot，Linuxreboot等）本章節只對GEP3板最有效的重啟方式進行描述GEP3單板重GEP3板重啟在DMX上對于該單板進行閉的方式。登陸需要重啟GEP3板所屬機框的DMX板卡：sshexpert@82-p對于該GEP3板進行重requestManagedElement1DmxFunctions1BladeGroupManagement1GroupCUDBShelfSlot<SlotId>Blade1resetSlotId為該GEP3板的槽位號如果是PL板卡執行重啟操作后，需要使用指令cudbSystemStatus–r查看數據同步進程狀態，DMX單板重登陸需要重啟DMX板所屬機框的DMX板卡sshexpert@82-pDMX單板重啟前，需檢查同機框另一側的DMX板卡處于unlock狀態showManagedElement1DmxFunctions1BladeGroupManagement1Group檢查兩塊DMX板卡的administrativeState為對于該DMX板進行重requestManagedElement1DmxFunctions1BladeGroupManagement1GroupDMXShelfSlot<SlotId>Blade1reset<SlotId>為該DMX板的槽位號，左側DMX的SlotId為0-0，右側DMX的SlotId為0-25。 NWI-E單板重啟NWI-E重啟前需檢查另一塊NWI-E的狀態，確保在重啟時，另一塊NWI-E板卡可以正常工登陸需要重啟NWI-Enet輸入重啟指確認重啟指CUDBIPCUDBIP鏈路閉CUDB的IP鏈路閉鎖可以用兩種方式，使用VLAN閉鎖 端口閉NWI-E閉鎖前需檢查另一塊NWI-E該端口的狀態，確保在閉鎖時，另一塊NWI-E板卡可以正登陸需要端口閉鎖的NWI-E板net對于端口進行閉disableports<portId>為端，相關端描述可以參照章節2.2CUDBNWI-E板對外接口 VLAN閉NWI-E閉鎖前需檢查另一塊NWI-EVLAN的狀態，確保在閉鎖時，另一塊NWI-E板卡可以登陸需要端口閉鎖的NWI-E板net檢查VLAN狀show對于相應的vlan進行閉disablevlan<vlanName>為需要閉鎖VLAN的名稱CUDBIP端登陸需要端口的NWI-E板net對于端口進enableports<portId>為需要的端VLAN登陸需要端口的NWI-E板net檢查VLAN狀show對于相應的vlanenablevlan<vlanName>為需要VLAN的名稱CUDB節點與容災倒本章節相關操作在現網環境下必須征得TigerTeam同意后在TigerTeam指導下進行操作PotentialSplitBrainDetected簡在UDC系統中所有的CUDB利用其機制（SupervisingMechanism）保持各CUDB處于一個共享和相同的狀態。CUDB使用一個專有的協議與其他CUDB同步所有用戶數據的如果一個CUDB宕機或者被，另一個CUDB為了減少潛在的用戶數據不一致會停止PG的SplitBrain的根本原因為兩側CUDB的PLDB無法同步和互相，共有以下四種情況會導CUDB出現Split單個CUDB宕機連接兩端CUDB的IPbackbone出現問題，影響兩端數據同步和兩側數據庫結構不一致，導致兩側數據庫無法同步一端CUDB的PLDB在做Restore，導致對端CUDB顯示其PLDB狀態UnreachableCUDB節點CUDB的節點，在需要側的CUDB兩塊NWI-E依次進行所有TrafficVLAN的閉登陸到NWI-E板net檢查VLAN狀show依次對于相應的