目錄第一章 概述 9§1.1 項目背景 9§1.2 數據保護原則 9§1.3 備份系統的位置 10§1.4 項目設計目標 10第二章 備份設備規劃 14§2.1 備份環境準備 14§2.2 硬件安裝規劃 15§2.3 軟件安裝規劃 15§2.4 物理帶庫安裝規劃 15第三章 備份系統整體架構 16§3.1 整體架構概述 16§3.2 備份服務器規劃 17§3.2.1 服務器 17§3.2.2 客戶端 19§3.3 備份設備規劃 20§3.3.1 物理帶庫規劃 20§3.3.2 備份一體機規劃 20§3.4 備份SAN規劃 26§3.5 備份LAN規劃 26§3.6 備份數據復制 27§3.7 備份性能 28第四章 備份系統容災設計 28§4.1 備份系統容災架構概述 28§4.2 備份服務器規劃 30§4.2.1 服務器 30§4.2.2 客戶端 31§4.3 備份設備規劃 31§4.3.1 物理帶庫規劃 31§4.3.2 備份一體機規劃 31§4.4 備份SAN規劃 32§4.5 備份LAN規劃 32§4.6 磁帶的保存 32§4.6.1 磁帶異地保存 32§4.6.2 磁帶離線管理 32§4.7 容災切換 32§4.7.1 備份平臺的切換 34§4.7.2 介質服務器切換 35§4.7.3 備份客戶端的切換 35第五章 數據備份方法與策略 35§5.1 備份對象分析 35§5.1.1 數據庫 35§5.1.2 應用程序和應用日志 38§5.1.3 VMware虛擬機操作系統 38§5.1.4 Power平臺操作系統 39§5.1.5 X86物理機操作系統 40§5.1.6 NBU服務器 40§5.2 傳輸方式選擇 40§5.3 全量、增量選擇 41§5.4 備份時間窗口 42§5.5 臨時備份策略 42第六章 數據恢復方法與策略 43§6.1 生產環境數據恢復 43§6.1.1 數據庫恢復 43§6.1.2 應用程序和日志恢復 45§6.1.3 VMware虛機操作系統的恢復 46§6.1.4 Power平臺操作系統恢復 47§6.1.5 X86物理機操作系統的恢復 48§6.1.6 NBU服務器的恢復 48§6.2 備份數據恢復驗證 49§6.3 開發測試環境取數 50第七章 產品實施 51第八章 硬件實施部分 51§8.1 NBU5240環境及電氣要求 51§8.2 NBU5240硬件示意圖 52§8.3 NBU5240IPMIIKVM設置使用 54§8.4 NBU5240登錄管理方式 56§8.5 NBU5240輸入正式License 63§8.6 NBUmaster端配置 65§8.7 NBU5240應用network配置 65§8.8 NBU5240配置LinkAggregation 71§8.9 NBU5240/etc/hosts配置 79§8.10 NBU5240主機名配置 79§8.11 NBU5240角色設置 83§8.12 NBU5240時區，時間設置 91§8.13 NBU5240存儲配置 97§8.14 NBU5240FTMode配置 103§8.15 NBU5240安裝EEB 114§8.16 NBU5240參數優化 140§8.17 NBU5240快速安裝客戶端 142§8.18 重置NBU5240的配置 145§8.19 NBU5240使用的網絡端口號 146§8.20 NBU5240相關日志 147第九章 軟件實施部分 148§9.1 NetBackupMasterServer安裝 148§9.2 NetBackupAIXClient安裝 156§9.3 NetBackupOracleAgent安裝 157§9.4 NetBackupWindowsJavaConsole安裝 158§9.5 帶庫和磁帶配置 159§9.6 備份策略配置 171第十章 同城災備實施工藝 180§10.1 VCS集群軟件的安裝 180§10.2 集群的資源配置 182§10.3 AIR復制配置 184第十一章 項目小組和售后服務 185§11.1 人員設置 185§11.2 應急預案 185§11.3 基礎售后服務(EssentialSupport) 185§11.4 高級支持服務（consulationService） 188

概述項目背景甘肅銀行新的數據中心即將完工，新的數據中心涉及甘肅銀行包括核心系統在內的88個業務應用和全部生產數據。同城雙中心的新架構應用，對數據保留的窗口時間、RTO/RPO都有新要求，為了保證業務系統的正常運行和數據安全，必須建設足夠強壯的備份系統以滿足現在和未來的使用需要。數據保護原則數據中心往往采用多種數據保護方法來滿足不同服務等級的要求，備份是其中唯一采用離線手段，并能提供應用邏輯錯誤的保護手段，同時，備份能實現的RTO和RPO也是所有保護系統中最低的，只有提升備份系統的效率，才能提升數據中心的可用性，滿足更為嚴格的RTO/RPO要求。通常來說，可以把數據保護分為如下三個層次：在線保護在線數據保護技術包括跨陣列的數據鏡像，雙活系統等，此類解決方案的RPO為0，RTO為0或者秒級。在線保護適用于對實時性要求非常高的核心系統，同時它也是最昂貴的數據保護方案。近線保護近線保護是最近幾年在近線存儲技術上發展起來的，最典型的就是CDP，它采用的技術有數據復制、克隆、快照等，可以實現秒級RPO和分鐘級的RTO，近線保護技術是生產系統開銷最大的保護方案。離線保護離線保護就是傳統的備份技術，特點是成本低廉，保存周期和拷貝數量不受限制，但受到備份頻率的限制，RPO和RTO往往是小時級或者天級。備份系統的位置一套系統往往會采用多種保護技術來進行全方位的數據保護，根據前期的環境調研，為了保證備份系統對業務系統的完全保護和滿足同城雙中心業務運行的要求，備份系統在兩個生產中心分別獨立運行，同時互為備份。項目設計目標為了滿足銀監局的要求和保障我行未來生產系統的RTO/RPO要求，當前的備份方式已經無法滿足業務發展要求，迫切需要建設一套集中高效的備份系統。針對我行目前的業務要求、架構規劃和災難恢復要求，結合對現有備份現狀和存在的問題的修正，我們將建設跨越生產中心和同城容災中心的統一備份系統。本次集中備份系統的目標是建設一個集中式的備份恢復平臺，業務系統服務器為備份客戶端；備份的調度、監控、管理由備份服務器負責，所有備份數據都由備份客戶端以SAN或者LAN的方式寫到備份存儲或者物理帶庫中。備份系統架構圖：備份功能性要求備份的SAN、LAN和生產是完全獨立的網絡。實現LAN和SANClient的備份。備份的所有數據將存放在統一的備份一體機和物理帶庫上。全面覆蓋全行所有應用系統的數據，包括:數據庫（ORACLE、DB2、SQL）、應用程序產生的文件、虛機的操作系統、PowerVMclient端的操作系統。實現備份系統的本地容災。備份系統的特性通用性支持絕大多數主流操作系統、數據庫和備份設備，支持新一代項目的所有操作系統和數據庫備份，可以為甘肅銀行所有系統提供統一的備份保護。可擴展性備份系統具有良好的擴展性，可以方便的添加或刪除備份客戶端、服務器和備份設備，支持跨數據中心數據備份和備份數據容災，符合甘肅銀行兩地三中心的規劃要求。高可靠性生產中心的備份服務器和備份一體機都配置成集群和容錯模式，具有極高的可靠性，滿足甘肅銀行7×24的數據中心備份需求。對備份的數據按照數據的重要級別設置不同的備份策略，讓備份軟件自動備份，減少了人工備份易犯的錯備、漏備等缺點，提高數據的安全性，且通過備份軟件進行恢復驗證，確保備份數據的可靠性。高效率相比較甘肅銀行原先備份體系，新的集中備份架構對數據的備份、恢復和維護更有效率。對于大多數系統管理人員來說，備份是一項繁重的任務，每天都要花費大量時間用于手工數據備份，從而影響其他工作的開展。統一備份系統能夠實現定時自動備份，大大減輕管理員的壓力。高度自動化新的備份架構將自動完成數據備份，數據的備份對于應用系統來說完全透明理想的備份系統是全方位，多層次的。首先，通過多臺一體機的冗余結構和備份主服務器的高可用來防止硬件故障，保證備份業務的不間斷運行。其次，備份系統根據策略自動執行，全面保護計算機系統的數據。再次，備份系統采用高可用冗余架構，切換全部自動化，完全排隊單點故障，實現7*24小時運行。集中管理化利用統一備份系統，系統管理員可通過WEB界面，對全網的備份進行狀態查看、策略管理、故障監控、報表匯總等統一集中管理。災難恢復同城備份容災的設計是做為同城災備的輔助手段，把同城災備不能覆蓋的數據保護起來，可以在生產中心發生災難需要恢復數據時，配合同城災備進行數據的恢復，以便快速的恢復生產。本架構設計將是后續備份系統詳細設計和部署方案的基礎和指引。備份設備規劃備份環境準備在安裝NetBackup之前需要確認如下的信息：1、備份服務器（MasterServer）的硬件及操作系統版本、補丁情況；2、客戶機（Client）的硬件及操作系統版本、補丁情況；3、所連接帶庫的硬件、驅動器類型；具體的硬件及操作系統兼容性請見以下鏈接：主機硬件及操作系統兼容性：/docs/278064帶庫和帶機的兼容性：/docs/278692如有數據庫需要備份，請查看數據庫的兼容性：/docs/279048更多對操作系統的要求請見releasenotes：/docs/290196硬件安裝規劃備份主服務器：備份主服務器采用雙電源,雙口HBA,四個10GE網卡并配置相應的網線；備份一體機：充當介質服務器，采用雙電源,八口HBA,四個10GE網卡并配置相應的網線；軟件安裝規劃備份主服務器軟件版本為Netbackup7.7.3；備份一體機內置版本為2.7.3，等同于Netbackup7.7.3；客戶端統一部署Netbackup7.7.3客戶端；物理帶庫安裝規劃物理帶庫參照物理帶庫安裝要求，物理帶庫必須接入FC網絡。備份系統整體架構整體架構概述數據中心的備份采用Veritas的第四代備份架構，利用SANClient技術實現客戶端與備份平臺的松耦合。通過松耦合技術，實現備份平臺整體的集中管理，所有操作無需在客戶端完成，大幅提升管理效率，并實現“云”化的備份平臺。備份服務器規劃服務器功能用途備份管理服務器是整個備份平臺的“大腦”，它的主要職能是調度備份任務，分配備份資源，同時也是備份平臺管理的主要接口。備份一體機和備份客戶端接受備份管理服務器的統一管理。OpsCenter是NetBackup的Web管理結構、告警平臺以及報表心。簡單來說，管理服務器承擔三個功能角色：NetBackupMasterServerNetBackupOpsCenter拓撲結構備份管理服務器由兩臺服務器組成，安裝RedHatLinux64bit操作系統，使用VeritasClusterServer做成兩節點集群，Catalog存放在中低端磁盤陣列上。OpsCenter架構在正常情況下OpsCenter和MasterServer分別運行在不同的節點上，當一個MasterServer節點出現故障時，VCS將自動把服務切換到另外一個節點。OpsCenter通過Netbackup通用通訊組件pbx和MasterServer進行通訊，定期從MasterServer獲取各種備份狀態信息，然后SNMP或者郵件方式發送給管理員。OpsCenter和集中監控系統的告警采用標準的SNMP協議。備份一體機架構備份一體機充當介質服務器（MediaServer），負責備份存儲（一體機存儲空間和物理帶庫）的管理，雙中心結構下每中心采用兩臺等容量的備份一體機進行整體備份、容災和磁帶出帶。首先，在日常工作中，每個中心的兩臺一體機分別負責一部分業務系統的備份，在各自完成備份任務后再后臺進行兩臺一體機之間的優化復制，實現單中心兩副本；其次，生產中心和容災中心的備份一體機采用AIR復制技術進行容災同步，實現全部備份數據四個副本。客戶端備份客戶端為新數據中心的所有應用和數據庫服務器，在新的數據中心中，客戶端的操作系統有PowerVMclient端的AIX，X86平臺虛擬機操作系統linux、windows、SUSE系統，客戶端的數據庫有ORACLE、DB2和SQL及非結構化的文件和音視頻文件,建議使用多網卡綁定技術提高網路帶寬和可靠性。新數據中心200多套系統使用的服務器、操作系統、數據庫均在NBU支持列表之內。備份設備規劃物理帶庫規劃物理帶庫作為長期保留和輔助備份設備,主要用于存放長期保留的數據和音視頻文件。建議新購一臺企業級磁帶庫，新購磁帶庫配置建議如下：8個LTO-6磁帶機非壓縮225T以上可用容量。備份一體機規劃備份存儲的需求是通過對現網生產備份對存儲需求調研的基礎上，增加了新建應用的備份需求，同時對新數據中心虛機操作系統的備份對存儲的需求做了預估，共需要可用存儲容量為225T。詳細需求如下：現網生產備份存儲需求：具體應用名稱系統名稱文件（G）數據庫（G）二代支付二代支付A75二代支付B4770二代支付前置PMTSA機二代支付前置3二代管理密押服務器二代支付前置定制機1龍圖非稅嘉峪關5IC卡業務IC卡業務管理6001260IC卡管理DB1080國際業務國際業務A機200國際業務B機(左)21自助銀行自助銀行APP1A機1691自助銀行APP2B機1自助銀行APP01、APP1B機911自助銀行數據庫01新ATMP跨平臺數據庫A機移動營銷26150鄉村通鄉村通A機app501鄉村通DB1135密碼平臺密碼平臺A機260密碼平臺B機60電子驗印系統電子驗印應用14電子驗印數據庫90電票系統電票系統APP0118電票系統DB60ACSACSDB012ACSAPP015.4績效考核管理系統績效管理數據庫A1000出納管理系統出納管理系統022支付信息統計分析支付信息統計分析數據庫服務器600頭寸FTP頭寸數據庫應用服務器2457國庫集中支付國庫集中支付APP011國庫集中支付DB018網銀電子銀行系統網銀數據庫服務器0121網銀交易應用服務器1100網銀交易應用服務器2100網銀后臺管理服務器2160網銀后臺管理服務器1160呼叫中心呼叫中心VPAPPA機(左)600呼叫中心CTIA機(右)60044.1呼叫中心CTIB機（左）呼叫中心ASEA機(左）600呼叫中心TTS服務器(右)600呼叫中心知識庫A(左)600呼叫中心數據庫A21短信平臺短信平臺A機86.8移動營銷移動營銷MDM數據庫服務器2移動營銷數據庫服務器14內部網站B機(右)91理財系統理財數據庫服務器01100理財應用服務器0121審計系統審計系統A機1370322事后監督事后監督及風險預警OCR數據庫161事后監督及風險預警系統ECM數據庫196FTPFTP頭寸數據庫10001104報表系統1104數據庫服務器A2201104WEB服務器（右）200積分客戶管理積分客戶管理數據庫服務器600CRMCRM數據庫服務器12000反洗錢反洗錢數據庫服務器AEAST數據庫服務器B20557.2反洗錢數據庫服務器BEAST數據庫服務器A803.6EAST數據庫反洗錢數據庫服務器BEAST數據庫服務器A100IT風險數據報送系統風險監控web在虛擬機生產虛擬化池源數據DB、Web服務器10指標數據DB服務器10人力資源平臺人力資源管理數據庫，應用21人力資源管理數據庫，應用1在線學習系統在線學習系統50精準扶貧明細臺帳系統精準扶貧明細臺帳系統115內控合規與風險管理三合一系統內控合規與風險管理100內控合規與風險管理3000人力招聘系統人力招聘應用服務器人力招聘數據庫服務器60IMC認證系統IMC服務器A機1堡壘機系統

運維安全審計系統應用發布系統堡壘機196桌面安全系統桌面安全A204華三智能巡檢管家1域控子系統DC02域控子系統20ITSM監控ITSM監控系統網絡ITSM監控系統10060ITIL管理系統ITIL管理系統60ITIL運維管理系統30檔案管理系統檔案管理系統500IT應用監控平臺IT應用監控平臺A機(左)1項目管理平臺服務器項目管理平臺服務器14合計:8T30T38T新建應用備份存儲需求：序號系統名稱數據類型GB1新一代信貸管理生產數據庫10500報表數據庫文件數據2Bancs核心系統3個數據庫備份300003個數據庫備份文件系統3CRM系統數據庫數據1000數據庫數據數據庫數據應用數據4ECIF系統數據庫數據3000數據庫數據數據庫數據應用數據5IBPS

超級網銀系統數據庫數據3000數據庫數據數據庫數據應用數據日志6ODS系統數據庫數據15000文件數據7財務管理系統8風險預警系統數據庫數據12009ESB系統數據庫4000數據庫ESB應用（日志文件）10個人征信系統數據庫數據2000應用數據11企業征信系統數據庫數據2000應用數據12統一身份認證系統數據庫數據200目錄數據應用數據13總賬系統GL總賬文件備份50000AE會計核算（FDM）文件備份AEI會計引擎界面（BPM）文件備份CUA文件備份SolutionManager/SMP文件備份GL總賬數據庫AE會計核算（FDM）數據庫AEI會計引擎界面（BPM）數據庫CUA數據庫14柜面系統數據庫數據350015批量系統

財政子系統

特色業務系統

小前置業務系統

中間業務系統數據庫數據1500合計126.9T甘肅銀行新數據中心備份存儲需求統計：現網生產數據庫和文件新建系統數據庫和文件現網改造加新建應用虛機操作系統38T127T60T合計：225T當前部署的應用是未來計劃部署應用的一半，考慮未來應用的擴展，備份存儲應該450T，備份一體機提供重復數據刪除技術，從測試結果來看，數據庫、虛機和文件的備份重復數據刪除率都超過80%，故備份一體的可用空間在90T以上就能滿足未來新數據中心備份的需求，空間使用率在80%以下時備份一體機性能最好，建議的備份一體機配置為112TB。備份SAN規劃為了和生產SAN完全隔離，專門設計了備份的SAN網絡。為實現同城容災需求，核心備份業務的VF（VirtualFabric）和其他業務備份SAN交換機,作為EdgeFabric通過備份路由VFCoreFabric與同城災備中心備份VF實現級聯。保證每個生產區備份VF的主機可以與集中備份平臺的存儲和物理帶庫互通，以實現LANFree備份。從SAN硬件底層做了高可用，保證了備份的可靠性。物理機采用SANClient技術實現LANFree，虛擬化平臺需要將DataStore所在的LUN以只讀方式Mapping給備份一體機，實現LANFree。備份LAN規劃備份LAN架構：備份LAN的設計和生產是獨立的，每臺主機備份網先連到機柜的TOR，新的數據中心專門設計了兩臺備份匯聚交換機，從TOR上來的備份網絡直接連到這兩臺備份匯聚交換機，在匯聚交換機上，為每個生產區的應用劃分了獨立的Vlan,使得每個生產區邏輯隔離。備份服務器放在核心生產區，在備份匯聚交換機上設置的策略是備份服務器可以訪問每一個區的每一臺備份服務器，由于Vlan的隔離，各區之間服務器是不能互訪的。MasterServer與備份一體機以及Client之間的網絡通訊必須通過特定的端口進行，具體要求如下：備份軟件現在只支持防火墻靜態的NAT技術，不支持動態NAT轉換。需要打開443、902、1556、13724(雙向通信)防火墻端口。允許長連接，不要設置連接超時。備份數據復制雙中心之間備份數據和備份索引Catalog通過AIR復制技術從生產中心復制到容災中心。單個中心內的兩臺備份一體機采用優化復制技術進行備份數據同步。備份性能 總數據量÷備份窗口=備份性能備份系統容災設計備份系統容災架構概述兩臺MasterServer，安裝Linux操作系統。兩臺備份一體機充當MediaServer，負責LAN和SANClient備份；備份設備為兩臺一體機和一臺物理帶庫。正常情況下，MasterServer備機處于開機狀態，分別部署NetbackupMasterServer和OPSCenter，利用VCS構成互備模式，備份一體機和Client由生產中心的MasterServer管理，備份設備由備份一體機管理。當MasterServer發生故障時，通過VCS進行切換；當一臺備份一體機發生故障時，由另一臺備份一體機接管所有備份業務。架構說明：備份容災環境由如下設備組成：兩臺NBUmasterserver,兩臺備份一體機。一臺物理帶庫在設計中加一臺物理磁帶庫有兩個作用：直接出帶。數據歸檔和數據恢復。音視頻文件的直接備份。備份數據和備份索引Catalog通過AIR復制技術從生產中心復制到容災中心。備份服務器規劃服務器功能用途災備環境的備份服務器是熱備機，平時用于容災保護、容災中心的業務保護和恢復驗證，只有生產中心出現故障時會激活生產中心的備份策略，對生產中心進行備份保護。拓撲結構備份管理服務器為兩臺服務器，利用VCS形成集群，安裝RedHatLinux64bit操作系統，備份服務器需要連接共享存儲、備份SAN、備份LAN、生產LAN。客戶端容災中心的備份客戶端為所有建設的同城災備的系統，在同城容災中，客戶端的操作系統有PowerVMclient端的AIX，X86平臺虛擬機操作系統linux、windows、SUSE系統，客戶端的數據有ORACLE、DB2和SQL,建議使用多網卡綁定技術提高網路帶寬和可靠性。備份設備規劃物理帶庫規劃建議新購一臺企業級磁帶庫，新購磁帶庫配置建議如下：12個LTO-6driver非壓縮225T個以上可用容量備份一體機規劃Netbackup5240112T兩臺。備份SAN規劃參照備份系統整體架構中SAN規劃。備份LAN規劃參照備份系統整體架構中LAN規劃。磁帶的保存磁帶異地保存有效期超過1年的數據，將會復制一份，然后在專門的數據中心進行保管(建議在同城容災中心)。出庫頻率為每月一次。當帶庫中沒有可用磁帶時，把保存時間最長的磁帶取出保管，然后放入新磁帶。磁帶離線管理對于保管在同城容災數據中心的出庫磁帶，建議放在專用的磁帶介質保存柜，并定期進行恢復測試，以驗證磁帶的可用性；對于將要達到磁帶保存壽命（LTO6的磁帶壽命是15年）的磁帶，可將磁帶從數據中心取回放入生產中心的磁帶庫，使用集中備份軟件的Copy功能來將此磁帶復制到一盤新的磁帶進行保管；容災切換當生產中心出現災難需要進行容災切換時，備份系統的切換將分為如下兩個層面進行：備份平臺的切換：包括Masterserver、備份一體機，當MasterServer發生故障時，由于Catalog庫在共享存儲上，所以，通過VCS直接對Netbackup主服務器程序和服務IP進行切換后完成；備份一體機兩臺構成存儲池，平時各負責一半的備份任務和備份后的快速同步，當一臺發生故障時，由存儲池中另一臺備份一體機承擔所有備份任務。備份客戶端切換：備份系統在進行備份時，會訪問客戶端集群的服務IP，當客戶端發生故障切換時，服務IP會隨業務切換完成切換，對備份系統而言，這個過程是全透明，無感知的。備份平臺的切換MasterServer切換當生產中心發生災難，需要使用容災中心的備份平臺進行備份時，切換流程如下：在容災端MasterServer上啟用已經配置好的備份策略。手工配置生產中心的MasterServer的IP地址至容災中心備份平臺。生產中心客戶端受容災中心備份平臺管理進行備份。完成上述切換過程預計需要1小時。介質服務器切換介質服務器不需要切換，因為容災端的備份一體機一直是Online的，可以直接使用。備份客戶端的切換同城容災中心的客戶端不需要切換。數據備份方法與策略備份對象分析新數據中心統一備份系統備份的對象和內容如下表：AIXLinuxWindowsSuseOracleDB2SQL應用PowerVM平臺√√√√X86的VMware平臺√√√√√√X86物理機√√√Power物理機√√√數據庫數據庫備份原則:數據庫是備份系統的主要保護對象，甘肅銀行在新數據中心有88套數據庫，數據庫的類型有ORACLE、DB2、SQL,NBU都可以支持這些數據庫的在線備份方式。數據庫在線備份備份方法：核心、交易類系統每天全備份一次。管理類系統如果數據量小于500GB的每天全備份一次；大于500GB的每周全備份，每天進行一次增量備份。備份數據庫的同時，將會對數據庫日志進行備份。備份流程：數據庫日志備份備份方法：核心、交易類系統數據庫日志每小時備份一次，管理類系統的數據庫每4小時備份一次。每次備份完成后，刪除一天以前的日志文件。備份流程： 應用程序和應用日志應用程序在備份變更前后，由應用負責人提出申請，備份管理員手工發起備份，備份數據的有效期以各應用的要求為準。設置備份專用目錄，應用把需要備份的數據拷貝在備份目錄下，備份系統按照應用的要求，進行策略設置、備份，備份完成后，備份系統刪除備份過的文件。如果應用系統對應用日志的備份有特定需求，需要在詳細的備份需求中提出。VMware虛擬機操作系統備份方法VMwarevStorageAPIforDataProtection通過部署在物理機或者虛擬機上的代理服務器對VMwareESX/ESXi以及其上運行的虛擬機群(Windows,Linux等)進行全面的數據保護。備份的方式有：對虛擬機上的操作系統的全備份;虛擬機增量備份；備份頻率所有的虛機操作系統每個季度備份一次，保留兩個版本，且每套系統在變更前后進行備份。LANFree備份VMWare的LANFree備份需要將VMWare的DataStore所在的LUN以只讀方式Mapping給備份一體機。Power平臺操作系統備份方法：PowerVMclient端的AIX系統，使用NBU的BMR備份模塊進行備份。每個季度和系統變更前后對操作系統進行一次備份，備份數據保存一季度。LPAR和全分區的AIX操作系統，AIX機器數量比較少，且都是核心系統，仍延用系統克隆的方式進行備份。在系統變更前后對操作系統進行一次備份，備份數據保存在本地硬盤上。X86物理機操作系統備份方法：在新數據中心每個區域內，都設置有X86物理資源池，使用NBU的BMR備份模塊進行備份。每個季度和系統變更前后對操作系統進行一次備份，備份數據保存一季度。NBU服務器備份方法：建立本地的高可用環境（即NBUMasterServer分別安裝在HA的雙機上，而數據庫文件則建立在共享的盤陣上）。利用NBU自帶的Catalog備份功能，在備份任務完成后進行備份。數據保存在物理帶庫上。傳輸方式選擇本項目使用的備份方式有兩種：LAN備份、LAN_Free備份。選擇標準如下：每天備份數據量小于200GB的采用LAN備份。每天備份數據量大于200GB的采用LAN_FREE備份。虛機的操作系統及數據庫、應用程序和文件全用LANFree的方式備份。全量、增量選擇本項目使用全量備份和增量備份兩種類型，選擇標準如下：核心類系統每天全備份，備份數據保留一個月。生產類數據庫，如果數據量小于500GB，每天全備，保留7天；如果數據量大于500GB，每周一次全備份加每天的增量備份，備份數據保留一個月。管理類及其它文件類型數據，如果數據量小于100GB，每天全備，保留7天；如果數據量大于100GB，每周一次全備份加每天的增量備份，備份數據保留一個月。虛擬機操作系統每個季度和系統變更前后對操作系統進行一次備份，備份數據保存一個季度。PowerVM的client端AIX操作系統,每個季度和系統變更前后對操作系統進行一次備份，備份數據保存一年。PowerVM的VIOS和LPAR操作系統，使用磁盤克隆的方式進行備份。保留31天保留7天保留31保留31天保留7天保留31天保留7天保留7天保留31天保留1個月備份時間窗口備份調度盡量分散，平均分配。每周預留兩個2小時的維護窗口，不執行任何備份作業。初步確定為周三、周六的00:00-02:00。數據庫和文件備份一般安排在18：00-8：00，工作時間安排日志備份、備份一體機之間的復制和出帶。臨時備份策略臨時備份策略以當時溝通為準。數據恢復方法與策略生產環境數據恢復數據庫恢復ORACLE數據庫恢復可以通過本地或容災端的NBUServer結合備份一體機，利用備份數據進行LAN和LANFree數據恢復。恢復時，NBU可以實現多線程的數據恢復，如果數據在磁帶上，可以利用NBU獨特的磁帶分類集中存放技術，減少磁帶的就位時間，提高數據恢復的效率。先用最近一次的全備份恢復＋恢復最近一次的增量備份＋增量備份到斷點的ARCHIVELOG來恢復（要求數據庫在ARCHIVELOG模式下工作）。這種恢復方式比全部用ARCIVELOG恢復要快。如果兩份的最近一次增量備份都不可用，可以追溯再上次的增量備份來恢復，然后用增量備份到斷點的ARCHIVELOG恢復。如果最近一次的全備份恢復都不可用，上個周期的全備份＋上個周期的最后一次增量備份＋本周期的最近一次增量備份＋增量備份到斷點的ARCHIVELOG來恢復。如果增量備份都不可用，那么可以用全備份＋ARCHIVELOG來恢復。DB2數據庫恢復NBU支持通過調用DB2的恢復接口進行各種恢復操作。能夠利用備份數據通過LAN或者LAN_free完成恢復操作。支持DB2日志的Copy模式和存檔模式，建議采用Copy模式，降低業務系統與備份系統的耦合度。SQLServer數據庫恢復SQL數據庫的恢復操作在NBU圖形界面中完成，NBU支持數據庫級別、文件級別的恢復以及整個數據庫的復原，文件復原和頁復原。應用程序和日志恢復應用程序和日志都是做為文件來備份和恢復的，恢復操作的目標是讓備份的文件回到期望的某一時間點。備份的方式決定了恢復的方式，NBU對于文件備份的方式采用全量備份和備份加速技術的永久增量備份方式。全量備份的恢復方法全量備份一般會保留若干版本，恢復時只需指定恢復的版本。備份加速的永久增量備份加速備份除了第一次需要進行全量備份之外，以后每次都進行增量備份，在完成備份后，在備份一體機內完成備份后通過合成生產全備份，無須進一步的全量備份，在恢復的時候與全量備份相同，但備份時間會大幅減少。GRT恢復無論何種備份方式，在NBU中，都可以通過圖形界面選擇需要恢復的文件進行粒度恢復，GRT技術無需代理，可直接使用。VMware虛機操作系統的恢復NBU支持虛擬化的無代理備份，可支持虛擬機整體備份和恢復，并支持GRT粒度恢復，提供虛擬化的更名恢復、換ESXi恢復和恢復后的開關機狀態選擇，同時支持對虛擬機中的單個文件和已認證應用的恢復。Power平臺操作系統恢復PowerVM平臺操作系統的恢復NBU的BMR功能針對主流操作系統進行備份和恢復，提供了網絡引導功能和光盤引導兩種選擇，網絡引導需要配置BootServer，光盤引導需要制作引導用的ISO光盤映像并刻盤備份，無論網絡引導或光盤引導，都可以在系統升級后進行升級，在操作系統需要恢復時，只需要發出“preparetorestore”（準備恢復）命令，系統就開始執行恢復。些時，BMR將立即檢索客戶機配置數據，并使用該數據創建一個定制化的客戶恢復程序。然后，通過網絡為客戶機發送相應的引導數據和文件系統。客戶機將通過BMRbootserver執行引導，并開始運行定制引導程序。引導程序將執行一列任務：通過BMRFileServer，安裝必需的啟動系統。根據BMRserver中的信息配置磁盤、邏輯卷、文件系統等。向NetBackup發送命令，從NetBackupserver恢復文件，其中包括操作系統、配置數據、應用程序和用戶文件。完成這些任務后，客戶機將配置引導記錄及配置數據庫，并重新執行自引導，然后系統即正常運行。Power平臺LPAR操作系統的恢復由于Lpart的AIX操作系統的備份是通過Clone的方式備份的，如果需要恢復操作系統，只需從Clone的硬盤引導即可恢復。X86物理機操作系統的恢復X86也是通過BMR模塊進行備份，恢復過程與PowerVM相同。NBU服務器的恢復當NBU服務器故障按以下步驟處理：NBUSever建立在HA的環境下，一旦運行的NBUServer癱瘓，將由StandbyNBUServer自動接管。當NBUCatalog發生損壞時，利用對NBUCatalog數據庫所作的磁帶備份，利用NBURestorCatalog功能恢復本地數據庫，直接恢復NBUServer。備份數據恢復驗證備份數據的恢復驗證是確保備份數據有效性的重要手段。通常情況下，由于生產數據不能直接在生產環境里進行數據的有效性驗證，所以把準生產環境做為甘肅銀行備份數據的恢復驗證區。恢復驗證區說明準生產區同時設計為備份的恢復測試區，兩個區域復用，無需單獨建設恢復測試區域。由于準生產沒有備份的需求，不單獨設計備份策略。NBUserver服務器在核心生產區，它和準生產區是兩個安全級別不一致的區域，為了實現NBU的恢復測試功能，在備份的防火墻上開放備份專用端口。甘肅銀行全行所有的備份數據都在備份存儲上,數據需要恢復驗證，數據的流向如下圖，把生產的數據直接恢復到準生產區，進行備份數據的有效性驗證。開發測試環境取數根據調研發現，應用人員有很大的從生產取數據的需求，用來模擬生產環境進行開發和測試，由于生產數據含有大量客戶的真實信息，為了防止客戶信息泄露，必需要對生產的數據進行脫敏，當前脫敏采用的方法是運維人員通過事先編好的腳本，對數據的關鍵詞進行批量替換，這種方法效率低，且仍有數據泄密的風險，我們建議建立專門的脫敏平臺，對客戶數據進行脫敏。開發測試環境從生產環境取數的流程是：在VMWare平臺搭建NBUVelocity虛擬化平臺，配置用于Oracle副本管理的存儲空間。利用NBU的Velocity模塊，對生產系統Oracle數據進行快照。Velocity配置脫敏接口并對Oracle快照做快照復制，生成脫敏副本進行脫敏，脫敏成功后刪除第一份Oracle快照，只保留脫敏副本。將Velocity平臺與生產脫離，接入研發系統供給研發使用。研發使用完成后，將Velocity中數據清零后接入生產系統。產品實施良好的實施和售后是保證項目可靠運行的基礎，本章節就備份系統實施過程中的細節進行描述，以實現最佳的項目執行效果。硬件實施部分NBU5240環境及電氣要求NBU5240硬件示意圖5240前視圖5240后視圖5240擴展柜連接一個擴展柜兩個擴展柜NBU5240IPMIIKVM設置使用IPMIisaprotocolthatrunsontheapplianceformonitoringandmanagingdevices.TheIPMITOOLisacommand-respondingtoolthatcomplieswiththeIPMI.IPMITOOLutilityisusedto:ImplementthenetworksettingfortheIPMIportoftheNetBackup5240/5020appliances.QueryimportantinformationoftheNetBackup5240/5020appliances,suchaslogs,temperature,voltage,andfanspeed.GainaccesstoconsoletomanagetheapplianceincaseofanyNetworkissuesusingiKVM.IPMIIKVM是NBU5240內部集成的KVM，通過網絡進行訪問，對硬件設備進行管理，重啟NBU5240，檢查硬件健康，RAID配置檢查等。此口位于NBU5240后面，有文字標示：默認IP：0默認用戶：sysadmin默認密碼：P@ssw0rd以上信息，可以在BIOS里進行修改NBU5240登錄管理方式NBU5240有三種登錄管理方式：Web方式登錄方式,CLISHInterface登錄方式,root用戶ssh直接登錄。NBU5240第一次登錄的時候，可以從管理網口口登錄，管理網口位于NBU5240后端，是NBU5240的第一塊網卡，如下圖紅框處。默認IP：默認用戶：admin默認密碼：P@ssw0rdWeb方式登錄方式ConfigureIPaddress:”/”forthelaptopusedtoconfiguretheappliance.BydefaulttheIPaddressconfiguredforeth0ontheApplianceis:“/”,usethisIPaddresstolaunchtheinstallwizardasfollows.Launchthebrowserandopentheurl:“”Ontheloginscreen,loginusingadminuserandpassword“P@ssw0rd”CLISHInterface登錄方式Admin用戶Menu界面登錄ssh–ladmin使用admin用戶登錄的是CLISHInterface：ApplianceConfigurethishostasamasterapplianceoramediaserver.ExitLogoutandexitfromthecurrentshell.ManageManageNetBackupAppliance.MonitorMonitorNetBackupApplianceActivities.NetworkNetworkAdministration.SettingsChangeNetBackupApplianceSettings.ShellShelloperations.SupportNetBackupSupport.root用戶ssh直接登錄先用CLISHInterface登錄方式登錄，用以下步驟切換到root用戶nb-appliance.Main_Menu>SupportEnteringNetBackupSupportview...BeaconFlashesorstopsflashingthelights.DataCollectGatherdevicelogs.DiskGatherdiskinformation.ErrorsDisplayNetBackuperrors.ExitLogoutandexitfromthecurrentshell.FactoryResetResetthisappliancetofactorydefaults.LogsSetlevel,share,unshare,view,anduploaddebuglogs.MaintenanceLaunchmaintenanceshell.MegaCliUseMegaCliutilitytomanageRAIDvolumes.MessagesDisplaythemessagesfile.NBDNANetworktraceswithNBDNAtool(SelectCreateorRemove).NBSUManageNetBackupsupportdatafiles(SelectCreateorRemove).ProcessesShow/controlNetBackupandAdminConsoleprocesses.RebootRebootthesystem.RecoverStorageTestthecurrentstatusofvariousappliancecomponents.ReturnReturntothepreviousmenu.ShellShelloperations.ShowDisplayinformation.ShutdownPoweroffthesystem.TestTestthecurrentstatusofvariousappliancecomponents.nb-appliance.Support>Maintenance進入維護模式<!--MaintenanceMode--!>maintenance'spassword:密碼：P@ssw0rdmaintenance-!>elevate升級到root賬戶nb-appliance:/home/maintenance#修改sshd_config文件，可以用root用戶ssh直接登錄nb5240dc:/etc/ssh#grep-iPermitRootLogin/etc/ssh/sshd_configPermitRootLoginyes#修改成yesnb5240dc:/etc/ssh#servicesshdrestart#重啟sshd服務ShuttingdownSSHdaemondoneStartingSSHdaemondonenb5240dc:/passwdroot修改root用戶密碼可以直接使用ssh–lroot進入NBU5240的linuxshell界面，注意：這個對于快速部署比較重要，但是建議正式運行后關閉此功能NBU5240輸入正式Licensenb5240dc.Main_Menu>ManageEnteringApplianceManagementview...ExitLogoutandexitfromthecurrentshell.FibreChannelManageFibreChannel.LibrariesManageRoboticTapeLibraries.LicenseLicenseAdministration.MountPointsManageremotemountpoints.NetBackupCLIExecuteNetBackupCommands.OpenStorageManageOpenStorageplugins.ReturnReturntothepreviousmenu.ShellShelloperations.SoftwareManageSoftwareUpdates.StorageManageStorage.TapesManageTapeMedia.nb5240dc.Manage>LicenseEnteringLicenseAdministrationview...AddAddlicensekey.ExitLogoutandexitfromthecurrentshell.ListListinstalledlicenses.ListInfoListdetailedinformationofinstalledlicenses.RemoveRemovelicensekey.ReturnReturntothepreviousmenu.ShellShelloperations.nb5240dc.License>AddNBUmaster端配置如果，NBU5240作為Media使用，需要在master端把它注冊到EMMserver。Addingamediaserver'sectionintheNetBackupSERVER'entryinthemasterserverconfigurationbp.confNBU5240應用network配置NBU5240默認的應用使用網卡是位于NBU5240后端的藍色網卡，如下圖：把這個網卡接入應用網絡/備份網絡，就可以進行配置。使用admin用戶通過管理IP登錄的CLISHInterface：nb-appliance.Main_Menu>Network進入網絡設置menuEnteringNetworkAdministrationview...ConfigureConfigureIPaddress.DateManagesystemtime.DNSManageDNSconfiguration.ExitLogoutandexitfromthecurrentshell.GatewayAddordeletegatewayorroute.HostnameSetordisplaythehostname.HostsManageIPaddresstohostnamemapping.IPv4ConfigureanIPv4addressforanetworkinterface.IPv6ConfigureanIPv6addressforanetworkinterface.LinkAggregationNetworklinkaggregation/Bonding/Trunking.NetStatExaminenetworkstatisticalinformation.NTPServerManageNTPserverlist.PingReachahost/IPwithICMPECHO_REQUESTs.ReturnReturntothepreviousmenu.SecurityManageIPsecpolicies.SetPropertySetEthernetinterfaceproperty.ShellShelloperations.ShowDisplaynetworkproperties.TimeZoneTimezonesettings.TraceRouteDisplaynetworkpacketroute.UnconfigureRemoveIPaddressandshutdowninterface.WANOptimizationManageWANOptimizationnb-appliance.Network>Showstatus查看當前網絡設置BONDING[Disabled]DEVICESTATUSeth0:1Gb/sTPPLUGGED|UP--None--eth1:1Gb/sTPPLUGGED|UP--None----None--eth2:1Gb/sTPUNPLUGGED|UP--None----None--eth3:1Gb/sTPUNPLUGGED|UP--None----None--eth4:1Gb/sTPUNPLUGGED|UP--None----None--eth5:1Gb/sTPUNPLUGGED|UP--None----None--**TP:TwistedPairFC=Fibrechannel1G/10G=1/10GigabitEthernetROUTINGSTATUSANOMALIES/RECOMMENDATIONS,IFANY[Warning]Defaultroutenotset.Use'Main->Network->GatewayAdd'toadddefaultroute.nb-appliance.Network>Configure254eth1配置NBU5240應用IP，掩碼，網關因為第一個網卡eth0是管理網卡，直接配置eth1網卡IP-[Info]Validatinginput(eth12)-[Info]SettingtheIP/Netmask-[Info]Applyingthechanges-[Info]Persistingthechanges-[Info]Addingroute(Dest:defaultGW:54NM:DEV:-[Info]Validatingrouteinput(default54)-[Warning]Gateway54notreachable.Checkifpingisdisabledongateway.-[Info]Lookingforexistingroutes-[Info]Updatingroutinginformation-[Info]PersistingthegatewayinformationNBU5240配置LinkAggregationNBU5240可以通過bonding的方式擴充備份網絡帶寬。NBU5240默認的bonding方式是balance-alb(default),可以實現負載均衡。下圖是藍色網卡與四個擴展網卡進行bondingsepc_nbu2.Network>LinkAggregationEnable默認是把除了管理網卡的其他所有接入網絡網卡進行綁定也可以指定網卡進行綁定sepc_nbu2.Network>LinkAggregationShowCard:bond0[PLUGGED|UP]BONDING_MASTER:|yes|BONDING_MODULE_OPTS:|mode=balance-albmiimon=100|BONDING_SLAVE_0:|eth1|BONDING_SLAVE_1:|eth2|BONDING_SLAVE_2:|eth3|BONDING_SLAVE_3:|eth4|BONDING_SLAVE_4:|eth5|BOOTPROTO:|static|DEVICE:|bond0|ETHTOOL_OPTIONS:|undef|IPADDR:|0|MTU:|undef|NETMASK:||NETWORK:|undef|REMOTE_IPADDR:|undef|STARTMODE:|auto|USERCONTROL:|no|FLAGS:|RBMmU|LINK:|yes|MAC:|00:1E:67:10:54:69|MASTER:|undef|MODEL:|undef|PORT_TYPE:|TwistedPair|SERIAL:|undef|SLAVES:|eth1eth2eth3eth4eth5|SPEED:|1000Mb/s|IPADDR_V6:|undef|EthernetChannelBondingDriver:v3.2.5(March21,2008)BondingMode:adaptiveloadbalancingPrimarySlave:NoneCurrentlyActiveSlave:eth1MIIStatus:upMIIPollingInterval(ms):100UpDelay(ms):0DownDelay(ms):0SlaveInterface:eth1MIIStatus:upLinkFailureCount:0PermanentHWaddr:00:1e:67:10:54:69SlaveInterface:eth2MIIStatus:upLinkFailureCount:0PermanentHWaddr:90:e2:ba:14:c8:14SlaveInterface:eth3MIIStatus:upLinkFailureCount:2PermanentHWaddr:90:e2:ba:14:c8:15SlaveInterface:eth4MIIStatus:upLinkFailureCount:0PermanentHWaddr:90:e2:ba:14:c8:16SlaveInterface:eth5MIIStatus:upLinkFailureCount:0PermanentHWaddr:90:e2:ba:14:c8:17sepc_nbu2.Network>LinkAggregationDisableEnableShowStatussepc_nbu2.Network>LinkAggregationStatusBONDINGbond0:1Gb/sTPPLUGGED|UP0--None--Mode(balance-alb)Slaves(eth1eth2eth3eth4eth5)sepc_nbu2.Network>ShowStatusBONDING[Enabled]bond0:1Gb/sTPPLUGGED|UP0--None--Mode(balance-alb)Slaves(eth1eth2eth3eth4eth5)DEVICESTATUSeth0:1Gb/sTPUNPLUGGED|UP--None--eth1:1Gb/sTPPLUGGED|UP|BONDEDbond0--None--eth2:1Gb/sTPPLUGGED|UP|BONDEDbond0--None--eth3:1Gb/sTPPLUGGED|UP|BONDEDbond0--None--eth4:1Gb/sTPPLUGGED|UP|BONDEDbond0--None--eth5:1Gb/sTPPLUGGED|UP|BONDEDbond0--None--**TP:TwistedPairFC=Fibrechannel1G/10G=1/10GigabitEthernetROUTINGSTATUSdefault54bond0NBU5240/etc/hosts配置有三種方式可以修改/etc/hosts配置Web圖形界面這種方式，對于一些帶特殊符號的主機名，無法添加CLISHInterface方式這種方式添加如下，對于大量客戶端解析需求，不能批量添加nb-appliance.Network>HostsAdd04NB5240DRNB5240DR-[Info]addsuccessful.nb-appliance.Network>root用戶ssh登錄，直接修改這種方式和傳統方式相同，可以批量添加NBU5240主機名配置用CLISHInterface登錄方式登錄，修改之前確認已經配置完/etc/hosts解析ApplianceConfigurethishostasamasterapplianceoramediaserver.ExitLogoutandexitfromthecurrentshell.ManageManageNetBackupAppliance.MonitorMonitorNetBackupApplianceActivities.NetworkNetworkAdministration.SettingsChangeNetBackupApplianceSettings.ShellShelloperations.SupportNetBackupSupport.nb-appliance.Main_Menu>Network進入網絡menuEnteringNetworkAdministrationview...ConfigureConfigureIPaddress.DateManagesystemtime.DNSManageDNSconfiguration.ExitLogoutandexitfromthecurrentshell.GatewayAddordeletegatewayorroute.HostnameSetordisplaythehostname.HostsManageIPaddresstohostnamemapping.IPv4ConfigureanIPv4addressforanetworkinterface.IPv6ConfigureanIPv6addressforanetworkinterface.LinkAggregationNetworklinkaggregation/Bonding/Trunking.NetStatExaminenetworkstatisticalinformation.NTPServerManageNTPserverlist.PingReachahost/IPwithICMPECHO_REQUESTs.ReturnReturntothepreviousmenu.SecurityManageIPsecpolicies.SetPropertySetEthernetinterfaceproperty.ShellShelloperations.ShowDisplaynetworkproperties.TimeZoneTimezonesettings.TraceRouteDisplaynetworkpa