1、新華人壽客戶管理平臺一期客戶分析系統技術方案書吉貝克信息技術（北京）有限公司2012年11月r 修訂歷史版本生成時間修訂人修訂內容審閱人目錄1概述71.1背景71.2系統實現原則71.3目標讀者及用途81.4名詞解釋82項目理解及需求分析92.1客戶關系管理體系建設總體目標92.2ACRM系統定位和邊界92.3ACRM系統建設路線圖規劃122.4ACRM業務用戶132.5一期需求分析13客戶數據標準14客戶分層需求16客戶分析需求18技術需求分析203系統架構設計213.1功能架構21架構概述21架構設計213.2邏輯架構23架構概述23架構設計233.3技術架構27客戶分層模型設計27ETL

2、架構29接口設計343.4數據架構（左家維、王建波）37數據架構層次規劃37數據模型說明38數據存儲規劃413.5物理架構42存儲分析42性能分析43物理架構圖444系統安全性設計464.1概述464.2網絡安全管理464.3系統安全管理464.4數據安全管理474.5用戶權限管理484.6防病毒管理484.7對安全產品的技術要求484.8備份軟件數據管理495系統備份恢復策略495.1備份與恢復的范圍495.2備份和恢復策略50數據庫備份和恢復策略50操作系統備份和恢復55Portal備份55Microstrategy備份55Informatica備份566項目實施過程566.1項目啟動57

3、6.2需求分析586.3系統設計596.4系統開發616.5上線與維護627項目管理過程637.1范圍管理63目標設定64工作范圍64WBS（工作分解結構）64資源分配65范圍變更控制管理657.2組織結構65項目實施團隊組織架構65項目實施團隊人員66項目實施中角色描述677.3團隊組成68主要實施人員69參與項目核心人員簡歷及項目經驗697.4進度管理747.5質量管理75系統交付品質量管理75重點工作質量管理757.6風險管理76風險識別77風險分析78風險應對78風險監控797.7問題管理79問題/風險管理流程80問題/風險列表837.8變更管理83提出變更申請84分析評估84審批變更

4、85執行變更85變更的跟蹤86變更的結束86變更申請表和變更申請跟蹤表867.9溝通管理887.10交付物管理91項目交付物管理91交付物清單928培訓和售后服務要求938.1培訓要求93培訓內容93知識轉移對象948.2總體服務說明95現場技術支持服務95GBICC技術支持中心支持服務（工作時間外緊急服務）958.3崗位和人員安排969附錄-數據模型設計979.1前期準備979.2項目組交流研討989.3分析數據源999.4統一業務定義1009.5模型與客戶化1009.6模型驗證1019.7模型交付1011 系統備份恢復策略1.1 備份與恢復的范圍按備份的內容分，備份的范圍主要包括：l 操作

5、系統l 應用程序與配置l 數據按備份的系統分，備份的范圍主要包括：l 客戶管理系統數據庫l 應用程序與配置l Web服務器l 應用中間層服務器等恢復的范圍主要包括：l 對給定時間點能對客戶管理系統數據庫進行完整的數據恢復l 將應用程序恢復到最新狀態l 將 Web 服務器恢復到最新狀態l 對給定時間點能對應用中間層服務器進行完整的數據恢復并將程序恢復到最新狀態等1.2 備份和恢復策略1.2.1 數據庫備份和恢復策略 數據庫備份和恢復策略考慮 （一）新華人壽客戶管理系統備份考慮數據庫的備份和恢復是客戶分析系統設計的一個重要方面，不同應用環境可能會采用不同備份策略，備份策略和如下因素有

6、關：l 批處理或數據維護時間窗口及特點l 實時數據裝載特點l 系統及系統組件的可用性要求l 系統恢復時間要求l 系統備份性能和系統可用性數據庫系統備份是為了保護：l 數據邏輯損壞（比如：用戶或系統管理員通過 insert/delete/update 造成數據意外損壞）l 系統硬件故障造成數據物理損壞，存儲系統硬件冗余設計將提供這類潛在問題的最佳保護l 已刪除數據庫對象恢復數據庫系統的備份和恢復設計需要考慮這些事件發生的頻率、造成的影響及其業務優先級，在整體設計時需要考慮這些因素。（二）數據庫全備份還是表空間級備份數據庫備份的目的是為了保護數據庫或數據庫對象損壞。備份策略的設計是為了保護而不是阻

7、止或延遲任何應用程序或前端應用程序對數據庫的訪問。另外，備份的設計需要同時考慮恢復（故障點恢復）的性能和數據庫完整恢復或災難恢復。數據庫全備份可能會阻止或延遲數據庫裝載的執行，因為數據庫備份和裝載操作會存在數據庫鎖的爭用。數據庫全備份將備份數據庫分區類的所有對象，包括：l 緩沖區臨時表相關數據庫對象（Staging Tables）l 存放 ETL、應用處理等過程中存放臨時數據的臨時表，這些表每次處理前需要清空l 索引這些對象的備份是不值的，會浪費大量的存儲，數據庫全備份因為備份了額外的數據造成備份和恢復的成本的增加。表空間級備份策略提供了更細粒度的數據庫備份和恢復方案。表空間級的備份策略的目標

8、是能夠恢復丟失或損壞的數據，降低沒有損壞數據的恢復量。增量備份將備份改變過的數據頁，不管是該頁中其中一行或是多行數據發生了改變。使用增量備份的策略取決于不同表空間數據頁的預期改變量。增量備份在僅僅數據庫一個子集發生變化的情況下是個不錯的選擇。如果所有的表發生改變、表的大部分數據發生改變，或是數據庫是動態的、數據量更新非常頻繁，則不太適合采用增量備份的方式。（三）數據庫備份設計考慮和方法典型的客戶管理系統備份方法是定期對數據庫做全備份（比如生產系統新增加表空間或表空間數據發生更新），每周兩次在線對數據表、表空間和大的索引表空間進行備份。備份速度是影響別的工作負荷執行的唯一問題，因為鎖爭用，數據庫

9、全備份會阻止或延遲裝載操作的執行。恢復速度總是一個問題，盡管在線備份沒有時間限制，但是恢復必須盡快完成，因為所有對待恢復數據庫對象的訪問都將被阻止，直到恢復操作結束。好的備份策略將恢復操作定位到可以在故障發生時將系統盡快恢復到故障點，并且備份不會阻止其他進程或請求者對數據庫的訪問。因此速度和關注焦點應該集中到恢復上面：修補丟失或毀壞的數據頁，將需求恢復的數據減少到最少。一般情況下數據庫恢復在應用清理時候會用到，一年一到兩次恢復操作是合理的；這些恢復中災難恢復更少，往往可能好幾年才能碰到一次。因此，設計最細粒度的恢復策略，將系統定位到在出現問題時，最有可能地執行Restore 命令以恢復故障。在

10、災難恢復中，這種細粒度的備份與恢復策略仍然有效，但是比起數據庫全備份來講需要更長的時間。這種設計適用于大部分場合，同時保證在災難發生時系統的可用性。 OracleACRM備份方案分析方案一：DataGuardDataGuard是性價比最高的備份和容災方案，但是當歸檔超過一定規模之后，DG的恢復就成為了瓶頸，每天產生的歸檔無法及時恢復完，恢復的瓶頸不在存儲的吞吐量，而在于standby的恢復方式，因為恢復的過程就是應用歸檔文件，RAC各個節點產生的歸檔必須在一個節點恢復，這個過程必須是遵循一定順序的，大大限制了恢復的并發速度。方案二：傳統RMAN備份采用傳統RMAN備份，采用大吞吐

11、量的虛擬帶庫設備，一周全備一次，每天備歸檔日志。很多時候，我們在做備份方案時，只考慮了備份，卻沒有考慮恢復。這個方案最大的問題就在于：對于每日歸檔數據量特別巨大（達到T級）的時候恢復的代價非常高，一旦數據庫出現問題，恢復可能需要數天之久，這是無法接受的；但是，對于每天歸檔比較小的情況，可以考慮使用此方案。方案三：存儲鏡像數據庫采用noarchivelog模式，采用ASM鏡像兩套存儲。這個方案并不是備份方案，只是為了解決存儲的單點問題而提出的，相當于對不同的存儲做RAID 1。這個方案最大的問題是無法解決數據庫邏輯錯誤，比如誤刪除數據。因為主庫和備庫通過存儲鏡像來實現，無法實現異地備份和容災。方

12、案四：存儲級別復制采用存儲級別的復制，各存儲廠家都有解決方案，比如EMC SRDF等。Veritas也有類似的解決方案，比如卷復制(VERITAS Volume Replicator)。這種方案的基本原理都是通過捕獲底層存儲的IO，并通過網絡同步到備份系統上。如果采用存儲廠商的方案，那么主備庫就必須使用同一家公司的產品，而且，能否承受每天4.5T的數據變化量，我們并沒有驗證過。另外，軟件license費用不菲。 數據庫備份和恢復策略.1 NBU備份軟件簡介及特點NetBackup(以下簡稱NBU)是世界上最好的備份軟件之一，是Symantec公司在存儲管理領域重要的

13、一款針對于異構平臺的企業級備份和恢復軟件。NBU平臺能夠提供基于磁盤和磁帶的統一數據備份和恢復管理，保護范圍包括UNIX、Windows、Linux和NetWare等環境。從遠程辦公室到數據中心，從臺式機到服務器，從文件到數據庫甚至操作系統，NBU可以提供全面保護，同時所有功能都是通過一個控制臺來管理和實現，簡單方便。VERTAS NetBackup產品的特性與優點特性優點多路備份和恢復能夠從一個或多個客戶/服務器端并行執行到一個或多個磁帶的讀和寫可擴展的映象和介質目錄分布式記錄方式記錄備份、恢復和復制。索引記錄訪問迅捷，分段式索引空間占用很小非專用磁帶格式能夠創建TAR兼容的格式真正的映象恢

14、復根據布局智能重建數據，而不是重恢復所有數據Bare Meta Restore快速災難恢復，最少人工干預，自動智能執行Vault功能同時備份到多份磁帶保存，或離線進行磁帶復制，彈出后放入遠程保險柜保存數據加密選項備份時可對數據進行加密遠端GUI管理能夠從任何位置包括撥號線進行備份和恢復客戶端的安裝靈活快速簡便地通過網絡進行客戶端軟件分布式的安裝用戶啟動的備份和恢復為最終用戶提供容易使用的接口，減少外界對系統管理員的干擾圖形策略設定界面定義策略簡便，能設置備份窗口，可用有意義的名稱定義備份網絡帶寬控制提供選項控制NetBackup網絡優先級控制能夠對重要的備份設置優先級獨一無二的多級結構同類產品

15、的第一個，可以建立主服務器、介質服務器、客戶端等多級結構遍布世界的客戶支持中心24小時熱線技術支持介質服務器熱備份介質服務器故障時，客戶端備份自動調整到其他服務器上磁帶庫共享多服務器共享磁帶庫，減少機械手開銷完整的磁帶管理管理整個磁帶設備的運行支持廣泛的磁帶庫類型支持所有領先的磁帶機械手設備支持廣泛的磁帶驅動器設備支持所有領先的磁帶技術備份進度顯示條備份將結束和持續時間顯示，便于決策優先備份的圖形界面便于抉擇進行何種備份磁帶卷、驅動器和磁帶庫情況顯示報告磁帶利用情況和驅動器配置等詳細的日志信息便于診斷問題歷史報告日志瀏覽進行深入的方案前分析UNIX支持支持所有主要的UNIX平臺WINDOWSN

16、T支持支持Inter和AlphaNovell NetWare支持支持NetWare環境EMC 磁盤陣列備份支持支持EMC BCV Third Mirror Breakoff 備份HP XP256磁盤陣列備份支持支持HP XP256 BC Third Mirror Breakoff 備份支持NDMP支持NAS的數據備份數據庫和應用選項支持所有領先的數據庫和應用：ORACLE, Microsoft SQL Server，Sybase，Informix, Microsoft Exchange和SAP R3等.2 客戶管理平臺備份恢復方案數據庫備份主要保障數據庫系統穩定可靠，但由于ACR

17、M存儲海量數據庫，數據庫非常龐大。如果按照傳統的備份恢復方法，需要備份恢復時間比較長，不能滿足生產系統的要求，而且管理不方便。基于以上情況，我們建議新華人壽客戶管理平臺數據庫采用專業備份軟件NBU，管理備份，輔以關鍵表數據和數據庫對象的單獨備份的混合備份恢復方案，方案物理架構圖如下：如圖所示，我們使用NBU備份軟件管理備份和恢復的文件，備份時NBU軟件通過備份策略調用oracle備份腳本把數據庫歸檔日志備份到磁帶庫；恢復時NBU軟件把歸檔文件從磁帶庫恢復數據庫：l 新華人壽客戶管理系統數據庫備份采用NBU調用oracle腳本的方式，腳本采用oracle的備份工具RMAN來實現l 每一個月進行一

18、次全量備份，每一星期進行一次累計增量備份，每天進行增量備份l 對于大數據量表每天進行單獨備份l 對關鍵維表，數據庫創建對象、創建用戶腳本等，使用oracle數據泵，每天進行邏輯備份.3 快速恢復機制恢復分為單表恢復和數據庫崩潰恢復1單表恢復： 如果是單表恢復，可以通過從NBU恢復備份，然后再把數據庫導入的方式來實現2數據庫崩潰恢復： 如果數據庫崩潰，可以有兩種方法來恢復數據庫第一種，借助RMAN：l 創建數據庫l 使用NBU備份的RMAN備份來恢復數據庫第二種，使用其它方式：l 創建數據庫l 用導出的腳本來創建用戶、表空間等l 用創建對象腳本來創建數據庫對象l 使用導出的維表數據

19、庫恢復維表等小表l 使用NBU的備份恢復大表數據1.2.2 操作系統備份和恢復AIX 全名為Advanced Interactive Executive，它是IBM 公司的UNIX操作系統，整個系統設計從網絡、主機硬件系統，到操作系統完全遵守開放系統的原則。它是目前操作系統界最成功，應用領域最廣，最開放的第二代的UNIX系統，特別適合于做關鍵數據處理。 鏡像備份是獨立文件（數據文件、歸檔日志、控制文件）的備份。它很類似操作系統級的文件備份。它不是備份集或備份片，也沒有被壓縮。在新華人壽客戶管理系統中使用AIX操作系統，考慮到安全因素，需要對操作系統進行備份：采用對rootvg進行鏡像備份的方式

20、進行，達到快速恢復操作系統的目的。1.2.3 Portal備份Portal是集成的、可自定義的、使用多種語言的，在線OLAP解決方案基于.net的三層Web應用程序。以下將是最好的過程： 1. 備份整個 Portal 安裝目錄結構 2. 備份 oracle中的 Portal 數據庫3. 備份用戶目錄存儲器1.2.4 Microstrategy備份Microstrategy 一直是GartnerMagicQuadrant評鑒中列為領先的前五大BI工具和服務廠家。主要在以下各方面獲得客戶高度的肯定：a) 企業級BI : 適合企業級的BI運用, 基于ACRM理論的概念而設計，擁有很高的運行效能，能支持大的客戶數據量。美國最大的ACRM公司也選擇MSTR做為其戰略伙伴，可見其處理大數據量的能力。b) 年度最佳移動BI ：支持移動終端如Ipad 和Iphone. 可以讓客戶靈活的自己設計需要的儀表盤，輕松做好管理駕駛艙的項目，是這個領域的最佳BI廠家。c) 重視用戶的體驗 ：能保證開發人員的效率和生產力, 主要是因為參數化的報表開發