1、1.歷史數據的遷移整合本次系統是在原有系統的基礎上開發完成， 因此， 新舊系統間就存在著切換的問題。另外，新開發的系統還存在與其他一些應用系統，例如，企業信用聯網應用系統、 企業登記子網站、 外資登記子網站等系統進行整合使之成為一個相互連通的系統。本章將針對新老系統遷移和整合提出解決方案。1.1. 新老系統遷移整合需求分析系統遷移又稱為系統切換，即新系統開發完成后將老系統切換到新系統上來。系統切換得主要任務包括： 數據資源整合、 新舊系統遷移、 新系統運行監控過程。數據資源整合包含兩個步驟： 數據整理與數據轉換。 數據整理就是將原系統數據整理為系統轉換程序能夠識別的數據； 數據轉換就是將整理完

2、成后的數據按照一定的轉換規則轉換成新系統要求的數據格式，數據的整合是整合系統切換的關鍵； 新舊系統遷移就是在數據正確轉換的基礎上， 制定一個切實可行的計劃， 保證業務辦理順利、 平穩過渡到新系統中進行； 新系統運行監控就是在新系統正常運轉后， 還需要監控整個新系統運行的有效性和正確性， 以便及時對數據轉換過程中出現的問題進行糾正。系統整合是針對新開發的系統與保留的老系統之間的整合， 以保證新開發的系統能與保留的老系統互動，保證業務的順利開展。主要的任務是接口的開發。1.2. 需要進行遷移整合的系統1.3. 數據遷移整合分析根據招標文件工商總局新建系統的數據庫基于 IBM DB2 ，而原有系統的

3、數據庫包括 ORACLE ， SQL Server， DB2 。這種異構數據在總局主要存在于兩個方面，即部門內部的異構數據和上下級部門之間的異構數據。同時，系統的技術構件有.NET和J2EE兩大類。對于部門內部的異構數據的集成采用數據移植的方法， 如： 如果數據有基于 DB2管理的，有ORACLE管理的，有SQL Server管理的，就根據新系統DB2的要求，把ORACLE的數據遷移到DB2數據庫中，把SQL Server的數據遷移到DB2數 據庫中。上下級國工商局之間的異構數據的集成利用數據交換系統來完成， 重點在于數據庫存儲標準、 交換標準的制定和遵守， 保證數據的共享， 這部分工作由數據

4、中心完成。1.4. 系統遷移和整合目標1.4.1. 系統遷移的主要目標：1. 保證系統正常運行在數據轉換過程中， 由于原有的系統數據的復雜性， 給數據轉換工作帶來了很大的難度，為了在新系統啟動后不影響原系統正常的業務，因此數據轉換完成后，必須保證新系統的正常運行。2. 保證原有系統在新系統中的獨立性原有系統是獨立運行的系統， 數據在新系統中雖然是集中存放的， 但是各個系統由于存在業務上的差別，數據在邏輯上應當保持一定的獨立性。1.4.2. 系統整合的目標：保證直接關聯的系統互動， 保證業務的正常辦理。 例如公眾服務系統與基本業務系統之間互動，基本業務與協同業務之間互動等等。1.5.系統切換方案

5、1.5.1. 系統切換工作流程系統切換包括前期調研、數據整理、數據轉換、系統切換、運行監控五個階 段。系統切換的整個工作流程如下所示。1.5.2. 系統切換工作步驟1.前期調研階段前期調研是數據轉換中很重要的一個步驟，也是至關重要的一部分。在進行 數據轉換工作前，我們需要先認真閱讀系統的相關文檔，如數據字典、系統 概要設計報告等，來熟悉原有的系統。當然在閱讀文檔的過程中肯定還會有理 解不清晰的地方，這時還需要熟悉原有系統的工程師的幫助。數據轉換的前期工 作就是對原系統做一次徹底的全面了解，主要需要的考慮的有下面一些情況： 1）原系統的網絡結構；2）原系統的業務范圍、存在幾套業務系統以及他們之間

6、的關系；3）原系統的開發商、開發工具、開發平臺以及采用的數據庫；4）原系統的數據分布狀況：包括數據范圍、數據量大小等；5）原系統的業務流程；6）原系統的數據流程；7) 原系統的數據結構；在了解這些要素的基礎上，需要編寫前期調研分析報告 。調研報告主要包含如下一些方面：1、將所有數據表進行分類，如系統參數類、代碼類、綜合業務類、相關業務類等等。2、對所有數據表的數據組成、數據來源、用途等進行描述。3、并非所有的數據都是需要進行轉換的，在數據字典分析報告中要指出那些數據表是需要進行轉換的， 那些是不需要進行轉換的， 對于不需要轉換的表要說明不需要轉換的原因。4、描述數據在各表中的流向，對于關鍵的或

7、復雜的業務點要做詳細說明。2. 轉換設計階段轉換設計階段主要是完成新舊數據字典的對照， 同時明確各個表中具體數據字段的轉換方式。在轉換設計階段主要是編寫 數據字典對照報告數據字典對照報告主要描述新舊系統數據表間的對照關系以及代碼對照關系。 以新系統為準， 原系統作參照， 將原系統的數據字典對應到相應的系統數據字典中。在對照過程中，需要遵循數據照搬原則，數據盡量不要作處理。在數據字典對照表中需要進行轉換的數據字段應該一一對應， 對新舊數據表中字段的名稱、類型、精度等都要有詳細的描述，同時還要明確數據的轉換方式。數據轉換方式主要有以下幾種：1) 直接轉換。直接轉換方式是最常用的方式，就是將原表中對

8、應字段的數據原封不動的搬到新表中來。按照 “數據照搬 ”原則，我們應該應該盡量采用這種方法。2) 程序轉換。 對那些需要進行計算才能進行轉換的數據將采用程序轉換方式進行。3) 代碼對照。某些代碼字段，往往新舊系統的編碼不相同，這時就需要參照代碼對照表進行代碼對照轉換。4) 類 型 轉 換 。 少 數 數 據 可 能 需 要 對 類 型 進 行 轉 換 ， 如 就 表 以 字 符 串 YYYY-MM- DD 來存放日期，而新表中以DATE 型來存放日期，這時就需要進行類型轉換。5) 常量轉換。新表中某些字段可能存在缺省值，這時將采用常量轉換方式，當舊表沒有對應字段或舊表對應字段數據為空時， 將直

9、接在新表中寫入缺省數據。6) 不轉換。對于舊表有但新表中沒有的字段將不作任何轉換。7) 新舊系統代碼對照列出了全部需要進行轉換的新舊系統數據表中存在的二級代碼間的對照關系，主要以二級代碼對照表的形式來反映。1.6. 數據遷移方案1.6.1. 數據整理策略數據整理就是將原系統數據整理為系統轉換程序能夠識別的數據。 數據整理大致分為兩個階段：第一階段就是將不同類型來源數據采集備份到統一的數據庫中；第二階段就是將原始數據進行整理，按照不同的要求分類進入不同的中間數據庫，為數據轉換提供中間數據。數據整理過程采用了以下方法：1. 確保原始數據的完整性在進行數據整理之間， 我們先需要對原始采集數據進行備份

10、。 備份的目的有兩個：一個是統一數據庫， 便于數據轉換， 另一個就是為以后數據追根溯源提供參考依據。在本系統中，我們將采用 DB2 作為備份統一數據庫。2. 數據分級過濾策略數據分級過濾就是把數據按照不同的數據級別進行分類整理進入不同的中間數據庫中。本系統中我們把數據分為三個級別：廢棄數據、待調整數據、可轉換數據。 廢棄數據就是該部分數據的存在對系統資源造成浪費的數據， 并且會影響以后系統的運行。 待調整數據就是該部分數據嚴重影響新系統的運行， 必須進行人工調整后， 方可進行數據轉換。 可轉換數據就是該部分數據不需做任何處理， 基本滿足數據轉換的要求或者是該部分數據新系統建議調整， 但是不影響

11、系統的運行，可以等新系統運行后再調整，這樣可以為數據轉換工作節省很多時間。3. 借助數據整理相關工具數據整理非常艱巨， 涉及的數據量很大， 通過人工檢查是不可能完成的， 因此必須編寫相關的數據整理工具完成數據整理。包括數據整理工具和數據糾錯工具。數據整理工具負責將原始備份數據庫中的數據進行分類進入不同的中間數據庫；數據糾錯工具負責提供友好、 方便的工具界面供用戶方相關人員完善和糾正錯誤數據。4. 利用中間庫作為橋梁由于原系統和新系統的數據庫結構可能不一樣， 所以采用中間庫作為銜接新舊系統數據的重要橋梁， 對于建立新舊系統的對照關系很重要。 一旦業務人員對新系統中某項轉換數據存在疑問的情況下，

12、就可以通過中間庫的關聯， 順利找出原數據。1.6.2. 數據轉換數據轉換就是將整理后的數據，依照對照表的要求進行轉換，并寫入到新系統。這個過程可以通過交換系統實現。1.6.3. 數據整理與轉換步驟1. 設計數據移植方案設計數據移植方案主要包括以下幾個方面工作： 研究歷史數據的結構、 來源、 數據項定義、 取值等現狀， 研究新舊數據庫結構的差異， 評估和選擇數據移植的軟硬件平臺、 選擇數據移植方法、 選擇數據備份和恢復策略、 設計數據移植和測試方案等。2. 源數據庫數據清理對于一個運行已久的數據庫， 主要存在三種數據庫垃圾： 數據庫對象垃圾、 數據庫權限垃圾、 數據垃圾。 數據庫對象的清理不是一

13、件容易的工作， 需有認真負責的態度， 要有耐力， 任何錯誤的清理不僅會造成前端不能運行， 而且將會造成數據的丟失。所以清理數據庫對象也許需要一個安全、準確，可很快恢復的方法。首先要認識數據庫資源，包括數據庫對象，如表、數據庫事件、過程、函數，數據庫結構關系， 在此基礎上結合運行系統， 確認數據庫垃圾， 制定合理的垃圾清理方案，達到清理垃圾的目的。主要方法是對數據庫數據進行整合和分解， 整合相關數據減少數據的重復， 分解數據則可是數據團體更趨向合理， 當然整合和分解要以適合新設計的數據庫結構為基礎，以便簡化轉化程序。3. 進行數據模擬移植根據設計的數據移植方案， 建立一個模擬的數據移植環境， 它

14、既能仿真實際環境又不影響實際數據，然后在數據模擬移植環境中測試數據移植的效果。數據模擬移植前也應按備份策略備份模擬數據， 以便數據移植后能按恢復策略進行恢復測試。4. 測試數據模擬移植根據設計的數據移植測試方案測試數據模擬移植， 也就是檢查數據模擬移植后數據和應用軟件是否正常，主要包括：數據一致性測試、應用軟件執行功能測試、性能測試、數據備份和恢復測試等。5. 準備實施數據移植數據模擬移植測試成功后，在正式實施數據移植前還需要做好以下幾個方面工作：進行完全數據備份、確定數據移植方案、安裝和配置軟硬件等。6. 正式實施數據移植按照確定的數據移植方案，正式實施數據移植。1.7. 數據整理和轉換的關

15、鍵技術對于多源異構數據庫之間的數據轉換，因為目標數據庫的格式和約束的限制嚴格，直接編寫轉換程序實現困難，可在原有數據庫系統中編寫轉換程序。對于源數據庫、 目標數據庫結構有差異的數據， 建立中間過渡庫， 中間庫在原數據庫平臺中建立，但結構與目標數據庫的結構相同。將源數據庫轉入中間庫的過程是一個數據的重新組合和關聯的過程， 將是轉換的中心和重點工作， 需要對源數據庫與新數據庫的數據關系進行深入分析， 對每一個數據庫寫出轉換策略。非空處理：對于應該非空但實際為空的記錄制定處理規則。取值約束處理： 對于有取值范圍約束的字段進行規范化處理， 即將轉換后的數據取值規范到該范圍內。主鍵處理：重新對中間庫進行

16、編號。填寫外鍵：每個數據庫或多或少存在外鍵，外鍵越多，標明與其它庫關聯越多，這樣的庫應后處理；反之，外鍵越少的庫應該先處理。唯一鍵處理：對要求唯一的數據項（主鍵、唯一鍵）進行唯一檢測，并對檢測出的不唯一的記錄，制定處理規則。附加分散處理： 對某些表中的某些字段進行數據規范化處理， 即將不合規范的數據替換成規范的數據， 幾個表之間的關聯處理， 以及一些特殊處理等。 數據一致性處理：對于有多個數據源的數據進行一致性檢查, 制定處理規則。1.8. 新舊系統切換第一步： 編寫系統切換方案 。系統切換方案包括系統切換方法、系統切換計劃等內容。第二步：組織相關人員對系統切換方案進行評審，如果未通過，則需要

17、調整系統切換方案。第三步：進行業務系統數據轉換。在進行業務系統數據轉換前， 需要先選擇一個時間點進行業務系統數據采集。 該時間點的選擇以完成一個完整的業務周期為準。l 轉換時機根據以往的經驗， 我們建議將正式數據轉換的時間放在月結剛剛完成后并且最好是節假日。l 準備工作正式數據轉換前的準備工作是非常多的，現列舉如下：編寫詳細的 數據轉換指南 。 數據轉換指南 應該是在前面的幾次試轉換過程中編寫并完善的，要詳細說明數據轉換的全過程，包括：準備工作、執行步驟、注意事項等。編寫執行腳本。 在前面幾次試轉換的基礎上編寫并完善好數據轉換執行腳本。 執行腳本包括： 轉換執行腳本、 驗證執行腳本等。 所有的

18、腳本都必須安裝執行的先后順序編寫，在正式轉換時將按照順序來執行。數據庫環境準備。 根據以往的經驗， 在正式轉換階段出現的異常往往都是有數據庫方面的， 大部分是因為數據庫環境沒有準備好。 數據庫方面需要做好如下幾方面的準備：表空間劃分、大數據文件準備、大回滾段準備、創建索引等。其他必要準備。 在正式轉換前， 老系統要停止使用， 同時在還需要把老系統的數據做一次完整的備份。l 執行過程數據轉換時將按照已經編寫好的轉換執行腳本來進行。 對沒一步的操作都要做好日志記錄，日志分兩種，一種是計算機自動產生的日志，如 LOG 文件；另一種是在轉換執行過程中手工做的記錄。 在正式轉換時， 要求至少兩人一起工作

19、， 其中一人負責操作，另外一人負責監督，兩人都必須做好記錄。每執行完一條轉換命令后都需要去查看一些錯誤記錄表，如果出現異常錯誤信息，需要暫停轉換執行，對錯誤分析處理完畢后才能繼續執行。l 驗證過程轉換執行結束后， 需要對轉換的結果進行驗證， 驗證時按照已經編寫好的驗證腳本來進行， 驗證最好由兩名以上的人員分開來進行， 在驗證過程中做好每一步的驗證記錄。如果在驗證過程中沒有發現異常， 并且幾名驗證人員的驗證記錄都非常一致， 則可以認為已經通過驗證。l 收尾工作數據轉換工作執行完畢后， 需要對關閉原有系統全部的業務經辦功能， 只開發查詢功能，以便業務人員在需要時可以繼續查詢舊系統中的數據。對新系統

20、的數據進行一次物理備份，同時啟動新系統數據庫的重做日志功能。到此時為止新舊系統數據轉換工作全部結束， 整個應用系統將切換到新系統上來運行。第四階段： 新系統運行監控及數據整理在所有新系統平穩運行后，還需要進行定期的運行監控以及對部分數據進行調整。 對于那些對系統運行未造成影響的， 在數據整理過程中， 沒有進行數據修正，所以在系統平穩運行后，需要對這些數據進行調整。1.9. 系統切換保障措施系統在整個切換過程中， 安全、 平穩過渡是第一位的。 我們將采用如下措施保證系統切換安全：a) 數據備份在進行新舊系統數據轉換時，對原系統數據進行備份以保證歷史數據的可追溯性。一旦在新系統中業務辦理出現問題，

21、則可以通過追溯歷史數據來判斷是數據轉換錯誤，還是新系統程序存在BUG 。2. 數據測試數據測試分為兩個層次測試，一個是數據監測性測試，就是在數據轉換完成后，測試數據的轉換正確性； 二是驗證性測試， 驗證性測試通過使用已經通過功能測試的新系統辦理實際業務來驗證數據轉換的正確性。數據測試是一個關鍵環節， 關系到系統切換的成功與否， 所以必須加大測試力度來保證數據轉換的正確性。 而與數據測試相關的系統功能測試也必須重視， 因為如果系統功能如果存在問題，則數據測試也就無法保證正確性。3. 切換點的選擇系統在什么時候進行切換， 也是一個很關鍵的問題。 一般情況下， 我們都選擇一個業務周期結束，下一個業務周期開始的時候進行切換。4. 切換方式的選擇系統切換有兩種方式， 一種是新舊系統并軌運行， 一種是新系統單軌運行。 對于第一種方式舊系統為主，新系統為輔，在時機成熟的時候在切換到新系統運行；第二種是以新系統為主， 舊系統為輔， 舊系統只是驗證新系統業務辦理的正確與否。 第一種方式安全系數由于過渡期時間會很長，