1、最新整理江西中磊支付科技有限公司密級：內部中磊第三方支付平臺數據中心機房應急預案手冊文檔編號：V1.0項目名稱：先鋒軟件支付平臺編寫：楊文輝編寫日期：2014-4-20審核：李駿審核日期：2014-6-13批準：朱志龍批準日期：2014-6-17江西中磊支付科技有限公司最新整理2014年7月最新整理修訂記錄日期版本說明作者2014-4-18草稿擬稿2014-06-17V1.0正式簽發文檔最新整理目錄、機房應急預案.51 機房系統故障處理通則 .5.1.1 故障等級. 51.2 故障處理與通報制度 .6.2 機房動力應急預案.9.2.1 機房停電故障.9.2.1.1 準備工作.9.2.1.2 停

2、電情況下處理方式 .9.2.1.3 市電恢復后的操作 . 1.0.2.2 UPS 故障處理. 1.1.2.3 開關電源整流模塊故障的緊急處理方案 .1.22.4 機房空調及局部過熱故障的緊急處理方案 . 1.32.4.1 機房空調故障的應急處理步驟. .1.3.2.4.2 機房局部設備溫升過快或過熱的處理步驟 .1.42.5 應急方案處理過程中非常事件的處理 .1.5.3 機房防汛應急預案.1.5.3.1 防汛應急預案內容. 1.5.3.1.1 第一預案. .1.5.3.1.2 第二預案. .1.5.最新整理3.1.3 第三預案. .1.6.3.1.4 第四預案. .1.6.4 機房防火應急預

3、案.1.7.4.1 應急保障原則.17.4.2 火災事故應急處理流程及措施 .1.8.、硬件及軟件應急預案 .2.3.最新整理一、機房應急預案1 1 機房系統故障處理通則凡系統發生故障時，網管運行監控負責人必須立即組織搶修，不得拖 延。運行監控人員均應熟悉故障緊急處理流程，熟練掌握操作步驟和方法。運行監控管理人員應如實上報故障情況，故障報告應當做到時間清、原因清、結果清。重大故障和嚴重故障要報上級業務主管領導。對已處理的重大故障和 嚴重故障，事后必須做故障分析，查清故障原因，確定故障性質和責任， 采取防范措施，避免同類故障再次發生。故障處理基本原則：先重點后一般；先調通后維修。1.11.1 故

4、障等級網管系統的故障等級共分三類：1 1、重大故障在系統運行期間，關鍵設備（包括傳輸或其它專業所屬設備）、軟件故 障造成所有網管業務中斷超過 2424 小時。2 2、嚴重故障最新整理在系統運行期間，關鍵設備（包括傳輸或其它專業所屬設備）、軟件故 障造成下列情況之一的系統故障：（1 1 ）所有網管業務中斷超過 1212 小時但不超過 2424 小時；（2 2）網管個別業務中斷超過 2424 小時；3 3、一般故障除重大故障和嚴重故障外的其他故障。1.21.2 故障處理與通報制度網管中心應建立相關設備故障處理聯系制度，并將聯系人和聯系方法張貼在醒目位置。網管中心應建立設備操作手冊和故障處理流程，并

5、存放在固定地點。網管中心應建立設備運行情況統計和登記表，并存放在固定地點。故障處理：1 1、在系統發生故障時，值班人員應對照運行維護手冊進行簡單的故障處理和準確定位，對無法處理的故障應立即通知系統維護主管工程師，并逐級上報。系統維護主管工程師組織相關人員現場處理，故障處理完畢后， 馬上通知故障發起點，并進行詳細記錄。當系統發生故障時，網管中心運 行維護負責人必須立即組織搶修，不得拖延。2 2、在處理故障時，應嚴格按照故障處理流程進行，整個流程強調閉環管 理，按先最新整理重點后一般；先調通后維修的原則進行。3 3、在系統和設備故障處理的過程中，若出現較為嚴重或一時無法解決 的問題，及時通知故障發

6、起點，并立即向主管領導匯報，同時與廠家聯系， 及時爭取技術支持，填寫故障報告。4 4、在系統設備故障處理過程中，若使用了備件單元或備用電路板，應 按規定分別詳細登記故障發生的工作單元、故障現象或故障代碼、換用備 件名稱、編號，有條件時應附上當時的打印記錄，向主管報告，并及時與 備件管理人員取得聯系，按正確的手續發送返修。5 5、在相關專業部門或設備供應商進行搶修的過程中，網管中心應負責 協調相關專業部門，采取其它措施對網絡進行監控。6 6、在相關專業部門或設備供應商進行搶修的過程中，網管中心應負責 協調相關專業部門，采取其它措施對網絡相關數據進行保存和統計。7 7、網管中心在相關故障排除后 4

7、848 小時內提交故障分析報告。報告將 視故障級別上報所在公司運行維護部和上級網管中心。運行維護人員均應熟悉故障緊急處理流程，熟練掌握操作步驟和方法。故障通報：1.1. 發生嚴重故障和重大故障時，由地（市）級網管維護部門直接向省 級分公司網管中心和運行維護部報告。最新整理2.2. 對重大故障，分別由省級分公司網管中心和運行維護部上報至總部 運行維護部網管中心3.3. 如遇特殊情況也可越級上報。各分公司必須嚴格按照規定時限執行4.4. 重大故障和通信事故，由總部運行維護部通報總部相關部門和各省 級分公司。當出現值班人員不能解決的故障時，值班人員應立即上報系統維護主 管工程師和部門主管故障處理完畢

8、一天內，系統主管工程師寫出故障報告，上報部門主管， 重大故障和嚴重故障要報上級業務主管部門。當發生故障時，機房當班人員應將故障發生經過詳細填寫進值班日 志。5 5、如果網管系統出現嚴重故障，在故障發生后應在第一時間向上一級 網管中心通報相關情況。6 6、出現故障后，由網管中心指定專人向相關部門通報故障影響范圍和 處理情況等。運行維護負責人應如實上報故障情況，故障報告應當做到時間清、原因清、結果清。最新整理2 2 機房動力應急預案2.12.1 機房停電故障2.1.12.1.1 準備工作1 1、 停電后第一時間電話咨詢供電公司詢問停電原因及停電時長。2 2、電話通知相關領導停電狀況，如果在值班過程

9、中停電需同事共同處 理的也及時通知，在停電期間要保持通信暢通有問題及時聯系。3.3. 準備扳手、六棱起、數字萬用表、“ + + ”字“一”字螺絲刀各兩把（大、 小）等常用電工工具，準備好高壓絕緣手套、絕緣鞋、專用扳手。以及油機房鑰匙. .4.4. 以上 3 3 點工作盡量在最短時間內結束，然后針對故障原因作出相應 處理。2.1.22.1.2 停電情況下處理方式由于公司機房為一路高壓市電引入 ，如出現市電停電，變壓器故障等原 因造成停電現象出現，只能采用應急油機發電. .現應急油機發電步驟如下：1 1、維護人員趕至公司機房后，首先確認是否需要發電。若趕至現場后, , 發現市電已經恢復供應，只需要

10、將低壓配電系統中 P1P1 柜和 P6P6 柜的斷路器合 閘即可恢復機房市電供應。2 2、確認需要發電，首先前往一樓辦公室內拿油機室鑰匙， 并將位于公司 出風口打開。最新整理3 3、 打開出風口后，前往位于公司機房，首先打開油機房玻璃移窗方便油機進風，檢查油機油位，水位等，檢查無誤后，啟動油機。4 4、 啟動固定柴油發電機，觀察油機工作狀態，正常，運行 5-105-10 分鐘 后將油機負載開關合閘。此時，油機電送至機房低壓 P12P12 發電機柜，由于斷 路器未合閘，機房尚未恢復供電油機空載運行。5 5、 在油機空載運行期間，分別切斷負載電流比較大的用電設備，以減小合閘電流對油機的沖擊。依次切

11、斷：開關電源的主用，備用分路開關，2 2 樓空調配電箱和辦公空調的電源開關，1#、2#UPSUPS 的市電輸入開關。6 6、 搖出 P1P1 進線柜斷路器，確認與市電網絡斷開后，將 P12P12 油機斷路 器搖至運行位置，將 P11P11 進線柜斷路器搖至運行位置，合 P12P12 斷路器，合 P11P11 斷路器，合 P6P6 斷路器，機房照明恢復。再分別合上：開關電源的主用, , 備用分路開關，2 2 樓空調配電箱和辦公空調的電源開關，1#、2#UPSUPS 的市電輸入開關等負載較大的開關。7 7、 此時所有負載由油機供電，油箱內 200L200L 柴油預計能帶載運行 7 7 小時 左右。

12、如果停電時間超過 4 4 小時應聯系供油車添加柴油，加油工作必須停柴 油發電機后進行。電池放電時間估計在 4040 分鐘左右，加油工作必須在停機 2020 分鐘內結束，如果不能加滿可等電池充滿電后再次添加。2.1.32.1.3 市電恢復后的操作1.1. 當市電來電后，再依次切斷：開關電源的主用，備用分路開關，2 2 樓空調配電箱和辦公空調的電源開關，1#、2#UPSUPS 的市電輸入開關最新整理2.2. 斷開 P11P11 柜的低壓母聯開關，斷開 P12P12 柜的油機供電開關，油機退出 帶載運行。（油機空載運行 5 51010 分鐘后停機。）3.3. 分別將 P1P1 柜的市電總開關搖至運行

13、位置并合閘，檢查確已合上；合上 P6P6 柜聯絡開關，并檢查確已合上。4.4. 無異常，再分別合上：開關電源的主用，備用分路開關，2 2 樓空調配電 箱和辦公空調的電源開關，1#、2#UPSUPS 的市電輸入開關。5.5. 所有設備恢復市電供電，檢查設備的供電運行情況。6.6. 確認設備運行正常后，至油機室分油機負載開關，關閉油機，關閉油機 室玻璃窗，關閉北側油機室出風口。2.22.2 UPSUPS 故障處理公司核心機房 UPSUPS 系統為 2 2 臺梅蘭日蘭 80KVA80KVA UPSUPS 的并機系統 如80KVA80KVA UPSUPS 系統中一臺 UPSUPS 故障，系統自動將負載

14、倒到另一臺 UPSUPS 上， 如何關閉故障的UPSUPS，如何再次開啟 UPS,UPS,如下：關機：1 1、先將旁路轉換開關打到“ ONON ”的位置：2 2、將 UPSUPS 輸出開關打到“ OFFOFF”位置3 3、分別關掉 UPSUPS 的 S1,F1S1,F1 和 F2F2 開關，這時 UPSUPS 停止運行；4 4、關掉 UPSUPS 輸入開關，系統關機完畢。最新整理開機：1 1、 首先確認 UPSUPS 的 S1,F1S1,F1 和 F2F2 開關都打到“ OFFOFF”位置，配電柜的UPSUPS 輸出開關也在“ OFFOFF”位置。2 2、 先把旁路轉換開關打到“ ONON ”

15、的位置3 3、 分別將 UPSUPS 的 F1,F2F1,F2 開關合閘，再將 S1S1 開關合閘；4 4、 當 UPSUPS 面板指示為旁路供電狀態時，再把旁路轉換開關打到“ OFFOFF”位置這時，UPSUPS 轉到正常工作模式，啟動完成。5 5、 最后合上 UPSUPS 輸出開關，系統供電正常。當關掉其中一臺 UPSUPS 再啟動的方法：1 1、 先把旁路轉換開關打到“ ONON ”的位置2 2、 再把已關掉的 UPSUPS 的 S1,F1,F2S1,F1,F2 開關分別打到“ ONON ”的位置；3 3、 當兩臺 UPSUPS 面板指示為旁路供電狀態時，再把旁路轉換開關打到OFFOFF

16、”位置這時，兩臺 UPSUPS 轉到正常工作模式，啟動完成2.32.3 開關電源整流模塊故障的緊急處理方案開關電源整流模塊故障的更換操作步驟：以公司 IDCIDC 機房的整流柜為例：開關電源系統總共有 1010 個整流模塊，實際運行 6 6 個，4 4 個備用最新整理假設第 5 5 個整流模塊故障，無直流輸出，現場檢查后無法修復，需要 更換備用的模塊。1 1、 關閉該模塊的交流輸入開關，2 2、 將背面的交流輸入電源線、直流輸出電源線和通訊線依次拔下，3 3、 擰下前面板的固定螺絲，將故障模塊抽出，4 4、 將備用模塊插入故障模塊原來的位置，擰緊固定螺絲，5 5、 然后將背面的交流輸入電源線、

17、直流輸出電源線和通訊線依次插上,6 6、 調整此備用模塊的地址編碼為：4 4 ,7 7、合上此模塊對應的交流輸入開關，此時，備用模塊更換完畢，查看模塊輸出是否正常。注意：更換整流模塊時要注模塊前面板的地址碼，必須要和故障模塊 的一致，否則會產生模塊通訊中斷告警。2.42.4 機房空調及局部過熱故障的緊急處理方案2.4.12.4.1 機房空調故障的應急處理步驟發生機房空調故障，會使機房的溫度升高，危害設備正常運行。所以 發生此類故障后，要積極維修，如果一時無法修復，必須采取應急措施， 保障機房環境符合要求。現在的機房空調都是 2 2 主 1 1 備份或一主一備，一臺空調故障，其他空調可以正常工作

18、最新整理1 1、首先判斷機房空調什么故障，如果壓縮機故障，送風機工作正常，此時，要把鄰近的空調的溫度設定值調低1-21-2 度即可。這樣，故障空調的風機可以形成空氣對流，對故障空調區域的設備影響不大。或者盡量 將機房防靜電地板掀開，增加出風口。如果是空調的送風機故障，不能正常送風，此時，就要把鄰近的空調的溫度設定值調低2-32-3 度，然后把鄰近空調的送風口的格柵盡量調整到故障空調前面的區域，這樣才能的保障機房溫 度不至于上升。或者盡量將機房防靜電地板掀開，增加出風口。或者拿普通的電風扇在故障空調的影響區域吹風，打開機柜門，冰塊 局部降溫等措施防止局部升溫過快。242242 機房局部設備溫升過

19、快或過熱的處理步驟首先將此設備的機柜門打開，讓熱空氣充分散出，也可以用電風扇對此設備吹風，加快散熱速度，購買冰塊，放在大盆里，置于局部過熱部位，利用冰塊融化吸收熱量,或者同時放置冰塊并用電風扇吹最新整理2.52.5 應急方案處理過程中非常事件的處理1 1、 當倒閘過程中出現可盡快恢復的操作錯誤時，機房負責人要及時 制止，并立刻安排恢復操作。2 2、 當停電倒閘或油機帶載過程中發生不可預見的非常情況時，全體 現場人員應采取適當的應急措施保護通信設備供電安全并立即報告相關領 導，召開緊急會議，研究處理方案。3 3 機房防汛應急預案3.13.1 防汛應急預案內容3.1.13.1.1 第一預案當受臺風

20、或強熱帶風暴影響風力達 8 8 級以上，暴雨日雨量達 50.150.1 毫米 以上或氣象等有關部門發布暴雨將達起始標準后，各機房負責人、機房代 維負責人必須到位，加強值班，嚴格執行報告制度，做到上情下達，下情上報。值班領導和人員遇到突發事件或災情，及時下達臨時緊急處置指令， 并迅速向公司上級分管領導匯報。各值班人員要做好防汛值班記錄，并檢 查機房防汛值班到崗到位情況。3.1.23.1.2 第二預案當氣象臺發布暴雨警報時，防汛應急工作小組成員全部到位。并及時最新整理向公司分管領導通知防汛信息，通報風情、水情、雨情。各機房防汛應急 工作小組成員要根據各自的職責，加強值班，進一步檢查落實各項防汛應 急措施，組建各類防汛搶險隊伍，落實搶險物資。3.1.33.1.3 第三預案當暴雨襲擊或縣有關部門發布緊急警報時，防汛應急工作小組成員要 按各自的職責進入指揮崗位。并立即進行緊急部署要把防汛作為壓倒一切 工作的頭等大事來抓，并落實各項防汛應急措施。3.1.43.1.4 第四預案遇暴雨突發性災害天氣時，防汛應急工作小組成員要迅速組織人員及 時檢查疏通地下排水管道，做到排水暢通；要組織專門力量，對易積水的 機房進行監測，及時