1、公司信息系統服務器故障應急處理預案（初稿）目錄第一部分服務器故障的處理響應（一）、服務器故障的定義本預案所指的服務器故障是指公司管理信息系統范圍內的網絡服務器設備的故障。包括因設備質量原因導致的系統故障、人為因素和網絡系統外界因素而導致的系統故障、計算機病毒感染及遭受黑客或惡意代碼攻擊而導致的應用系統故障等。涉及本預案的服務器設備包括小型機和PC服務器，設備清冊參見附表1。（二）、服務器故障的分類以服務器設備的故障性質和故障可能涉及的范圍，按照以下的標準進行分類：服務器硬件故障：服務器硬件故障，包括服務器的底板故障、IO板及IO設備故障、CPU板及CPU故障、內存板及內存故障、磁盤陣列及磁盤故

2、障以及磁帶庫故障等。這類故障將直接影響服務器的正常運行，情況嚴重的，將使服務器陷于癱瘓狀態，基于該服務器的所有應用將無法正常使用。如果該服務器承擔的是網絡的控制和管理職能，將對整個管理信息系統造成極為嚴重的影響；如果該服務器承擔的是單個或多個應用系統的運行和管理，那么，這些應用系統將無法提供正常的服務。服務器系統軟件故障：服務器的系統軟件故障，包括操作系統故障、網絡控制和管理系統故障、集群管理系統故障等等。嚴重的服務器系統軟件故障，同樣會使服務器陷入癱瘓狀態。故障造成的影響，視該服務器承擔的應用系統的不同而不同，如果該服務器承擔了網絡的控制管理或關鍵應用職能，將有可能造成非常嚴重的后果關鍵應用

3、服務故障：關鍵應用服務故障，包括Oracle數據庫故障、SQLServe嗷據庫故障、PI數據庫故障、OA故障、WEB服務故障、郵件服務故障等。這些應用服務軟件的故障，對于相關的應用系統將產生一定的影響，其影響范圍和損害程度隨故障的性質和嚴重程度而定，嚴重的，將引起系統癱瘓。(三)、服務器故障響應處理流程硬件故障的診斷一般是在服務器操作系統無法引、導啟動的情況下進行, 面卜LED欣謂H飆息進行，主板故障指示燈、面板狀態屏幕、可以通過對主機 BIOS配置、 如條件允許(如光驅引導啟動正常)還應使用設備制造廠家提供的專用診斷專瞇*|左根松的分識別硬件故障的方法1 .電源故障。電源故障的現象一般為：電

4、源音好開關在“合”狀態、指示燈不亮；面板狀態屏幕不亮；按電源開關機器無反應、主機電源2 .如果在開機后出現:無任何報警聲。CD指示:器的用戶手冊中有關的錯應根據屏幕顯示的，內仔板上正顯示狀態的CPU 板、LED碼或“嘩錯謾信息應對照該誤信息列表進行判別。3.如果服務器他前面板有顯示主機狀頜 的內容進行判別。言息對照用戶手冊中相應4.如果代表指示燈意義的撇明懦，可依此進行判別。服務器系5.服器一般都自帶用/對硬件素以講行檢洲的診斷程k*盤,啟動的情況下，應使用該光盤進行系統測試三、故障排除順序,可按L和電源統都牢On均已打開并(2)檢查以和n系統所有部支(3)如果服察器電源線插入布開斗的多插座接

5、線盒,2.20y(4/(K指小門，一股都口關鍵應用以在機箱內找到在服務器可以用該光盤講行弓|導病毒和入應確保接線盒的開支甘打開7電y備電纜就電源線新毒稠阿，并打開該設備，事件日志秒,然后再次排入電源餞并重新啟動旅統以上電，但無法完成開機，檢測試，可按以下步驟進行操與:事件日志備份更換部備價/能否自行、n(1) 如果系統發出一系列嗶聲，則表示系統有錯誤，應參閱該型服務器的用戶手冊中的“錯誤信息”章節進行判別。或與產品供應商聯系維修。(2) 如果系統無法運行開機自檢測試，且屏幕顯示錯誤信息，應參閱該型服務器的用戶手冊中的“錯誤信息”章節進行判別。如果手冊推薦的方法無法解決問題，應與產品供應商聯系維

6、修。3. 如果系統通過開機自檢測試，但不運行，可按以下步驟進行操作：(1) 檢查以確保服務器在安裝實用程序中配置正確。(2) 如果服務器仍無法工作，應關機并卸下除顯示器和鍵盤以外的所有外圍設備。測試服務器，并注意現在是否正常工作。(3) 如果服務器仍不工作，應關閉顯示器、服務器和所有外圍設備，然后按(4)條執行。4. 檢查內置硬件：(1) 斷開的電源線，卸下服務器主機蓋。(2) 檢查所有附件板是否牢固地固定在各自的插槽中。(3) 確保所有磁盤驅動器電源電纜和數據電纜已牢固并正確地聯接。使用機內配置的布線和開關配置圖，查對海量存儲器配置。(4) 檢查并確保內存條和內存擴展板牢固地固定在各自的插槽

7、中，且添加的內存條符合要求。(5) 重新裝上服務器蓋板，并鎖定系統。(6) 重新裝上所有電源線和電源電纜。(7) 打開服務器電源，查找錯誤信息。(8) 經以上步驟檢查，仍無法得到有意義的錯誤信息，應與產品供應商聯系維修。第三部分服務器軟件故障的診斷和處理一、服務器軟件故障分析和診斷軟件故障分析和診斷主要通過對主機運行狀況、服務與進程、網絡連接狀況、系統端口、事件日志記錄進行檢查，這種檢查的必要條件是服務器操作系統可以引導啟動，并可以提供相應的檢查界面。1. 主機運行狀況的檢測服務器主機的CPU、內存、磁盤的使用情況對服務器的性能影響很大，如果出現問題，將直接影響到服務器的正常運行，進而對服務器

8、上正在運行的重要的應用系統帶來不可預料的后果。因此，處理服務器軟件故障前，對主機的CPU、內存、磁盤資源使用情況進行檢測是一個非常重要的步驟，往往可以在第一時間發現主機基本性能的狀態異常。在Windows平臺上，一般使用任務管理器中的“性能”選項卡檢測主機CPU和內存的運行狀況，使用資源管理器檢查磁盤的使用情況，檢查要點為：CPU使用值，一般不會持續超過50%；內存“認可用量總數”持續超過“物理內存總數”會引起系統性能下降；內存“認可用量峰值”持續接近“認可用量限制”，系統將有崩潰的危險；任何裝有運行系統的磁盤的可用空間趨近于零，系統將停滯或有崩潰的危險。裝有操作系統的磁盤(一般為)的可用空間

9、不應低于磁盤分區總容量的15%，根據實際的運行觀察，當服務器C盤可用空間小于50M時，系統的運行將進入不穩定狀態。2. 服務、進程管理的檢測服務器主機上的服務和進程主要來自二個部分，一是操作系統本身提供的系統服務和進程，這些服務的功能和狀態在Windows的服務列表中有比較詳細的描述，這些服務的異常，系統一般會給出比較明確的錯誤提示。另一部分是應用系統的服務，服務器上往往運行著非常重要的應用系統，例如大型的數據庫系統、Mail系統、WebServer或特殊業務的應用系統等。應用系統的進程和服務是否正常運行是判斷應用系統是否正常的關鍵，如果這些關鍵的進程和服務已經停止，則應用系統肯定無法正常工作

10、。監測服務器上的進程和服務是服務器管理的一個重點，對于進程的監測尤其重要，檢查的要點為：有無可疑的進程活動；有無不顯示進程標識符（PID）的進程活動；有無不顯示映象名稱的進程活動；有無不顯示用戶名或顯示非法用戶名的進程活動；有無大量占用CPU的進程；有無大量占用內存的進程；有無GDI對象異常的進程。3. 網絡狀況檢測服務器網絡組件的運行狀況是服務器能否維持正常的網絡訪問和提供正常的網絡服務的一個關鍵。在服務器運行異常時必須檢測服務器網卡的配置情況是否正常，最簡單的測試是在DOS提示符下運行ipconfig/all命令，察看各個網絡連接當前的配置狀態。使用網絡監視器可以獲得更多的信息，在網絡監視

11、器的實時部分，主要監視網絡利用率、每秒幀數、每秒字節數、每秒廣播、每秒多播等指標，在捕獲統計中，主要監視緩沖區里的幀、當緩沖區超出限制時幀的丟失數、緩沖區利用率、丟失的幀數等指標。當發現以上指標有異常，應進一步對捕獲的數據幀進行分析，此時應特別注意查尋有無源地址或目標地址異常的幀，有無協議異常的幀。4. 系統端口檢測網絡中的服務器系統通常會提供一系列的服務給網絡中的其他機器進行訪問和使用，這些服務都是通過一些指定的端口進行通訊的，所以系統業務端口的正常與否對于系統業務有直接的影響。對服務器的系統業務端口的檢測可以在DOS提示符下使用netstat命令，該命令隨帶的參數所表示的意義如下：- a顯

12、示所有連接和監聽端口。- b顯示包含于創建每個連接或監聽端口的可執行組件。在某些情況下已知可執行組件擁有多個獨立組件，并且在這些情況下包含于創建連接或監聽端口的組件序列被顯示。這種情況下，可執行組件名在底部的中，頂部是其調用的組件，等等，直到TCP/IP部分。注意此選項可能需要很長時間，如果沒有足夠權限可能失敗。- e顯示以太網統計信息。此選項可以與-s選項組合使用。- n以數字形式顯示地址和端口號。- o顯示與每個連接相關的所屬進程ID。- pproto顯示proto指定的協議的連接；proto可以是下列協議之一:TCP、UDP、TCPv6或UDPv6。如果與-s選項一起使用以顯示按協議統計

13、信息，proto可以是下列協議之一:IP、IPv6、ICMP、ICMPv6、TCP、TCPv6、UDP或UDPv6。- r顯示路由表。- s顯示按協議統計信息。默認地，顯示IP、IPv6、ICMP、ICMPv6、TCP、TCPv6、UDP和UDPv6的統計信息；-p選項用于指定默認情況的子集。- v與-b選項一起使用時將顯示包含于為所有可執行組件創建連接或監聽端口的組件。Interval重新顯示選定統計信息，每次顯示之間暫停時間間隔（以秒計）。按CTRL+C停止重新顯示統計信息。如果省略，netstat顯示當前配置信息（只顯示一次）對于UNIX服務器，可通過Connect系統業務端口，發送請求

14、，以監測端口是否能夠響應。5. 日志檢查服務器上的應用系統或重要進程運行時會產生大量的日志文件，這些日志文件對于檢查程序運行狀態、查找程序出錯原因很有幫助。對于Windows平臺上，可使用的日志系統是管理工具中提供的“事件查看器”，其中包括了系統日志、應用程序和安全性日志，需要重點關注的是“錯誤”和“警告”。另外，服務器上運行的應用程序也會提供相應的日志系統，其提取日志的方法因應用系統的不同而不同，可參照相關的用戶手冊進行。在UNIX平臺上，日志是以文件的形式存放，不同版本的Unix日志文件的目錄是不同的，在Solaris下一般是在Unix/var/log,在AIX下，需要關注的日志文件有:文

15、件描述建議core和snapcore由應用廣生的dump文件，可附了診斷錯誤可刪除nohup命令的輸出結果可刪除.xerrorsX11的輸出結果可截短mbox用戶郵箱中的郵件可截短和用戶使用smit命令后的日志可適當保留最后1000行，或刪除/var/adm/wtmp記錄用戶的登錄信息，是二進制文件，用who命令來閱讀其內容根據需要保留60天中有用的內容，其余刪除/etc/security/failedlogin記錄用戶失敗的登錄信息，是二進制文件，用who命令來閱讀其內容可根據需要保留60天中有用的內容，其余刪除/var/adm/sulog用戶使用su命令的日志可根據需要保留60天中有用的內

16、容，其余刪除/var/adm/cron/logcron的日志可截短/var/tmp/snmp監控進程日志可截短/var/tmp/var/tmp/var/tmp/var/tmp/muxatmdsnmp子系統日志可截短未成功的郵件可刪除trcfiletrace實用程序的輸出可刪除/var/adm/messages用于記錄syslog進程的口志可適當保留最后1000行，或刪除/etc/系統關機過程日志，用shutdown-l命令產生可適當保留最后1000行，或刪除服務器軟件故障的處理服務器的故障中，大部分是軟件故障。軟件故障對于服務器穩定運行的影響很大，嚴重時將引起整個系統崩潰。一般常見的軟件故障主

17、要有操作系統文件損壞或丟失、設備驅動程序錯誤或損壞、服務進程不能啟動、網絡地址配置錯誤或丟失，以及應用系統軟件方面的程序出錯等等。1. 操作系統故障的處理對于Windows系統，如果操作系統故障前對操作系統有過不適當的修改而無法復原，或發現系統提示缺少必須的文件、提示某些文件錯誤等情況，在排除服務器感染病毒的可能以后，應即使用升級安裝對操作系統進行恢復。升級安裝之前，應對重要的配置文件和數據文件進行備份或加適當的保護。一般情況下，重要的數據文件不宜置于安裝操作系統的磁盤（如C:盤）。在備份時，應盡量將這些重要文件置于具有安全保護的機器上。當升級安裝無法恢復系統時，可以考慮全新安裝操作系統，安裝

18、完成應注意打好補丁。然后進行應用系統的恢復。對于UNIX操作系統的故障，當無法在短時間內找到故障原因和處理方法時，應立即與系統服務商的技術支持人員聯系。對由于病毒感染引起的操作系統故障，可參照反病毒處理預案處理。2. 系統服務進程的故障處理系統服務進程故障時，應檢查“服務”中相應的服務項，檢查要點有：狀態、啟動類型、登錄身份、服務失敗時計算機的反應，以及該服務所依賴的系統組件是否已經正常啟動。如有異常，應根據情況作相應處理。無異常后，可啟動該進程，并作進一步檢查。如該進程的狀態在“已啟動”，檢查上述項目無異常的，可重新啟動該服務，并作進一步檢查。經上述處理仍無法消除故障時，可進入“控制面板/添加或刪除程序/添加或刪除Windows組件”，檢查與故障的服務相對應的組件是否被鉤選，如已被鉤選，可先將其取消后，再次鉤選重裝。對于應用系統的服務故障，應檢查分析該軟件的錯誤日志，根據分析的結果采取相應的措施。必要時，應重裝應用系統。3. 設備驅動程序故障處理設備驅動程序故障時，將引起相關設備的異常運行，其故障現象類似于硬件故障，情況比較復雜，需要認真鑒別。一般的處理過程為：檢查