網絡故障案例手冊Ver1.0目錄案例編號 201302084交換機硬件故障引起網絡中斷4典型癥狀4其它現象4處置方法4案例具體原因4擴展6案例編號 201306046癥狀6處置方法6處置結果8擴展8案例編號 201306149癥狀9處置方法9處置結果9擴展9案例編號 2013101611癥狀11處置方法11處置結果11擴展11案例編號 20130208 交換機硬件故障引起網絡中斷典型癥狀A.在交換機log中出現如下信息%SW_MATM-4-MACFLAP_NOTIF: Host 68b5.99cd.d276 in vlan 8 is flapping between port Gi0/33 and port Po2；B.交換機在線檢查各項參數未見異常，交換機重啟后報錯，無法加載IOS;其它現象交機機載高，網絡延遲大，網絡丟包。處置方法交換機離線與網絡隔離，與故障交換機連接的服務器切換到備用交換機中。如不確認引起此故障的具體交換機，可將交換機與主網絡逐一隔離。案例具體原因管理網絡端口Port-ASIC芯片自檢Fail。以下為故障交換機啟動自檢全過程Logfront_end/ (directory)extracting front_end/fe_type_1 (34760 bytes)extracting front_end/fe_type_2 (78400 bytes)extracting front_end/front_end_ucode_info (86 bytes)extracting ucode_info (76 bytes)POST: PortASIC CAM Subsystem Tests : BeginHTD POST: Basic Test FailedPOST: POST FailedPOST: PortASIC CAM Subsystem Tests : End, Status FailedPOST: CAM test failedPOST Failed: disabling stack links and shutting down SDPdriver class subsystem initialization failed*Mar 1 00:00:35.668: %SYS-3-LOGGER_FLUSHING: System pausing to ensure console debugging output.*Mar 1 00:00:35.668: %SYS-2-ASSERTION_FAILED: Assertion failed: reg_used_xdr_portid_to_lc_logical_slot() -Process= Init, ipl= 0, pid= 3-Traceback= 1DDA7F8 1DDAF44 1D46E6C 11EC2B0 11EC4A0 286CC78 286CD10 1DE64B8 1DE66F4 1A2F5C8 1A26098%Software-forced reload擴展引起Host Flapping不只上述情況，大家可參考下面的文檔鏈接：/en/US/products/hw/switches/ps4324/products_tech_note09186a008063c36f.shtml案例編號 20130604互聯網用戶訪問交易網關延遲大癥狀有客戶反映通過互聯網連接CTP電信網關交易延遲大。處置方法檢查網絡線路的連通性及模擬客戶發起Ping值測試，并與其它期貨公司的網絡延遲做對比。主要做了兩種比較一是測試同一線路的不同網關的延遲情況，發現CTP電信網關相對其它網關延遲略大些，但在可接受范圍內。通過與其它家期貨公司的交易網關做比較，發現我司的互聯網延遲確實偏大。通過檢查，確認我方網絡設備負載和帶寬流量并沒有超出基準值。根據客戶的網絡追蹤情況發現有幾跳延遲大，初步判斷問題可能發現在互聯網的傳輸節點上。為進一步明確問題，我們聯絡了線路供應商數訊。要求其分析數據，并給出意見。數據通過分析認為未見明顯問題，提出建議解決方案。為升級用戶側（即我端）接入光端機的固件，并給出了升級計劃。我們同意了其意見。并在升級前后做了數據包的追蹤對比，結果如下：升級前：升級后：處置結果可以看到從11跳開始，12跳之后延遲有了較明顯的減小。通過進一步確認，從11跳開始數據包才進入數訊網絡，得到了網絡優化。擴展網絡調優是需多方介入和合作的具有挑戰性的技術難題，因為網絡延遲和不合乎客戶預期是最為直接的反映，也是客戶最直接的感受。因此遇到問題應多角度分析問題，不再局限于本公司的網絡以至，從總體上把握，配合好服務商，協作處理。案例編號 20130614仿真交易軟件登錄一會就報超時癥狀有客戶反映通過互聯網連接仿真交易網關沒過幾分鐘就報超時錯誤，需要重新登陸。處置方法在自己電腦上登陸，確有相同現象，客戶反映無誤。檢查網絡線路的連通性及模擬客戶發起Ping包測試，發現時有丟包現象。于是檢查防火墻，CPU，內存使用率都正常，線路也無中斷，連接此防火墻的其他應用都正常，懷疑是該服務器本身受到攻擊或者網卡故障。登陸該服務器檢查，發現該服務器啟用了兩塊網卡，且都配置了網關，導致網絡故障。處置結果刪除新增的網關后故障解決。擴展對于雙網卡的服務器，不能配置兩個網關，建議一個網卡配置網關，令一個配置靜態路由。例如要添加去往/24網段，網關是，Windows中添加靜態路由的命令是：route add mask p注意最后要加p參數，確保重啟后路由依舊有效。案例編號 20131016第二套CTP交換機硬件故障癥狀OP網管軟件報警顯示SWX-B-DIR這臺交換機輪詢三次無應答，連接該交換機的服務器ip無法ping通。處置方法在自己電腦上telnet和ping該交換機均無反應，于是拿好筆記本和相關工具進機房現場查看。發現該交換機為加電狀態，但是除電源指示燈外，網絡指示燈和狀態指示燈都為滅，用console線連接后也無任何反應。于是重啟該交換機，重啟多次后設備仍然工作異常，于是在機房里找到一個備用的交