1、告警清理工作匯報XX移動網絡維護中心 2015年X月2告警問題概述告警問題概述l傳輸網告警較多，工單多，影響日常維護和故障處理效率。現網告警截圖現網告警截圖告警專項整治背景現網告警統計現網告警統計告警類別告警數量告警占比%緊急60.247重要189276.94次要54622.20提示150.610合計2459100九江移動U2000告警統計(OTN+SDH)上饒移動U2000告警統計（OTN+PTN）告警類別告警數量告警占比緊急16011.08重要77953.95次要47733.03提示281.93合計1444100l重要告警和次要告警占所有告警的大多數。3九江移動九江移動l前5個告警(T_A

2、LOS/PS/HP_LOM/DOWN_E1_AIS/LP_SLM_VC12)的單告警數量均超過150個，數量之和占所有告警數量近79%；l前2個告警(T_ALOS,PS)的告警數量均超過400個，數量之和占所有告警數量近55% 。l前2個告警(T_ALOS,PS)均可以通過網管側進行優化處理。傳輸網告警分析序號告警數量累計%1T_ALOS91437.172PS43754.943HP_LOM23564.504DOWN_E1_AIS18171.865LP_SLM_VC1217478.93*取當前現網告警進行分析4上饒移動上饒移動傳輸網告警分析*取4月21和22日上報的所有告警現進行分析l前10類告

3、警占所有告警的82%；工程告警占比62%，普通告警占比38%；l在3mins消失的告警(閃報)占總數的69.31；6小時內消失的告警占比98.97%告警名稱數量累計百分比%ETH_LOS3121928.52 PW_APS_DEGRADED1436041.64 MPLS_PW_LOCV1091351.62 TUNNEL_APS_DEGRADED670457.74 T_ALOS669863.86 MPLS_TUNNEL_LOCV648569.79 PWAPS_LOST539674.72 ETH_APS_LOST333377.76 COMMUN_FAIL228879.85 BD_STATUS2033

4、81.71 全部告警數量:109447100%告警持續分鐘數對應數量累計百分比%17126065.11 27342467.09 37585869.31 108109074.09 609120483.33 909317685.13 24010669697.49 36010832498.97 總數量109448100.00 5整治目標整治目標l大幅度減少告警總量，理清常見場景告警主次，提高日常維護工作和故障處理效率整治方案整治方案l優化工程預約方式，預計可以減少“普通告警”約10%40%的數量 以上饒移動為例：ETH_LOS(28%)等告警上報主要是由于近期LTE大量工程開站導致；另約有12%的告

5、警上報時間為凌晨0點至4點上報；l高頻閃報告警專項清理：對于閃報告警進行專項整治，預計可以減小告警30%告警量lPTN告警關聯規則定義：PTN線路可能導致倒換TUNNEL_APS_DEGRADED和PW_APS_DEGRADED同時上報，設置TUNNEL_APS_DEGRADED不上報可以減少約6%的告警上報。預期效預期效果果l上饒傳輸網總量由目前的單周35萬下降到10萬左右。傳輸網告警專項整治思路*以上饒移動PTN告警為例6傳輸網告警專項整治具體措施-存量告警(MSTP+OTN)序號告警數量累計百分比(%)1T_ALOS91437.172PS43754.943HP_LOM23564.504D

6、OWN_E1_AIS18171.865LP_SLM_VC1217478.936TU_AIS12584.027TU_AIS_VC129687.928UP_E1_AIS7290.859REM_SF3692.3110FAN_FAIL2993.4911LP_SLM2594.5112IN_PWR_ABN1895.2413HP_REI995.6114ODU1_PM_OCI995.9715TU_LOP_VC12896.3016LP_RDI796.5817BD_STATUS696.8318LOOP_ALM597.0319TU_LOP597.2320PORT_MODULE_OFFLINE597.4421LP_R

7、DI_VC12597.6422HP_RDI597.84存量告警定義存量告警定義：表示是現網中長期存在的告警，以九江移動U2000為例，左表給出大部分告警對應的數量，并從上至下排列。告警處理原則告警處理原則：1：優先排查解決告警根因，解除告警；2：次選采取”屏蔽”抑制”等非常規手段解除告警；3：所有”屏蔽”抑制”手段必須做好相關記錄，以便后續方便查閱定位。4：優先集中處理基數大的告警；告警處理風險告警處理風險：1：清理某些告警動作本身存在業務中斷風險，如復位操作等；2：采取非常規手段清理告警，只是解決告警不上報或不顯示，并不表示問題已經解決；如“屏蔽”3：非常規手段清理部分告警后，可能導致故障時

8、告警不上報或上報不及時；可能導致故障排除耗時較長等后果，請謹慎實施。74： DOWN_E1_AIS：下行方向2Mbit/s信號告警指示；告警對業務影響：產生該告警時，單板通道的E1信號不可用。告警清理建議：明確電路無業務承載后刪除電路；或者更換電路路由或時隙；清理后對系統影響：無1：T_ALOS: 表示E1T1接口模擬信號丟失。告警對業務影響：此告警出現表示E1接受無信號；此時業務已經中斷或者無業務。告警清理建議：明確電路無業務承載后刪除電路；端口處內環回，并做好標簽和屏蔽環回告警；清理后對系統影響：無2：PS: 表示已發生保護倒換指示。告警對業務影響：表示2M業務已經倒換；告警清理建議：SN

9、CP業務配置設置成恢復式可以減少大量PS告警；清理后對系統影響：主用通道誤碼可能導致頻繁上報PS告警；恢復斷纜時若存在光纜錯連可能在業務恢復至主用后業務中斷。3：HP_LOM：高階通道復幀丟失告警告警對業務影響：該告警產生時，通道級業務會中斷。告警清理建議：明確業務是否配置正確，業務是否正常或者在用；若未配置則屏蔽；若無業務不在用，則建議刪除業務；清理后對系統影響：無傳輸網告警專項整治具體措施-存量告警(MSTP+OTN)88： UP_E1_AIS：上行方向2Mbit/s信號告警指示；告警對業務影響：產生該告警時，單板通道的E1信號不可用。告警清理建議：明確電路無業務承載后刪除電路或內環回；或

10、者參照附件標準處理方式處理；5： LP_SLM_VC12告警為低階VC-12通道信號標記失配告警告警對業務影響：無影響；告警清理建議：屏蔽此類別告警；清理后對系統影響：無6： TU_AIS:如果單板檢測出TU通道全為1時，上報此告警。告警對業務影響：該告警會造成單板通道上的業務中斷；告警清理建議：確認是否存在業務；若無業務刪除電路；若有存在業務，定位故障點解決；清理后對系統影響：無。7： TU_AIS_VC12：低階VC-12TU告警指示，屬VC-12通道級別的AIS。告警對業務影響：該告警會造成單板通道上的業務中斷；告警清理建議：確認是否存在業務；若無業務刪除電路；若有存在業務，定位故障點解

11、決；清理后對系統影響：無。傳輸網告警專項整治具體措施-存量告警(MSTP+OTN)912： IN_PWR_ABN：收光光功率異常；告警對業務影響：可能導致誤碼或者倒換。告警清理建議：優化光纜條件，清理光纜連接處等。9： REM_SF告警：遠端信號失效告警指示告警對業務影響：無業務側信息輸入或者中斷；告警清理建議：屏蔽此類別告警；清理后對系統影響：可能影響故障判斷或定位。10： FAN_FAIL:風扇失效告警。告警對業務影響：風扇失效；告警清理建議：拔插風扇或更換風扇；特別是OSN/PTN設備，強烈不建議屏蔽清理后對系統影響：無。11 ：LP_SLM 為低階通道信號標記失配告警告警。對業務影響：

12、無影響；告警清理建議：屏蔽此類別告警；清理后對系統影響：可能影響故障判斷或定位。傳輸網告警專項整治具體措施-存量告警(MSTP+OTN)10傳輸網告警專項整治具體措施-大基數告警(PTN)大基數告警定義告警定義：表示是現網中一段時間內大量上報過的告警，以上饒移動U2000(PTN)為例，左表給出大部分大基數告警對應的數量，并從上至下排列。告警處理原則告警處理原則：1：優先排查解決告警根因，解除告警；2：次選采取”屏蔽”抑制”等非常規手段解除告警；3：所有”屏蔽”抑制”手段必須做好相關記錄，以便后續方便查閱定位。4：優先集中處理基數大的告警；告警處理風險告警處理風險：1：清理某些告警動作本身存在

13、業務中斷風險，如復位操作等；2：采取非常規手段清理告警，只是解決告警不上報或不顯示，并不表示問題已經解決；如“屏蔽”3：非常規手段清理部分告警后，可能導致故障時告警不上報或上報不及時；可能導致故障排除耗時較長等后果，請謹慎實施。告警名稱告警數量 累計百分比(%)ETH_LOS3121928.52 PW_APS_DEGRADED1436041.64 MPLS_PW_LOCV1091351.62 TUNNEL_APS_DEGRADED670457.74 T_ALOS669863.86 MPLS_TUNNEL_LOCV648569.79 PWAPS_LOST539674.72 ETH_APS_LOS

14、T333377.76 COMMUN_FAIL228879.85 BD_STATUS203381.71 MPLS_PW_BDI134982.94 PW后向缺陷指示130184.13 LSR_WILL_DIE99185.04 ETH_RX_FLOW_OVER97285.92 NE_NOT_LOGIN92086.77 MPLS_TUNNEL_BDI86987.56 IN_PWR_LOW75288.25 NE_COMMU_BREAK73188.91 全部告警數量:109447100%11傳輸網告警專項整治具體措施-大基數告警(PTN)4： TUNNEL_APS_DEGRADED：表示Tunnel保護組

15、降級；告警對業務影響：如果該告警產生，則保護組可用性降低；告警清理建議：屏蔽此類告警；清理后對系統影響：無線路或者上層鏈路原因導致該告警上報時，可能影響故障及時識別和定位。1： ETH_LOS: 表示ETH信號丟失。告警對業務影響：此時業務已經中斷或者無業務。告警清理建議：明確接口無業務反轉告警；清理后對系統影響：無2： PW_APS_DEGRADED: PW APS保護組降級告警。當保護組中一個PW故障時，保護組的可用性降低，上報此告警。告警對業務影響：如果該告警產生，則保護組可用性降低；告警清理建議：屏蔽此類告警；清理后對系統影響：非線路或者上層鏈路原因導致該告警上報時，可能影響故障及時識

16、別和定位。3： MPLS_PW_LOCV ： MPLS_PW_LOCV告警表示PW連通性丟失告警對業務影響：該告警產生時，業務將中斷。告警清理建議：盡快排查線路/設備/業務配置故障；清理后對系統影響：無12傳輸網告警專項整治具體措施-大基數告警(PTN)8： MPLS_PW_BDI告警表示PW后向缺陷指示告警對業務影響：本端設備的發送側業務故障。告警清理建議：屏蔽此類告警；清理后對系統影響：可能影響故障及時識別和定位。5： MPLS_TUNNEL_LOCV :表示Tunnel連通性丟失告警。告警對業務影響：此時業務已經中斷或者無業務。告警清理建議：盡快排查線路/設備/業務配置故障；清理后對系統

17、影響：無6： PWAPS_LOST: PWAPS_LOST告警表示APS幀丟失。當接收端沒有從保護通道收到APS幀時上報此告警。告警對業務影響：無法對業務進行保護告警清理建議：屏蔽此類告警；清理后對系統影響：非線路或者上層鏈路原因導致該告警上報時，可能影響故障及時識別和定位。7： ETH_APS_LOST： ETH_APS_LOST告警表示APS幀丟失告警對業務影響：APS保護可能無法工作，業務得不到有效的保護告警清理建議：屏蔽此類告警；清理后對系統影響：非線路或者上層鏈路原因導致該告警上報時，可能影響故障及時識別和定位。13傳輸網告警專項整治具體措施-閃報告警告警名稱閃報數量告警名稱閃報數量

18、ETH_LOS29579ETH_LINK_DOWN414T_ALOS5980NE_COMMU_BREAK400PW_APS_DEGRADED4448ETH_APS_SWITCH_FAIL280MPLS_PW_LOCV3589靜態CR-LSP Down告警274TUNNEL_APS_DEGRADED2525ETH_RX_FLOW_OVER272MPLS_TUNNEL_LOCV2345BUS_ERR256MPLS_PW_BDI1329接口CRC校驗錯誤253BD_STATUS1315CLK_LOCK_FAIL231PW后向缺陷指示1301ODU_SNCP_STA_INDI198PWAPS_LOST

19、1048MPLS_TUNNEL_Excess179LSR_WILL_DIE990PWAPS_SWITCH_FAIL150MPLS_TUNNEL_BDI869隧道組斷開118ETH_APS_LOST832光模塊整體功能失效113IN_PWR_LOW643MAC_FCS_EXC112MPLS隧道故障516ODU1_PM_BDI111TE tunnel變為down516POWER_ABNORMAL107鏈路斷開444BEFFEC_EXC102MPLS_PW_Excess431COMMUN_FAIL97NE_NOT_LOGIN425ODU1_PM_DEG94TU_AIS_VC12423PW_APS_O

20、UTAGE90ETH_LINK_DOWN414ODU1_PM_SSF78閃報告警定義閃報告警定義：表示是上報時間很快就消失，以上饒移動U2000為例，左表給出部分告警對應的數量，并從上至下排列。 4月21和22日共存在116類閃報告警，持續時間在1mins以內的告警共計閃報64593次。閃報告警處理原則閃報告警處理原則：1：優先排查解決告警根因，解除告警；2：次選設置告警規則，使得閃報一定的時間內的告警，網管不體現該告警3：優先集中處理基數大的告警告警處理風險告警處理風險：非常規手段設置部分閃報告警不呈現后，可能導致故障時告警不上報或上報不及時；可能導致故障排除耗時較長等后果，請謹慎實施。14

21、傳輸網告警專項整治具體措施-屏蔽閃報告警方法告警持續時間小于（秒）參數含義：設置對持續時間為多長的告警進行屏蔽。參數取值：取值范圍：0到1000的整數，建議值為30設置方法：手工輸入或通過微調輸入框設置。 說明： 當告警/事件頻次分析窗口中的“處理策略”參數為“產生振蕩告警”時，建議將本參數的值設置為小于“告警/事件頻次分析”窗口中的“時間范圍”參數的值。 閃報一定的時間內的告警，網管不體現該告警； 時間建議設置成30s15傳輸網告警專項整治具體措施-屏蔽告警方法屏蔽告警屏蔽告警屏蔽告警是指網管不再接收指定對象的告警上報或不監視某些不重要的網管告警。對于某些不重要的網管告警，可以設置網管告警屏

22、蔽，使網管不監視這些告警，以便提高故障定位效率，并且這些告警不會上報給上層網管。選擇一條告警/事件進行屏蔽的方式，可以快捷地屏蔽后續上報的相同告警。操作步驟1.在主菜單中選擇“故障 瀏覽當前告警”。 2.在“過濾”對話框中設置過濾條件，單擊“確定”。 3.在瀏覽告警或事件窗口中，選擇一條告警或事件。單擊右鍵，選擇“屏蔽”。 4.在“屏蔽”對話框中，用戶可根據需求設置“屏蔽范圍”和“生效時間”。 16傳輸網告警專項整治具體措施-標準處理建議COMMUN_FAIL告警解釋：告警解釋：COMMUN_FAIL為單板間通信失效告警。當主控板和其他單板之間的通訊中斷時就會上報此告警。告警屬性：告警屬性：主

23、要/設備告警參數：無告警參數：無對系統的影響：對系統的影響：產生該告警后，主機的配置無法下發到單板或單板無法工作。可能出現無法配置業務或保護倒換功能失效等情況，新增的業務將出現異常。可能原因：可能原因：告警COMMUN_FAIL產生的可能原因如下：單塊單板上報告警原因1：單板處于硬復位或者軟復位狀態。單塊單板上報告警原因2：單板故障。多塊單板上報告警原因1：公務板EOW故障。當EOW單板與各單板的通信端口出現故障時，會出現業務單板上報COMMUN_FAIL，而備用主控單板不上報該告警的情況。多塊單板上報告警原因2：主控單板或交叉單板故障。若主用主控板故障，會出現主用主控板，備用主控板和業務單板同時上報COMMUN_FAIL告警