1、-成果上報申請書成果名稱依托客戶投訴與關鍵KPI關聯分析研究，搭建以客戶感知為主導的投訴預警體系成果申報單位成果承擔部門/分公司項目負責人姓名項目負責人聯系電話和Email成果專業類別*網管所屬專業部門*網絡線條成果研究類別*相關網絡解決方案省內評審結果*優秀關鍵詞索引（35個）投訴、kpi、關聯、數據挖潛應用投資產品版權歸屬單位對企業現有標準規范的符合度： 滿足如果該成果來源于研發項目，請填寫研發項目的年度、名稱和類型（類型包括：集團重點研發項目、集團聯合研發項目、省公司重點研發項目、其他研發項目），可填寫多個：成果簡介： 一、項目研究目的與意義：用戶投訴是當前網絡質量客戶感知最直接，也是最

2、關鍵的表現。在基礎通信類投訴管理的環節中，面臨最大的挑戰在于現網的網絡質量KPI不斷提升，而同期用戶投訴卻沒有得到相應的改善，甚至是出現逐年攀升的趨勢。用戶投訴所呈現出日趨復雜化的嚴峻形勢，正是由于在預防投訴和解決投訴方面還缺乏高效的方法和機制來關聯網絡質量與用戶投訴（感知）。所以，在當前注重客戶感知為導向的網絡質量管理的轉變工作中，研究用戶投訴與網絡關鍵指標的關聯性是非常具有創新和現實意義的。本項目的研究有著以下兩個顯著特點：方法創新推動成果創新：用戶投訴的管理和監控是眾多網絡業務質量監控項目中唯一取決于終端客戶反饋的，而且用戶投訴工單與其他的測量項目在測量原理上缺乏直接的相關性。因此，在這

3、一類具有概率意義的網絡質量問題分析上，本項目將數據挖掘建模技術創新性地引入了本課題的研究，來分析深層次用戶投訴與網絡質量之間的關聯規則。該方法論在現網的實際應用是集團內的首次應用；研究輸出成果是基礎通信類用戶投訴與網絡質量KPI及其他因素之間的量化關聯規則模型曁投訴預警體系，在集團內也是首次呈現。 理論研究與網絡實際相承接：用戶投訴與網絡質量的分析，除了選取科學的挖掘分析算法之外，依托了普遍的現網歷史數據（100,000條以上的投訴工單量），結合豐富的網絡優化經驗，得到了符合我省用戶投訴與網絡質量關聯規則模型。同時，在現網中開展了嚴謹的驗證，模型推廣有效指導了與投訴相關的網絡日常工作。二、項目

4、解決的問題：1、引入和實踐的反復論證，找出了適合本課題中各階段、各類型類研究的不同方法論，填補用戶投訴與網絡質量KPI研究的技術空白。2、本項目還開創性的利用非網絡質量因素的方法來量化地域，經濟，文化，認可等對用戶投訴的影響，提出了按照我省各地市用戶主觀特性開展分級用戶投訴管理的建議與實施方案。3、輸出的關鍵成果：在區別認識地市投訴水平的基礎上，本課題對三類地市分別開展了用戶投訴與網絡質量KPI管理關聯分析的工作。之前，用戶投訴與網絡質量KPI存在著模糊的關聯關系，集團內部只有個別各省公司涉及過該類課題的探討，但是僅限于理論層面的關聯研究，至今無基于現網海量數據得出的量化關系結論。我省為此創新

5、性的采用了數據挖掘的方法來發現不同地市、不同投訴類型所對應的敏感性KPI（統計相關性算法），并建立引發不同地市、不同投訴類型的KPI觸發門限規則模型（數據挖掘決策樹算法）。這一成果完全依托現網普遍的投訴數據與網絡質量KPI，首次建立起用戶投訴與網絡質量KPI進行了量化的關聯的橋梁這將在本質上破解用戶感知與網絡質量相對孤立的網絡質量管理局限。同時我們對本課題的模型結果進行了二次驗證，模型的數學統計精度普遍達到約80%，并在投訴的預測實踐中，準確性達到50%-70%。三、項目的社會與經濟效益：本課題的研究成果可以被廣泛深入的應用到日常網絡工作中。1. 網絡質量管理工作：從根本上建立起客戶感知與網絡

6、質量的關聯，真正從用戶角度觸發來管理網絡質量水平，加速網絡質量從網絡KPI到客戶感知的轉變步伐。2. 客戶服務工作：由于發現了誘發用戶投訴的網絡質量KPI及其門限，可以提高用戶投訴的處理效率，并提前預警用戶投訴的發生（局部現網驗證投訴預測準確性50%-70%），將網絡工作預防提前，有助于降低用戶投訴的發生，提高用戶服務水平，減少客戶流失率。3. 網絡發展規劃工作：規劃是網絡質量的基礎。以往的網絡規劃主要從宏觀角度出發，以滿足網絡級的容量需求為目標。根據用戶投訴對網絡質量的需求，可以結合用戶類型，小區價值，業務分布來精細的分場景的提出資源規劃方案，提高經濟投資產出比。4. 網管支撐系統融合：正是

7、由于本課題所建立的用戶投訴與網絡質量KPI關聯規則，在投訴錄入，全量分析以及投訴處理優化等環節上得到了統一。本方案的成果可以指導各相關網管支撐系統的融合，來提高工作效率。 省內試運行效果： 正是基于用戶投訴這一綜合課題的研究基礎，需要逐步梳理和完善現有的用戶投訴管理體系進行。本課題的成果可以應用于數據流管理標準化、投訴分析條理化、優化與預防精確化，資源投放合理化，用戶分級管理等多個應用領域。a) 數據流管理稽核質檢：這是用戶投訴管理體系的基礎，是我們獲取客戶投訴數據和網絡質量數據的數據庫，為了后面的分析和研究，基礎數據的準確性和標準化是非常重要的，只有高質量的數據才可能輸出具有參考意義的結果，

8、才能引導我們做出正確的決策。所以，要想建立好的用戶投訴管理體系，前提是建立完整、科學、規范的數據流管理系統。本課題提出了投訴工單記錄稽核質檢方案，修正各地市話音基本業務網絡覆蓋中錯誤分類32%的投訴項，進一步證實了業務分類方面需要進一步完善，見下圖。該方案可以大大的糾正用戶投訴對網絡工作重點的判斷與后續關聯分析的準確性。 b) 投訴分析條理化：有了良好的數據基礎，這些數據怎么用呢？到底哪些KPI與投訴相關？這就需要關聯分析，利用統計學的關聯分析原理，我們在大量的KPI中尋找與每類投訴相關的KPI，這些KPI有可能包括我們從業務上就認為是與投訴相關的KPI，也可能包括我們不重視的一些信息。通過交

9、叉的分析可以發現很多深入的用戶投訴工作建議。c) 優化與預防精確化：基于投訴與網絡指標的關聯關系，從客戶感知的角度出發，把投訴問題轉換為特定指標優化，同時依據KPI及其他指標的綜合現狀，預估未來的投訴情況，這樣可以在投訴處理與預防方面做到有的放矢，實現高效精確地網絡優化。在現網中，利用觸發用戶投訴的網絡質量KPI及其門限，可以提高用戶投訴的處理效率，并提前預警用戶投訴的發生（局部現網驗證投訴預測準確性50%-70%），將網絡工作預防提前，有助于降低用戶投訴的發生，提高用戶服務水平，減少客戶流失率。d) 資源投放合理化：投訴的預防是投訴管理的理想目標，而資源投放的前瞻性、合理性對用戶投訴至關重要

10、，基于性能分析指導資源投放，并預防投訴是實現這一目標可能的途徑。e) 用戶投訴的分級管理：對我省各地市用戶投訴統計分析，萬人投訴比的日常波動形成了統計上的差異，可以考慮分類分級差異化管理。地域區塊差異建議：各地市統一投訴錄入與受理信息。在此前提下，確認地市的萬人投訴比差異，為不同的管理行政區劃分投訴管理等級與考核要求。以此來科學的對待投訴問題主觀因素的影響。文章主體（3000字以上，可附在表格后）：根據成果研究類別，主體內容的要求有差異，具體要求見表格后的“填寫說明6”。附：文章主體（3000字以上） 客戶投訴與關鍵KPI關聯分析研究搭建以客戶感知為主導的投訴預警體系 一、 背景情況根據西方營

11、銷專家的研究和企業運營的經驗，吸引一個新用戶所耗費的成本遠遠超過保留現有用戶的成本。同時，一個公司如果將其顧客流失率降低5%，利潤就能增加25%至85%。在競爭激烈的電信市場的環境下，如何爭取新增用戶，保留現有用戶成為市場競爭焦點。其中一個重要的舉措就是提高顧客滿意程度，這是保持顧客的根本辦法。客戶滿意度通常通過主動的客戶感知調查與客服部門受理的用戶投訴兩個方面體現。其中，用戶投訴是對影響客戶感知的具體網絡及服務問題的反饋，直接影響了用戶滿意度和忠誠度，需要更為高效和針對性的應對和加以解決。因此，我們啟動了此次用戶投訴專題分析創新研究課題，服務的目標旨在：基于大量的歷史基礎通信類用戶投訴和網絡

12、性能的統計數據，利用數據挖掘分析方法，量化分析影響用戶投訴的網絡質量及非網絡質量因素，建立用戶投訴與網絡性能指標之間的關聯模型，指導針對用戶投訴的網絡日常工作。二、 項目研究思路與框架什么情況下用戶會因網絡KPI問題發生投訴？如何從網絡質量著手管理用戶投訴？首先將用戶投訴行為以及與之相關的網絡質量進行了象限歸類：投訴兼具主觀性和客觀性，需區別對待；網絡質量問題類投訴是研究重點，通過現網投訴用戶與正常用戶的挖掘，發現KPI誘發投訴的規則，并推廣發現沉默用戶。 基于用戶投訴管理的實際流程，本次研究主要分為兩個部分。第一部分是投訴概況分析，包括從各個維度分析投訴現狀、對投訴進行重新分類和梳理、利用數

13、據挖掘的聚類算法對全省地市進行分類，從而為投訴分級標準、差異化管理提供重要依據。第二個部分，也是項目的核心，即投訴與網絡質量常用KPI的關聯分析，我們將基于歷史用戶投訴和網絡性能的統計數據，利用數據挖掘的決策樹方法，分析和建立用戶投訴與網絡性能指標之間的關聯模型，指導針對用戶投訴的投訴管理與優化工作。三、 項目研究的主要成果3.1全網用戶投訴綜合分析全網用戶投訴數據是本課題研究的重要信息源，通過從宏觀與微觀，靜態與動態的全息分析，可以對網絡的投訴問題進行全方位的分析與透視，并為后續的投訴與網絡質量關聯研究奠定基礎。本課題分析的內容包括以下內容：研究發現一：為了后續的用戶投訴與網絡質量關聯對應，

14、以“獨立性與完備性”為梳理的原則，將現在的投訴分類進行重新梳理，同時兼容了客戶感知的維度也可匹配到基礎的網絡指標項目。具體如下圖所示。該建議方案可以推廣到全網來標準化投訴信息。研究發現二：用戶投訴是通過終端用戶的直接表述與客服人員的記錄來得到的。在內容表述記錄的準確度上都存在著不確定性。例如，在現網原始投訴記錄的統計中，網絡覆蓋投訴占比約96%，主要為室內外網絡覆蓋，通話質量占比約3%，主要集中在串線。這在網絡優化和客戶感知層面的先驗信息角度來看，是有些出入的。例如，網絡中覆蓋與干擾并存，某些區域實際上是干擾型的網絡，但在投訴中無法體現。另外，在用戶投訴過程中，往往最直接的觸發投訴的是撥打失敗

15、，話音質量差，非常長掉話等現象，而這些問題在投訴記錄中比例反而是微乎其微。因此，本課題提出了投訴工單記錄稽核質檢方案建議。各地市話音基本業務網絡覆蓋中，最低的錯誤分類也有32%，進一步證實了業務分類方面需要進一步完善，見下圖。該方案可以大大的糾正用戶投訴對網絡工作重點的判斷與后續關聯分析的準確性。 研究發現三：對我省各地市用戶投訴統計分析，萬人投訴比的日常波動形成了統計上的差異，可以考慮分類分級差異化管理。地域區塊差異建議：各地市統一投訴錄入與受理信息。在此前提下，確認地市的萬人投訴比差異，為不同的管理行政區劃分投訴管理等級與考核要求。以此來科學的對待投訴問題主觀因素的影響。關鍵點，即投訴錄入

16、要嚴格統一規范；管理分級規則建議每年進行核準與調整。這以方案可以量化的衡量投訴的非網絡質量因素影響，為科學合理的開創差異化用戶投訴管理提供了實踐依據，并可以開展試點與推廣。以下是差異化管理分析建議方案：l 對比參與聚類的靜態屬性因素，分類1是典型省會城市，投訴顯著區分于其他地市；分類2是以山區丘陵為主的地市，人口密度小，投訴比例最低；分類3是以平原為主的地市，人口密度較高，投訴比例也處于中等水平； l 分類2由于人口密度小，整網的話務密度，小區密度和載頻密度都較小，因此從頻率復用，系統內干擾等因素來考慮，分類2相對來說2G的網絡的部署是比較有彈性的，這也在客觀上提供了良好質量的基礎。從基礎通信

17、的占比看，分類2與3基本相當，表明總體而言，分類2的投訴習慣相對較低。 l 影響投訴差異的靜態數據最關鍵因素：地方的經濟發展水平；人口密度；地形地貌；用戶群品牌分布等 河南地市萬人投訴比統計分布說明：上圖為箱線圖，是一種用來描述數據分布的統計圖形，利用箱圖可以直觀地反映觀測數據的中位數、4分位數和極值等描述性統計量，從視覺的角度觀測變量值的分布情況。依據單個變量，即萬人投訴比的統計均值，我們可將河南全省各地市分為四個類別，那么從數據挖掘的角度進行分類，是否能進一步證明我們這樣的分類是有意義的呢？本文采用數據挖掘里常用的聚類方法進行研究，得到了明確的結論。以下是對聚類算法的介紹說明。聚類分析又稱

18、群分析，是依據研究對象的個體特征，對其進行分類的方法。聚類分析是一種建立分類的多元統計分析方法，它能夠將一批樣本（或變量）數據根據其諸多特征，按照在性質上的親疏程度在沒有先驗知識的情況下進行自動分類，產生多個分類結果。類內部個體特征之間具有相似性，不同類間個體特征的差異性較大。 本次聚類分析的數據都為連續的數值型，所以選擇的K均值聚類方法建立模型。K均值算法：給定n個對象或數據元組的數據庫，劃分方法構建數據的k個劃分，分個劃分表示一簇。K均值算法是比較常用的劃分方法，而K眾數算法和K中心點算法是K均值算法的擴展。k均值算法以k為輸入參數，把n個對象的集合分為k個簇，使得結果簇內的相似度高，而簇

19、之間的相似度低，如下圖所示： 3.2分地域用戶投訴與網絡質量關聯研究 本課題研究的重要目的之一就是發現影響用戶投訴的敏感性指標以及觸發門限，并以之為基礎指導優化與投訴預防。因此關聯性規則建模可以分為兩部分，一是客戶發生投訴時，如何從客戶感知的角度給出需要優化的KPI及門限值，二是如何根據KPI情況來預測小區未來投訴發生的情況。本課題以現網的投訴與網絡質量為基礎，通過完整的數據挖掘過程，發現符合現網的用戶投訴與網絡質量KPI關聯規則模型。建模流程如下所示：v 第一步：數據采集，依據研究目的確定數據源；1、網絡：開封、鄭州、駐馬店2、內容：投訴數據、網絡KPI數據；v 第二步：數據梳理，保證基礎數

20、據的質量，包括投訴類型重新分類、投訴類型重新梳理、投訴類型的初步及逐條糾正；v 第二步：數據準備，包括投訴與KPI的映射關系、不同系統數據間的關聯、模型的樣本數據選取；v 第三步：統計分析，從相關性等統計角度分析投訴與KPI的關系；v 第四步：模型選取，依據研究目的、數據特點、模型精度等方面選取模型；v 第五步：模型建立，確定進入模型的變量，進行建模；v 第六步：結果評估，驗證模型結果；v 第七步：優化建議，依據模型結果提出優化建議；關鍵成果之投訴敏感性指標的發現：下表為用戶投訴與網絡質量相關性指標的設計，它主要源于日常豐富的網絡優化與投訴受理經驗。本課題在這一基礎上，通過現網數據樣本的相關性

21、分析來發現和過濾其中敏感性關鍵指標。投訴分類劃分主要KPI輔助KPI投訴分類劃分主要KPI輔助KPI通信質量半速率比例全速率ERL網絡覆蓋AVE_DL_LEVMSPOWEROUT_BAND1切換失敗率AVE_UL_LEVBSPOWERUQ05RUQ0RAVG_TAPK_TADQ05RDQ0R切換次數每呼叫半速率ERL數據業務（EGPRS）trf236切換次數每呼叫tbf38c掉話掉話率dcr_3j切換失敗率TBF_34OUT_BAND1AVG_TABLCK_33AVE_DL_LEVULQ0_5TBF_15AVE_UL_LEVDLQ0_5TBF_16TCH掉話數DAP_13A切換次數每呼叫TBF

22、_FALL_DLsdcch可用率BLER接通TCH擁塞率TCH擁塞次數RTO_DL_MCS69SD擁塞率TCH ERLgsm網接通率OUT_BAND1sdcch可用率AVE_DL_LEVAVE_UL_LEVAVG_TASD擁塞次數變量間的關系分為確定性和非確定性關系兩類：確定性關系即通常所說的函數關系，非確定性關系即相關關系。相關分析用于描述兩個變量之間關系的密切程度，它反映的是當控制了其中一個變量的取值后，另一個變量的變異程度。其顯著特點是變量不分主次，被置于同等地位。數據度量不同，相關分析的方法也不同，需要根據數據的特點選擇不同的相關系數。若兩個變量都是數值型變量，我們常用Pearson簡

23、單相關系數，若兩個都是分類變量，我們常用Spearman等級相關系數和Kendall相關系數或通過列聯表進行獨立性檢驗，當一個是數值連續變量，另一個是分類變量時，常用Eta統計量。Eta 統計量表明等間隔測度的因變量和具有一定數量分類值的自變量關聯性，0 表示行列變量之間沒有關聯性，1 表示行列變量之間存在很高的關聯性。，即相關比率，還可用于分析兩個定比變量之間的非線性關系，但需要將其中一個（視為自變量）降低為定類層次，然后，計算其相關比率。比較的值與r的值，兩值相差越大，表明兩變量之間的關系越是非線性關系。Eta 統計量的具體公式如下：其中，m為分類變量值個數，ni為分類變量取某值的情況下的

24、連續變量個數。此次研究中，各KPI及告警數據均為連續的數值變量，而投訴變量為二值分類變量（即要么發生此類型投訴，要么不發生），所以我們用ETA統計量計算相關性。通過相關性的統計分析，結合相關性和業務理解，將相關性排在前列、業務上認為重要的KPI作為關鍵的敏感指標。模型會將所有輸入變量按重要性排序，然后再依據重要性不斷調試輸入變量，這樣循序漸進，并結合業務理解，選取最合理的結果，同時確定最終輸入模型的變量，如下圖所示：關鍵成果之觸發投訴的指標門限規則：完成各地域不同類型投訴關鍵指標的發現之后，接下來就是需要通過數據挖掘算法了得到觸發用戶投訴的目標門限。數據挖掘有很多類別，如回歸、分類、聚類、神經

25、網絡等，我們此次研究屬于二元分類問題，能夠解決此類問題的算法較多，可用的算法有CART、QUEST、C5.0、神經網絡、邏輯回歸、貝葉斯、決策列表、GRI、APRI、CARMA等 ，以開封數據第一階段數據為例（此數據為階段性研究里最先得到的數據），將各模型參數設為常用值即默認值，初步分析后，發現決策樹尤其是C5.0和CR算法的總體精度最高，所以選擇決策樹算法做為我們的研究模型，如下圖：各投訴類別適用模型的精度排名（前七名）決策樹(Decision Tree)是一種基于貪心算法的分類方法，采用自頂向下遞歸的思想進行構造。其中每個內部結點代表一個屬性上的測試，每個分支代表一個測試輸出，而每個樹葉結

26、點代表一個類或類分布。以使用條件屬性i和條件屬性j來預測決策屬性的取值是否為真為例，其簡單的決策樹模型如下圖：簡單的決策樹模型對訓練集數據進行學習后構造判定樹，并使用判定樹對類別未知的數據樣本進行分類，因此分類的過程就是樣本屬性在判定樹上進行測試的過程。當某個類別未知的樣本的測試路徑滿足判定樹中從根結點到某個葉結點的路徑時，此樣本被劃入該葉結點所表征的類中，從而實現類別未知的樣本從條件屬性到決策屬性的映射。因此判定樹的路徑實際就是分類規則，可以用IFTHEN的形式表示，故具有較好的可解釋性。在決策樹算法中，對數據進行分類最常用的方法是信息增益法，它通過選擇能夠導致熵函數下降最大的屬性，對節點進

27、行分支。所謂熵函數就是假定節點 中有 個對象，對象中有 個不同類 中的樣本數，則對于給定節點 的熵函數是：由信息增益生成的基于屬性 的分支公式可以表示如下：其中是信息增益值，是父節點中類的對象數，是父節點中的對象數，是子節點中的對象數，是子節點中類的對象數，表示父節點的熵，表示的是子節點的加權熵函數，父節點的熵函數值與子節點的加權熵函數值之間的差值，反映的是屬性的信息增益。在分支中選擇的最終屬性是信息增益最大的悟性。此外，GINI系數法也是常用的一種，其公式表示如下： 使用GINI系數法的是為了增加子節點中的純度，理想狀態是：當節點中只包含一個對象的時候，那么，此時節點的純度就最高。 GINI

28、系數法中使用雜質的減少量來確定分支屬性，最優分支屬性在這里選擇的是雜質減少量最大的那一個。關鍵成果之模型的結果：模型結果將給出每類投訴發生時，大多投訴記錄符合的KPI規則。此外，還將給出每個規則的精度及概率，其中精度即投訴數據中，某規則下，預測的投訴數量與實際投訴數量的比值；概率，即某規則下，可能發生投訴的概率。以鄭州為例，詳細結果如下：鄭州1、數據業務規則：tbf38c2.5或 tbf38c=2.5&TBF_34=99.878%精度及概率：(510+511)/1026=99.5%，90%2、網絡覆蓋規則：AVE_UL_LEV-87db&PK_TA4400m精度及概率：(279+75)/405

29、=87%，86%3、通信質量規則：DLQ0_5=98.8%&ULQ0_50.795%精度及概率：42/49=86%，45%5、接通規則：gsm接通率2.5或 tbf38c=2.5&TBF_34=99.878%精度（第一階段數據、第二階段數據）： 99.5%，99.7%2、網絡覆蓋規則：AVE_UL_LEV-87db&PK_TA4400m精度（第一階段數據、第二階段數據）：87%，90%3、通信質量規則：DLQ0_5=98.8%&ULQ0_50.795%精度（第一階段數據、第二階段數據）：86%，83%5、接通規則：gsm接通率=99.8% 精度（第一階段數據、第二階段數據）：78%，92%對比

30、第一階段數據與第二階段數據的模型精度，差別不大。說明本課題依據第一階段數據建立的模型是比較穩定的，結果是可以應用的，即當客戶發生投訴時，規則給出的指標以及門限值是值得信賴的。關鍵成果之模型的應用實踐：利用觸發投訴的規則模型，基于敏感性網絡質量KPI與歷史投訴記錄開展投訴的預測。根據排名先后，靠前的小區就是最有可能發生投訴且KPI指標較差的小區，需要重點監控。由于每個月的輸入都是持續的，所以整個邏輯圖是動態運轉。本項目在實踐中提取了鄭州2010.11.24-2010.12.8的KPI及投訴數據為輸入，預測2010.12.9-2010.12.23的投訴，并依據2010.12.9-2010.12.2

31、3實際發生的投訴檢驗預測的效果。這里以鄭州數據業務投訴為例。通過對上半個月數據業務投訴的綜合排名，可以看到TOP10小區里有7個小區在下半個月再次發生投訴，占比70%，而且部分小區依然是投訴的熱點。TOP100小區里下半月投訴50，占比50%。四、 項目效果總結投訴是反映客戶感知的重要途徑，也是我們去了解用戶對我們所提供的網絡業務質量的重要評價。作為網絡運營服務企業，要建立暢通的渠道準確的傾聽用戶的所反應的問題，及時準確的加以解決和回復。所以對于投訴問題，可以分為三個階段。第一階段：建設和維護好優質的通信業務服務網絡，從基礎上服務好終端用戶，減少用戶投訴；第二階段：對于用戶投訴，做好投訴的投訴受理和標準化管理，正確的將投訴