1、、用戶體驗系統網絡質量監測概要用戶體驗系統網絡質量測試包括三部 分，一是互聯骨干路由設備間測試（點到 點的網絡層測試，也就是近出口質量測 試），二是仿真用戶的測試點到測試目標 站點的測試（端到端的網絡層和應用層測 試，也就是運營商質量測試），三是從寬 帶用戶端到目標測試站點的網絡質量隨機 測試。測試客戶端從測試服務器端獲取測 試指令，針對參考站點（例如鐵通用戶訪問 量排名前十的網站或中國網通、中國電信 的30個省公司網站）執行各種測試，并向 測試服務器發回測試結果數據，測試服務器 收集測試數據。用戶通過系統Web應用服 務來對測試數據進行分析統計，從而得到有 關網絡通信質量的對比結果，以用于輔

2、助中 國鐵通分析和定位網間互聯以及鐵通網絡 服務中存在的問題，進而提升鐵通網絡服務 質量。二、用戶體驗系統測試方法說明近出口質量測試系統采用“模擬對端測 試機”的方法進行測試。也就是在鐵通網本 端靠近骨干互聯出口處部署發起測試的固 定測試機，向對端（接駁）運營商骨干網中 的站點發起測試（第三方運營商骨干網中的 站點就相當于對端測試機）。這種“模擬對 端測試機”的方法基本能夠測試得到“鐵通 網骨干核心（互聯口）” “第三方運營商 骨干核心（互聯口）”之間的網絡質量，從 而達到工信部互聯網骨干網網間通信質量 監督管理暫行辦法中規定的單向測試網 間通信質量的目的。運營商網絡質量對比測試是采用仿真 技

3、術進行測試分析。通過部署在全國31個 省分公司下屬地市的固定測試機仿真模擬 寬帶用戶上網的客戶機，對指定目標網站進 行七項基礎網絡指標進行測試，得到相應的 測試結果。并通過對每一次測試產生的測試 結果的分析，可以分析出運營商在用戶上網 時提供的真實網絡服務情況，測試通常需要 進行從“測試客戶端“目標測試站點” 的端到端仿真測試，才能夠更全面的監測和 掌握通信質量，能夠獲得用戶真實的上網速 度體驗。網絡質量隨機測試是采用通過ADSL 寬帶用戶使用WEB網頁運行隨機測試程 序，實現從“寬帶用戶機”9“目標測試站 點”的端到端真實測試，監測當前所使用寬 帶的通信服務質量，以方便運維人員進行問 題分析

4、和排障，從而提升中國鐵通寬帶互聯 網的服務質量。1、測試平臺組成這三種網絡質量測試的平臺分為測試 客戶端、測試服務端、和測試參考站點三部 分：1）測試客戶端近出口質量測試客戶端軟件部署 在省分公司、靠近鐵通網互聯出口 （鐵通骨干網上）處的測試機上， 運營商網絡質量對比測試客戶端 軟件部署在各地市公司的測試機 上，隨機測試客戶端為IE控件， 可在任何寬帶用戶機上進行測試。2）測試服務端包括前端的測試服務器（負責測試 指令分發和數據采集、提供測試管 理和數據分析Web接口）和后端 的數據庫服務器（數據存儲）。3） 測試參考站點主要選取為鐵通用戶訪問量排名 前十、前五的網站，或網通、電信 的30個省

5、公司網站（這些30個 省分公司網站基本都是部署在對 端運營商的骨干網中，可以用于模 擬對端測試機）2、測試過程如上圖所示，整個測試過程為：1）固定測試點（近出口、運營商） 或隨機測試點（主要為寬帶用戶 機）從測試服務器上獲得測試指令（包括測試目標站點以及測試參 數）。2）測試點依據獲得的測試參數向所 有測試目標站點發起“網絡時延”、“網絡丟包測試”、“DNS解析 時延”、“網站響應時延”等指標 的測試（所有指標及說明請見后 文），得到每個測試目標站點的測 試結果，并形成測試結果集合。3）測試點將測試結果集合上傳給測 試服務器。4）一次網絡質量測試結束。3、測試客戶端說明1）近出口和運營商質量測

6、試客戶端 軟件可登陸用戶體驗系統Web界 面進行下載然后安裝。隨機測試可 直接登陸隨機測試系統用網頁進 行測試。2）固定測試客戶端軟件7*24小時 運行，每兩點或每一點（每兩小時 或一小時）自動進行測試。所有測 試結果數據自動上報。3）固定測試客戶端每次啟動測試， 會向每個測試目標站點連續發起 測試，測試相關配置參數如下表所 示（可通過Web動態設置）近出口質量測試的參數設置:測試參數名稱測試參數含義測試參數取值PacketSize包轉發測試包大小128字節PacketNumber包轉發測試重復次數20次TTL包轉發測試TTL值30跳TimeOut包轉發測試超時時間2秒Interval定時測試

7、間隔60分鐘運營商網絡質量對比測試的參數設置：測試參數名稱測試參數含義測試參數取值PacketSize包轉發測試包大小128字節PacketNumber包轉發測試重復次數10次TTL包轉發測試TTL值30跳TimeOut包轉發測試超時時間2秒Interval定時測試間隔120分鐘網絡質量隨機測試的參數設置:測試參數名稱測試參數含義測試參數取值PacketSize包轉發測試包大小128字節PacketNumber包轉發測試重復次數20次TTL包轉發測試TTL值30跳TimeOut包轉發測試超時時間2秒4）測試客戶端軟件在升級調整后只 需部署在服務器端，測試客戶端會 根據版本自動升級更新，無需人工

8、 升級。三、測試原理和指標定義1.用戶體驗系統測試原理系統每次測試包含“網絡質量測試”、 “DNS服務性能測試”、“信息提供商性能 測試”三個測試項目，使用“網絡時延”、 “網絡丟包”、“DNS解析成功率”、“DNS 物理響應時延”、“網站響應時延”、“網 頁展現時延”和“網頁平均下載速度”七項 數據來對用戶上網感受進行評判。現對系統 涉及的三個測試項目進行解釋：1）網絡質量測試，主要是測試客戶端與目標網站之間的網絡性能，包括網絡時延、網絡丟包兩項指標。網絡質量測試示意圖如下:網涪戚檢測試2）公用DNS服務器性能測試，主要測試 公用DNS對用戶解析請求的響應情況，主 要包括DNS物理解析時延一

9、項指標。此 外，一定統計周期內，可通過DNS解析成 功次數，與總的解析次數的比值計算出 DNS的解析成功率指標。DNS服務器質量測試示意圖如 下:測H客戶端3）信息提供商性能測試，主要對信息提供商的網站運行穩定程度以及網站服務器性能進行測試，主要包括網站響應時延、網頁展現時延兩項指標。此外，每次測試過程中，可通過計算下載網頁大小與所需時間的比值，評判信息提供商的網頁下載速率。針對信息服務提供商質量測試示意圖如下:其中該測試包含了 DNS響應過程（即 DNS物理響應或用戶本機緩存解析響應 的隨機過程）、網站服務器響應過程以及 從網站服務器下載數據的過程。網頁展現 時延包括了 DNS響應、網站響應

10、以及最終 數據下載完畢（不包括IE展示）的整個 測試過程。2.七項測試指標定義1）網絡時延（ping時延）：應用ICMP協 議從測試客戶端發起ping的操作， 從測試客戶端發起ping操作開始到 該客戶端收到服務器響應所使用的 時間（由ICMP協議內部實現計算） 的平均值。每次操作共發出 PacketNumber 個 ICMP 包，每個 ICMP 包大小為PacketSize。（通過“測試 參數”配置）。2）網絡丟包率：應用ICMP協議從測試 客戶端發起ping的操作，從測試發 起ping操作開始到該客戶端收到服 務器響應，該數據為收到響應包的個 數與客戶端發出請求包的個數的比 值。例如，運營

11、商測試當前設置的請 求包個數為10個，如果有1個請求 包沒收到，那么丟包率為10%。3）DNS解析成功率：由測試客戶端發 起，針對DNS服務器響應情況做出的 測試。DNS解析成功率指DNS解析成 功的次數與有效解析總次數之比。總 有效解析次數排除用戶輸入域名不 全、用戶輸入無效域名、用戶輸入錯 誤域名等錯誤次數。4）DNS物理響應（解析）時延（無緩存）: 由測試客戶端發起，針對DNS服務器 響應情況做出的測試。該測試從測試 客戶端發起http響應請求開始到遠 端DNS服務器響應該請求，返回正確 的IP所用的時延。（測試終端自帶 的DNS解析緩存做出的解析所用時 延不是本項測試內容）5） 網站響

12、應時延：由測試客戶端發起，針對網站服務質量的測試。網站響應 時延指從測試客戶端發起http響應 請求開始到網站對其請求的響應，并 下載網站首頁基本信息結束（不包括 JS、CSS、圖片等文件），所需要的 時延的平均值，包括了 DNS響應時延（即DNS物理響應或用戶本機緩存 解析響應這個隨機過程所需要的時 延）。默認情況進行四次測試后進行 平均。6）網頁展現時延：由測試客戶端發起， 針對網站服務質量的測試。網頁展現 時延指從測試客戶端發起http響應 請求開始到網站對其請求的響應，直 到網站網頁圖像、鏈接等所有元素下 載到本機緩存結束所需要的時延的 平均值。默認情況進行四次測試后進 行平均。7）網

13、頁平均下載速度：由測試客戶端 發起，針對網站服務質量的測試，下 載網站所有字節數與網頁展現時延 的比值。默認情況進行四次測試后進 平均。2.其它測試指標定義（不參與統計分析）1） DNS響應（解析）時延（有緩存）:由測試 客戶端發起，針對本機DNS緩存和DNS 服務器響應情況做出的測試。測試客戶 端發起http響應請求會從本機DNS緩 存中查詢，如果有相應緩存信息則返回 響應，如果沒有相應緩存信息或者您的 DNS Client服務處于關閉狀態，那么該 HTTP請求會通過遠端DNS服務器解析 并返回正確的IP，所用時間便是DNS 響應時延。（在命令行下用“ ipconfig /displaydn

14、s”可查看系統DNS緩存列表，用 ipconfig /flushdns 清空 DNS 緩存列表)2) IE頁面展現時延：是指從測試客戶端 發起http響應請求開始到網頁在本地 IE上完全展示結束所用的時間。因為這兩項指標值主要是由測試機具 體環境決定的，DNS響應時延與本機DNS緩 存有關，IE頁面展現時延是瀏覽器展示的 時間值，都與客戶端具體環境有關而與網絡 質量并無太大關系，所以這兩項指標不參與 網絡質量的統計分析。注意：指標值若為-1則表示測試超時。統計分析中指標值的計算方式：以上指標值結果由ping、trace 測試直接得出，這是針對一個目標 網站的一次測試來說的。而在對省 分、地市的

15、統計中，這些指標的結 果分別取自所有統計在內的所有 客戶端測試記錄總和的平均 值，注意整個省分的指標值不等 于地市指標值總和的平均值。Q 1,Q2,Q3值的計算請見下文。四、系統質量指標評判結果用戶體驗系統網絡質量測試依據七個 基礎網絡質量測試數據，采用“用戶體驗 網絡質量評判模型”對用戶上網感受進行 評判。通過模型計算出的“網絡質量情況”、 “信息服務質量情況”和“用戶綜合質量 感受三項評判指標值分別評判用戶在上 網期間“運營商提供的網絡服務質量”、“信息服務商提供的網站服務質量”以及“用戶 上網感受”。用戶體驗網絡質量評判模型主 要采用了 “等權分布質量區間劃分方法” 和“權重計算方法”計

16、算得到三項評判指 標值。首先，評判模型采用概率統計中的“等 權分布”劃分方法，將七項網絡基礎測試 結果數據進行五個質量區間劃分，確保每個 劃分區間中測試結果所占的比例都是等值 比例（20%）。通過七項指標得到的測試數 據結果數據，在七項網絡指標中“符合”的 質量區間可以得到每項指標相應的評判數 值。評判數值滿分為5分，按區間遞減。符 合“質量區間一”的測試值的評判值為5 分，符合“質量區間二”的測試值的評判值 為4分，符合“質量區間三”的測試值的評 判值為3分，符合“質量區間四”的測試值 的評判值為2分，符合“質量區間五”的測 試值的評判值為1分。按照當前七項數據參 數定義，綜合得分滿分為5分

17、，綜合評定分 值越高，質量越好。當前系統對七項項指標 的各自五個質量區間邊界值的確定，是用 1000萬條左右的測試結果進行取樣劃分， 基本確保七項指標測試數據在五個劃分區 間中所占比例相同（20%）。按照當前七項數據參數定義，各省綜 合得分滿分為5分，各省綜合評定分值越 高，質量越好。系統各項數據根據以下參數進行分值設 置并進行權重劃分，根據綜合評定公式進行 計算。其中 A、B、C、D、E、F、G、P 均 為可變參數設計，便于今后靈活運用策略。指標名稱質量區間一質量區間二質量區間二質量區間四質量區間五指標得分網站響應速度0VX1WA1A1VX1WA2A2VX1WA3A3VX1WA4X1NA4P

18、1網頁展現時延0VX2WB1B1VX2WB2B2VX2WB3B3VX2WB4X2NB4P2網頁下載速度X3NC1C1X3NC2C2X3NC3C3X3NC4C4VX3P3DNS 解析成功率0VX4WD1D1VX4WD2DNS物理響應時延0VX5WE1E1VX5WE2D2VX4WD3D3VX4WD4E2VX5WE3E3VX5WE4X4ND4X5NE4P4P5網絡時延0VX6WF1F1VX6WF2網絡丟包0VX7WG1G1VX7WG2F2VX6WF3F3VX6WF4G2VX7WG3G3VX7WG4X6NF4X7NG4P6P7通過參考部分行業標準文件、同行業的相關 經驗以及前期測試數據的分析結果，當前

19、系統 各數據指標的區間劃分設置如下：指標名稱質量區間一(5分)質量區間二(4分)質量區間三(3分)質量區間四(2分)質網站響應速度(ms)0VX1W200200VX1W300300VX1W400400VX1W500X13網頁展現時延(ms)0VX2W1500015000VX2W2000020000VX2W2500025000VX2W30000X23網頁下載速度(KB/s)X3N600600X3N450450X3N300300X3N150X3VDNS解析成功率(%)0VX4W99.9999.99VX4W9999VX4W9898VX4W97X43DNS物理響應時延(ms)0VX5W300300VX

20、5W500500VX5W800800VX5W1100X53網絡時延(ms)0VX6W5050VX6W100100VX6W150150VX6W200X63網絡丟包(%)0VX7W0.10VX7W0.750VX7W1.30VX7W2X73評判模型采用“權重計算方法”將七項 指標在質量區間中的分數乘以各項指標在“網絡質量情況”、“信息服務質量情況” 和“用戶綜合質量感受”中所具有的權重值， 綜合得到兩個評判指標的值。七項基礎網絡 質量指標在兩項評判指標中所占有的比重， 是通過參考部分行業標準文件、結合同行業 的相關經驗以及結合前期測試數據的分析結 果確定。各指標的權重值的設置如下：指標名稱用戶綜合感

21、受權重值網絡質量權重值信息服務質量權重值網站響應時延(ms) P10.200.3網頁展現時延(ms) P20.200.4網頁下載速度(KB/s) P30.200.3DNS解析成功率() P40.10.20DNS物理響應時延(ms) P50.10.20網絡時延(ms) P60.10.30網絡丟包率() P70.10.30“信息服務質量情況”、“網絡質量情況”和“用戶綜合質量感受”評判指標計算公式如下表所示：用戶綜合質量感受值 Q1 =P1*0.2 + P2*0.2 + P3*0.2 + P4*0.1 + P5*0.1 + P6*0.1 + P7*0.1網絡質量情況值 Q2 = P4*0.2 +

22、P5*0.2 + P6*0.3 + P7*0.3信息服務質量情況值Q3 =P1*0.3 + P2*0.4 + P3*0.3以下為統計分析結果展示（以廣東測試結果為例）：技作膠&完炸r茁n戲矛：點惹盼.備壬柯對思奇質?J#序省好直中ij村時毯 E-O炯斯月站啊也BfMtpHAMUtTtSEEE況電信Kas： H3S211303104弓3 296:10T94蹲torno21in353IDDOK.10O.E3.0330B M I M 一一 .H2T2&L09!0IO g威1r3.Z3 2下圖為測試客端測試結果展示:。心物理解析站輕無擎 萄PI時志包率。1龍葷析匪存1冉站響成時篁1舍。心，陶員腰瑰時廷

23、啊虹平IE黃面 r舍明片 r a 舅時間廚訊 HYPERLINK http:/www.Qqxom www.Qqxom )JWms.76 ms皿怖?7S7ffl5S4.9K/9 】a%ww .sohtJ-COni56ms0%4TT15179IT1592&ms328衛37970mjn附：統計分析數據過濾說明針對目標站點的測試會出現測不通、測 試超時、指標結果異常等情況，造成的 原因可能是網關禁ping禁trace，還 可能與本地系統和網絡有關。這樣測得 的數據是不合理的或者說無效的，因此 要在統計分析時過濾掉這些參數。有些 客戶端在某時間段內的測試記錄數據 都是異常數據，所以在統計分析時因被 濾掉而看不到該測試客戶端的記錄，而 在“上報監測”中則可以查看到。近出口質量測試統計參數過濾表如下，如果 測試數據滿足以下條件，則該記錄不納入到統 計分析中。過德項目過浦案件操作符過德條件值1過流案件借2過德條件說明2000網洛時延網洛時延網絡丟包:-1I10網路時延異常網路時延異常網路丟包異常DHS響應時延DNS物理響應時延DNS物理響應時延網頁響應時延網頁響應時延網頁展現時延網頁展現時延1500DBS響應時延異常-1DNS響應時延異常1500DHS物理響應時延異常:-1I41500DHS物理響應時延異常網