1、智能管道數據采集分析解決方案目錄解決方案概述1采集分析軟件部分3云平臺部分4采集分析硬件部分2基于SmartProbe和云平臺的整體解決架構網絡原始數據基于Hadoop云平臺的數據存儲挖掘分析，服務器集群數據采集、解析、合成層云存儲、數據挖掘層應用層/LTE數據采集解析合成層Smart Probe（智能探針）設備連接方式SDHHLRHLR DBMSC ServerMGWBSCBTS155M622MFE/GEE1/FEE1SCPE1/FENodeBRNC155M622MATMSGSNGGSNInternetE1/FE/GEFE/GEFE/GEFE/GE Smart Probe Smart Pro

2、be采集Mc、Gb、IuPS、Gn&Gi等接口的信令數據，對采集的數據實時解碼和業務合成生成詳細的用戶業務記錄（xDR），實時、準確、全面的獲取用戶行為及網絡使用情況。可以 平滑升級支持 LTE網絡采集分析。在2G/3G中的部署RNCBSCSmart ProbeGnIuPSGb其他數據處理平臺云計算數據平臺上層應用上層應用在LTE中的部署UEPCRFeNodeBS-GWP-GWS5/S8S11MMEMMES6aS1-MMELTE-UuS1-USmart Probe云計算數據平臺上層應用上層應用目錄解決方案概述1采集分析硬件部分2采集分析軟件部分3云平臺部分4Smart Probe的硬件平臺S-

3、1000S-2000S-ATCA最新的工業計算機架構 ATCA電信級產品積木式擴展全接口數據采集一體化的探針高中低端系類產品，根據用戶采集規模可以靈活配置Smart Probe 一體化全接口采集平臺構件采用標準的ATCA架構，有6U/3U或者14U等多種不同形式。支持所有電信接口的數據采集： E1/T1/J1、STM-1/4、100M/1000M/10000M AMCAMCATCAATCA機箱10G采集單板（ATCA）單板提供了強大的數據采集能力和交換功能 ，完成數據的采集、匯聚、處理、重組與分發功能。1、單板包括兩片TILERA的Gx36多核CPU，主頻1.2GHz，單板超強的處理能力。2、

4、專有控制CPU，負責整個單板的管理。3、內嵌具有100G交換能力的模塊，可以作為一個超強交換板使用4、 8個10Gbps SFP+接口，或者10個1Gbps接口E1接口采集單板（AMC）單板E1鏈路承載的各種數據的采集，底層協議處理。項目數量描述接入能力8支持8對E1鏈路支持協議支持所有協議被采集的數據鏈路速率16K/32K/64K/N*64K/2M鏈路數量512單板支持512條鏈路155M/622M SDH接口采集單板（AMC）單板SDH鏈路承載的各種數據的采集，底層協議處理。項目數量描述接入能力2支持2對SDH 155M/622M鏈路支持協議ATM/POS/通道化SDH支持所有協議被采集的

5、數據鏈路速率16K/32K/64K/N*64K/2M/155M鏈路數量2000條單板支持1000條鏈路2.5G SDH接口采集單板（AMC）單板SDH鏈路承載的各種數據的采集，底層協議處理。項目數量描述接入能力2支持2對SDH2.5G/GE鏈路支持協議ATM/POS/通道化SDH支持所有協議被采集的數據鏈路速率16K/32K/64K/N*64K/2M/155M/GE鏈路數量2000條單板支持2000條鏈路Smart Probe 采集平臺特點說明：可根據網絡接口、數量、主設備不同，針對不同網絡靈活配置。采用先進的ATCA架構體積小，管理集中、移動方便支持各廠家、通用，兼容TD光電混插、熱插拔、靈

6、活配置提供遠程監控和操作接口預留擴展空間，板卡&服務器均可支持所有軟件在線升級雙電源、一體化設計分布式部署, 靈活擴展容量 業界集成度最高、支持接口最全面的采集平臺；業界唯一支持多接口混采的采集平臺S-ATCA DPI 規格參數型號性能端口設備規格（ATCA）TH-12000整機支持200G業務處理能力單個槽位：5個10G Fabric接口（背板），8個10GE SFP+接口4個GE接口整機支持：96*10GE+48*GE或者120個GE19,14U獨立機箱式設備 TH-6000整機支持100G業務處理能力單個槽位：5個10G Fabric接口（背板），8個10GE SFP+接口4個GE接口整

7、機支持：48*10GE+24*GE或者60個GE19,6U獨立機箱式設備TH-3000單設備 20G業務處理能力單個槽位：5個10G Fabric接口（背板），12個GE接口或者8個10GE SFP+接口加4個GE接口整機支持：16*10GE+8*GE或者24個GE19,3U獨立機箱式設備目前正在研發業界領先的支持100G采集接口的下一代Probe，預計將于6月份正式推出目錄解決方案概述1云平臺部分4采集分析軟件部分3采集分析硬件部分2Smart Probe 軟件架構輸出模塊協議處理模塊采集模塊系統配置管理系統自身管理系統管理號碼關聯回填、多協議關聯模塊xDR輸出控制模塊xDR輸出模塊采集適配

8、及信令預處理模塊采用分布式處理技術，保證系統良好的擴展性！數據交換總線：是軟件核心模塊，通過一個公共的數據交換軟件，其它模塊都通過該模塊交換數據。其優點：支持分布計算模式、系統處理沒有瓶頸、多線索并行技術、支持伸縮性結構具有良好開放性、方便開發、管理和維護。支持自有采集設備采集的原始數據，也支持三方采集設備采集的原始數據，有很好的適應性。數據交換總線自有采集模塊三方采集模塊信令解碼、合成生成xDRSmart Probe 輸出模塊-基于元數據驅動模式元數據驅動點1：通過動態加載自定義的元數據模型，可以解析和識別采集到的不同數據源的數據元數據驅動點2：根據應用層的要求定義數據模型，接口適配基于對規

9、則的解釋完成采數據的格式轉換和預處理。即可以按不同應用定義不同的數據輸出規則，從而可以靈活適應不同應用對數據的要求。Smart Probe 采集各接口的協議內容GiSGSNGGSNIuPSGnGiHLRGrOther PLMNGpGpExternal NetworkGcSGBSCRNCGbSmart Probe Gb/IuPS 接口xDR（4W+1H）WHEREWHENBBUxDR主要信息RRUIMSIMSISDNIMEIPTMSIWHOBSCRNCSGSNLACCellSACHOW開始時間結束時間響應時間結果：成功、失敗 failure reasonWHAT業務類型： Attach、Deta

10、ch、RAUPDPxDR詳細描述：Smart Probe Gn 接口xDR（4W+1H）WHEREWHENBBUxDR主要信息RRUIMSIMSISDNIMEIWHOGGSNSGSNLACCellSACHOW開始時間結束時間響應時間結果：成功、失敗 failure reasonWHAT業務類型：參考DPI能力詳細描述 上下行流量上下行包數承載QOSxDR詳細描述：DPI能力詳細描述：Smart Probe LTE硬采 接口xDR（4W+1H）WHEREWHENBBUxDR主要信息RRUIMSIMSISDNIMEIWHOENB SGSNCELLTACHOW開始時間結束時間響應時間結果：成功、失敗

11、 failure reasonWHAT業務類型：參考DPI能力詳細描述 上下行流量上下行包數承載QOSLTE xDR詳細描述：DPI能力詳細描述：同時支持固網鏈路和移動網絡的多種信令接口的數據采集2G網：Abis、A/Mc、 B、C、D、E、G，Gb、Gn、Gi接口等；3G網：Iub、IuCS、IuPS接口等；4G網：X2、S1-U/MME、S10，S11,S5/S8 ,S6a等；信令采集支持的物理接口類型：E1/T1/J1、STM-1/4支持的鏈路層協議：HDLC、ATM/IMA、TCP/IP、POS、PPP/MPPP、FR、IP over PPP等接口協議同時支持多種信令接口的解碼合成2G

12、網：Abis、A/Mc、 B、C、D、E、G，Gb、Gn、Gi；3G網：Iub（部分支持）、IuCS、IuPS；4G網： X2、S1-U/MME、 S10，S11,S5/S8 ,S6a等解碼合成Smart Probe 支持的接口和協議多接口協議解碼與實時回填技術Smart Probe對 Gb、Gn、IuPS，LTE等接口進行實時數據采集和解碼合成，對各接口用戶面、控制面包含的用戶信息進行實時關聯回填，保證輸出記錄信息的完整性，關聯率達到99%以上DPI應用特征識別技術采用“DPI/DFI深度包檢測技術”，實現報文的全文檢索。對每個IP數據包進行1-7層的分析，通過端口號、IP地址、URL地址、

13、HOST、User-Agent、16進制碼流等特征匹配來實現對網頁瀏覽、即時通訊、流媒體、P2P下載等業務類型的識別和統計，網絡流量識別率達到95%以上先進的多核軟硬件一體處理平臺高密度、高性能。設備集成了10GE、GE網絡接口，采用多核網絡交換處理架構，芯片級DPI分析平臺，處理能力達到20G，滿足實時DPI超高性能需求。系列化多種性能硬件平臺，支持GE、N*10GE單設備解決方案，滿足用戶不同場景需求豐富的業務識別支持1500+熱門應用對于重點關注業務有進一步的精細化分析業務描述采用正則表達式，支持全報文的復雜特征SmartProbe的技術優勢SmartProbe DPI 的優勢 深入分析

14、行為和內容。例如用戶使用微信的ID，具體是在做語音聊天、視頻，還是文字輸入等動作。用戶行為特征和用戶興趣點密切相關的內容，能夠進行有效的解析和記錄Smart Probe DPI 優勢 識別特征庫支持熱部署升級，切換時間99.99%, 可識別 的應用流量準確率 90%, HTTP的識別速度1500種互聯網/移動互聯網應用，范圍涵蓋了即時通訊、P2P下載、音樂音頻、網絡視頻、股票證券、網絡游戲、生活服務、行業軟件及IANA標準網絡協議等.覆蓋運營商移動網絡95%的應用流量采用定制的實時系統，網絡數據包獲取幾乎沒有時延，數據包獲取與內容分析之間的銜接緊湊。根據在運營商實際網絡環境中的數據解析測算，數

15、據包從獲取到給出分析結果平均時延99.999999%,SmartProbe DPI 的核心指標性能支持 1G bps 10Gbps 無損包分析，綜合GTP包 98%對于 特定需要精細化識別的應用(如中移動要求的12項精細化識別的應用，準確率 95%， 對于其他能識別的應用，準確率 90%覆蓋HTTP 網址覆蓋率 95% ， 并可提供 20 萬的網址分類庫可識別的移動互聯網應用覆蓋移動數據總流量 90%粒度應用及協議識別，可提供 業務-應用行為-應用層協議-承載協議5個層次的細粒度識別。支持 應用 行為 內容 還原 等多種DPI需求更新定期更新（周為單位） 和事件即時更新（發生特定的移動互聯網事

16、件時），特征庫支持熱部署，升級切換時間xDR數據，一般是原始信令的1/4-1/8數據量統計數據，一般僅是xDR數據的1/10數據量，以數據表形式保存，以便處理復雜的管理和查詢需求匯總報表數據，一般是統計層數據的1/10數據量，以數據表形式保存數據庫存儲原始信令存儲，一般為文件處理和存儲，壓縮比例一般為50%，歷史信令反查由于解壓縮產生額外50ms的時延 傳統關系型數據庫和云平臺面對大數據處理關系型數據庫面對大數據云平臺面對大數據性能低：行存儲導致大量無效I/O，限制了吞吐量。海量數據下的索引占用空間大，造成查詢效率低下。維護難，影響穩定性：為了處理大數據，必須進行分庫、分表、多副本的設計和管理

17、，開發維護難度大。性能高：列存儲，分散I/O，高吞吐量，極大提升了海量數據處理性能可擴展性差：關系表結構無法自適應硬件橫向擴展一次性投資成本高模型簡單，系統穩定性高高擴展性和投資靈活性：存儲特性使得水平擴展簡單，可根據數據選擇軟硬件投資規模并方便擴充。 基于云平臺的大數據處理架構運維支撐客服市場分析數據緩存關聯Hive、Spark、Impala結構化數據Hbase解析Map/Reduce半結構化數據Hbase/HDFS非結構化數據Hadoop統計結果Sql db元數據子系統數據接口其他系統數據源子系統數據接口xDR數據源統計結構化數據數據挖掘即席查詢 基于云平臺的分布式存儲機制示意云平臺內部組件結構關系圖HadoopHBaseHDFS服務組件應用Flume文件寫入sqoopOozie數據S