大數(shù)據(jù)運營平臺科技項目技術方案(純方案66頁)_第1頁
大數(shù)據(jù)運營平臺科技項目技術方案(純方案66頁)_第2頁
大數(shù)據(jù)運營平臺科技項目技術方案(純方案66頁)_第3頁
大數(shù)據(jù)運營平臺科技項目技術方案(純方案66頁)_第4頁
大數(shù)據(jù)運營平臺科技項目技術方案(純方案66頁)_第5頁
已閱讀5頁,還剩60頁未讀 繼續(xù)免費閱讀

下載本文檔

版權說明:本文檔由用戶提供并上傳,收益歸屬內容提供方,若內容存在侵權,請進行舉報或認領

文檔簡介

1、大數(shù)據(jù)運營平臺科技工程技術建議書大數(shù)據(jù)平臺各功能模塊說明如下:1.數(shù)據(jù)匯聚子平臺系統(tǒng)支持文件方式和數(shù)據(jù)流實時處理方式采集清洗寬帶DPI數(shù)據(jù)。系統(tǒng)采用文件方式采集清洗3G DPI數(shù)據(jù)系統(tǒng)采用文件方式采集清洗AAA數(shù)據(jù)系統(tǒng)采用文件方式采集清洗OIDD數(shù)據(jù)系統(tǒng)采用文件方式采集清洗ODS數(shù)據(jù)系統(tǒng)采用數(shù)據(jù)脫敏技術,提高大數(shù)據(jù)平臺平安性和保密等級。 系統(tǒng)利用HDFS驅動提供的Format功能,實現(xiàn)hadoop云平臺系統(tǒng)級、 業(yè)務級數(shù)據(jù)加密。系統(tǒng)采用分布式ETL并行處理架構,提高數(shù)倍數(shù)十倍ETL速度系統(tǒng)可以靈活調度作業(yè)資源,已保證每個作業(yè)都能獲得相應的系統(tǒng)資 源。2.大數(shù)據(jù)處理子平臺 系統(tǒng)采用KDC (Ke

2、y Distribution Center)平安認證中心實現(xiàn)用戶安 全訪問。系統(tǒng)可以為每個租戶分配獨立的存儲空間(HDFS)和計算資源(MR Slot), 實現(xiàn)資源獨立。系統(tǒng)提供基于多租戶的數(shù)據(jù)授權,可以控制各租戶的數(shù)據(jù)訪問權限。系統(tǒng)提供平臺參數(shù)配置和用戶管理。系統(tǒng)提供平臺運行狀態(tài)監(jiān)控和告警管理。系統(tǒng)提供客戶管理、合同管理、基礎產品管理、結算管理等業(yè)務管理功 能。系統(tǒng)支持多個同步標簽的服務程序和多個離線標簽的服務程序。3.外部能力開放子系統(tǒng)系統(tǒng)采用分布式K-V數(shù)據(jù)庫,主要用于存放標簽結果數(shù)據(jù)系統(tǒng)提供高并發(fā)查詢服務系統(tǒng)支持多個DSP廠商程序算法模型加載和數(shù)據(jù)訪問。系統(tǒng)提供SQL語句優(yōu)化及MapR

3、educe定制服務,優(yōu)化廠商作業(yè)性能。系統(tǒng)支持交互式SQL查詢,用戶可以通過圖形化界面定義查詢參數(shù),執(zhí) 行自己的查詢任務。系統(tǒng)提供在線WEB報表制作發(fā)布服務。4.信息推送子平臺系統(tǒng)可以根據(jù)流量分發(fā)規(guī)那么,對數(shù)據(jù)流量進行精確控制分發(fā)。系統(tǒng)可以根據(jù)運營商流量的廣告營銷策略進行廣告推送。系統(tǒng)提供廣告提單功能。系統(tǒng)對符合廣告推送條件的流量進行廣告引導推送。系統(tǒng)通過cookie定向、IP分析等用戶分析技術實現(xiàn)廣告的精準推送。系統(tǒng)提供用戶流量提醒,并通過用戶流量消費分析可進行流量經(jīng)營營 銷。4.2大數(shù)據(jù)處理子平臺4. 2.1多租戶能力.1.1平臺平安管控系統(tǒng)采用KDC (Key Distribution

4、Center)平安認證中心實現(xiàn)用戶平安 訪問。系統(tǒng)提供統(tǒng)一用戶管理,包括操作系統(tǒng)用戶管理、云平臺用戶管理和數(shù)據(jù)訪 問控制(Token),如下列圖所示:統(tǒng)一用戶管理數(shù)據(jù)訪問控制(Token)云平臺用戶管理操作系統(tǒng)用戶管理為保證平臺平安,名稱節(jié)點采用雙機熱備HA方式工作。J .2平臺資源管理系統(tǒng)支持基于多租戶的資源管理,可以為每個租戶分配獨立的存儲空間(HDFS)和計算資源(MR Slot),實現(xiàn)資源獨立,如下列圖所示:統(tǒng)一人數(shù)據(jù)平臺,多租戶隔離共享 HDFS管理可以配置用戶的HDFS信息。HDFS信息包括:1)文件數(shù)限額。2)可用文件數(shù)3)空間限額4)可用空間5)用戶目錄6)目錄數(shù)7)文件數(shù)8)

5、文件總大小 MapReduce 管理可以增加、刪除或修改隊列信息。隊列信息包括:1)隊列名2)容量設置3)可用容量4)最大容量5)是否支持job優(yōu)先級6)用戶資源百分比限制7)用戶可占隊列容量系數(shù)8)隊列中并發(fā)task上限值9)每個用戶并發(fā)task上限值10)每個隊列中可容納job總數(shù)的系數(shù)11)初始化后并發(fā)執(zhí)行的job數(shù)資源套餐管理系統(tǒng)可以設置資源套餐,套餐內容包含存儲空間(HDFS)和計算資源(MR Slot)0用戶開通業(yè)務時,只需選擇相應的套餐即可。平臺數(shù)據(jù)授權系統(tǒng)提供基于多租戶的數(shù)據(jù)授權,可以控制各租戶的數(shù)據(jù)訪問權限,包括:hive表數(shù)據(jù)訪問權限Hive表權限管理內容包括:系統(tǒng)可以設置

6、用戶的HIVE表訪問權限,并允許用戶訪問授權的HIVE表, 用戶不能使用非授權的HIVE表。用戶沒有創(chuàng)立/刪除HIVE表的操作權限。HIVE表只能由系統(tǒng)管理員統(tǒng)一 創(chuàng)立/刪除。用戶可以增加/修改/刪除HIVE表里的字段,也可以增加/修改/刪除HIVE 表里字段的內容。HIVE表權限管理內容包括:表名所屬數(shù)據(jù)庫操作權限,包括八種權限:一 Alter (修改表結構)Update (修改數(shù)據(jù))一 Create (創(chuàng)立)Lock (鎖定或解除表)Select (訪問數(shù)據(jù))一 Drop (刪除)Index (創(chuàng)立索引)一 Show DataBase (查看可用數(shù)據(jù)庫)2. hbase表數(shù)據(jù)訪問權限Hba

7、se表權限管理內容包括:系統(tǒng)可以設置HBASE表的訪問權限,并允許用戶訪問授權的HBASE表。 用戶不能查看Hbase中非授權表的內容。多個用戶可以同時操作同一個指定的表;用戶沒有創(chuàng)立/刪除HBASE表的操作權限。HBASE表只能由系統(tǒng)管理員統(tǒng) 一創(chuàng)立/刪除。用戶可以增加/修改/刪除HBASE表里的字段,也可以增加/修改/刪除 HBASE表里字段的內容。Hbase表權限管理內容包括:表名colFamily 列表操作權限,包括四種權限:R (只讀)W (可寫)c (創(chuàng)立修改刪除)A (控制)3.字段級訪問權限系統(tǒng)通過授權文件Token可以實現(xiàn)字段級控制,如下列圖所示:TokenRecordIDT

8、imestampMDNSource IPRequest URLRefererUserAgentDestinatio n IPCookie1701296120120801 09:13:0013524908163180.153.5.Ill :/ NoDefucweb61.152.108 .66ckl=; tg=O;平臺統(tǒng)一管理平臺統(tǒng)一管理包括集群參數(shù)配置、節(jié)點參數(shù)配置、組件參數(shù)配置和用戶管理。1.集群參數(shù)配置集群參數(shù)包含:集群名稱ganglia 地址一備機名稱備機IP一 hadoop配置文件路徑hbase配置文件路徑hive配置文件路徑一 Zookeeper配置文件路徑等信息。.節(jié)點參數(shù)配置節(jié)點參

9、數(shù)包含:節(jié)點名稱節(jié)點地址一 NameNode角色服務啟動一DataNode角色服務啟動一 Zookeeper角色服務啟動一網(wǎng)卡設備網(wǎng)卡IP一掩碼Mask廣播地址Beast網(wǎng)卡MAC一狀態(tài)等信息。.組件參數(shù)配置組件參數(shù)包含:一 組件配置類型選擇,提供Hadoop, Hbase, Hive, zookeeper組件配置。-組件配置文件選擇等信息。.用戶管理平臺用戶管理包含用戶管理和群組管理,可以增加刪除hadoop用戶群組信 息和用戶信息。Hadoop用戶群組信息包括:1)用戶名稱2)群組名稱hadoop用戶信息包括:1) 基本信息2)用戶名所在用戶組HDFS配置文件數(shù)限額空間限額MapReduc

10、e 配置所屬隊列集中監(jiān)控告警管理集中監(jiān)控告警管理包括節(jié)點運行狀態(tài)監(jiān)控、HDFS組件監(jiān)控、MapReduce組件 監(jiān)控、HIVE組件監(jiān)控、HBase組件監(jiān)控和告警管理。節(jié)點運行狀態(tài)監(jiān)控通過圖形化界面直觀顯示節(jié)點運行狀態(tài)和性能數(shù)據(jù),包括節(jié)點負荷、存儲能 力、業(yè)務性能。節(jié)點負荷包括:1分鐘負荷5分鐘負荷15分鐘負荷CPU使用率內存使用率硬盤使用率。HDFS組件監(jiān)控HDFS組件監(jiān)控內容包括:1)查看IIDFS概況,包括:一狀態(tài):當前集群的HDFS運行狀態(tài)。總容量:當前集群的HDFS配置的數(shù)據(jù)存儲空間的總容量。剩余容量:當集群HDFS處于運行狀態(tài)時顯示,記錄當前集群的剩余數(shù) 據(jù)存儲空間或剩余空間的百分比

11、。數(shù)據(jù)節(jié)點:當前集群的HDFS配置的總數(shù)據(jù)節(jié)點數(shù)量及當前正在運行的 數(shù)據(jù)節(jié)點數(shù)量。2) HDFS瀏覽器,包括:瀏覽HDFS文件系統(tǒng)顯示HDFS文件系統(tǒng)的文件參數(shù)(名稱/用戶/組/權限/文件大小/修改 日期/數(shù)據(jù)塊/數(shù)據(jù)分布機器)MapReduce組件監(jiān)控MapReduce組件監(jiān)控內容包括:-顯示任務(Job)的信息列表,包括任務編號、優(yōu)先級、用戶、任務狀 態(tài)、任務開始時間、Map進度、Reduce進度。一雙擊任務查看任務詳細信息,包括作業(yè)類型、作業(yè)進度、作業(yè)數(shù)、待 執(zhí)行的作業(yè)、正在執(zhí)行的作業(yè)、完成的作業(yè)、終止的作業(yè)、失敗、終 止的作業(yè)嘗試。HIVE組件監(jiān)控HIVE組件監(jiān)控內容包括:1)查看HI

12、VE概況,包括:一顯示HIVE運行狀態(tài)顯示HIVE數(shù)據(jù)庫列表2)業(yè)務表瀏覽顯示HIVE表的信息列表,包含表名和狀態(tài)。雙擊表名查看該表的字段定義信息。一直接提交SQL查詢語句,并返回執(zhí)行結果。HBase組件監(jiān)控HBase組件監(jiān)控內容包括:一顯示HBase表的信息列表,包含表名和狀態(tài)。一雙擊表名查看該表的數(shù)據(jù)域信息,包括數(shù)據(jù)域名稱、部署機器、起始 鍵值、結束鍵值、狀態(tài)、分割根、分割。告警管理平臺提供告警面板功能,可以實時監(jiān)測整個平臺的各種故障信息,告警內容 包括:1)節(jié)點磁盤空間缺乏:系統(tǒng)在出現(xiàn)某個節(jié)點磁盤空間缺乏的情況報警。2)群集HDFS磁盤缺乏:群集中單個節(jié)點空間足夠,但群集HDFS磁盤空間

13、不 足時報警。3)節(jié)點CPU負載過高:節(jié)點在CUP負載異常情況下報警。4)節(jié)點內存缺乏:節(jié)點在內存缺乏情況報警。5)服務異常告警:監(jiān)測HDFS, HIVE, HBASE, Zookeeper等各個關鍵服務的 運行狀態(tài),如果發(fā)現(xiàn)異常,將輸出告警信息。6)節(jié)點失效故障:當名稱節(jié)點與數(shù)據(jù)節(jié)點之間的網(wǎng)絡異常,超過心跳維持的 時間,將判定該節(jié)點已經(jīng)失效,退出服務。7)網(wǎng)絡故障告警:當發(fā)現(xiàn)某些節(jié)點的網(wǎng)絡連接異常,將輸出網(wǎng)絡故障信息、。 平臺發(fā)生故障時,系統(tǒng)將產生告警,而且輸出告警的信息和告警類型,同時包含屢次告警的時間等,根據(jù)電信維護流程的要求,需要維護人員確認告警,并 按照流程正確處置告警信息。可視化業(yè)

14、務管理可視化業(yè)務管理包括客戶管理、合同管理、基礎產品管理和結算管理。.客戶管理系統(tǒng)提供圖形化客戶管理功能,包括客戶注冊、登錄、產品訂購、token管 理、服務申請、服務開通等。.合同管理系統(tǒng)提供圖形化合同管理功能,包括:1)合同基本信息管理:合同信息錄入、查詢、合同相關的業(yè)務信息關聯(lián)、 合同審批、合同生效時間、合同終止時間等。2)合同附件信息管理:合同附件的查詢、上傳、更新、審批等。3)合同執(zhí)行情況管理:合同執(zhí)行狀態(tài)、合同執(zhí)行進度、合同執(zhí)行偏差評估 等。合同錄入完成后通過接口直接導入CRM數(shù)據(jù)庫。.基礎產品管理基礎產品配置包括以下產品類別:1)數(shù)據(jù)出售類產品:通過對電信數(shù)據(jù)資源進行脫敏、加工、

15、提煉后的數(shù)據(jù) 進行出售。這類數(shù)據(jù)產品根據(jù)數(shù)據(jù)所涉及的地理屬性,分為全國性數(shù)據(jù) 和省數(shù)據(jù)。2)數(shù)據(jù)咨詢類產品:通過對數(shù)據(jù)的分析、挖掘,面向不同的行業(yè)提供咨詢 類報告,這些報告所用的數(shù)據(jù)也分全國性數(shù)據(jù)和省數(shù)據(jù)。3)數(shù)據(jù)能力產品:這類產品通過能力平臺提供實時API接口數(shù)據(jù)查詢和大 數(shù)據(jù)作業(yè)服務。4)解決方案產品:這類產品只面向合作伙伴,因為解決方案類產品需要結 合行業(yè)合作伙伴,整合自有數(shù)據(jù)、自有渠道、合作伙伴渠道等提供行業(yè) 解決方案。.結算管理結算管理應涵蓋以下功能:1)外部結算管理對合作伙伴的結算管理,根據(jù)合同,收入完成情況等要素對合作伙伴進行費用結算。目錄 TOC o 1-5 h z 三、總體方

16、案建議4概述4 HYPERLINK l bookmark79 o Current Document 關鍵技術4 HYPERLINK l bookmark81 o Current Document 大數(shù)據(jù)平臺架構4 HYPERLINK l bookmark108 o Current Document 海量數(shù)據(jù)存儲5 HYPERLINK l bookmark141 o Current Document 并行計算能力6 HYPERLINK l bookmark161 o Current Document 系統(tǒng)邏輯框圖8 HYPERLINK l bookmark163 o Current Docume

17、nt 功能介紹9 HYPERLINK l bookmark165 o Current Document 功能模塊總述9大數(shù)據(jù)處理子平臺11421多租戶能力11422標簽服務20數(shù)據(jù)匯聚子平臺21 HYPERLINK l bookmark24 o Current Document 寬帶DPI數(shù)據(jù)采集清洗214.3.23G DPI數(shù)據(jù)采集清洗.24 HYPERLINK l bookmark26 o Current Document 數(shù)據(jù)采集清洗24 HYPERLINK l bookmark28 o Current Document 數(shù)據(jù)采集清洗24 HYPERLINK l bookmark30 o

18、 Current Document 數(shù)據(jù)采集清洗26436數(shù)據(jù)脫敏27 HYPERLINK l bookmark34 o Current Document 數(shù)據(jù)加密28 HYPERLINK l bookmark36 o Current Document 數(shù)據(jù)ETL處理29 HYPERLINK l bookmark38 o Current Document 9作業(yè)智能排隊調度.29 HYPERLINK l bookmark98 o Current Document 4.4外部服務能力子平臺31標簽查詢服務31 HYPERLINK l bookmark51 o Current Document D

19、SP廠商程序接入32 HYPERLINK l bookmark53 o Current Document 廠商作業(yè)性能優(yōu)化33 HYPERLINK l bookmark59 o Current Document 交互式SQL查詢33 HYPERLINK l bookmark61 o Current Document 在線報表34 HYPERLINK l bookmark100 o Current Document 信息推送子平臺34流量分發(fā)模塊34流量分發(fā)規(guī)那么34 HYPERLINK l bookmark66 o Current Document 廣告提單管理35 HYPERLINK l b

20、ookmark83 o Current Document 廣告引導管理40 HYPERLINK l bookmark85 o Current Document 廣告計劃檢索41 HYPERLINK l bookmark91 o Current Document 內部業(yè)務支撐42四、產品配置清單431、大數(shù)據(jù)處理子平臺43 HYPERLINK l bookmark96 o Current Document 2、數(shù)據(jù)匯聚子平臺443、外部服務能力子平臺442)內部結算依據(jù)考核計劃、考核結果、關聯(lián)收入完成情況、數(shù)據(jù)使用情況 等進行收入結算。3)結算包括現(xiàn)金結算、轉賬結算、結算公式管理、結算期限管理等

21、。結算的費用種類包括了兩大類:大數(shù)據(jù)平臺查詢服務費用結算和大數(shù)據(jù)平臺 資源使用費用結算。大數(shù)據(jù)平臺的查詢服務可按照查詢次數(shù)或者包月服務來計費;A大數(shù)據(jù)平臺的資源使用包括了存儲、運算和數(shù)據(jù)三類,其中數(shù)據(jù)資源根據(jù)字 段和使用記錄數(shù)來計費,存儲和運算資源那么可以采用租費的結算方式。2. 2標簽服務同步標簽服務寬帶DPI數(shù)據(jù)流經(jīng)過實時數(shù)據(jù)處理后,支持多個同步標簽的服務程序。同步標簽數(shù)據(jù)處理支持優(yōu)先級設置,通過優(yōu)先級決定同步標簽服務程序的執(zhí)行順序,可以支持并發(fā)執(zhí)行和順序執(zhí)行;可以通過數(shù)據(jù)的URL、關鍵字、關鍵字段設置數(shù)據(jù)處理的范圍,從而滿足 不同的同步標簽處理要求。離線標簽服務寬帶DPI文件和3GDPI

22、文件經(jīng)過數(shù)據(jù)處理后,支持多個離線標簽的服務程 序。離線標簽數(shù)據(jù)處理可靈活設置各廠商作業(yè)執(zhí)行時間。通過字段級Token控制,實現(xiàn)離線標簽數(shù)據(jù)處理可以訪問的字段類型,從 而實現(xiàn)靈活的數(shù)據(jù)訪問控制功能。離線標簽提供廠商性能優(yōu)化功能,以保證各廠商作業(yè)在規(guī)定的時間內完成。子平臺4. 3.1寬帶DPI數(shù)據(jù)采集清洗浙江電信11個地市的寬帶DPI數(shù)據(jù)通過CN2網(wǎng)絡匯聚到大數(shù)據(jù)平臺。如下 圖所示:大數(shù)據(jù)平臺不僅支持寬帶DPI文件匯聚,同時支持寬帶DPI數(shù)據(jù)流實時匯 聚。寬帶DPI數(shù)據(jù)流實時匯聚DPI數(shù)據(jù)實時入庫 Storm同步標簽 Storm消息分發(fā) Kafka大數(shù)據(jù)平臺實時采集清洗寬帶DPI數(shù)據(jù)流,處理流程如

23、下列圖所示:離線標簽Kettle處理流程說明如下:. Kafka消息系統(tǒng)實時接收前端寬帶DPI數(shù)據(jù)流;. Kafka消息系統(tǒng)將接收到的寬帶DPI數(shù)據(jù)流分發(fā)至同步標簽和實時入庫兩 個模塊;.同步標簽模塊采用Storm組件實時處理寬帶DPI數(shù)據(jù)流,為寬帶DPI數(shù)據(jù)流打上標簽。.實時入庫模塊采用Storm組件將寬帶DPI數(shù)據(jù)流以文件形式寫入云平臺 HDFS,后續(xù)可以對寬帶DPI文件進行離線標簽處理。寬帶DPI數(shù)據(jù)清洗寬帶DPI數(shù)據(jù)清洗主要是針對兩類流量進行清洗: 一類是非瀏覽器發(fā)起的 請求;另一類是瀏覽器發(fā)起的非用戶點擊請求;最終清洗后留下的url為用戶的真實點擊;寬帶DPI數(shù)據(jù)清洗規(guī)那么要求如下:

24、可以實現(xiàn)“用戶有效點擊”的 Get的實時提取。(此處“用戶有效點 擊”的定義為:用戶在瀏覽器輸入的有效網(wǎng)址,點擊瀏覽器書簽,用戶在網(wǎng)頁 中發(fā)起的任意主動點擊行為)。通過清洗規(guī)那么的設定,實現(xiàn)“用戶有效點擊”的 Get的實時提取。規(guī)那么庫1:根據(jù)后綴過濾圖片、腳本等針對單條url的規(guī)那么。對應現(xiàn)象:圖片、腳本等頁面元素。規(guī)那么描述:一般非頁面資源的文件后綴名有一定規(guī)那么可循,后綴滿足匹 配指定字串,那么被識別為非頁面請求而被過濾去除。特征字符串可配置添加,例如如下:redis-cli sadd blockedurlpa t terns2.JS? . jpg . jpeg .png . gif .

25、 css . swf規(guī)那么庫2:過濾帶有指定特征字符串的url針對單條url的規(guī)那么。對應現(xiàn)象:廣告、框架、廣告聯(lián)盟。規(guī)那么描述:一般廣告、圖片服務或框架頁面會帶有固定的特征字串,選 擇可靠的字串可以排除大量的非頁面請求URLo如下規(guī)那么可配置添加:redis-cli sadd blockedurlpa t ternsal lyes, com cpro. baidu. com cache, google, com admaster. com. cn “iframecjhq. baidu. com/quotenew規(guī)那么庫3:過濾重復包針對多條URL請求的規(guī)那么對應現(xiàn)象:一個緩沖區(qū)域長度內的重復

26、包。規(guī)那么描述:在緩沖內判斷是否有重復請求出現(xiàn),如有那么只提取第一個規(guī)那么庫4:識別非頁面類型請求(包含Js發(fā)出的請求)針對單條URL的規(guī)那么對應現(xiàn)象:瀏覽器與Js腳本發(fā)出非頁面類型的請求。規(guī)那么描述:瀏覽器與Js腳本發(fā)出的非頁面類型請求有一定特征,其中主 要是Accept字段值,一般非頁面的請求,如圖片請求那么會包含“image/ 字串,這類請求一般不屬于頁面類型。當 Accept 字段值中不包含“text/html或application/xhtml+xml 子串并不能識別該請求是不是頁面請求,因此而保存下來。規(guī)那么庫5:保存白名單中的請求針對單條URL的規(guī)那么對應現(xiàn)象:有些URL的特征設

27、定為白名單項規(guī)那么描述:設置白名單直接放行已明確需要的URL請求,這樣就不會浪 費實時計算資源而做進一步判斷,提高了系統(tǒng)的吞吐量。白名單可以配置,例如如下:redis-cli sadd allowedurlpa t terns : baidu. com/s?” Jttp :cn. bing. com/search?” littp:ww w. google, com. hk/search?3. 23G DPI數(shù)據(jù)采集清洗系統(tǒng)通過FTP方式采集3G DPI文件,3G DPI數(shù)據(jù)采集清洗網(wǎng)絡架構如下:外部環(huán)境3G DPI數(shù)據(jù)采集清洗軟件3G DPI設備3G DPI接口服務器千兆千兆交換機超髭3G D

28、PI接口服務器Hadoop大數(shù)據(jù)平臺千兆千兆3G DPI文件清洗流程如下:將3G DPI文件的zip壓縮格式轉成gz壓縮格式。對3G DPI文件進行數(shù)據(jù)清洗,包括加協(xié)議號,過濾重復的記錄,文件加lU o輸出正常文件和重單文件寫入HDFS。4. 3. 3AAA數(shù)據(jù)采集清洗城域網(wǎng)中獲取到 GET報文數(shù)據(jù)中用戶標識是IP地址,由于每次用戶登 錄撥號IP地址均可能不同,在進行用戶分析時用戶的標識應該為AD帳號。需要 獲取Radius數(shù)據(jù),將用戶上網(wǎng)撥號AAA過程中IP和AD信息的導入,匹配用戶 上網(wǎng)行為記錄中的IP地址和AD賬號的數(shù)據(jù)原始信息,完成用戶上網(wǎng)記錄身份的 辨識。實現(xiàn)獨立運行的AAA rad

29、ius解報文模塊,實時提取AAA報文中的Attribute Value Pairs 中的對應報文段,將其 User-Name FramedTP-Address Acct-Status-Type并組合當前的系統(tǒng)時間戳形成一條完整的用戶身份配對的撥 號上下線狀態(tài)數(shù)據(jù)的記錄,用于與偽CDR數(shù)據(jù)進行匹配。4. 3. 40IDD數(shù)據(jù)采集清洗系統(tǒng)通過FTP方式采集OIDD文件。OIDD數(shù)據(jù)采集清洗網(wǎng)絡架構如下:外部環(huán)境OIDD數(shù)據(jù)采集清洗軟件OIDD文件通過分布式ETL工具Kettle寫入HDFSO OIDD數(shù)據(jù)接口OIDD數(shù)據(jù)表一:sada_ticket,表結構如下: hive desc formatt

30、ed sada_ticket;OK# col name# col namedata_typecommentstringNone(用戶號碼)stringNone(開始時間)stringNone(基站)stringNone(上電標記)prod_inst_numstart_time base_station power_flag# PartitionInformation# col namedata_typecommentdatelabelstringNoneloadstampstringNone# DetailedTable InformationDatabase:oiddOIDD數(shù)據(jù)表二:sad

31、a oidd day,表結構如下:hive desc formatted sada_oidd_day;# DetailedDatabase:# DetailedDatabase:Table Information oiddOK# col_namedata_typecommentprod_inst_numstringNone(用戶號碼)start_timestringNone(開始時間)base_stationstringNone(基站)sectorstringNone(扇區(qū))power_flagstringNone(上電標記)# PartitionInformation# col_nameda

32、ta_typecommentdatelabelstringNoneloadstampstringNone4. 3. 5ODS數(shù)據(jù)采集清洗系統(tǒng)通過FTP方式采集ODS文件,ODS數(shù)據(jù)采集清洗網(wǎng)絡架構如下:外部環(huán)境ODS數(shù)據(jù)采集清洗軟件ODS設備千兆之ODS接口服務器千兆交換機千兆ODS接口服務器千兆Hadoop大數(shù)據(jù)平臺ODS文件通過分布式ETL工具Kettle寫入HDFS ODS數(shù)據(jù)接口ODS 數(shù)據(jù)表:rpt_telecom_user_info,表結構如下:hive desc formatted rpt_telecom user_info; OK# col namedata_typecomme

33、ntwbisp acntnumstringNone(帳號加密)user_agestringNone(用戶年齡)user_sexstringNone(用戶性別)user_typestringNone(用戶類型)user_areastringNone(用戶所屬區(qū)域)desc_coststringNone(費用范圍描述)wb_access_tpstringNone(寬帶訪問類型)act_op_ratestringNone(活躍操作頻度)promgroupstringNone(套餐類型)guangwang_flagstringNone(是否光釬標記)a_connect_collegestringNon

34、e0agrmnt_const_exp_dtstringNone(協(xié)議有效日期)balancestringNone(余額)pi_sub_stat_tpstringNone(是否在用)update_statusstringNone(更新狀態(tài))lst_update_tmpstringNone(最后更新日期)latstringNone(緯度)IngstringNone(經(jīng)度)Partition Informationcol_namedata_type commentdatelabeldatelabelstringNone# DetailedTable InformationDatabase:ods4.

35、 3. 6數(shù)據(jù)脫敏數(shù)據(jù)脫敏也被稱為數(shù)據(jù)混淆、數(shù)據(jù)保密、數(shù)據(jù)消毒、數(shù)據(jù)擾頻、數(shù)據(jù)匿名 化和數(shù)據(jù)認證。采用數(shù)據(jù)脫敏技術,可以幫助大數(shù)據(jù)平臺提高平安性和保密等 級,以防止其數(shù)據(jù)被濫用,同時滿足集團對數(shù)據(jù)平安性的規(guī)范要求,以及由管 理/審計機關所要求的隱私標準。從實現(xiàn)手段上看,針對不同的數(shù)據(jù)內容,會有多種數(shù)據(jù)脫敏方式。在Hadoop平臺上,利用采集清洗及流處理的功能,可以實現(xiàn)對各個字段,針對性的脫敏 處理,并且保證在數(shù)據(jù)進入hadoop之前已經(jīng)是脫敏之后的數(shù)據(jù)。另外針對AD的脫敏尤為關鍵,AD是唯一能將DPI數(shù)據(jù)關聯(lián)到ODS客戶數(shù) 據(jù)的字段,我們對所有進入大數(shù)據(jù)平臺的AD都統(tǒng)一采用sha-1的加密方式

36、,轉換成只有大數(shù)據(jù)平臺能夠認識的客戶唯一標示。需要進行脫敏處理的信息如下:需脫敏字段描述脫敏前脫敏后Ad寬帶設備號實際adsha加密結果(該算法不可反解)user_age用戶年齡實際年齡年齡段信息,如5年一段,取起始 數(shù)值顯示,如25表示25-29address用戶地址實際地址,精確到戶小區(qū)、樓盤或商圈信息,如武林商 圈lat&lng位置經(jīng)緯度實際經(jīng)緯度精確到0.001,約1000平方米, 注:lng*lat = 0. 001*0. 001 (度)=約 95. 18 米*111. 32 米user_name用戶姓名實際姓名僅保存用戶姓氏desc_cost用戶消費情況實際消費金額每150元一檔:

37、0 (表示0T49),150, 3004. 3. 7數(shù)據(jù)加密大數(shù)據(jù)平臺以HDFS為基礎,利用HDFS驅動提供的Format功能,實現(xiàn) hadoop云平臺系統(tǒng)級、業(yè)務級數(shù)據(jù)加密。HDFS數(shù)據(jù)加密原理圖如下:數(shù)據(jù)加密不修改HDFS內核,不影響將來HDFS的升級維護。數(shù)據(jù)加密后,保證HDFS數(shù)據(jù)透明訪問,同時支持SQL查詢服務。3. 8數(shù)據(jù)ETL處理平臺采用ETL工具實現(xiàn)高速ETL處理,處理效率強。功能包括:ETL作業(yè)GUI設計器的功能。ETL作業(yè)自動調度器的功能。ETL作業(yè)多路并發(fā)提取的功能。ETL作業(yè)多路并發(fā)轉換的功能。ETL作業(yè)多路并發(fā)加載的功能。ETL作業(yè)管理功能。ETL作業(yè)日志管理功能。3

38、. 9作業(yè)智能排隊調度.作業(yè)靈活調度系統(tǒng)可以制定作業(yè)調度計劃進行作業(yè)調度。對于臨時出現(xiàn)的需要緊急運行的作業(yè),可以靈活調整作業(yè)調度計劃保證緊急 任務優(yōu)先執(zhí)行。.資源智能調整系統(tǒng)保證每個作業(yè)都能獲得相應的系統(tǒng)資源,同時對于臨時出現(xiàn)的需要緊急 運行的作業(yè),可以靈活調整資源配置保證緊急任務優(yōu)先執(zhí)行。當一個隊列空閑,其系統(tǒng)資源可以被其他隊列搶占使用。一旦空閑隊列有作 業(yè)提交時,會返回該隊列的系統(tǒng)資源,直到滿足該隊列最低配置,甚至搶占其他 隊列資源。系統(tǒng)可以動態(tài)增加隊列,并且新提交的隊列會慢慢滿足最低資源配置,甚至搶占其他隊列資源。 TOC o 1-5 h z 4、信息推送子平臺45 HYPERLINK

39、l bookmark102 o Current Document 五、所提供設備情況46 HYPERLINK l bookmark104 o Current Document 六、系統(tǒng)連接示意圖48 HYPERLINK l bookmark106 o Current Document 七、場地及環(huán)境準備要求49 HYPERLINK l bookmark110 o Current Document 八、工程進度安排50九、分工界面511、買方職責51 HYPERLINK l bookmark115 o Current Document 2、賣方職責51 HYPERLINK l bookmark1

40、17 o Current Document 十、測試及驗收52十一、培訓計劃541、培訓概述54 HYPERLINK l bookmark122 o Current Document 2、培訓目標54 HYPERLINK l bookmark124 o Current Document 3、培訓方式54 HYPERLINK l bookmark126 o Current Document 4、培訓內容54 HYPERLINK l bookmark128 o Current Document 5、培訓工作總結55 HYPERLINK l bookmark130 o Current Documen

41、t 十二、技術承諾56十三、技術服務、支持、保修571、服務簡述57 HYPERLINK l bookmark135 o Current Document 2、機構設置57 HYPERLINK l bookmark137 o Current Document 3、服務原那么57 HYPERLINK l bookmark139 o Current Document 4、服務流程58 HYPERLINK l bookmark143 o Current Document 5、故障處理流程60 HYPERLINK l bookmark145 o Current Document 6、服務明細62 HY

42、PERLINK l bookmark147 o Current Document 服務類型62 HYPERLINK l bookmark149 o Current Document 日常服務63 HYPERLINK l bookmark151 o Current Document 現(xiàn)場服務64 HYPERLINK l bookmark153 o Current Document 巡檢服務64 HYPERLINK l bookmark155 o Current Document 例行工作會議服務65 HYPERLINK l bookmark157 o Current Document 文檔提供和

43、更新服務65 HYPERLINK l bookmark159 o Current Document 十四、技術文檔674.4外部服務能力子平臺4.1標簽查詢服務分布式K-V數(shù)據(jù)庫采用分布式K-V數(shù)據(jù)庫,主要用于存放標簽結果數(shù)據(jù),并支持以下基礎功能:.數(shù)據(jù)查詢接口以API的方式提供通用的根據(jù)key查詢value的高速查詢接口。.數(shù)據(jù)加載支持數(shù)據(jù)直接以文件或者分布式文件系統(tǒng)批量導入的方式,并提供導入的 API 接口。另外除了數(shù)據(jù)追加的方式,還需要支持數(shù)據(jù)的刪除或修改功能。.分布式模式數(shù)據(jù)存儲采用類似HDFS的分布式存儲模型,另外計算資源也需要采用分布 式集群調用的方式以此來保證數(shù)據(jù)的可靠性和系統(tǒng)的

44、可擴展性。.統(tǒng)一的元數(shù)據(jù)管理對元數(shù)據(jù)進行統(tǒng)一的存儲和管理。并提供訪問API供業(yè)務管理平臺調用。.系統(tǒng)管理提供集群監(jiān)控、服務管理、日志管理、監(jiān)控報警等一整套系統(tǒng)管理功能。高并發(fā)查詢服務該模塊基于nginx+Apache MINA的框架開發(fā)。其中nginx提供高并發(fā)的對外 服務,而Apache MINA是一個高性能和高可用性的網(wǎng)絡應用框架。可以完成以下 功能:.基于token的用戶平安認證采用基于Token (令牌)的用戶身份驗證機制,使用戶在訪問受保護的服 務資源時僅需提供Token,而不需要提供用戶名和密碼。Token是包含用戶名、有效期和某些專有信息并通過共享密鑰加密的信息字符串。對于通過W

45、eb Application訪問查詢服務的用戶來說,這種認證方式可以有 效防止服務器的用戶賬戶泄露。對于已經(jīng)授權訪問服務的用戶,獲取和使用Token的總體流程:1)用戶憑借自身的賬戶向電信申請和獲取Tokeno2)攜帶已獲取的Token查詢有權限的數(shù)據(jù)標簽Token的生成除了需要獲取Token時用戶輸入的信息外,還需要服務器端指 定的加密密鑰。系統(tǒng)管理員可以對生成Token的加密密鑰進行配置。.用戶訪問權限控制基于KT數(shù)據(jù)庫的元數(shù)據(jù)管理,增加用戶對元數(shù)據(jù)的權限信息,查詢訪問的 時候首先進行用戶識別,然后根據(jù)用戶的元數(shù)據(jù)權限信息進行訪問控制。.高并發(fā)低延時的查詢接口采用web服務的方式封裝K-V

46、數(shù)據(jù)庫的高速查詢接口,并提供短連接和長連 接兩種方式。需要支持對K-V數(shù)據(jù)庫的接口分發(fā)功能。.查詢緩存服務對一些訪問熱度較高的數(shù)據(jù)或表通過緩存的方式提高查詢響應效率,并減少 Flash卡訪問頻率,增加壽命。4. 2DSP廠商程序接入系統(tǒng)允許每個廠商程序導入獨立的Cacheo系統(tǒng)支持多個廠商程序算法模型 加載和數(shù)據(jù)訪問。系統(tǒng)支持多租戶作業(yè)的統(tǒng)一任務調度。用戶提交業(yè)務應用作業(yè) 申請,云平臺統(tǒng)一封裝各業(yè)務應用作業(yè)。如果用戶網(wǎng)絡時延較大,可以有以下兩種方式實現(xiàn)實時數(shù)據(jù)查詢:1)將K/V內存數(shù)據(jù)庫安裝于用戶端。2)系統(tǒng)進行數(shù)據(jù)分發(fā)。4. 4. 3廠商作業(yè)性能優(yōu)化4.431 SQL語句優(yōu)化系統(tǒng)支持SQL語

47、句優(yōu)化,可以解決數(shù)據(jù)傾斜的問題。系統(tǒng)提供MapReduce定制服務,當SQL語句效率不高時,可以將SQL語句轉 化成高效的MapReduce作業(yè)直接執(zhí)行。MapReduce 定制服務我們提供MapReduce定制服務,當SQL語句效率不高時,可以將SQL語句轉 化成高效的MapReduce作業(yè)直接執(zhí)行。SQL語句會產生大量的中間數(shù)據(jù),從而影響作業(yè)執(zhí)行效率。MapReduce不產 生中間數(shù)據(jù)。MapReduce作業(yè)和SQL語句相比擬,作業(yè)執(zhí)行效率可以提高37倍。4. 4. 4交互式SQL查詢用戶可以通過圖形化界面定義查詢參數(shù),執(zhí)行自己的查詢任務。系統(tǒng)接口如下:系統(tǒng)兼容標準的SQL語法,可以通過S

48、QL語句訪問查詢。系統(tǒng)支持JDBC連接方式,適合JAVA應用。系統(tǒng)支持ODBC連接方式,適合WIN應用。系統(tǒng)提供CLI命令接口,適合UNIX應用。系統(tǒng)支持Corba協(xié)議,適合IDL服務對象接口。系統(tǒng)支持SOAP協(xié)議,適合遠程RPC調用。4. 4. 5在線報表系統(tǒng)提供豐富的報表展現(xiàn)形式,支持表格、餅圖、柱狀圖、折線圖,用戶可 以自由選擇報表展現(xiàn)形式。報表的定義和配置都要求可視化的靈活操作,要求可見即可得,且結果能夠 靈活導出。生成的報表可輸出各種文件格式,如EXCEL、HTML、XML、RTF等。.信息推送子平臺1. 1.流量分發(fā)模塊可以控制流量的轉發(fā),判斷流量能否進行廣告投放,可以精確控制符合

49、業(yè)務 需要的流量,轉發(fā)到服務器上,啟動廣告投放計劃。具體的流量控制轉發(fā)規(guī)那么可 以靈活的配置。4. 1. 2.流量分發(fā)規(guī)那么系統(tǒng)提供統(tǒng)一的規(guī)那么配置,根據(jù)廣告投放的策略可以靈活的修改。支持的流量分發(fā)規(guī)那么包括:域名、URL規(guī)那么設置能控制流量只轉發(fā)到指定的域名或者URL的報文。控制流量分發(fā)總量可以控制轉發(fā)流量的總流量大小。譬如對搜狗流量,我們可以控制其搜索的 流量只轉發(fā)多個個CPM到指定的服務器上。3、頻次控制可以設置對用戶廣告推送的頻次控制,每個用戶與其IP地址、ADSL賬戶關 聯(lián)。通過限制IP、ADSL的頻次控制用戶流量轉發(fā)到服務器的頻次。4、地域定向規(guī)那么可以根據(jù)IP地址判斷用戶所在地區(qū)

50、,可以只將特定地區(qū)的用戶流量進行分發(fā)。如武漢某企業(yè)用戶可能只希望了解湖北地區(qū)的網(wǎng)民搜索、訪問行為,可以對 地域設置只轉發(fā)武漢的流量到企業(yè)的服務器上進行數(shù)據(jù)分析,一方面減輕了下游 企業(yè)的服務器壓力,另一方面最大限度保護了其他地區(qū)的用戶隱私,降低運營商 數(shù)據(jù)的流量浪費。5、黑名單控制對一些特定的群體投放廣告會產生各種風險問題的,系統(tǒng)提供黑白名單控 制,將具體對象的IP或者ADSL賬戶設置為黑名單。禁止向這些用戶推送廣告。 以此提升用戶整體的體驗效果,降低用戶的投訴。1. 3.廣告提單管理廣告主賬戶信息管理系統(tǒng)提供對廣告主賬戶信息的管理,可以分級授權,超級管理員可以管理系 統(tǒng)中所有的廣告,通過系統(tǒng)配

51、置授權給廣告主,這些廣告主可以獲取賬戶和密碼 登錄系統(tǒng)對個人的廣告策略進行管理。沒有賬號的廣告主需要在官網(wǎng)點擊右上角“注冊”按鈕,填寫相關信息申請 注冊。郵箱 I郵箱作為賬戶名聯(lián)系人:聯(lián)系人姓名手機j手機號碼QQQ竭碼驗證碼fcW 看不清網(wǎng)址 :/開通平臺首頁動念定IRJ洞察產品案例提供數(shù)據(jù)技術關于我們也可通過廣告平臺登陸頁面的“新用戶注冊”按鈕到官網(wǎng)申請注冊。用戶名f I用戶名密碼:密碼登錄首頁動態(tài)定向洞察產品案例提供蛇技術關于我們密碼找回新用戶注冊廣告提單投放管理在投放管理模塊,可上傳創(chuàng)意,對通過審核的創(chuàng)意組建立推廣單元進行廣告 投放。創(chuàng)意組管理通過投放管理一創(chuàng)意組管理,進入創(chuàng)意組管理頁面

52、。創(chuàng)意組列表顯示的信息 包括序號、創(chuàng)意組名稱、所選模板、尺寸(已上傳尺寸數(shù)和未上傳尺寸數(shù))和審 核狀態(tài),可按創(chuàng)意組名稱和審核狀態(tài)查詢。創(chuàng)總組名稱請甘市核狀態(tài)創(chuàng)意組名稱所選模板尺寸市核狀態(tài)1隼支新宣傳默認模板已上傳:2未上q 2個尺寸局部通過局部通過,分置|鹿泠|拜謔投球單元2名學8默認模板已上傳:10未上傳21未通過5g I刪除3集至宣傳默認模板已上傳:1未上傳:30局部通過SS I蒯除|素建投放單元4里包組A默認模板己上傳:6未上傳25局部通過設置I刪錚|新連挎改單元,上一頁 1 下一頁 當麗第1頁.每頁呈示10條,共4條在創(chuàng)意組列表可點擊創(chuàng)意組名稱可查看該創(chuàng)意組信息;將鼠標放到指定創(chuàng)意 組

53、的審核狀態(tài)上,顯示該創(chuàng)意組創(chuàng)意審核情況;點擊指定創(chuàng)意組右側的“設置” 按鈕進行創(chuàng)意組設置;點擊指定創(chuàng)意組右側的“刪除”按鈕刪除該創(chuàng)意組,如果 正在投放的創(chuàng)意組被刪除,該創(chuàng)意組對應的推廣單元變?yōu)闀和顟B(tài);對于已經(jīng)通 過審核的創(chuàng)意組,可點擊該創(chuàng)意組右側的“新建投放單元”進入新建推廣單元頁面對該創(chuàng)意組新建推廣單元設置投放策略。投放管理通過投放管理-投放管理,進入投放管理頁面。在投放管理頁面可按時間維 度查看到推廣單元趨勢圖和推廣單元列表,時間維度包括今天、昨天、本周、上 周、本月、上月和近30天,也可點擊時間對話框通過時間控件點擊指定日期自 定義查看單元列表信息。今天 昨天 本周 上周 本月 上月近

54、3味2014-12-15 72014-12-17從 20141215 到 2014-12-17gR消本二一 十二月 2014 )十二月 2014 )3012345630123456789101112137891011121314131617181920141516KEB181920212223242526272122232425262728293031123282930311234567891045678910/ 周日周一周二周三周四周五周六 周日周一周二周三周四周五周六推廣單元趨勢圖可通過下拉框選擇全部推廣計劃或者指定某個推廣單元,還 可定義趨勢圖表展示的指標,包括花費、展現(xiàn)數(shù)、點擊數(shù)、平均

55、點擊率和平均點 擊本錢。推廣單元列表2014-11-23 - 2014-12-22今天 昨天 本周 上周 本月 上月近現(xiàn)推廣單元:全部推廣單元皿 趨勢圖 W,硼.展現(xiàn)數(shù)O點擊數(shù)O平均點擊率O平均點擊本錢抵日花費用 國區(qū)血C O每日花費推廣單元列表展示該指定時間內的所有推廣計劃,包括推廣單元名稱、狀態(tài)、 有效期、每日預算、展現(xiàn)數(shù)、點擊數(shù)、點擊率、總費用、平均本錢、本頁總計和 全部總計,可輸入指定推廣計劃名稱進行查詢。鼠標放到推廣單元名稱上,點擊 出現(xiàn)的“鉛筆”圖標可在彈出的對話框中修改推廣單元名稱和出價;點擊推廣單 元名稱可查看該投放單元對應的創(chuàng)意組創(chuàng)意列表,也可對該創(chuàng)意組進行編輯;點擊某個屬性

56、右側的上下列圖標使推廣單元列表按照該指標的升序或者降序進行排 列。新增推廣單元i百推廣單元復制推廣單元啟用日產HK0請輸入推廣單元名稱朝? J推廣單元有效期默認出價每H演算點擊率總費用平均點擊本錢Io默認的單元沒育今曰排期2014-12-20-2014-12-311.5030.003825.26%0.010.011219測試地域投放用戶者停2014-12-19形5束時間2.00100000-0 00-1219玩一玩用戶智停2014-12-19無結束時間22.003.0000-0.00-1220測試標及投放用戶暫停2014-12-20形5束時間3 00100000-0 00-220SB枷筌堿_用

57、戶暫停20141220穆東時間1.005.0000-0.00-1220測H式 CPC用戶暫停2014-12-205 時間1 005 0000-0 00-12201555CPC 新測試用戶暫停2014.12-20根束時間1.005.0000-0.00-CPC12201606設置小額點O擊壟價用戶暫停2014-12-20根束時間0 605 0000-0 00-本頁尊計-3825.26%0.010.01全部總計-9263-0.01-在該推廣單元列表中,可對推廣單元進行新增、設置、復制、啟用、暫停和 刪除歸檔操作,還可點擊列表下方的“查看已歸檔的推廣計劃”按鈕查看已歸檔 的推廣計劃。數(shù)據(jù)統(tǒng)計報表可在首

58、頁,或者通過進入“數(shù)據(jù)中心-投放統(tǒng)計”查詢廣告投放統(tǒng)計報告。 可通過“昨天”、“本周”、“上月”和“本月”按鈕快捷查詢對應時間范圍內 的數(shù)據(jù)報表,也可按自定義時間維度查詢廣告投放數(shù)據(jù)報表。自定義時間需點擊 時間對話框,選擇起止時間后點擊確定即可。能查看的數(shù)據(jù)指標包括:展現(xiàn)數(shù)、點擊數(shù)、平均點擊率、平均點擊單價、總花 費、勝出率、到達率、注冊數(shù)、平均注冊單價(CPA)和注冊轉化率。2014-10-27-2014-11-02昨天 本周 上周 本月 上月價拜32仄 2014-10-28 到 2014-10-28十月20141=1昌n昌MgIM2829 30 12345678910111213 14 1

59、516171192620 222292330243112345678統(tǒng)計報表提供六種查看方式,點擊即可切換查看,報表以圖形和表格形式展 現(xiàn),圖形報表包括柱狀和線狀,可選擇柱狀和線狀代表的指標通過圖形報表直觀 展示特定指標數(shù)據(jù)趨勢;圖形報表按照指定的查看方式(6種之一)羅列具體數(shù)據(jù)。媒,果總覽定向效果總覽果總覽創(chuàng)意效果總覽關鍵詞效果總覽點擊數(shù)住狀指標:展現(xiàn)數(shù)表格形式展現(xiàn)的數(shù)據(jù),可通過點擊對應指標右側的上下箭頭按鈕按照該指標 的上升或者下降順序進行排序。推廣單元展現(xiàn)數(shù)點擊數(shù)平均點擊率平均點擊單價總花費注冊數(shù)CPAgj360-IT2-C779373790.486%0.45171 465254%0 0

60、00%0融360微頻2-C789683720.471%0.48178.785.727%0.000%0融360-汽車1-C735593720.506%0.47173.993.590%0.000%0圖形報表支持更改展示形式,可通過點擊右上角按鈕設置為數(shù)據(jù)展示、雙線 形展示、雙柱狀展示、還原,還可點擊最后一個按鈕進行圖形報表截圖。BI區(qū)也CO數(shù)據(jù)總覽直觀顯示廣告主按時間篩選查詢后,當前投放所花費的金額、點擊價格、注 冊數(shù)、CPA、注冊轉化率,讓廣告主對目前的投放狀況一目了然三、總體方案建議.概述大數(shù)據(jù)平臺是第三代數(shù)據(jù)處理技術,其中Hadoop平臺是業(yè)界主流的云計算 平臺解決方案,我公司具備多年電信行

溫馨提示

  • 1. 本站所有資源如無特殊說明,都需要本地電腦安裝OFFICE2007和PDF閱讀器。圖紙軟件為CAD,CAXA,PROE,UG,SolidWorks等.壓縮文件請下載最新的WinRAR軟件解壓。
  • 2. 本站的文檔不包含任何第三方提供的附件圖紙等,如果需要附件,請聯(lián)系上傳者。文件的所有權益歸上傳用戶所有。
  • 3. 本站RAR壓縮包中若帶圖紙,網(wǎng)頁內容里面會有圖紙預覽,若沒有圖紙預覽就沒有圖紙。
  • 4. 未經(jīng)權益所有人同意不得將文件中的內容挪作商業(yè)或盈利用途。
  • 5. 人人文庫網(wǎng)僅提供信息存儲空間,僅對用戶上傳內容的表現(xiàn)方式做保護處理,對用戶上傳分享的文檔內容本身不做任何修改或編輯,并不能對任何下載內容負責。
  • 6. 下載文件中如有侵權或不適當內容,請與我們聯(lián)系,我們立即糾正。
  • 7. 本站不保證下載資源的準確性、安全性和完整性, 同時也不承擔用戶因使用這些下載資源對自己和他人造成任何形式的傷害或損失。

評論

0/150

提交評論