成果上報(bào)申請(qǐng)書成果名稱基于事件過(guò)濾的安全分析平臺(tái)成果申報(bào)單位湖北省（自治區(qū)/直轄市）公司成果承擔(dān)部門/分公司網(wǎng)優(yōu)中心成果專業(yè)類別*安全所屬專業(yè)部門*安全線條成果研究類別*其他類成果省內(nèi)評(píng)審結(jié)果*優(yōu)秀關(guān)鍵詞索引（3～5個(gè)）安全管控、安全分析、KETTLE應(yīng)用投資0萬(wàn)元（指別的省引入應(yīng)用大致需要的投資金額）產(chǎn)品版權(quán)歸屬單位中國(guó)移動(dòng)湖北公司對(duì)企業(yè)現(xiàn)有標(biāo)準(zhǔn)規(guī)范的符合度：（按填寫說(shuō)明5）符合網(wǎng)絡(luò)安全管控平臺(tái)功能規(guī)范《融合通信安全總體技術(shù)要求》要求，編號(hào)QB-F-015-2014，建議在原有規(guī)劃增加安全分析平臺(tái)的功能。成果來(lái)源：如果該成果來(lái)源于集團(tuán)研發(fā)計(jì)劃內(nèi)項(xiàng)目，請(qǐng)?zhí)顚懷邪l(fā)項(xiàng)目年度、項(xiàng)目名稱及類型；否則填寫“計(jì)劃外項(xiàng)目”（按填寫說(shuō)明6）省內(nèi)自立項(xiàng)目專利情況：如果該成果產(chǎn)出相關(guān)專利，且專利處于國(guó)知局專利申請(qǐng)審查階段或已授權(quán)，請(qǐng)說(shuō)明專利名稱、類型、申請(qǐng)?zhí)枴顟B(tài)、是否海外申請(qǐng)等情況。（按填寫說(shuō)明7）無(wú)成果簡(jiǎn)介：簡(jiǎn)要描述成果目的和意義，解決的問(wèn)題，取得的社會(huì)和經(jīng)濟(jì)效益。隨著集中優(yōu)化的進(jìn)程不斷加快，湖北移動(dòng)網(wǎng)優(yōu)中心承擔(dān)了全省無(wú)線OMC，以及各類IT系統(tǒng)的集中安全管控工作。在日常的網(wǎng)絡(luò)安全管理中，重點(diǎn)監(jiān)控繞行問(wèn)題、弱口令問(wèn)題整改、合規(guī)問(wèn)題整改和接入問(wèn)題核查等問(wèn)題，非常耗時(shí)耗力，如果不及時(shí)處理將引起重大的安全隱患。2014年湖北移動(dòng)省網(wǎng)優(yōu)中心牽頭排查無(wú)線網(wǎng)安全問(wèn)題隱患，成立安全數(shù)據(jù)問(wèn)題分析專班，特別是針對(duì)安全管控平臺(tái)及合規(guī)平臺(tái)問(wèn)題進(jìn)行事件分析和過(guò)濾進(jìn)行專題研究，探索一條自動(dòng)化的網(wǎng)絡(luò)安全管理機(jī)制。主要的思路是首先梳理集團(tuán)的安全管控要求，提取其中的安全管控點(diǎn)，以及每個(gè)管控點(diǎn)對(duì)應(yīng)的安全事件；第二是利用ETL中間件，定時(shí)采集和過(guò)濾異常安全事件，并給出分地市的量化評(píng)分，第三是建立地市派單機(jī)制，對(duì)安全問(wèn)題進(jìn)行閉環(huán)管控，這樣一來(lái)就實(shí)現(xiàn)了在省中心對(duì)全省網(wǎng)絡(luò)安全問(wèn)題的集中管控水平，保障了網(wǎng)絡(luò)的安全。結(jié)合KETTLE中間件的強(qiáng)大數(shù)據(jù)處理能力，對(duì)無(wú)線網(wǎng)設(shè)備的安全問(wèn)題進(jìn)行事件過(guò)濾和分析。不僅提高了日常工作效率而且大大提高了安全事件的處理能力和安全管控能力。項(xiàng)目創(chuàng)新點(diǎn)如下：創(chuàng)新點(diǎn)1：提高安全隱患排查效率通過(guò)事件過(guò)濾工具可以及時(shí)發(fā)現(xiàn)網(wǎng)絡(luò)安全隱患問(wèn)題，組織問(wèn)題整改，便于跟蹤管理，較人工排查效率明顯提高。真正的成為安全防護(hù)的第一道堅(jiān)實(shí)防線。創(chuàng)新點(diǎn)2：自由便捷的白名單管理由于大量的程序賬號(hào)及內(nèi)部系統(tǒng)登錄連接，導(dǎo)致大量的登錄地址需要剔除。在安全問(wèn)題日益重要的當(dāng)今，便捷的白名單管理可以大大提升安全隱患排查效率。創(chuàng)新點(diǎn)3：基于KETTLE組件具有高開(kāi)發(fā)效率和低開(kāi)發(fā)成本。KETTLE是開(kāi)源ETL中間件（免費(fèi)），支持對(duì)結(jié)構(gòu)化和非結(jié)構(gòu)化數(shù)據(jù)導(dǎo)入，以及全圖形化設(shè)計(jì)過(guò)程，讓開(kāi)發(fā)人員將主要的精力放在規(guī)則上，以期提高開(kāi)發(fā)效率。從使用效果來(lái)說(shuō)，這些工具能夠快速地構(gòu)建一個(gè)工程來(lái)處理某個(gè)數(shù)據(jù)，相比較于傳統(tǒng)的開(kāi)發(fā)模式，節(jié)省60%的開(kāi)發(fā)成本。省內(nèi)試運(yùn)行效果：描述成果引入后在本省試運(yùn)行方案、取得的效果、推廣價(jià)值和建議等。效果一：安全異常事件的數(shù)量變少以前異常事件的核查都是采用人工處理，需要至少三四人天的時(shí)間去核查事件問(wèn)題，而kettle在處理大量的數(shù)據(jù)時(shí)有著明顯的優(yōu)勢(shì)，能夠更快更準(zhǔn)確的定位出問(wèn)題，給安全管理人員節(jié)省出更多的時(shí)間去解決問(wèn)題和優(yōu)化安全管理流程，安全事件基本為由2014年第一季度的600件減少到2015年的第一季度的82件效果二：通過(guò)工單形成的閉環(huán)處理如下圖所示，在KETTLE軟件的幫助下，通過(guò)工單事件形成了閉環(huán)處理。在第一時(shí)間發(fā)現(xiàn)問(wèn)題，然后就可以立刻發(fā)送工單，督促OMC廠家或者地市去解決的問(wèn)題。用8個(gè)月發(fā)現(xiàn)了OMC廠家和地市的1400個(gè)安全問(wèn)題，發(fā)出工單數(shù)約為500個(gè)，均督促相關(guān)廠家和設(shè)備商進(jìn)行及時(shí)處理。效果三：集團(tuán)考核安全指標(biāo)的提升Kettle截止今日已經(jīng)試運(yùn)行了9個(gè)月，如下圖所示，在這三個(gè)季度以來(lái)，集團(tuán)安全指標(biāo)由原來(lái)的不達(dá)標(biāo)到現(xiàn)在的指標(biāo)優(yōu)秀。安全異常事件類型14年第三度15年第一季度繞行事件65.74%0.40%弱口令事件4.43%0.12%合規(guī)事件43.23%98.34%接入事件0%99.80%“成果上報(bào)申請(qǐng)書”的填寫說(shuō)明：1、“成果專業(yè)類別”指：核心網(wǎng)、無(wú)線、傳輸、IP、網(wǎng)管、業(yè)務(wù)支撐、管理信息系統(tǒng)、市場(chǎng)研究、數(shù)據(jù)業(yè)務(wù)、數(shù)據(jù)網(wǎng)絡(luò)、通信電源、空調(diào)、其他。2、“成果研究類別”指：超前研究、新產(chǎn)品開(kāi)發(fā)、相關(guān)網(wǎng)絡(luò)解決方案、現(xiàn)有業(yè)務(wù)優(yōu)化、其他。3、“所屬專業(yè)部門”指：完成該成果的單位在省公司或地市分公司所屬的專業(yè)部門線條。可填寫：規(guī)劃計(jì)劃線條、網(wǎng)絡(luò)線條、業(yè)務(wù)支撐線條、管理信息系統(tǒng)線條、數(shù)據(jù)線條、市場(chǎng)線條、集團(tuán)客戶線條、其他。4、“省內(nèi)評(píng)審結(jié)果”指：優(yōu)秀、通過(guò)。5、“對(duì)企業(yè)現(xiàn)有標(biāo)準(zhǔn)規(guī)范的符合度”指：列舉該成果使用并符合的中國(guó)移動(dòng)統(tǒng)一發(fā)布的企業(yè)標(biāo)準(zhǔn)的名稱和編號(hào)，詳細(xì)描述該成果在現(xiàn)有的企業(yè)標(biāo)準(zhǔn)基礎(chǔ)上所需新增的功能要求（如業(yè)務(wù)流程的改變、設(shè)備新增的功能要求等）。6、成果來(lái)源指：如果該成果來(lái)源于集團(tuán)研發(fā)計(jì)劃內(nèi)項(xiàng)目，請(qǐng)?zhí)顚懷邪l(fā)項(xiàng)目的年度、項(xiàng)目名稱和類型（類型包括：集團(tuán)重大研發(fā)項(xiàng)目、集團(tuán)重點(diǎn)研發(fā)項(xiàng)目、省公司自立項(xiàng)目）。未列入集團(tuán)研發(fā)計(jì)劃的，請(qǐng)?zhí)顚憽坝?jì)劃外項(xiàng)目”。（集團(tuán)研發(fā)計(jì)劃請(qǐng)見(jiàn)集團(tuán)每年的發(fā)文，或登錄科技創(chuàng)新平臺(tái)查閱。）7、專利情況指：1)類型：發(fā)明、實(shí)用新型、外觀2）名稱：該成果申請(qǐng)專利的名稱3）申請(qǐng)?zhí)枺河芍R(shí)產(chǎn)權(quán)審查機(jī)構(gòu)授予的該成果專利申請(qǐng)?zhí)?）狀態(tài)：申請(qǐng)中、已授權(quán)8、“文章主體”：根據(jù)不同科技成果分類實(shí)施不同的主體要求，具體如下：1）超前研究類成果主體包括：背景情況技術(shù)特點(diǎn)分析標(biāo)準(zhǔn)化情況其他運(yùn)營(yíng)商應(yīng)用情況（可選）技術(shù)發(fā)展趨勢(shì)引入策略分析2）相關(guān)網(wǎng)絡(luò)解決方案類成果主體包括：背景情況技術(shù)方案：概述、網(wǎng)絡(luò)解決方案（如果涉及到網(wǎng)絡(luò)方面的改造，信令改造，路由改造等，應(yīng)有詳細(xì)的描述）、設(shè)備及系統(tǒng)改造/建設(shè)要求、碼號(hào)資源需求效果（解決了哪些問(wèn)題）本省應(yīng)用推廣情況3）新產(chǎn)品開(kāi)發(fā)類成果主體包括：業(yè)務(wù)及功能簡(jiǎn)介：業(yè)務(wù)概述、業(yè)務(wù)主要功能介紹技術(shù)實(shí)現(xiàn)方案：包括業(yè)務(wù)實(shí)現(xiàn)組網(wǎng)結(jié)構(gòu)圖、相關(guān)系統(tǒng)（平臺(tái)、終端）功能和要求、業(yè)務(wù)實(shí)現(xiàn)流程、碼號(hào)要求等業(yè)務(wù)申請(qǐng)和開(kāi)通：包括用戶范圍及業(yè)務(wù)使用范圍、業(yè)務(wù)申請(qǐng)與注銷等業(yè)務(wù)商務(wù)模式及資費(fèi)：包括商務(wù)模式、業(yè)務(wù)資費(fèi)模式、業(yè)務(wù)收費(fèi)方式等市場(chǎng)前景分析4）現(xiàn)有業(yè)務(wù)優(yōu)化類成果主體包括：業(yè)務(wù)及功能簡(jiǎn)介：業(yè)務(wù)概述、業(yè)務(wù)主要功能介紹現(xiàn)有業(yè)務(wù)存在的問(wèn)題：現(xiàn)有缺陷分析、解決問(wèn)題的思路原有業(yè)務(wù)方案/流程：業(yè)務(wù)實(shí)現(xiàn)組網(wǎng)結(jié)構(gòu)圖、相關(guān)系統(tǒng)（平臺(tái)、終端）功能和要求、業(yè)務(wù)實(shí)現(xiàn)流程優(yōu)化后的方案/流程：業(yè)務(wù)實(shí)現(xiàn)組網(wǎng)結(jié)構(gòu)圖、相關(guān)系統(tǒng)（平臺(tái)、終端）功能和要求、業(yè)務(wù)實(shí)現(xiàn)流程優(yōu)化后達(dá)到的效果，產(chǎn)生的經(jīng)濟(jì)效益5）其他類成果主體，參考1）－4）的成果主體要求，闡述清楚項(xiàng)目背景、實(shí)現(xiàn)方案、解決的問(wèn)題、取得的社會(huì)和經(jīng)濟(jì)效益等。

基于事件過(guò)濾的安全管控平臺(tái)事件過(guò)濾項(xiàng)目背景安全管控是一個(gè)關(guān)系公司安全和產(chǎn)權(quán)、信息穩(wěn)定、公司文化繼承和發(fā)揚(yáng)的重要問(wèn)題。其重要性，正隨著全球信息化步伐的加快越來(lái)越重要。中國(guó)移動(dòng)擁有龐大的信息數(shù)據(jù)體系以及豐富的支撐平臺(tái)，因此公司的安全與發(fā)展與安全管控系統(tǒng)的防護(hù)息息相關(guān)。根據(jù)工信部《關(guān)于開(kāi)展基礎(chǔ)電信企業(yè)網(wǎng)絡(luò)與信息安全責(zé)任考核有關(guān)工作的指導(dǎo)意見(jiàn)》（工信部聯(lián)保〔2012〕551號(hào)），以及《2013年省級(jí)基礎(chǔ)電信企業(yè)網(wǎng)絡(luò)與信息安全工作考核要點(diǎn)與評(píng)分標(biāo)準(zhǔn)》（工信廳保〔2012〕247號(hào)）中涉及網(wǎng)絡(luò)維護(hù)部門的相關(guān)要求，完成年初網(wǎng)絡(luò)工作會(huì)部署的任務(wù)，2013年湖北省按照網(wǎng)絡(luò)與信息安全責(zé)任分工，圍繞控制重要系統(tǒng)的主要風(fēng)險(xiǎn)，以技術(shù)手段建設(shè)和應(yīng)用為抓手，深化基礎(chǔ)性安全工作，完善生產(chǎn)流程和評(píng)價(jià)方法，整體提升網(wǎng)絡(luò)與信息安全工作水平。如下圖2-1所示，集團(tuán)要求信息安全管控重點(diǎn)檢查繞行問(wèn)題、合規(guī)問(wèn)題、弱口令問(wèn)題和接入問(wèn)題。傳統(tǒng)的信息安全管控是通過(guò)定期抽查其中部分事件，進(jìn)行手動(dòng)分析處理，然后對(duì)問(wèn)題地市和廠家進(jìn)行派單。這種方式費(fèi)時(shí)費(fèi)力，無(wú)法及時(shí)針對(duì)重大質(zhì)量問(wèn)題及時(shí)處理，而且不能對(duì)整個(gè)網(wǎng)絡(luò)安全有個(gè)整體的把控。2014年湖北移動(dòng)省網(wǎng)優(yōu)中心牽頭排查無(wú)線網(wǎng)安全問(wèn)題隱患，成立安全數(shù)據(jù)問(wèn)題分析專班，特別是針對(duì)安全管控平臺(tái)及合規(guī)平臺(tái)問(wèn)題進(jìn)行事件分析和過(guò)濾進(jìn)行專題研究，結(jié)合KETTLE中間件的強(qiáng)大數(shù)據(jù)處理能力，對(duì)無(wú)線網(wǎng)設(shè)備的安全問(wèn)題進(jìn)行事件過(guò)濾和分析。提出并開(kāi)發(fā)了一種高效的基于事件過(guò)濾的安全管控平臺(tái)，它實(shí)現(xiàn)了定時(shí)自動(dòng)提取OMC等安全相關(guān)數(shù)據(jù)，根據(jù)安全管理員量身定制的算法對(duì)數(shù)據(jù)分析處理，結(jié)果推送等功能。這樣就避免因?yàn)閱T工疏忽和數(shù)據(jù)不全面，導(dǎo)致不必要的錯(cuò)誤，同時(shí)也節(jié)省了許多人力和物力資源，大大提高了安全管理的工作效率。圖2-1安全管控的整體框架亟待解決的安全管控平臺(tái)問(wèn)題待解決問(wèn)題分析安全管控平臺(tái)主要事件包括登錄問(wèn)題事件、合規(guī)問(wèn)題事件、弱口令問(wèn)題事件、繞行問(wèn)題事件、接入核查事件等。每個(gè)問(wèn)題事件過(guò)濾所需的數(shù)據(jù)源類型多樣，數(shù)據(jù)量大，這不僅需要大量的人力和物力進(jìn)行處理，而且人員疏忽和數(shù)據(jù)處理樣本過(guò)小的問(wèn)題也導(dǎo)致處理結(jié)果準(zhǔn)確性不足夠高。對(duì)需求進(jìn)行了充分了解后，研制出準(zhǔn)確的數(shù)據(jù)分析模型和時(shí)間處理框架，以便輕松的將結(jié)果呈現(xiàn)出來(lái)。本次實(shí)現(xiàn)模式采用大數(shù)據(jù)處理模式——ETL，對(duì)數(shù)據(jù)進(jìn)行抽取、清洗、下載。目前安全管控平臺(tái)安全問(wèn)題分析主要存在以下問(wèn)題及難點(diǎn)。1）時(shí)間有限：通信工作人員使用和開(kāi)發(fā)編程能力欠缺，數(shù)據(jù)提取及處理費(fèi)時(shí)費(fèi)力。購(gòu)買預(yù)算：?jiǎn)为?dú)組織集成商開(kāi)發(fā)成本較高，且存在維護(hù)困難的問(wèn)題。事件數(shù)量：管控平臺(tái)中需要核查的問(wèn)題事件多樣化，因此數(shù)據(jù)采集和結(jié)果運(yùn)算算法復(fù)雜。4）數(shù)據(jù)源多樣化：安全管控涉及的主設(shè)備廠家較多，數(shù)據(jù)源多樣化，需要各種數(shù)據(jù)輸入形式。5）可擴(kuò)展性：人員變更和白名單內(nèi)數(shù)據(jù)需要根據(jù)需要隨時(shí)進(jìn)行更新調(diào)整。問(wèn)題1：數(shù)據(jù)量大，人工分析時(shí)間長(zhǎng)隨著4G網(wǎng)絡(luò)的不斷發(fā)展必然要造成網(wǎng)絡(luò)規(guī)模迅速擴(kuò)大，這使我們?cè)谡麄€(gè)網(wǎng)絡(luò)安全管控方面有了新的挑戰(zhàn)。如果再以傳統(tǒng)模式中事件抽取的方式進(jìn)行處理，不但會(huì)占用越來(lái)越多的人力物力，另外也無(wú)法對(duì)于安全管控平臺(tái)的問(wèn)題情況進(jìn)行量化評(píng)估和針對(duì)重大問(wèn)題及時(shí)分析處理。下面簡(jiǎn)單列舉出基本數(shù)據(jù)的提取及處理時(shí)長(zhǎng)：表2-1下列數(shù)據(jù)以網(wǎng)優(yōu)中心現(xiàn)有網(wǎng)絡(luò)規(guī)模進(jìn)行統(tǒng)計(jì)數(shù)據(jù)類型規(guī)模提取時(shí)長(zhǎng)（小時(shí)）處理時(shí)長(zhǎng)（小時(shí)）接入設(shè)備約1000臺(tái)13.52.5安全管控平臺(tái)繞行數(shù)據(jù)100萬(wàn)83合規(guī)問(wèn)題整改數(shù)據(jù)10萬(wàn)41弱口令問(wèn)題整改數(shù)據(jù)10萬(wàn)41面對(duì)如此龐大的數(shù)據(jù)庫(kù)，人工處理時(shí)長(zhǎng)太長(zhǎng)，而且處理周期頻繁，安全管理人員的工作越來(lái)越繁重，所以急需一種高效的數(shù)據(jù)問(wèn)題核查及分析方案，實(shí)現(xiàn)通過(guò)對(duì)數(shù)據(jù)問(wèn)題分析和安全隱患排查的管理。問(wèn)題2：事件選取集小，分析不全面安全問(wèn)題是一直是中國(guó)移動(dòng)非常核心的一部分，但是每年都要有一兩千個(gè)安全問(wèn)題出現(xiàn)，問(wèn)題解決進(jìn)展很緩慢。其中一個(gè)重要原因就是問(wèn)題事件較多，而選取用來(lái)分析的集合較少，很難較為全面的去把控整個(gè)流程。圖2-2安全管控問(wèn)題分析流程解決對(duì)策安全事件模型如下圖2-3所示，整個(gè)網(wǎng)絡(luò)安全管理重點(diǎn)監(jiān)控處理的事件有四個(gè)：繞行問(wèn)題、弱口令問(wèn)題整改、合規(guī)問(wèn)題整改、接入問(wèn)題核查。主要事件用例分為：設(shè)定自動(dòng)運(yùn)行機(jī)制，自動(dòng)從廠家OMC、安全管控平臺(tái)等提取日志數(shù)據(jù)；通過(guò)公式計(jì)算得到繞行率、弱口令率、合規(guī)整改率、接入率。1）繞行事件：如下圖2-4所示，繞行事件分為白名單登錄、4A登錄、直連登錄、橋接登錄。4A繞行率=count(直連登錄+橋接登錄)/count（白名單+4A登錄+直連登錄+橋接登錄）。2）弱口令事件：如下圖2-5所示，弱口令事件的檢測(cè)結(jié)果有兩種：檢測(cè)為弱口令、檢測(cè)為非弱口令。弱口令率=count(檢測(cè)為弱口令)/count(檢測(cè)為弱口令+檢測(cè)為非弱口令)；3）合規(guī)事件：如下圖2-6所示，合規(guī)事件的核查結(jié)果也有兩種：合規(guī)和不合規(guī)。對(duì)不合規(guī)的廠家地市進(jìn)行派單整改。合規(guī)率=count（合規(guī)）/count（合規(guī)+不合規(guī)）。4）接入事件：如下圖2-7所示，接入事件是與資源庫(kù)中IP地址比對(duì)，因此檢測(cè)結(jié)果分為兩類：資源庫(kù)匹配和資源庫(kù)不匹配。接入率=count（匹配）/count(匹配+不匹配)。得到不符合規(guī)定繞行、弱口令、需要整改、接入有問(wèn)題的詳細(xì)廠家或者主機(jī)IP。對(duì)問(wèn)題地市和廠家派單后續(xù)處理。地市和廠家可以通過(guò)4A平臺(tái)連接遠(yuǎn)程服務(wù)器，下載有問(wèn)題的IP地址詳單。圖2-3網(wǎng)絡(luò)管理總概況圖圖2-4繞行事件圖2-5弱口令事件圖2-6接入事件圖2-7合規(guī)事件工具選用結(jié)合上述要素，最后選擇了Kettle作為ETL的開(kāi)發(fā)中間件。kettle是一款國(guó)外開(kāi)源的ETL工具，純java編寫；可以在Window、Linux、Unix上運(yùn)行，綠色無(wú)需安裝；數(shù)據(jù)抽取高效穩(wěn)定，大大提高了效率；圖形化設(shè)計(jì)界面，應(yīng)用以及開(kāi)發(fā)人員上手快。KETTLE組件處理數(shù)據(jù)的優(yōu)勢(shì)：ETL中間件使得網(wǎng)優(yōu)人員只需要關(guān)注哪些數(shù)據(jù)需要導(dǎo)入，而不需要關(guān)注如何導(dǎo)入。多數(shù)據(jù)源輸入支持多種數(shù)據(jù)庫(kù)連接：kettle可連接數(shù)據(jù)庫(kù)多達(dá)十多種，例如Postgresql、MySQL、Oracle、Informax等等支持各種格式的文件輸入：如txt、csv、xls、xml、自定義表格等等易于理解可視化編程：基于圖形界面設(shè)計(jì)，無(wú)需編碼可復(fù)用插件:提供大量的插件，規(guī)范開(kāi)發(fā)過(guò)程模塊化組裝：數(shù)據(jù)挖掘過(guò)程通過(guò)模塊拼裝實(shí)現(xiàn)易于變化模塊化結(jié)構(gòu)：方通過(guò)局部修改來(lái)完善功能。第三方插件：ETL中間件可以作為插件平臺(tái)平臺(tái)無(wú)關(guān)：不依賴底層硬件，方便集群部署閉環(huán)管理如下圖2-8所示，在省網(wǎng)優(yōu)、地市和廠家之間通過(guò)工單事件形成了閉環(huán)處理。省網(wǎng)優(yōu)安全管理人員在第一時(shí)間發(fā)現(xiàn)問(wèn)題，然后就可以立刻發(fā)送工單，督促OMC廠家或者地市去解決的問(wèn)題。地市和設(shè)備商會(huì)根據(jù)具體情況進(jìn)行整改和優(yōu)化，然后回復(fù)工單。這種閉環(huán)形式可以督促跟蹤行家解決問(wèn)題，提高辦事效率。使用8個(gè)月以來(lái)，發(fā)現(xiàn)了OMC廠家和地市的1400個(gè)安全問(wèn)題，發(fā)出工單數(shù)約為500個(gè)，均督促相關(guān)廠家和設(shè)備商進(jìn)行及時(shí)處理。圖2-8閉環(huán)管理示意圖詳細(xì)技術(shù)方案整個(gè)流程框架是基于kettle設(shè)計(jì)，Kettle中文名稱叫水壺，該項(xiàng)目的架構(gòu)師MATT希望把各種數(shù)據(jù)放到一個(gè)壺里，然后以一種指定的格式流出。Kettle這個(gè)ETL工具集，它允許你管理來(lái)自不同數(shù)據(jù)庫(kù)的數(shù)據(jù)，通過(guò)提供一個(gè)圖形化的用戶環(huán)境來(lái)描述你想做什么，而不是你想怎么做。如下圖3所示，按照現(xiàn)在安全管理問(wèn)題核查需求，針對(duì)四個(gè)問(wèn)題進(jìn)行概率核查和詳情輸出。將整個(gè)安全管控系統(tǒng)的實(shí)現(xiàn)模型分為四個(gè)模塊：繞行率計(jì)算、接入率計(jì)算、合規(guī)率計(jì)算、弱口令率計(jì)算。如下圖4所示，每個(gè)模塊的實(shí)現(xiàn)模型都是按照ETL大數(shù)據(jù)處理方式進(jìn)行設(shè)計(jì)，模塊流程包括：事件數(shù)據(jù)搜集、事件過(guò)濾清洗、分析數(shù)據(jù)、問(wèn)題結(jié)果呈現(xiàn)。針對(duì)每個(gè)問(wèn)題的計(jì)算流程大體類似，現(xiàn)已繞行率計(jì)算模塊為例，對(duì)每個(gè)模塊的實(shí)現(xiàn)技術(shù)進(jìn)行一一詳述。圖3-1項(xiàng)目實(shí)現(xiàn)框架圖3-24A繞行率方案的總實(shí)現(xiàn)Job模塊項(xiàng)目需求分析利用KETTLE中間件開(kāi)發(fā)一套基于時(shí)間過(guò)濾的安全管控平臺(tái)，該平臺(tái)主要實(shí)現(xiàn)的功能為：自動(dòng)從數(shù)據(jù)庫(kù)中提取出所需要的源數(shù)據(jù)；利用KELLE中間件中和問(wèn)題核查算法計(jì)算問(wèn)題結(jié)果；將結(jié)果放到指定文件夾或者數(shù)據(jù)庫(kù)表，供使用者查看。圖3-3整體需求模塊支持從各類平臺(tái)以及各類型OMC上導(dǎo)出安全日志至工具中；使用kettle工具開(kāi)發(fā)的安全分析平臺(tái)分析數(shù)據(jù)數(shù)據(jù)；將結(jié)果結(jié)果保存在遠(yuǎn)程務(wù)器或者存儲(chǔ)到數(shù)據(jù)庫(kù)中；省網(wǎng)優(yōu)、廠家和地市都可以登錄服務(wù)器或者數(shù)據(jù)庫(kù)客戶端對(duì)分析結(jié)果進(jìn)行瀏覽和下載。關(guān)鍵點(diǎn)分析（文本處理特性）支持多文檔類型如上圖3-3所示，借助于kettle工具的優(yōu)勢(shì)，本安全分析平臺(tái)支持多數(shù)據(jù)輸入：txt、csv、xml、xls、log等等文檔類型，并且可以連接大多數(shù)數(shù)據(jù)庫(kù)，如DB2、MySQL、PostGreSQL、SQLServer、ORACLE、Informax等等。如下圖3-4所示，實(shí)現(xiàn)將文本文件歸一化到數(shù)據(jù)庫(kù)中需要經(jīng)過(guò)如下kettle流程。整個(gè)數(shù)據(jù)庫(kù)中數(shù)據(jù)表字段為IP地址、廠家制式、地市、時(shí)間、是否繞行。下圖3-5是每個(gè)組件具體實(shí)現(xiàn)功能。圖3-4實(shí)現(xiàn)模型圖3-5kettle組件功能數(shù)據(jù)分析數(shù)據(jù)分析過(guò)程中要產(chǎn)生兩個(gè)輸出結(jié)果：概率和祥表。例如對(duì)繞行而言，要輸出繞行率和繞行的IP地址。其實(shí)最核心的步驟就是數(shù)據(jù)輸入，數(shù)據(jù)歸一化到數(shù)據(jù)庫(kù)中，計(jì)算概率通過(guò)簡(jiǎn)單的SQL代碼即可實(shí)現(xiàn)。表輸入，從數(shù)據(jù)庫(kù)中將祥表數(shù)據(jù)數(shù)據(jù)到kettle中進(jìn)行數(shù)據(jù)分析。此步驟可以在數(shù)據(jù)輸入的過(guò)程中對(duì)字段進(jìn)行分析處理，例如計(jì)算繞行率，首先計(jì)算繞行IP地址和總的IP地址的數(shù)量，然后二者相除即可得到繞行率。MicrosoftExcelWriter，將結(jié)果輸出到指定位置的excel文檔中。圖3-6數(shù)據(jù)分析組件項(xiàng)目整體方案如下圖3-7所示，將華為、大唐、諾西、中興、愛(ài)立信的OMC日志文件自動(dòng)導(dǎo)入到Postgresql數(shù)據(jù)庫(kù)中，實(shí)現(xiàn)數(shù)據(jù)歸一化。圖3-8為愛(ài)立信實(shí)現(xiàn)將.log格式的文件信息歸一化到運(yùn)算所需的信息表中。圖3-7數(shù)據(jù)導(dǎo)入集成模塊圖3-8立信數(shù)據(jù)導(dǎo)入實(shí)現(xiàn)組件數(shù)據(jù)導(dǎo)入思路:實(shí)現(xiàn)將OMC不同類型的日志文件導(dǎo)入到postgresql數(shù)據(jù)庫(kù)中進(jìn)行歸一化，整體思路為：日志文件內(nèi)容和日志文件名稱信息按照需要導(dǎo)入到數(shù)據(jù)庫(kù)表中。日志文件名稱：中興_4G或中興_2G。祥表字段：序號(hào)字段名稱PG數(shù)據(jù)類型字符類型1IPVarchar字符型2時(shí)間timestamp時(shí)間3用戶名varchar字符型4制式text文本5地市text文本6是否繞行Int2整形祥表中字段信息來(lái)源解析從上面解析過(guò)程來(lái)看，如下圖所示kettle實(shí)現(xiàn)過(guò)程按照實(shí)現(xiàn)流程依次為：獲取廠家制式、獲取地市、獲取時(shí)間、增加字段是否繞行、字段刪留和記錄過(guò)濾。圖3-9kettle實(shí)現(xiàn)整體流程圖4A繞行率計(jì)算4A繞行率計(jì)算公式為：繞行IP數(shù)量/（繞行IP數(shù)量+非繞行IP數(shù)量），在將OMC日志信息歸一化到數(shù)據(jù)庫(kù)詳表中后，數(shù)據(jù)表字段中有個(gè)字段：是否繞行。計(jì)算記錄“是”記為count1.同時(shí)計(jì)算IP總數(shù)為count2。4A繞行率=count1/count2。具體實(shí)現(xiàn)是通過(guò)SQL代碼實(shí)現(xiàn)，實(shí)現(xiàn)組件為“執(zhí)行SQL腳本”。數(shù)據(jù)清空?qǐng)?zhí)行SQL腳本：實(shí)現(xiàn)數(shù)據(jù)表清空。目的有兩個(gè)：1）為了防止同一天執(zhí)行兩次，所以在每次生成新數(shù)據(jù)前都把當(dāng)天數(shù)據(jù)給刪除。2）結(jié)果中沒(méi)有時(shí)間記錄，因此無(wú)法區(qū)分每次運(yùn)行結(jié)果，因此系統(tǒng)只保留當(dāng)天時(shí)間數(shù)據(jù)。自動(dòng)運(yùn)行配置項(xiàng)目設(shè)計(jì)完畢，就可以利用windows任務(wù)計(jì)劃按一定周期去調(diào)度項(xiàng)目，實(shí)現(xiàn)自動(dòng)運(yùn)行，每天會(huì)按照指定的時(shí)間將結(jié)果推送到數(shù)據(jù)庫(kù)中或文件夾中供使用者查看。圖3-10是自動(dòng)運(yùn)行領(lǐng)域?qū)ο竽Ｐ蛨D，設(shè)定任務(wù)計(jì)劃，每天按照計(jì)劃內(nèi)容調(diào)度運(yùn)行項(xiàng)目，得到分析結(jié)果。圖3-11為設(shè)定好的任務(wù)計(jì)劃，本項(xiàng)目任務(wù)計(jì)劃名稱為wangyou0023。圖3-10自動(dòng)運(yùn)行示意圖圖3-11任務(wù)計(jì)劃界面Navicate客戶端查看和下載結(jié)果項(xiàng)目使用者個(gè)人電腦上可安裝一個(gè)navicate客戶端，直接連接服務(wù)器的postgresql數(shù)據(jù)庫(kù)，查看或下載分析結(jié)果。Navicat是以視覺(jué)化的圖形用戶界面而建的，讓你可以以安全并且簡(jiǎn)單的方式創(chuàng)建、組織、訪問(wèn)并共用信息。NavicateforPostgreSQL界面如下圖3-12所示：圖3-12navicate客戶端界面Navicate客戶端可實(shí)現(xiàn)功能如下：查看數(shù)據(jù)表：雙擊要查看表格即可下載數(shù)據(jù)表：查詢數(shù)據(jù)，然后根據(jù)導(dǎo)出向?qū)?dǎo)出數(shù)據(jù)修改數(shù)據(jù)表字段：右鍵點(diǎn)擊表設(shè)計(jì)新建表、刪除表、清空表取得的成效安全管控平臺(tái)日常、周常需要處理數(shù)據(jù)量大，數(shù)據(jù)具有一定的規(guī)律性。Kettle工具的使用提高了處理數(shù)據(jù)的效率和準(zhǔn)確性，使得更多的人力可以投入到問(wèn)題的解決處理、數(shù)據(jù)的優(yōu)化升級(jí)中。安全工作優(yōu)化的突有表現(xiàn)：實(shí)現(xiàn)安全管理工作的規(guī)范化基于事件過(guò)濾模型和分析平臺(tái)，一方面明確了工作的要求，同時(shí)也很分便進(jìn)行工作的標(biāo)準(zhǔn)化作業(yè)，這個(gè)是一個(gè)特別核心的效果。在KETTLE軟件的幫助下，問(wèn)題概率核查比較方便，可以在第一時(shí)間發(fā)現(xiàn)問(wèn)題，然后就立即發(fā)送工單督促OMC廠家或者地市去解決問(wèn)題，形成了一系列的閉環(huán)問(wèn)題處理過(guò)程。根據(jù)需要，網(wǎng)優(yōu)中心安全管理人員又將繞行率、合規(guī)率、弱口令率、接入率指標(biāo)納入到廠家和地市考核當(dāng)中。廠家、地市的周考核細(xì)化到了每天的日常統(tǒng)計(jì)中，極其快速的定位到了問(wèn)題原因，并且為問(wèn)題解決預(yù)留了更長(zhǎng)時(shí)間，有利于充分解決問(wèn)題。僅8個(gè)月發(fā)現(xiàn)了OMC廠家和地市的1400個(gè)安全問(wèn)題，均督促相關(guān)人員對(duì)問(wèn)題快速解決。圖4-1閉環(huán)處理流程圖提升安全問(wèn)題分析效率1、如下表所示，以前的安全管控?cái)?shù)據(jù)提取和數(shù)