大數(shù)據(jù)概述1、大數(shù)據(jù)概述1996年，SGI公司首席科學(xué)家JohnMashey第一次提出大數(shù)據(jù)的概念。2001年，Gartner分析師DougLaney首先定義了大數(shù)據(jù)的三個(gè)維度：數(shù)據(jù)容量速度和種類（3V）。業(yè)界把3V擴(kuò)展到了11V，但主要包括Volume、Velocity.Variety.Value等2、大數(shù)據(jù)定義指無法在可承受的時(shí)間內(nèi)用軟硬件進(jìn)行捕捉、管理和處理的數(shù)據(jù)集合，需要新處理模式才能使該數(shù)據(jù)集合成為具有更強(qiáng)的決策力、洞察力和流程優(yōu)化等能力的海量、多樣化的信息資產(chǎn)。3、海量數(shù)據(jù)的來源由25%的結(jié)構(gòu)化數(shù)據(jù)和75%的非結(jié)構(gòu)和半結(jié)構(gòu)化數(shù)據(jù)構(gòu)成。數(shù)據(jù)類型分為：結(jié)構(gòu)化數(shù)據(jù)：指可以存儲(chǔ)在數(shù)據(jù)庫里，可以用二維表結(jié)構(gòu)來邏輯表達(dá)實(shí)現(xiàn)的數(shù)據(jù)。非結(jié)構(gòu)化數(shù)據(jù)：不方便用數(shù)據(jù)庫二維邏輯表來表現(xiàn)的數(shù)據(jù)，包括所有格式的辦公文檔，文本、圖片，XML,HTML,各類報(bào)表圖像和音頻，視頻信息等等半結(jié)構(gòu)化數(shù)據(jù)：介于結(jié)構(gòu)化數(shù)據(jù)和非結(jié)構(gòu)化數(shù)據(jù)之間的數(shù)據(jù)。HTML文檔就屬于半結(jié)構(gòu)化數(shù)據(jù)。4、大數(shù)據(jù)的價(jià)值對(duì)于企業(yè)組織，大數(shù)據(jù)在競爭能力構(gòu)建、決策分析和成本控制等領(lǐng)域有廣泛的應(yīng)用前景；對(duì)于事業(yè)組織，大數(shù)據(jù)在科學(xué)探索、知識(shí)服務(wù)和社會(huì)安全等領(lǐng)域也有強(qiáng)烈的需求。例如：.在衛(wèi)星測繪領(lǐng)域能海量存儲(chǔ)數(shù)據(jù)。.在金融領(lǐng)域能盤活歸檔數(shù)據(jù)，深挖存量數(shù)據(jù)價(jià)值。.在能源勘探領(lǐng)域能進(jìn)行潛力分析，降低的勘探成本。.在媒體娛樂中能進(jìn)行高清制播5、大數(shù)據(jù)基本特征（4V）量大（Volume）:存儲(chǔ)大、計(jì)算量大樣多（Variety）:來源多、格式多快速（Velocity）:生成速度快、處理速度要求快價(jià)值（Value）:價(jià)值密度的高低和數(shù)據(jù)總量的大小成反比，即有價(jià)值的數(shù)據(jù)比重小。6、大數(shù)據(jù)帶來的挑戰(zhàn)：網(wǎng)絡(luò)架構(gòu)：傳統(tǒng)網(wǎng)絡(luò)架構(gòu)支持南北向網(wǎng)絡(luò)流量，不適配大數(shù)據(jù)應(yīng)用對(duì)東西流量的需求。數(shù)據(jù)中心：同時(shí)訪問子系統(tǒng)壓力大。數(shù)據(jù)倉庫：不適應(yīng)非結(jié)構(gòu)化數(shù)據(jù)和半結(jié)構(gòu)化數(shù)據(jù)在數(shù)據(jù)處理上的需求。7、大數(shù)據(jù)與云計(jì)算的關(guān)系：云計(jì)算是底層平臺(tái)，大數(shù)據(jù)是應(yīng)用。云計(jì)算作為底層平臺(tái)，整合了計(jì)算、存儲(chǔ)、網(wǎng)絡(luò)等資源。同時(shí)提供基礎(chǔ)架構(gòu)資源彈性伸縮能力。大數(shù)據(jù)在云計(jì)算平臺(tái)的支撐下，調(diào)度下層資源進(jìn)行數(shù)據(jù)源加載，計(jì)算和最終結(jié)構(gòu)輸出等動(dòng)作。電信大數(shù)據(jù)應(yīng)用據(jù)給電信行業(yè)的機(jī)會(huì)與挑戰(zhàn)挑戰(zhàn)1:電信行業(yè)生產(chǎn)圈的信息產(chǎn)業(yè)遇到了革命性的變化。運(yùn)營商相關(guān)業(yè)務(wù)的發(fā)展更加依賴數(shù)據(jù)，如傳統(tǒng)的語音、窄寬、帶寬數(shù)據(jù)以及超寬帶數(shù)字經(jīng)濟(jì)等相關(guān)業(yè)務(wù)的數(shù)據(jù)數(shù)據(jù)量越來越大。挑戰(zhàn)2:OTT虛擬運(yùn)營商的介入。使得運(yùn)營商競爭環(huán)境更加的復(fù)雜和激烈挑戰(zhàn)3：客戶消費(fèi)模式的改變。需要大數(shù)據(jù)分析深入洞察用戶的需求，進(jìn)行定制化的服務(wù)，改善客戶體驗(yàn)挑戰(zhàn)4：提升精細(xì)化的管理水平。以數(shù)據(jù)為中心的運(yùn)營支撐一體化、精細(xì)化成為必然趨勢，數(shù)據(jù)將成為企業(yè)的核心資產(chǎn)。行業(yè)大數(shù)據(jù)典型商業(yè)需求大數(shù)據(jù)的總體目標(biāo)是構(gòu)建統(tǒng)一的數(shù)據(jù)采集與整合能力，大數(shù)據(jù)分析處理能力，計(jì)算及數(shù)據(jù)服務(wù)能力，大數(shù)據(jù)應(yīng)用能力和互聯(lián)網(wǎng)化得數(shù)據(jù)開放能力，支撐業(yè)務(wù)創(chuàng)新與商業(yè)成功。（1）延長用戶生命周期----大數(shù)據(jù)建模支撐用戶全生命周期的營銷和維系（2）提升業(yè)務(wù)使用量----基于大數(shù)據(jù)的營銷體系有效運(yùn)作、支撐多批次、小群體、高成功率、多用戶觸點(diǎn)的營銷（3）對(duì)外價(jià)值變現(xiàn)----實(shí)現(xiàn)對(duì)外合作、MR數(shù)字軌跡形成商業(yè)價(jià)值3、常見應(yīng)用場景（1入潛在離網(wǎng)用戶維挽場景通過大數(shù)據(jù)的用戶管理，對(duì)潛在的離網(wǎng)用戶進(jìn)行數(shù)據(jù)分析。通過大數(shù)據(jù)實(shí)現(xiàn)用戶管理、營銷策劃、營銷實(shí)施和閉環(huán)反饋的拉通。當(dāng)海量用戶數(shù)據(jù)來了之后，用大數(shù)據(jù)平臺(tái)對(duì)所有用戶進(jìn)行分類、識(shí)別和管理。用戶識(shí)別之后，根據(jù)用戶大數(shù)據(jù)分析結(jié)果觸發(fā)營銷策略。對(duì)用戶在內(nèi)部進(jìn)行渠道選擇，匹配相應(yīng)的資源套餐，通過用戶的選擇來進(jìn)行效果的反饋。（2入綜合網(wǎng)管分析平臺(tái)一基站關(guān)聯(lián)分析場景根據(jù)離網(wǎng)用戶的位置軌跡，用戶的業(yè)務(wù)行為，基站地圖以及基站網(wǎng)絡(luò)質(zhì)量KPI獲得數(shù)據(jù)源，然后進(jìn)行大數(shù)據(jù)的建模分析，判斷離網(wǎng)用戶是否與其常出沒的基站存在關(guān)聯(lián)，進(jìn)而輸出質(zhì)差基站列表、基站供需平衡度、經(jīng)常出沒已識(shí)別質(zhì)差以及基站的未離網(wǎng)用戶列表。最后確定可服務(wù)的商用場景。（3入數(shù)據(jù)變現(xiàn)場景：戶外數(shù)字媒體/非數(shù)字媒體價(jià)值評(píng)估場景戶外媒體行業(yè)缺乏受眾測量方法戶外數(shù)字媒體/非數(shù)字媒體價(jià)值評(píng)估場景----需求分析、相關(guān)數(shù)據(jù)分析、廣告屏分析得出結(jié)果輸出4、電信運(yùn)營商大數(shù)據(jù)應(yīng)用方向以前電信運(yùn)營商的主要收入來源：語音、短信業(yè)務(wù)，未來：數(shù)字化服務(wù)收入時(shí)代。因此需要建設(shè)大數(shù)據(jù)平臺(tái)支撐：（1）自有業(yè)務(wù)收入提升（2）非通信價(jià)值變現(xiàn)，進(jìn)而使運(yùn)營商的業(yè)務(wù)數(shù)字化。信息安全框架1>.信息與信息安全信息：數(shù)據(jù)/信息流2>.信息安全：保密性(Confidentiality):只有授權(quán)用戶可以獲取信息完整性(Integrity):信息在輸入和傳輸過程中不被非法授權(quán)、修改和破壞，保證數(shù)據(jù)的一致性?？捎眯?Availability):保證合法用戶對(duì)信息和資源的使用不會(huì)被不正當(dāng)?shù)木芙^。上述三個(gè)基本安全屬性成為CIA3>.安全漏洞的影響.聲譽(yù)損失2.財(cái)務(wù)損失3.知識(shí)產(chǎn)權(quán)損失4.失去客戶的信任5.業(yè)務(wù)中斷這所有最終會(huì)造成信譽(yù)損失。4>.信息安全信息安全是“組織問題”不是“IT問題”，超過70%的威脅是內(nèi)部，超過60%的罪魁禍?zhǔn)资浅醮纹墼p和訛騙活動(dòng)。最大的風(fēng)險(xiǎn)和資產(chǎn)都是人。5>.IATF——深度防御保障模型IATF闡述了系統(tǒng)工程、系統(tǒng)采購、風(fēng)險(xiǎn)管理、認(rèn)證和鑒定、以及生命周期、支持等過程。6>.信息安全管理的作用技術(shù)措施需要配合正確的使用才能發(fā)揮作用。根本上說，信息安全是個(gè)管理的過程，而不是技術(shù)過程，技術(shù)不高但管理良好的系統(tǒng)遠(yuǎn)比技術(shù)高但管理混亂的系統(tǒng)安全。7>.信息安全管理體系（ISMS）ISMS是一種常見的對(duì)組織信息安全進(jìn)行全面、系統(tǒng)管理的方法。ISMS是由ISO27000定義的一種有關(guān)信息安全的管理體系，是一種典型的基于風(fēng)險(xiǎn)管理與過程方法的管理體系。周期性的風(fēng)險(xiǎn)評(píng)估，內(nèi)部審核，有效性測量，管理評(píng)審是ISMS規(guī)定的四個(gè)必要活動(dòng)，能確保ISMS進(jìn)入良性循環(huán)，持續(xù)自我改進(jìn)。信息安全審計(jì)1、風(fēng)險(xiǎn)、信息安全風(fēng)險(xiǎn)的概念風(fēng)險(xiǎn)：指事態(tài)的概率及其結(jié)果的組合信息安全風(fēng)險(xiǎn)指認(rèn)為或自然的威脅利用信息系統(tǒng)及其管理體系中存在的脆弱性導(dǎo)致安全事件的發(fā)送及其組織造成的影響。（例如：棱鏡門事件）2、風(fēng)險(xiǎn)的構(gòu)成包括五個(gè)方面：起源（威脅源），方式（威脅行為），途徑（脆弱性入受體（資產(chǎn)）和后果（影響）3、風(fēng)險(xiǎn)相關(guān)術(shù)語1>.資產(chǎn)：任何對(duì)組織有價(jià)值的東西，是要保護(hù)的對(duì)象，以多種形式存在（多種分類方法）：①物理：計(jì)算設(shè)備、網(wǎng)絡(luò)設(shè)備和存儲(chǔ)介質(zhì)等②邏輯：體系結(jié)構(gòu)、通信協(xié)議、計(jì)算程序和數(shù)據(jù)文件等③硬件④軟件⑤有形、無形：品牌、名譽(yù)等⑥靜態(tài)：設(shè)施、規(guī)程等⑦動(dòng)態(tài)：人員和過程、技術(shù)和管理等。2>.威脅：①可能導(dǎo)致對(duì)系統(tǒng)或組織危害的不希望事故潛在起因②引起風(fēng)險(xiǎn)的外因③威脅源采取適當(dāng)?shù)耐{方式才可能引發(fā)風(fēng)險(xiǎn)常見的威脅源：操作失誤、濫用授權(quán)、行為抵賴、身份假冒、口令攻擊、密鑰分析、漏洞利用、拒絕服務(wù)、竊取數(shù)據(jù)、物理破壞、社會(huì)工程等。3>.脆弱性：可能被威脅所利用的資產(chǎn)或若干資產(chǎn)的薄弱環(huán)節(jié)造成風(fēng)險(xiǎn)的內(nèi)因脆弱性本身不對(duì)資產(chǎn)構(gòu)成危害，會(huì)被威脅源利用，從而對(duì)信息資產(chǎn)造成危害比如：系統(tǒng)程序代碼缺陷、系統(tǒng)安全配置錯(cuò)誤、系統(tǒng)操作流程有缺陷、維護(hù)人員安全意識(shí)不足。4>.可能性：某件事發(fā)生的機(jī)會(huì)；代表威脅源利用脆弱性造成不良后果的機(jī)會(huì)；4、風(fēng)險(xiǎn)的概念威脅源采用某種威脅方式利用脆弱性造成不良后果的可能性即威脅源采取威脅方式利用脆弱性造成風(fēng)險(xiǎn)。5、信息安全審計(jì)是依據(jù)有關(guān)信息安全技術(shù)與管理標(biāo)準(zhǔn)，對(duì)信息系統(tǒng)及由其處理、傳輸和存儲(chǔ)的信息的保密性、完整性和可用性等安全屬性進(jìn)行評(píng)價(jià)的過程。是揭示信息安全風(fēng)險(xiǎn)的最佳手段，改進(jìn)信息安全現(xiàn)狀的有效途徑，滿足信息安全合規(guī)要求的有效方式。信息安全標(biāo)準(zhǔn)1、大部分信息安全問題的發(fā)生原因：員工缺乏信心安全意識(shí)沒有建立必要的信息安全管理機(jī)制沒有嚴(yán)格執(zhí)行信息安全管理制度缺乏必要的信息安全技術(shù)控制措施標(biāo)準(zhǔn)和標(biāo)準(zhǔn)化相關(guān)的基本概念2、標(biāo)準(zhǔn)：是為了在一定范圍內(nèi)獲得的最佳秩序，經(jīng)協(xié)商一致制定并由公認(rèn)機(jī)構(gòu)批準(zhǔn)，共同使用和重復(fù)使用的規(guī)范性文件。國際標(biāo)準(zhǔn)化組織（ISO）:是一個(gè)全球性的非政府性組織，是國際標(biāo)準(zhǔn)化領(lǐng)域中一個(gè)十分重要的組織。國際標(biāo)準(zhǔn)：是指國際標(biāo)準(zhǔn)化組織或國際標(biāo)準(zhǔn)組織通過并公開發(fā)布的標(biāo)準(zhǔn)。國家標(biāo)準(zhǔn)（GB）:是指國家標(biāo)準(zhǔn)機(jī)構(gòu)通過并公開發(fā)布的標(biāo)準(zhǔn)。3、信息安全標(biāo)準(zhǔn)體系是由信息安全領(lǐng)域內(nèi)具有內(nèi)在聯(lián)系的標(biāo)準(zhǔn)組成的科學(xué)有機(jī)整體；是編制信息安全標(biāo)準(zhǔn)制定/修訂計(jì)劃的重要依據(jù)；信息安全現(xiàn)狀分析1、常見信息安全問題計(jì)算機(jī)病毒：編制者在計(jì)算機(jī)程序中插入的破化計(jì)算機(jī)功能或數(shù)據(jù)的代碼，能影響計(jì)算機(jī)使用，能自我復(fù)制的一組計(jì)算機(jī)指令或程序代碼。系統(tǒng)漏洞：應(yīng)用軟件或操作系統(tǒng)軟件在邏輯設(shè)計(jì)上的錯(cuò)誤或缺陷。黑客：熱心于計(jì)算機(jī)技術(shù)、水平高超的闖入計(jì)算機(jī)系統(tǒng)或者網(wǎng)絡(luò)系統(tǒng)者，熱衷于從事惡意破解商業(yè)軟件、惡意入侵別人網(wǎng)站等事務(wù)。2、信息安全問題產(chǎn)生根源內(nèi)因：信息系統(tǒng)本身存在脆弱性，過程復(fù)雜、結(jié)果復(fù)雜、應(yīng)用復(fù)雜。外因：威脅與破壞，主要因?yàn)槿藶橐蛩睾铜h(huán)境因素。3、信息安全發(fā)展階段1>.通信安全：信息和保密性。誕生于20世紀(jì)40~70年代。核心思想是：通過密碼技術(shù)解決通信保密，保證數(shù)據(jù)的保密性和完整性，主要關(guān)注傳輸過程中的數(shù)據(jù)保護(hù)。安全威脅：搭線竊聽、密碼學(xué)分析。安全措施：加密技術(shù)。2>.計(jì)算機(jī)安全：隨著計(jì)算機(jī)的出現(xiàn)，安全就聚焦在如何保護(hù)計(jì)算安全。誕生于20世紀(jì)70?90年代。核心思想是：預(yù)防、檢測和減小計(jì)算機(jī)系統(tǒng)（包括軟件和硬件）執(zhí)行未授權(quán)活動(dòng)所造成的后果，主要關(guān)注與數(shù)據(jù)處理和存儲(chǔ)時(shí)的數(shù)據(jù)保護(hù)。安全威脅：非法訪問、惡意代碼、脆弱口令等安全措施：通過操作系統(tǒng)的訪問控制技術(shù)來防止非收取用戶的訪問。3>.信息系統(tǒng)安全：隨著信息化的不斷深入互聯(lián)網(wǎng)的出現(xiàn)需要用到信息系統(tǒng)主要涉及到保密性、完整性、可用性等。誕生于20世紀(jì)90年代后。核心思想是：綜合通信安全和計(jì)算機(jī)安全。重點(diǎn)在于保護(hù)比“數(shù)據(jù)”更精煉的“信息”，確保信息在存儲(chǔ)、處理和傳輸過程中免受偶然或惡意的非法泄密、轉(zhuǎn)移或破化。安全威脅：網(wǎng)絡(luò)入侵、病毒破化、信息對(duì)抗等。安全措施：防火墻、防病毒、漏洞掃描、入侵檢測、PKI、VPN等4>.信息安全保障：提升到一個(gè)可以可靠的、有利的保障企業(yè)安全運(yùn)作、國家安全。核心思想是：信息安全從技術(shù)擴(kuò)展到管理，從靜態(tài)擴(kuò)展到動(dòng)態(tài)，通過技術(shù)、管理和工程等措施的綜合融合，形成對(duì)信息、信息系統(tǒng)乃至業(yè)務(wù)使命的保障。安全威脅：黑客、恐怖分子、信息戰(zhàn)、自然災(zāi)難、電力中斷等安全措施：技術(shù)安全保障體系、安全管理體系、人員意識(shí)培訓(xùn)教育信息安全發(fā)展趨勢云計(jì)算和軟件開源正在逐步成為新的標(biāo)準(zhǔn)1、云服務(wù)隨著越來越多企業(yè)和個(gè)人開始將有價(jià)值的數(shù)據(jù)保存在云環(huán)境中惡意人士當(dāng)然也會(huì)找到可行途徑利用基礎(chǔ)設(shè)施訪問這些數(shù)據(jù)2、勒索軟件：這種攻擊通過加密重要文件，使得數(shù)據(jù)無法被訪問，要求支付贖金。防范：提前培訓(xùn)員工，增加其安全意識(shí)，并且要求有規(guī)律的、完整的備份數(shù)據(jù)，就可以有效的削減勒索軟件造成的危害。3、釣魚式攻擊：攻擊者建立足以以假亂真的信息和網(wǎng)站，或者裝作是看上去來自可信來源的信息，繼而通過這些手段來獲取訪問你的系統(tǒng)的權(quán)限。4、已知的安全隱患往往是IT部門面臨的最大威脅之一。軟件必須定期跟新補(bǔ)丁5、物聯(lián)網(wǎng)物聯(lián)網(wǎng)代表了另一種潛在的威脅。云安全框架1、云安全與傳統(tǒng)安全技術(shù)的關(guān)系云計(jì)算安全模式的劃分與傳統(tǒng)安全模式大體類似，由于虛擬化的引入，需要納入虛擬化的安全防護(hù)措施，在基礎(chǔ)層面上依然可依靠成熟的傳統(tǒng)安全技術(shù)來提供安全防護(hù)2、云安全聚焦(1入應(yīng)用安全將會(huì)聚焦在：應(yīng)用安全架構(gòu)；軟件開發(fā)生命周期；工具和服務(wù)；合規(guī)性；脆弱性（2入加密和密鑰管理云用戶和提供商需要避免數(shù)據(jù)丟失和被竊。加密提供了資源保護(hù)功能，同時(shí)密鑰管理則提供了對(duì)受保護(hù)資源的訪問控制。加密及秘鑰管理是云計(jì)算系統(tǒng)保護(hù)數(shù)據(jù)的核心機(jī)制。加密和密鑰管理聚焦在加密的機(jī)密性、完整性以及密鑰管理（3入身份和訪問管理管理身份和訪問應(yīng)用程序的控制仍然是當(dāng)今的IT面臨的最大挑戰(zhàn)之一。從長遠(yuǎn)來說延伸企業(yè)身份管理服務(wù)到云計(jì)算確是實(shí)現(xiàn)按需計(jì)算服務(wù)戰(zhàn)略的先導(dǎo)。因此，安全有效的云身份和訪問管理是企業(yè)部署云計(jì)算體系的前提。身份和訪問管理聚焦在身份供應(yīng)和取消供應(yīng)、認(rèn)證聯(lián)盟、授權(quán)和用戶配置文件管理。合規(guī)是整個(gè)過程的關(guān)鍵考慮因素（4）虛擬化虛擬化在云計(jì)算的應(yīng)用中，提供了整個(gè)云計(jì)算平臺(tái)。特別關(guān)注與系統(tǒng)和硬件虛擬化相關(guān)的安全問題。如果虛擬機(jī)存在漏洞，攻擊者可能會(huì)利用漏洞獲取對(duì)整個(gè)主機(jī)的訪問控制。3、業(yè)務(wù)連續(xù)性和災(zāi)難恢復(fù)傳統(tǒng)的物理安全、業(yè)務(wù)連續(xù)性計(jì)劃（BCP）和災(zāi)難恢復(fù)（DR）等形式的專業(yè)知識(shí)與云計(jì)算仍然有緊密關(guān)系。網(wǎng)絡(luò)安全攻防介紹1、OSI安全體系結(jié)構(gòu)OSI安全體系結(jié)構(gòu)定義了系統(tǒng)應(yīng)當(dāng)提供的五類安全服務(wù)以及提供這些服務(wù)的八類安全機(jī)制；五類安全服務(wù)是：鑒別、訪問控制、數(shù)據(jù)機(jī)密性、數(shù)據(jù)完整性和抗抵賴性八類安全機(jī)制分別包括：加密、數(shù)字簽名、訪問控制、數(shù)據(jù)完整性、鑒別、流量填充、路由控制和公證。2、網(wǎng)絡(luò)協(xié)議安全問題網(wǎng)絡(luò)接口層安全問題常見的有：自然災(zāi)害、誤操作、傳輸線路電磁泄露、ARP欺騙等；網(wǎng)絡(luò)互連層安全問題常見的有：分片攻擊、IP地址欺騙、竊聽和IP數(shù)據(jù)包偽造傳輸層安全問題常見的有：SYN洪水攻擊、TCP會(huì)話劫持、數(shù)據(jù)包偽造等應(yīng)用層安全問題常見的有：跨站點(diǎn)腳本、釣魚攻擊、數(shù)