智慧城市 SQL腳本監(jiān) SQL防火 URL監(jiān) Session監(jiān) 附件一數(shù)據(jù)導(dǎo)入/修改流 附件二數(shù)據(jù)導(dǎo)入/修改/提取申請 附件三數(shù)據(jù)導(dǎo)入/修改/匯總 GB/2321GB/T20000—2014GB/T20001—2015《標(biāo)準(zhǔn)編寫規(guī)則》盈利性的計算機(jī)行業(yè)標(biāo)準(zhǔn)協(xié)會，該協(xié)會成立于1989年。元數(shù)據(jù)管理系主數(shù)據(jù)管理系數(shù)據(jù)采集監(jiān)數(shù)據(jù)應(yīng)數(shù)據(jù)存數(shù)據(jù)標(biāo)數(shù)據(jù)質(zhì)據(jù)管理需求，建立數(shù)據(jù)標(biāo)準(zhǔn)規(guī)范體系。全面調(diào)研智慧城市大數(shù)據(jù)平臺、社區(qū)各政務(wù)標(biāo)準(zhǔn)規(guī)范體系建設(shè)不是一蹴而就的，需要在系統(tǒng)建設(shè)過程中不斷的修訂完善。因此標(biāo)準(zhǔn)體系的維護(hù)是一項很重要的工作，標(biāo)準(zhǔn)體系的維護(hù)主要包括以下幾個過程：數(shù)據(jù)導(dǎo)入/修改操作只能由IT負(fù)責(zé)人指定的人員或第三方服務(wù)商執(zhí)行，導(dǎo)入/修改《數(shù)據(jù)導(dǎo)入/修改/提取匯總表》（附件三）須保存3年。IT負(fù)責(zé)人每年委派人員頁面配置方式是無需開發(fā)只需要通過WEB功能頁面進(jìn)行模板內(nèi)容相關(guān)配置，門或單位填報該指標(biāo)。系統(tǒng)通過Webservice接口、FTP文件推送等方式，實(shí)現(xiàn)數(shù)字段篩選，是通過編輯select語句對源中多余的字段過濾掉，減少轉(zhuǎn)換數(shù)據(jù)獲取，以統(tǒng)一數(shù)據(jù)接口結(jié)構(gòu)存儲到ODS接口區(qū)中，按照統(tǒng)一的數(shù)據(jù)標(biāo)準(zhǔn)進(jìn)行清洗、轉(zhuǎn)換，存儲到ODS的數(shù)據(jù)整合區(qū)及數(shù)據(jù)匯總區(qū)，如下圖所示。數(shù)據(jù)清洗、數(shù)據(jù)轉(zhuǎn)換等過程實(shí)現(xiàn)從數(shù)據(jù)源業(yè)務(wù)系統(tǒng)到數(shù)據(jù)中心ODS的數(shù)據(jù)集成，洗轉(zhuǎn)換規(guī)則，對數(shù)據(jù)源的數(shù)據(jù)進(jìn)程采集，存儲到ODS中，并對數(shù)據(jù)進(jìn)行稽核與反數(shù)據(jù)加載是數(shù)據(jù)采集過程中最有意義的環(huán)節(jié)，是將ODS中清洗轉(zhuǎn)換后的數(shù)據(jù)加載到DW中存儲。數(shù)據(jù)通過數(shù)據(jù)加載后形成的數(shù)據(jù)資產(chǎn)，為后續(xù)數(shù)據(jù)深度利用提數(shù)據(jù)中心DW層數(shù)據(jù)與ODS層數(shù)據(jù)不同之處是其存儲了數(shù)據(jù)的歷史信息。在數(shù)匯總層的數(shù)據(jù)一般是周期性的報表數(shù)據(jù)和指標(biāo)數(shù)據(jù)，DW和ODS存儲結(jié)構(gòu)主要區(qū)別是DW為了記錄數(shù)據(jù)更正過程，增加了數(shù)據(jù)狀態(tài)字段來區(qū)分。ODS數(shù)據(jù)中心DW層到數(shù)據(jù)集市的重組加載主要是根據(jù)數(shù)據(jù)應(yīng)用需求將數(shù)據(jù)的相關(guān)析、編制數(shù)據(jù)接口、數(shù)據(jù)獲取4個步驟:步確認(rèn)。（此項工作比較艱難，一般不建議開展ODS戳等時間信息，統(tǒng)一采用北京時間(GMT+8)數(shù)據(jù)輸出提供多種輸出方式如視圖、WebService接口等，對于數(shù)據(jù)的輸出方象、WebService服務(wù)的WSDL在數(shù)據(jù)信息時，經(jīng)過不安全網(wǎng)絡(luò)的（例如INTERNET網(wǎng)），如果需要特殊用戶的口令（比如說UNIX下的Oracle），所以網(wǎng)絡(luò)的安全威脅還表現(xiàn)為病毒傳播、黑客攻擊、IPB/S三層架構(gòu)中的應(yīng)用服務(wù)器等基礎(chǔ)軟件本身的漏洞和缺陷、用戶權(quán)限設(shè)置不合理以及一些不安全協(xié)議的使用等因素都可能構(gòu)成對系設(shè)計缺陷等也會引起系統(tǒng)的安全風(fēng)險問題。圖5.1各級管理機(jī)構(gòu)的建立各級管理機(jī)構(gòu)的職能、權(quán)限劃分人員崗位、數(shù)量、職責(zé)定義12、日常操作管理辦法（針對網(wǎng)絡(luò)安全管理員3456、日志管理辦法（針對網(wǎng)絡(luò)安全管理員7ODSODSODS對源系統(tǒng)獲取的數(shù)據(jù)進(jìn)行及稽核比對之后，ODSODSODS每天都有很多ETLETL1）數(shù)據(jù)質(zhì)量管理人員每天要對ETL加載任務(wù)執(zhí)行情況進(jìn)行檢查。ETL每天ETL級：每六次加載執(zhí)行一次數(shù)據(jù)校驗2）3）ABAB對數(shù)據(jù)質(zhì)量進(jìn)行的綜合描述（包括存在問題）數(shù)據(jù)質(zhì)量管理會利用元數(shù)據(jù)描述，對后續(xù)源系統(tǒng)中的數(shù)據(jù)進(jìn)行數(shù)據(jù)質(zhì)量稽核稽核的數(shù)據(jù)結(jié)構(gòu)以及語法或語義描述等。在數(shù)據(jù)整合過程中ODS數(shù)據(jù)抽取是從數(shù)據(jù)源系統(tǒng)獲取數(shù)據(jù)，需要考慮抽取策略包括增量/全量、數(shù)據(jù)清洗主要是指清除對系統(tǒng)無用的或者不符合數(shù)據(jù)格式規(guī)范的“臟數(shù)消除。數(shù)據(jù)加載是指將抽取轉(zhuǎn)換后的數(shù)據(jù)加載到ODSODS數(shù)據(jù)稽核結(jié)果在ODS系統(tǒng)中的異常數(shù)據(jù)進(jìn)行修正,數(shù)據(jù)質(zhì)量考核人員亦可作為數(shù)據(jù)質(zhì)量提升的考核依據(jù)。SQL告警條件：超時設(shè)置：SQL告警條件：作用：防御非法運(yùn)行sql腳本，統(tǒng)計sqlURL告警條件：1）URLURLURLSession告警條件：1）Session2不同IP地址同一時間多次訪問單個或某些Seesion告警條件：作用：告警條件：1）cpu使用百分比超過96%系統(tǒng)硬盤剩余內(nèi)存小于5%使用內(nèi)存負(fù)荷長時間處于90%作用：虛擬機(jī)cpu告警條件：1）可用空間小于使用率超過并依據(jù)稽核和檢查過程中發(fā)現(xiàn)的數(shù)據(jù)質(zhì)量異常情況進(jìn)行告警和拓?fù)涑尸F(xiàn)的過程。圖10.1數(shù)據(jù)填報人員及時對數(shù)據(jù)進(jìn)行修改；對于已上報的數(shù)據(jù)但數(shù)據(jù)值與同期值比較偏數(shù)據(jù)管理委數(shù)據(jù)管理委員會(集團(tuán)領(lǐng)導(dǎo)（各業(yè)務(wù)部門（科信部（科信部及廠商督數(shù)據(jù)質(zhì)量架構(gòu)及安標(biāo)準(zhǔn)管理全管管理員理員員運(yùn)維人圖11-1數(shù)據(jù)管理委員會下設(shè)業(yè)務(wù)管理團(tuán)隊、技術(shù)管理團(tuán)隊和IT實(shí)施團(tuán)隊，歸數(shù)據(jù)管IT圖11.3節(jié)為此提供必要的技術(shù)支撐。ODS中的數(shù)據(jù)質(zhì)量稽核和管理的總體原則如下：ODS行計劃和任務(wù)的評估與審核，用戶也可以通過ODS制定數(shù)據(jù)稽核任務(wù)進(jìn)行數(shù)據(jù)質(zhì)ODS負(fù)責(zé)；ODSODS負(fù)責(zé)稽核業(yè)務(wù)系統(tǒng)域與ODS相關(guān)的數(shù)據(jù)質(zhì)量問題，即ODS只負(fù)責(zé)對抽ODS負(fù)責(zé)提供數(shù)據(jù)質(zhì)量報告和質(zhì)量管控指標(biāo)來指導(dǎo)管控活動或評估管控結(jié)附件一數(shù)據(jù)導(dǎo)入/述導(dǎo)入/修改原因、導(dǎo)入