




版權說明:本文檔由用戶提供并上傳,收益歸屬內容提供方,若內容存在侵權,請進行舉報或認領
文檔簡介
1、大數據治理運營整體解決方案目錄/Contents企業數據治理總體方案01數據治理平臺解決方案02數據治理運營實施方案03數據治理定義:數據治理專注于將數據作為企事業單位數據資產進行應用和管理的一套管理機制,能夠消除數據的不一致性,建立規范的數據應用標準,提高數據質量,實現數據內外部共享,并能夠將數據作為組織的寶貴資產應用于業務、管理、戰略決策中,發揮數據資產價值。狹義上:數據治理是指對數據質量的管理、專注在數據本身。廣義上:數據治理是對數據的全生命周期進行管理,包含數據采集、清洗、轉換等傳統數據集成和存儲環節的工作、同時還包含數據資產目錄、數據標準、質量、安全、數據開發、數據服務與應用等,整個
2、數據生命期而開展開的業務、技術和管理活動都屬于數據治理范疇。數據治理要素明確數據治理責任,建立數據治理組織 管理出成效,制度是保障數據規范:沒有規矩,不成方圓 數據治理活動,理論結合實踐專業的數據治理平臺數據治理方法論數據治理要素大數據管理典型方案大數據管理與應用平臺AI圖譜技術大數據云計算數據整合可視化數據展示功能設計應用發布需求分析數據應用模型設計輔助決策價值挖掘數據智能經營分析數據資源數據計算管理治理開發調度數據模型計算模型數據源關聯業務目標表單樣式計算任務調度機器學習數據應用與推送整合數據資源連接各類人員數據應用/服務集市實現數據資產的保管與增值讓數據賦能業務數據采集數據安全大數據平臺
3、典型架構數據源業務系統數據物聯網數據實時數據流非結構化數據互聯網數據數據采集離線采集實時采集FTP采集接口采集流式采集數據資源中心存儲RDMS消息隊列分布式存儲存儲非結構化數據圖片數據文本數據實時數據實時存儲時實模型離線數據應用租戶計算區離線計算實時計算標準層數據湖數據治理管理元數據管理數據標準管理數據開發管理統一調度管理數據資產管理數據架構管理數據服務管理數據質量管理數據管理門戶&數據可視化數據應用經營分析輔助決策潛客挖掘用戶畫像業務預測風險預警數據應用服務管理統一運維基礎資源監控應用服務監控監控告警故障管理運維作業管理運維流程管理數據安全統一身份管理統一認證管理數據脫敏管理安全日志管理安全
4、告警安全審計管理大數據平臺典型架構基礎支撐平臺分布式數據存儲消息隊列RDB存儲數據存儲圖數據庫分布式文件存儲并行大數據計算與分布式存儲(HADOOP)并行分布式關系型數據庫(MPP DB)數據采集平臺數據采集離線采集實時采集流媒體采集數據導入上報準實時采集政務數據(區級、委辦單位)公共事業數據行業數據(金融、電信)物聯網數據(氣象、攝像頭)數據源基數據湖SRC近源數據層:區級條線業務數據,以及結構化的視頻及物聯網感知數據ODS源數據層:區級條線業務數據,以及結構化的視頻及物聯網感知數據法人組織自然人空間地理電子證照基礎庫主題庫專題庫一網通管一網通辦城市規劃民生幸福經濟發展環境保護應急管理物聯管
5、理宏觀經濟醫療健康數據資源中心數據資產管理數據架構管理數據集成管理元數據管理數據異常管理數據標準管理數據開發管理數據質量管理數據治理數據管理智能標簽數據智能數據探索畫像分析數據DNA治理管理平臺數據共享開放數據共享申請服務開發共享服務交換級聯服務監控服務申請授權管理數據共享管理審計數據共享安全管控數據開放門戶數據服務互動交流其他開放服務數據開放清單資源查詢資源申請資源使用資源詳情數據目錄統一數據管理門戶管理應用門戶數據安全平臺 統一身份管理統一權限管理敏感數據發現數據分類分級數據防泄漏加密秘鑰管理安全日志采集存儲統一安全審計分析數據脫敏管理統一運維平臺監控資源管理基礎資源監測應用系統監控業務服
6、務監控服務啟停數據質量監控運維流程管理故障預案管理(管理與開放)門戶數據共享開放平臺數據治理平臺數據資源中心(數據湖、基礎數據庫、基礎庫、主專題庫)數據基礎支撐平臺數據采集平臺數據源統一運維管理平臺數據安全管理平臺數據治理在整個大數據平臺中的定位數據治理平臺數據資產管理(元數據、標準、質量、資產、目錄)應用建模數據采集數據共享數據加工數據源數據基礎支撐平臺數據采集平臺數據資源中心質量稽核統一維護平臺數據安全平臺數據采集任務調度數據處理提取與存儲集中監控維護信息安全保障數據共享開放平臺數據管理與應用門戶數據資產&服務調度開放控制&下發調度是整個大數據資源平臺管理與應用開發的統一入口是對數據資源及
7、數據資產進行管理與應用控制的主要界面提供數據加工處理的核心能力,并串聯、集成其他能力模塊完成面向需求的數據生產,是實現將原始數據資源轉換為數據應用服務的中心樞紐12435540資產管理數據治理總體方案利用數據治理平臺所覆蓋的從標準、設計、采集、開發到使用,再到交付和運維的全數據治理流程,幫助組織實現一站式數據治理運營服務,可滿足數據共享交換、數據開發、數據運營多種應用場景,并通過構建數據工廠,實現數據治理的標準化、流程化與組件化。數據服務數據生產者業務數據日志數據視頻數據物聯數據各類文件互聯網數據數據消費者內部管理者內部業務部門兄弟單位合作伙伴外部機構內部下屬單位大數據資源中心數據治理規范標準
8、(元數據、標準、質量、資產、目錄)大數據治理平臺數據建模數據采集數據共享清洗加工質量稽核資產管理數據生命周期管理持續反饋數據歸集數據安全管控數據治理數據采集方案委辦1委辦2委辦3委辦N委辦局政務網VPC(批數據)互聯網(流數據)委辦1委辦2委辦3委辦NoracleDB類型DM其他數據類型API接口結構化文件非結構化文件MySQL大數據平臺數據采集采集數據存儲采集數據量數據入湖存儲入湖數據量比對采集和入湖數據量數據一致性檢查數據湖斷流告警狀態監測批數據處理:通過數據采集平臺任務調度的方式,根據時間戳定時探查委辦局前置庫數據以及結構化文件的變動,通過數據采集平臺的解析,抽取增量數據到數據湖。流數據
9、處理:通過數據湖內獨立部署kafka消息系統,采用委辦局推送或自動拉取的方式,接入流數據。數據抽取過程中進行監測,實施監測目前抽取的狀態、抽取進度,斷流告警,一致性檢測結果等。并通過分布式部署提高數據抽取速度。數據治理數據應用開發模型開發程序開發程序測試審核上線數據探索2-模型定義創建模型基礎信息、定義模型的元數據3-構建表結構添加模型字段信息提供手工/批量方式4-編輯模型應用程序可視化開發:固化程序命令,拖拽式使用,自由配置邏輯腳本開發:支持sql、Python、java、shell等類型的腳本5-程序在線測試提供WEB界面可視化測試功能;查看執行時長、執行狀態等信息,方便開發人員調試,性能
10、分析7-提交審核并上線開發人員建立上線任務,提交審核并上線6-調度配置1-數據探索根據業務邏輯做需求分析,通過探索了解相關數據情況數據治理統一調度方案數據采集平臺采集任務調度對接數據治理開發調度平臺元數據同步數據治理資產管理平臺數據支撐平臺JDBC接口流數據處理數據共享開放應用平臺庫表數據下發任務調度數據采集平臺的采集任務完成后,通知開發調度管理平臺的庫內處理程序進行調度任務的銜接;數據支撐平臺提供JDBC接口,供開發調度管理平臺調用,實現數據庫操作的調度開發調度管理平臺對數據支撐平臺發布流數據處理任務;數據資產管理平臺提供元數據同步接口,把模型元數據同步給開發調度管理平臺做庫內處理開發;數據
11、調度平臺完成相關數據應用計算后,將庫表數據推送給數據開放平臺,對外開放使用。數據治理數據資產管理邏輯資源層(計算、存儲、網絡資源)政務云管理存儲管理網絡管理資源調度系統管理元數據存儲庫業務庫主題數據庫元數據數據資源基礎設施層用戶管理專題數據庫基礎數據庫指標部門數據庫部門數據庫人口庫法人庫互聯網+監管健康衛生城市運行經濟運行根據提供方供數責任,對接入數據資源進行編目,維護其業務屬性和管理屬性,使其初步具備應用條件;參照數據標準設計數據模型結構、業務代碼,通過建立變更管理和版本控制,實現數據模型管控;通過基礎元數據定義數據資產規格(如:庫表、文件、文件夾、接口等),并借助統一平臺實現資源接入。數據
12、資產管理模型管理模型維護代碼關聯版本管理關系關聯對標分析元數據目錄管理目錄維護目錄分類目錄瀏覽資源編目目錄標簽目錄級聯質量管理質量定義規則管理數據糾正規則庫數據檢核質量報告標準管理標準維護標準瀏覽代碼映射標準導入落地檢核版本管理資源管理數據源管理資源注冊資源發布資源審核前置節點庫表資源文件資源接口資源.共享管理應用場景事項字典預算項目應用系統共享申請共享審核共享授權共享統計.數據治理項目實施方案數據治理項目實施方案數據管理平臺建設數據治理開發運營平臺工具支撐應用需求推動利器工事建設一套大數據管理與應用平臺以構建一個能持續高效運轉的數據治理體系為目標建設縣數據湖開發建設人口與法人基礎庫建設市場監
13、管、工業、全民健康、惠民資金監管、農業五大示范應用逐步構建一套數據治理應用與服務體系技術工具能力專業團隊管理分析理論4PSTP理論PEST分析方法能力成功經驗用戶使用行為5W2H生命周期邏輯樹數據處理管理HadoopAI技術機器學習管理治理數據倉庫數據分析對比分析交叉分析回歸分析數據標簽回歸聚類分類神經網絡語音識別圖像識別ETL交付流程項目需求分析系統開發與測試平臺上線應用平臺運營支撐功能/模型迭代平臺工程師數據工程師項目管理運營支撐架構與功能設計應用開發平臺建設咨詢服務公式法對比法二八法漏斗法統計分析方法大數據平臺建設數倉/BI建設數據治理數據建模應用開發數據分析咨詢專題主題開發運營支撐功能
14、/模型迭代算法工程師數據咨詢師數據治理平臺解決方案2平臺總體概述提供多種數據采集或集成,包括業務系統數據 ETL,外部文件、第三方接口抽取,實時消息采集等。采集/集成環節支撐多種數據加工方式,包括批量數據加工,實時交互計算,機器學習等。 加工/計算環節支持用戶個性化需求、自主數據探索,提供固定主題的報表、指標,臨時報表需求、自助取數,數據探索、數據實驗等功能。決策/探索環節數據治理平臺適用于分析型系統數據處理的各個過程,負責數據的加工處理以及加工處理過程數據標準、元數據和數據質量的管理。平臺可以提供數據輸入、數據加工、數據輸出等數據流圖各個過程的全生命周期、全流程的數據處理,并在數據處理全過程
15、提供中提供數據治理和數據管控的一站式解決方案。大數據時代組織普遍要面對數據多樣化,缺少統一標準,集成困難;數據分散,形成信息孤島,共享困難;數據質量低下,導致統計不準確的 諸多問題。如何有效管理數據資源使之能夠驅動業務的快速發展,成為數據治理產品的核心價值所在。平臺設計理念一個標準化工廠數據治理產品以為組織打造通用的數據工廠為設計理念,以構建流水式數據產線為核心,幫助組織快速實現從“數據原料” 到“數據產品” 整個過程的加工處理、價值轉化以及規范管控。標準化生產自動化生產精益化管理由場景理解、場景抽象、抽象實現、抽象配置、方案生成、調度等工序組成由數據上下文形成自動化的數據流由多個工序最終生成
16、一體多面的數據治理流程平臺設計理念四大治理原則Metadata Before CodingObject Oriented ArchitectureBusiness Driven DesignTCU Principle業務元數據和技術元數據的強制性前向獲取機制,杜絕元數據的后期補錄, 建設保證業務元數據/技術元數據/技術實現這三者一致性的技術機制。將數據、業務元數據、技術元數據、數據加工、數據質量檢查等與數據相關的內容統一作為數據對象管理起來,且該數據對象是系統的最小管理單元。以最大化業務需求吻合度為目標,所有數據對象的設計和實現,都必須以業務需求為驅動,在最大程度上保證數據對象與業務需求的一致
17、性。數據對象必須遵循 TCU(Take Care of Yourself)的設計原則,所有與數據有關的工作全部在對應的數據對象內部完成,確保數據對象之間只有數據加工過程的上下游關系。平臺設計理念五大治理標準數據模型標準化數據運營全員化數據安全可控化數據治理產品化數據處理工廠化數據安全可控化體現安全的重要性、必要性,保障系統數據安全和數據服務開放過程中數據的安全可控。數據模型標準化通過數據治理平臺將數據模型的要求嚴格落地,杜絕不滿足標準的數據模型出現在系統中。 數據運營全員化體現“平臺化、開放性”的思想,提高數據開放的可視化,實現人人參與數據治理、數據建設和數據運維。數據治理產品化數據治理的成果
18、和內容,必須通過切實可行的 IT 手段落實到系統來嚴格執行。數據處理工廠化數據處理工作,必須實現工廠化的建設和管理,以“極速、低成本、高質量”要求來響應業務部門的個性化數據需求。平臺設計理念三大實施策略1)有實現數據全程的可見、可管、可控,最小化業務和技術溝通成本的理論和機制; 2)有實現數據的全生命周期管理的理論和機制; 3)有實現開發管理規范和數據管理規范低成本的嚴格執行的理論和機制; 4)有實現系統建設過程中問題的低成本監管和解決的理論和機制; 5)有實現引入第三方獨立監管供應商來負責系統的監控和維護的理論和機制。1)有保證業務元數據與技術元數據的一致性的理論和機制; 2)有保證元數據與
19、數據加工環節的一致性的理論和機制; 3)有實現基于歷史經驗的告警機制; 4)有低成本高效地解決傳統調度面臨的問題定位和修復問題最小代價等難題的理論和機制。1)有保證文檔與實現的一致性機制; 2)有實現對文檔系統的低依賴性的機制。 質量管控 2系統管控 1知識管控3平臺總體架構元數據管理數據標準管理數據開發調度數據資產管理數據質量管控數據共享服務服務能力解決方案金融零售制造業交通農業用戶群體行業應用基礎平臺數據開發人員數據分析師業務用戶數據科學家數據管理員數據操作員組織、用戶、角色、權限管理數據源管理數據采集插件管理數據管理基礎平臺大數據存儲與計算引擎日志管理元數據智能管理調度中心建模設計數據治
20、理服務能力數據共享數據服務引擎服務門戶數據門戶( Web UI)數據治理( Web UI)元數據管理元數據血緣元數據維護元數據解析元數據采集數據標準管理業務標準管理技術標準管理命名標準管理維度標準管理數據質量管理質量統計分析質量報告管理質量稽核管理質量規則配置數據資產管理數據資產檢索數據資產總覽數據資產地圖數據資產目錄數據開發管理統一任務調度數據模型設計可視化開發數據腳本開發數據服務管理訂閱審核服務監控服務審核服務管理算法庫消息管理互聯網電子政務教育平臺技術架構采用工廠化的數據處理和管理模式,通過數據生產計劃、數據生產執行和數據生產管理三大子模塊,保障數據處理全過程透明可控,實現工具化、流程化
21、和自動化的開發、運維、管理,提升數據開發、生產效率,保持系統健康、持續、穩定的發展。平臺采用基于元數據驅動的開發模式,保障元數據與實際系統情況的一致性,通過元數據準確描述系統,指導系統建設。數據處理管理模塊:負責軟件開發和數據規范的管控數據生產計劃模塊主要功能為:需求設計、設計確認等數據處理執行模塊:負責數據處理計劃的執行、數據的生產和數據質量控制等工作提供元數據獲取和管理功能提供數據對象設計功能提供對象化接口模塊提供數據質量管理功能提供可視化的標準 IDE 環境提供與各類底層平臺對接功能提供基于元數據血緣圖的調度功能平臺功能特性組件化應用提供各類組件,支持通過拖拉組件的方式快速形成數據生產線
22、,縮短應用的開發周期、節約應用的開發成本、提高應用的開發質量,幫助用戶更快地完成數據模型、數據處理的開發。 組件采用松耦合式的架構,支持自定義擴展。分為三種類型:功能組件、模板組件、管控組件。 01) 功能組件02) 管控組件03) 模板組件04)自定義擴展功能組件對常用的數據處理、系統交互等方法進行封裝,實現快速的數據處理開發。包括:1)數據采集組件;2)數據處理組件;3)數據加載組件;4)數據分發組件;5)數據校驗組件;6)質量告警組件。管控組件為系統管理員對開發人員開發的規范性提供管控手段。包括:1)命名規范組件;2)元數據完整性組件;3)表關聯合理性組件;4)余度限制組件;5)危險操作
23、控制組件;6)質量規則組件;7)告警處理組件;8)分析報告組件。模板組件為開發人員提供數據模型快速開發的手段。包括:1)HDFS 模板;2)HIVE 模板;3)MR/Spark 模板;4)HBase 模板;6)RDBMS 模板。平臺的組件具備可擴展能力,支持組件的新增、刪除、修改。組件擴展采用熱插拔機制,且無需重啟平臺。平臺功能特性元數據管理提供元數據管理功能,獲取和管理在開發過程中沉淀的各類元數據信息,并提供開放開視圖,以支持管理人員、業務人員和技術人員快速準確地了解系統, 同時支持數據質量管理、安全管理、應用優化、應用開發等功能。 元數據前向獲取統一管理和開放元數據一致性保障為確保元數據能
24、夠真實反映系統現狀,平臺提供業務元數據與技術元數據、技術元數據與技術實現、元數據血緣與數據調度等一致性的保障功能。1)業務元數據與技術元數據的一致性保障;2)技術元數據與技術實現的一致性保障;3)元數據血緣與數據調度的一致性。提供元數據前向獲取功能,讓開發人員在完成應用程序開發的同時,完成元數據的收集。元數據獲取分兩類:1)技術元數據的獲取;2)業務元數據的獲取。提供元模型設計、元數據填充、血緣分析等元數據管理功能平臺功能特性數據處理根據不同的數據生產環境,具備不同的數據處理能力,可根據自身需求,基于平臺擴展自主的數據處理功能。 數據治理平臺提供數據處理各項能力的開發功能,提供包括數據采集、處
25、理、裝載、分發、校驗等功能開發。具備執行標準的開源 Hadoop 接口調用能力,以及基于個性化 Hadoop 接口封裝能力。如果數據存儲是以數據庫表形式,應支持基于 SQL 的數據處理開放。開發者可以通過集成開發環境編寫相應的 SQL 語句, 發送到相應的數據庫運行。基于 SQL 的數據處理基于 Hive 提供類 SQL 的數據處理能力的開放。開發者通過集成開發環境編寫相應的 HiveQL 語句,并發送到 Hive 執行,以處理存儲在分布式文件系統 HDFS 中的數據。類 SQL 的數據處理Spark 是基于 MapReduce 算法實現的分布式計算,它立足于內存計算,能更好地適用于數據挖掘與
26、機器學習等需要迭代的 MapReduce 的算法。Spark SQL 基于 Spark 提供 SQL 方式的數據訪問。基于 Spark 的數據處理支持在集成開發環境中進行MR 作業開發, 對開發者屏蔽 Hadoop 底層的復雜性。基于Map/Reduce 的數據處理開發提供對已設計完成的數據計算模型進行申請,注冊,提交,執行,監控的統一管理的功能流處理,支持流式計算平臺功能特性質量管理平臺提供從設計、開發到運行全過程的數據質量管理功能,以及從數據來源、數據加工到數據輸出的全流程監控功能。設計階段質量在平臺中數據質量規則是設計出來的,并作用于數據處理過程,具備靈活調整的特性,可實現 PDCA 循
27、環的落地.開發階段質量在開發階段,平臺提供規則配置和規范檢查功能。包括:1)規則配置;2)規范檢查。全流程監控平臺提供全流程監控功能,各層的監控包含但不限于以下規則:1)數據來源質量監控規則;2)數據加工質量監控規則(包括臨時表);3)數據輸出質量監控規則。PDCA優化1)P (plan) 計劃,分析現狀,制定質量監控規則; 2)D (Do) 執行,執行監控規則; 3)C (check) 檢查,檢查執行結果是否達到了預定的目標; 4)A (act)修正,對檢查的結果進行處理,對準確的質量監控規則予以標準化。運行階段質量運行階段,平臺提供系統自動化保障和質量規則監控告警功能。包括:1)質量規則監
28、控告警;2)系統自動化保障。平臺功能特性統一調度提供統一的調度管理,用于數據層和應用層的任務調度。 在統一調度下,每個任務都是一個個的數據對象,任務的前后關系嚴格按照元數據血緣關系進行調度,實現數據從源頭到目標的全程的元數據血緣與數據調度的一致性。 在統一調度下,可進行調度關系管理、調度周期管理、調度狀態管理和調度資源管理。調度狀態管理提供調度狀態查看和控制功能:1)通過列表或圖形化界面,可查看調度運行過程中任務的狀態;2)提供可對錯誤進行分析和處理的操作;3)提供歷史調度信息庫;調度周期管理提供各類不同類型的調度周期:1)固定調度;2)定時調度;調度關系管理自動和手動的調度機制,提供調度關系
29、管理功能,包括:1)調度關系設置功能;2)調度關系分析功能;3)調度重跑最小代價分析功能;4)調度關系維護功能;調度資源管理提供調度資源的管理功能,包括:1)隊列設置;2)并發數設置;3)優先級設置;4)任務分配;跨平臺統一調度支持異構計算引擎下的任務調度,能夠按照數據流向關系組成數據流圖,即不同環境下的任務,能同時存在于同一數據流調度圖中。平臺功能設計元數據管理數據架構管理數據開發管理數據質量管理數據異常管理數據調度管理數據治理運營實施方案數據治理實施流程數據治理運營方案3數據治理運營總體流程數據準備準備資產編目數據采集規范設計開發調度質量監控數據倉庫數據應用數據源數據湖數據倉庫歷史數據全量
30、遷移源連接和目標連接遷移作業運行作業業務數據增量采集定義增量設置觸發運行作業資產數據維護數據源維護數據倉庫數據規范主題設計標準管理碼表管理數據標準關系建模維度建模指標管理流程框架業務指標技術指標腳本開發批處理作業實時處理作業業務指標監控指標規則業務場景運行檢查數據質量監控規則模板作業質量運行檢查數據地圖業務資產技術資產數據權限數據安全申請審核創建發布使用運營數據治理運營業務流程公安系統社保系統教育系統市監系統委辦系統各委辦前置庫大數據中心-數據湖&數據庫ODS貼源層DWD基礎庫人口、法人、電子證照、空間地理主題庫互聯網+監管、城市管理、專題庫婚姻死亡、經偵、共享庫共享前置庫數據歸集清洗加工分發
31、分發分發分發分發分發文件下發庫表下發分發各委辦等政府單位社會機構數據調用接口調用數據使用單位基于業務與管理規則,進行實施與管控數據治理運營數據資源歸集庫表歸集:數據源為前置庫表信息附件歸集:數據源中有照片數據或者pdf、word等非結構化數據API接口歸集:數據通過接口獲取,目前如健康云API接口調入,以10分鐘的頻率采集文件歸集:數據源是不同的文件形式(CSV、excel、TXT、dat)流數據歸集:數據源為實時流數據編制目錄數據預處理(清洗、轉換、標準化)文件接入服務接口接入庫表接入實時流接入選擇歸集目錄創建歸集任務配置歸集頻率自動掛接資源編目歸集預處理數據治理運營基礎庫建設流程大數據管理
32、中心委辦局(供給)提出主題庫建設需求開始明確責任需求清單三清單管理確認責任清單共享數據推送主題庫應用/數據共享結束委辦局(需求)溝通方案(三方)建主題庫并分配資源主題庫開發生成資源目錄數據治理運營專題/主題應用開發與運營整合了大數據匯聚、整合、融合分析與應用運營能力,建立了垮多委辦之間的協作機制,打造了一體化全流程主題/專題應用庫建設體系 , 可快速實現從模型構建到模型的落地應用,為政府提供高效的基礎/專題/主題庫應用開發與運營服務。需求立項模型建構模型調優模型發布迭代數據服務分析報告模型應用說明政務服務社會服務+模型建構模型發布主/專題應用反饋數據匯聚應用發布模型構建數據分析參數調優數據預處理模型評估匯聚相關委辦對應數據處理空值,屬性值轉換分析數據與需求相關性選擇合適的算法進行建模調整數據模型參數基礎/主/專題發布評估模型準確性,合理性數據治理運營數據應用開發通過大數據平臺基于用戶信息及用戶行為綜合特征,知識圖譜以及地理空間關聯特征,進行融合匯聚和深度挖掘關聯分析,形成多維標簽體系,進而支撐從各類數據挖掘應用與開發,實現數據價值最大化。大數據標簽匯聚與應用開發能力屬性標簽事件標簽靜態穩定標簽短期時序事件和專題事件車輛屬性:品牌、型號、出廠年份、行駛公里數
溫馨提示
- 1. 本站所有資源如無特殊說明,都需要本地電腦安裝OFFICE2007和PDF閱讀器。圖紙軟件為CAD,CAXA,PROE,UG,SolidWorks等.壓縮文件請下載最新的WinRAR軟件解壓。
- 2. 本站的文檔不包含任何第三方提供的附件圖紙等,如果需要附件,請聯系上傳者。文件的所有權益歸上傳用戶所有。
- 3. 本站RAR壓縮包中若帶圖紙,網頁內容里面會有圖紙預覽,若沒有圖紙預覽就沒有圖紙。
- 4. 未經權益所有人同意不得將文件中的內容挪作商業或盈利用途。
- 5. 人人文庫網僅提供信息存儲空間,僅對用戶上傳內容的表現方式做保護處理,對用戶上傳分享的文檔內容本身不做任何修改或編輯,并不能對任何下載內容負責。
- 6. 下載文件中如有侵權或不適當內容,請與我們聯系,我們立即糾正。
- 7. 本站不保證下載資源的準確性、安全性和完整性, 同時也不承擔用戶因使用這些下載資源對自己和他人造成任何形式的傷害或損失。
最新文檔
- 山東省濟南第二中學2024-2025學年高三下學期第二次階段檢測試題-物理試題試卷含解析
- 山東省濟南市育英中學2025年5月普通高中畢業班質量試卷英語試題試卷含答案
- 四川省達川區市級名校2025年5月初三壓軸卷語文試題試卷含解析
- 2025年物理學科的基本概念試題及答案
- 2025年數字營銷行業知識考試試題及答案
- 南京科技職業學院《陶瓷裝飾》2023-2024學年第一學期期末試卷
- 2025年中小學語文試卷及答案
- 江城哈尼族彝族自治縣2024-2025學年數學三下期末綜合測試試題含解析
- 蘇州科技大學天平學院《電工》2023-2024學年第二學期期末試卷
- 遼寧工程技術大學《市政工程預算》2023-2024學年第二學期期末試卷
- 研究生干細胞培訓課件
- 科學研究與方法論PPT課件講義
- 機械制圖習題集第九章《裝配圖》匯編
- 土建生態環保和綠色施工環境管理培訓ppt
- 二年級上冊科學課件太陽的位置和方向
- GB/T 27930-2023非車載傳導式充電機與電動汽車之間的數字通信協議
- 電力工程項目管理手冊
- 蘇州介紹PPT(蘇州簡介經典版)
- 華為公司質量管理手冊
- 六宮格數獨-中級-題
- 英語演講技巧與實訓學習通課后章節答案期末考試題庫2023年
評論
0/150
提交評論