




版權說明:本文檔由用戶提供并上傳,收益歸屬內容提供方,若內容存在侵權,請進行舉報或認領
文檔簡介
1、地理空間大數據創新技術及應用地理國情大數據創新技術及應用全國土地大數據創新技術及應用高分遙感大數據創新技術及應用點云數據高性能計算創新技術及應用后云時代技術創新霧計算內容提要GIS-Transforming our WorldGIS-Transforming our World地理國情大數據創新技術及應用地理國情普查/監測數據獲取能力:日均獲取原始影像超300GB每年累計億級矢量圖斑要素應急支撐需采集十余種數百TB數據空天地海立體觀測技術發展高 精 度高 頻 度高 覆 蓋海量空間數據爆炸式增長地理國情大數據 應運而生背景背景以浙江省地理國情普查主要成果為例背景地理國情大數據海量、多源、異構背景
2、地理國情大數據海量、多源、異構背景問題挑戰高效計算難計算作業時間長、交互等待時間長、無法應對大規模地理國情數據處理需求。數據管理難傳統數據管理技術存儲模式單一,面向海量、多源、異構的時 空數據擴展存儲能力有限。突破地理國情大數據關鍵技術,解決大規模地理國情數據異構海量存儲、高性 能實時統計分析、增量更新技術瓶頸我們的應用技術方案云計算環境下地理國情大數據高效存儲計算關鍵技術1、大規模地理國情多態云存儲模型關鍵技術一、地理國情大數據多態云存儲根據數據不同類型、不同需求,選取不同的存儲模型數據節點1數據節點1HDFS分布式文件系統數據節點1 地 理 國 情 要 素矢量數據組織結構文件數據組織結構文
3、件索引Hbase元數據與表數據Oracle傳感器名 年份月份日數 衛星名稱日數分區數據不分區數據GeodatabaseWKTGeodatabaseWKT規范化數據預處理入庫工具檢核實體編元數據碼提取.矢量影像文檔待入庫數據集 中 存 儲數 據 組 織數 據 整 合小要素集、更新頻繁的數據采用Geodatabase模型管理大要素集、計算頻繁的數據以WKT格式基于HDFS存儲,并 使用HBase存儲空間索引影像數據、文檔數據采用分布 式文件系統與元數據表結合的 方式管理2、泛化地理信息高效并發檢索技術關鍵技術一、地理國情大數據多態云存儲HBaseHDFS數據分塊網格包含的geo_ID文件合并文件獲
4、取查詢條件(行政區編碼、分類碼)生成查詢任務查詢任務1(StartKey,EndKey)查詢任務2(StartKey,EndKey)查詢任務n(StartKey,EndKey).查詢結果合并實現了全省千萬級 地理國情矢量數據 的快速檢索與統計數據模型:OGC+WKT空間定位:網格索引關鍵字查詢:倒排索引空間查詢:最小外接矩形過濾多樣化地理國情信息快速檢索統計多態存 儲方法傳統方法使用單一存儲模型,效率 低、性能差難以充分利用計算資源無法應對時空大數據存儲對比分布式存儲模型運行在分布式存算一體化環境, 檢索資源利用率高專門應對時空大數據存儲對浙江省700萬條地表覆蓋要素進行檢索和三級類統計,僅需
5、24秒,解決了傳 統GIS平臺均無法處理的國際技術難題創新效果關鍵技術一、地理國情大數據多態云存儲創新效果覆蓋全省PB級地理國情數據的高性能存儲管理地表覆蓋數據遙感影像數據關鍵技術一、地理國情大數據多態云存儲創新效果縣域級別任意多邊形的空間檢索:秒級響應(傳統超過100s)縣級地表覆蓋統計效果演示,以嘉善縣為例的空間范圍執行地表覆蓋匯總統計,可達到秒 級響應。關鍵技術一、地理國情大數據多態云存儲創新效果全省地理國情數據分類分行政區統計:24秒(傳統超過3小時)浙江省全省700萬條地表覆蓋要素的三級類統計匯總效果演示,查詢結果總長度為400多 萬千米,總面積為12多萬平方千米。關鍵技術一、地理國
6、情大數據多態云存儲關鍵技術二、地理國情大數據高性能地理計算傳統計算效率存在問題16單機處理方式效能低計算作業時間長交互等待時間長無法應對大規模時空數據處理需求MPP架構下大規模并行計算基礎設備昂貴基于MPI框架,并行效率存在瓶頸計算過程仍需網絡I/O多云共生平衡架構本地存儲、本地處理、獨立服務智能感知的計算任務調度體系最大限度減少數據傳輸損耗適用分布式計算模型多云并算協同機制分布式部署的內存云,提供了海量內存計算空間計算過程在內存云中,無硬盤I/O基于內存云GPU協同加速,并行能力強,效率高內存云硬盤云高 效穩 定雙態云計算方法關鍵技術二、地理國情大數據高性能地理計算異構云環境下時空信息雙態云
7、計算方法4 U4 U4 U4 U2 U4 U4 U4 U4 U4 U4 U4 U2 U4 U4 U4 U4 U4 U42 U硬件架構圖42 U存算節點預處理服務器主節點通訊服務器構圖邏輯架1、Hadoop、Storm、Spark多云共生平衡架構關鍵技術二、地理國情大數據高性能地理計算Hadoop常用于離線的復雜的大數據處理,Spark常用于離線的快速的大數據處理,而 Storm常用于在線的實時的大數據處理。ImageInputFormatImageSplitImageSplitImageSplitImageRRImageRRImageRRMapMapMapReduceImageOutputFo
8、rmat從HDFS中讀取影像文件寫回到HDFS存儲算任務管理引擎計算任務池計算任務監控DiskDiskRAMGPUDiskRAMGPU.儲硬盤云算內存云RAM行加速云GPU計并 計 存圖像 文件計算任務接口層HeartbeatDaemonDaemonDaemon2、Disk、RAM、GPU多云并算協同機制關鍵技術二、地理國情大數據高性能地理計算RDDPairRDDPairRDDpid,List,ListR*-Tree NLGroup Partitions By pidJoin Partitions By pidSpatial Grid PartitionRDDPairRDDPairRDDpid
9、,ListPairRDDpid,ListflatMapToPair transformationgroupByKey transformationjointransformationflatMapToPair transformationRDDPairRDDPairRDDpid,ListPairRDDrid1,r1 with ListPairRDDMerge1PairRDDpid,Listr withListRepartitionreduceByKey transformationflatMapToPair transformationPairwise Spatial JoinPairwise
10、 Spatial JoinPairwise Spatial JoinwithoutMerge and RepartitionOutputRDDOutput FileflatMap transformationsaveAsTextFile actionInput File0Input File1Input FilentextFile actionDisk I/OIn-memory Process Flow Store on diskStore in memory多云構建的同時帶來一個問題,如何協同,我們構建了多云并算的協同機制,自動將適合 不同架構進行計算的任務分發到基于硬盤、內存、CPU的計算
11、模式中,實現計算效率的巨 大提升內存云調度引擎主節點DAG任務調度器RDSD索引管理RDSD數據塊管理計算線程n分布式硬盤云節點1節點2節點n硬盤云調度引擎存儲虛擬化管理分布式文件系統管理從節點任務調度計算線程計算線程12節點狀態異 構 云 存 算 一 體 化 管 控 引 擎RDSD緩存重建RDSDFlash內存擴展緩存緩存持久化重建緩存RDSD 空間變換RDSD創建RDSD持久化RDSD管理RDSD讀取分布式內存云(彈性分布式數據集(RDSD)GeoToolsRDSD(rid,r)RDSD(rid,MBRr)RDSD(Zr,MBRr)RDSD(Zrsort,MBRr)RDSD(Zrsampl
12、e,MBRr)RDSD(id,R-Tree)采樣計算MBR計算Z-Value排序構建分布式R-TreeRDSD序列化GeoDataSet 塊文件GeoDataSet塊文件map變換sort變換sample變換reduce行為輸入格式構建RDSD輸出格式Key Columns Subkey Value Timestampid1 idnsknvntssk1v1sk2v2sk3v3.ts ts ts.Key Columns Subkey Value Timestamp id1sk1 sub-tree1ts.idnskn sub-treents3、異構云彈性空間數據集協同調度技術關鍵技術二、地理國情大
13、數據高性能地理計算我們建立了數據調度引擎,利用三個不同層次的引擎 協同不同云環境的技術平滑,以本地化計算為核心導 向,實現數據的自動調度,關鍵技術二、地理國情大數據高性能地理計算創新效果 大規模地理國情數據計算效能對比+ T_SpatDataUpdtInfoIDLayerNameVerTimeElemSTimeElemETime.NewFeatureIDVLayerNewTimeHistoryTimeNewTime.VLayer_VHistoryTimeVLayer_CHVNewTimePresentVLayer百萬級點集和面集的Spatial Join空間統計分析關鍵技術二、地理國情大數據高
14、性能地理計算創新效果 基于在線定制的地理國情云計算服務地理國情統計模型注冊并行計算任務提交任務列表實時監控處理結果查看關鍵技術二、地理國情大數據高性能地理計算創新效果 地理國情信息數據多時間序列分析灘涂動態演化海岸線分屏對比海岸線動態演化省普動態演示GIS-Transforming our World全國土地大數據創新技術及應用背景中國土地勘測規劃院(以下稱規劃院)作為國土資源部重要技術支撐單 位,多年來承擔著全國土地調查評價項目中土地基礎數據采集、處理、 加工、建庫、匯交和應用職責。規劃院已經積累了大量的土地基礎數據資源,基本覆蓋土地調查、監測、 規劃、評價等方面,數據量達到200TB以上。
15、隨著全國國土資源管理工 作方式的深刻的轉變。對當前積累的大量的土地基礎數據資源,包括覆 蓋土地調查、監測、規劃、評價等方面,傳統模式已經實現有效管理,但 是這種構架難以利用海量空間數據開展大數據分析。數據存儲散、資源查詢難、匯交不及時、處理效率低等問題數據類型大小數量2009年全國土地利用現狀屬性表格數據90GB3.2億條記錄2009年全國土地利用現狀矢量數據480GB3.2億個圖斑2010年全國土地利用現狀矢量數據140GB1.1億個圖斑全國縣級行政區數據30MB2884個縣利用縣級行政界線(2884個縣)對2009年全國土地利 用現狀矢量數據圖斑層(3.2億圖斑)進行裁剪操作, 以縣為最小
16、單元輸出裁剪后的所有新圖層文件,實際結 果為2小時27分鐘,時間要求是4小時,其余單位均未 完成;對2009年(3.2億圖斑)和2010年(1.1億個圖斑)全 國土地利用現狀矢量數據圖斑層進行合并(union)操 作,分塊輸出的新圖層,實際結果為3小時46分鐘,時 間要求是6小時,其余單位均未完成;國土資源部新一代國土信息云計算平臺實例數據背景管理節點、Shark服務器分布式數據節點、計算節點物理存儲ETL工具對接內存計算框架分布式數據庫應用服務器PB級綜合數據 百TB矢量數據億級圖斑空間分析”大數據大分析”底層支撐平臺,在國土部建立PB級的土地基礎數據支撐平 臺,實現億級土地利用數據空間分析
17、國土資源部 大數據大分析基礎支撐平臺國土資源部 大數據大分析基礎支撐平臺服務器2服務器3服務器n網絡存儲設備 服務器1數據庫服務器集群 應用服務器計算集群Web服務器 分布式文件系統集成展示元數據處理 主題庫查詢更新維護ESDCRT MJR MNRMM212345678MM112345678備份服務器光纖交換機 Power 1 10 3 Power 2 5 4SupplySupplyBayBayCMM2I/O Bay I/O Bay I/O Bay I/O BayCMM6Bay54FanFanBayBayPower Fan Power FanSupply Bay Supply BayBayBa
18、yPowerSupplyBays6 35 24 1FanBays10 59 48 37 26 1FanFanBayBayTX/RXLINKPowerPowerSupplySupplyBayBayFanFanBayBay321CMM11 6 3 2 1 4刀片服務器應 用 層并 行 計 算 層硬 件 層數據規范化編 目管理工具目錄匹配檢查 工具質檢校核工具目錄匹配檢查 服務質檢校驗服務項目離線匯交數據運行的業務系統數據整合集成處理過的數據其他來源數據數據來源業務域成果域分析域計算域分發域備份域數據庫表 空間備份文件類專題數據的 歸檔及備份數據.待并行處理 的抽取數據處理過程數據.土地利用 網格化
19、產品數據影像勻色 成果數據.DEMDOM.全國性的土地、人口 與經濟綜合分析數據.待分發的 影像數據數據庫導出文件.基于云平臺的數據分域管理技術+多態存儲模型+多維數據快速索引技術存 儲 關 鍵 技 術土地基礎數據高效能處理技術+雙態云負載均衡技術+基于云服務的按需計算模型計 算 關 鍵 技 術專 題 數 據 瀏 覽影 像 數 據 瀏 覽大 尺 度 數 據 瀏 覽抽 析 關 聯 瀏 覽國土資源部 大數據大分析基礎支撐平臺創新效果全國土地矢量數據及行業統計數據的關聯查詢,支撐土地變化與人 口、經濟、社會、GDP相互作用關系。千萬級圖斑不同年份矢量影像數據疊加更新自動分析,為國土 部土地變更調查提
20、供大數據技術支撐。國土資源部 大數據大分析基礎支撐平臺創新效果超大規模矢量數據空間查詢與統計分析效率國土資源部 大數據大分析基礎支撐平臺創新效果1空間統計圖斑面積空間相交2空間統計最大最小圖斑矢量裁剪矢量3基于行政區劃統計圖斑面積緩沖區4基于行政區劃統計最大最小圖斑矢量裁剪柵格5MDB數據抽取矢量瓦片構建6SHP數據抽取疊加分析7空間合并空間索引構建時空數據分析模型1通過任意兩個年度土地利用現狀數據庫獲得變更流量統計數據全國、省、市、縣耕地質量等級統計2全國年度土地利用變化圖斑下進行遙感影像裁切基于縣級土地利用匯總統計數據的矢 量圖斑面積平差3全國范圍矢量多邊形圖斑擦除功能(如耕地后備資源評價
21、中不宜開墾的 后備資源)全國分縣新增建設用地到城鎮的距離4全國分區土地利用統計(行政區、經濟區)計算全國村級耕作平均便利距離5全國大、中、小城市周邊土地利用統計提取全國范圍內零散分布的耕地6全國、分省、分市、分縣耕地高程統計(基于DEM統計平均值、最小值 最大值,中值)基于網格的土地利用分析研究(重心 及變化、人口重心、7土地利用景觀指數統計耕地景觀破碎度計算8耕地重心與糧食重心、糧食消費重心綜合計算采用1分網格7大基礎計算模型基礎空間計算模型8大復雜場景計算模型1. 查詢被多邊形完全包含的地類圖斑,輸 出矢量要素查詢結果(約150萬多邊形 要素)。2.查詢被簡單多邊形完全包含的地類圖斑, 對
22、所有地類要素按照地類名稱進行面積 統計匯總。3.查詢被復雜多邊形完全包含的地類圖斑, 對所有地類要素按照地類名稱進行面積 統計匯總。1分鐘46秒2分鐘40秒1分鐘24秒超大規模矢量數據空間查詢與統計分析效率國土資源部 大數據大分析基礎支撐平臺創新效果以上模型傳統計算時間均超過一個小時2.2012年全國土地利用現狀地類圖斑矢量數據和2013年國土二調地類圖斑矢量數據進行疊加分析,輸出疊加結果。1.將2013年各縣級市匯交形成的2886個MDB格式的國土二調矢量數據3小時56分鐘 文件全部抽取、轉換為本文提出的分布式矢量數據存儲格式。3小時46分鐘超大規模空間數據ETL、疊加分析、剪裁、瓦片構建性
23、能測試國土資源部 大數據大分析基礎支撐平臺創新效果利用全國縣級行政界線圖層裁剪2013年國土二調地類圖斑矢量數據, 3小時27分鐘以縣為最小單元輸出裁剪后的所有圖層文件。2013年國土二調地類圖斑 矢量數據0-16級矢量瓦片金 字塔構建。56小時5分鐘。2014年土地利用變化監測圖斑矢量數據0-16級矢量瓦片金字塔構建。2小時53分鐘。以上模型傳統計算時間均超過一周集成平臺與業務系統調用并提供計算能力國土資源部 大數據大分析基礎支撐平臺創新效果與土地利用現狀調查數據 庫管理系統(現狀庫)、 耕地后備資源數據庫管理 系統(耕后庫)進行了業 務對接,利用集成平臺提 供的基礎空間計算模型完 成并行化
24、,在相同的條件 下進行了速度對比。利用 集成平臺的并行環境,速 度提升明顯并行運算量(縣)土地利用現狀 數據量(MB)耕地后備數據 量(MB)并行疊加耗時(min)傳統處理耗時(min)并行處理 數據總量2 279.786.30.770.5710 1011790.20.452.0130 304281862.512.7950 5013103682.5112.3880 8023404563.0322.8100 10038305953.844.83200 2005264754966.33300 300635096011.5110.5500 5008845136016無法處理1401201008060
25、402002數據處理速度對比并行疊加耗時(min)使用arcmap工具處理耗時(min)10305080100200300 500 業務平臺一期(業務平臺)土地利用規劃數據庫管理系統(規劃庫)耕地后備資源數據庫管理系統(耕后庫)GIS-Transforming our World高分遙感大數據創新技術及應用數據庫集群規模:1臺曙光高性能服務器+12臺曙光存儲服務器日入庫數據:520GB國防科工局高分專項應用高分辨率對地觀測共性技術與應用平臺應用地點:高分系列衛星數據中心GF-1、GF-2.背景虛擬映射層虛擬層用戶數據層融入了云存儲虛擬化思想,提出了“開 放域彈性存儲”,設計并實現了建立在虛擬
26、磁盤空間上的時空數據庫動態可擴展模型。113121110789654231718161415.M映射映射映射映射表.網絡運維服務 站點存儲站點存儲站點開放域彈性 存儲存儲站點建立了一個邏輯上靜態、物理上動態 可擴展的開放域存儲空間,解決了海量時 空信息存儲空間高擴展性、高可用性和存 儲結構靜態化需求。1、開放域環境下彈性可擴展數據模型關鍵技術:地理空間大數據多態存儲與彈性管理運 維 服 務 站 點(MServer).分布式存儲系統.存儲站點 映射與管理EFI .DSIVDS故障站點數據暫存區EFI DSIVDS NEFI DSIEFI DSIEFI DSIVDS 1VDS N+1EFI DSI
27、VDS 2VDS N+2EFI DSIVDS M分 布 式 存 儲 站 點D-SSite 1客戶端分 布 式 存 儲 站 點D-SSite 2分 布 式 存儲 站 點D-SSite N真正做到請求自動分發,多節點、多線程并行執 行,攻克了空間大數據背景下海量數據帶來的信息 檢索瓶頸難題。2、泛化地理信息高效并發檢索技術提出了“分布式泛化存儲”思想, 設計并實現了空間數據的分布式建庫和 高效并發檢索技術。關鍵技術:地理空間大數據多態存儲與彈性管理遙感、切片、矢量、文本數據一體化高效存儲管理國防科工局 國產PB級大規模時空數據云存儲系統創新效果影像存儲管理規格化切片產品存儲管理矢量數據存儲管理波普
28、特征數據存儲管理遙感、切片、矢量、文本數據一體化高效存儲管理國防科工局 國產PB級大規模時空數據云存儲系統創新效果數據類型與數據量統計分析資源使用量統計分析數據時空關聯分析元數據定制管理數據類型與數據量統計分析資源使用量統計分析國產高分影像數據多場景應用國防科工局 國產PB級大規模時空數據云存儲系統創新效果時空大數據中心災害重大應用大數據服務平臺2013年8月黑龍江特大洪災,成果直接為災情決策篩選及處理8000多景遙感數據,全域矢量基礎數據、地面傳感器監測數據與數值模式的大數據實時分析與發布GIS-Transforming our World點云數據高性能計算創新技術及應用組合寬角光學相機+激
29、光雷達(LiDAR)數據采集:數據量巨大、單機處 理緩慢背景背景關鍵技術:時空數據高性能存算一體化技術實施路線基于Apache CXF編寫計 算服務。封裝計算接口提 供二次開發API。根據計算類別自動調度服 務。基于JBPM實現服務自組 織模塊和算法工具集管 理。搭建分布式計算模型。實 現影像拼接及點云解析等 分布式處理任務。使用HDFS NFS Gateway 實現HDFS多節點映射, 以支持GDAL。運管系統中設計實現計算 任務監控管理模塊。創新效果全景影像拼接任務(SSWCamDPS-Console)單機難以處理處理效率無法滿足時效性需求關鍵技術:時空數據高性能存算一體化技術運行模 式單
30、個任務 時間(s)任務 數量計算節 點數量單節點 線程數 量理論耗 時(h)實際耗 時(h)全景照片 成功數量效率提 升(倍)單機單 線程601434/23.9/57.4云計算 框架405120.270.42100%處理效率無法滿足時效性需求運行模 式單個任務 時間(s)任務 數量計算節 點數量單節點 線程數 量理論耗 時(h)實際耗 時(h)全景照片 成功數量效率提 升(倍)單機單 線程6020000/333.3/1960.6云計算 框架2010070.150.17100%創新效果全景影像拼接任務(SSWCamDPS-Console)單機難以處理關鍵技術:時空數據高性能存算一體化技術5年1天
31、運行模式任務 量計算節 點數量單節點線 程數量理論耗 時(h)實際耗 時(s)全景照片 成功數量效率提升(倍)單機單線 程44G/14591523/50.8云計算框 架541330100%型號詳細配置作用數 量DELLPowerEdge R730服務器2*E5-2683V3(至強十四核2.0GHz/9.6GT/35MB) 4*8GDDR4-2133MHZ內存 2*256GMLC SSD硬盤+3*300G(2.5寸10K)SAS硬盤RAID1+RAID5 H730P(2G緩存) 集成四千兆網卡主節 點1DELLPowerEdge R730服務器2*E5-2683V3(至強十四核2.0GHz/9.
32、6GT/35MB) 4*8GDDR4-2133MHZ內存 2*256GMLC SSD硬盤+3*300G(2.5寸10K)SAS硬盤RAID1+RAID5 H730P(2G緩存) 集成四千兆網卡計算 節點5網絡環境TP-LINK千兆以太網交換機TL-SG1048創新效果車載激光點云數據自動解析單機處理效率緩慢處理效率無法滿足時效性需求關鍵技術:時空數據高性能存算一體化技術GIS-Transforming our World后云時代技術創新霧計算數據瓶頸采用分布式計算技術的“集中式計算”,地理空間大 必須都存在云端空間數據往往涉及保密性等問題,不能有效共享云中心云中心向外分發數據及計算結果時存在一
33、對多的網絡空間數據請求量很大時,分發能力有限移動互聯網時代接入的終端傳感器及終端設備暴增,加重 云中心負擔移動應用支撐能力有限流式空間數據、實時空間數據計算能力不足云計算還有諸多尚未解決的問題后云時代技術創新霧計算霧 傳 感 器 網 設 計浮 動 車 計 算 結 果霧計算架構設計及驗證后云時代技術創新霧計算霧計算總體架構:中央數據中心+霧節點+傳感器霧計算關鍵技術一:流處理智能任務分組霧計算各節點智能任務分組:本地任務螺栓(霧節點)負責對產生的數據流實時處理,必須靠近流數據源。全局任務節點負責將一組本地任務的計算結果匯總以近一步處理。流處理智能任務分組技術路線杭-甬-湖霧集群實驗拓撲圖(已完成
34、跨省聯通實驗:杭州-湖州-鄭州-北京)霧計算關鍵技術二:霧節點自動調度策略霧節點自動調度策略:隨著任務以本地任務和全局任務的形式分配于霧節點和全局任務 節點后,霧節點自動調度策略按照霧節點的計算能力,自動所有任務分配至各個工作者 中,最大限度保證流數據低延遲運行。不同任務調度效率實驗移動空間數據傳感器霧端分布式索引關鍵技術基于地理流移動對象統一時空數據模型地理時間窗口更新消息元組離散時空模型查詢消息元組流時空 模 型空間計 算分布式消息中間件Apache KafkaMetaQApache ActiveMQ中間件地理流時間戳線性時空模型Kestrel移動對象連續查詢CKNN范圍查詢鏈接查詢U-G
35、rid移動對象空間索引移動對象分析聚類分析軌跡預測U-RtreeLU RtreeTPRtree流式分布式平臺Apache StormApache Flin kSpark StreamingYahoo! S4Apache SamzaTime Stream分布式實時空間數據庫關系型空間數據庫 Oracle SpatialPo stGISMySQLSpatial空間引擎Arc SDENoSQL數據庫Memcac hedFastDBRedisMembaseCassandraHBase持久化文件數據Lu cen eSpatialShpFileGDB霧計算關鍵技術三:霧端大規模移動空間計算面向大規模移動空
36、間計算需求,我們提出霧端大規模移動空間數據計算總體框架,運 行時云霧多節點空間索引的同步與更新關鍵技術,以及面向云霧計算均衡化的任務劃分 模型,實現移動空間大數據的實時計算。ParameterValue移動點的個數,106 更新速率,百萬次/秒 范圍查詢大小 K 近鄰中的K值路網節點數 監測范圍(km2)10.70.5%100232237895江蘇全省,511 494移動點信息霧計算關鍵技術四:云霧混合計算模型針對時空大數據計算窗口數據分布不均衡、空間計算復雜度各異、云霧計算各具優勢的 特性,綜合利用時間和元組混合窗口評估時空計算量,均衡構建流式并行計算任務,最 大限度發揮云集群和霧計算的計算
37、能力。創新效果后云時代技術創新霧計算杭州-湖州-北京-鄭州三省四市霧集群實驗霧集群數據來源:移動點流數據杭州中心集群節點數:6個杭州霧集群節點數:5個湖州霧集群幾點書:5個北京霧集群節點數:5個鄭州霧集群節點數:5個創新效果后云時代技術創新霧計算0.13590.954761.833752.4331552.1901230134地理流平均處理速率x 10 52霧集群個數不同霧集群數目和計算速率(/S)霧計算下地理流實時更新計算速率00.35湖州鄭州 北京 杭州x 104單地霧集群平均計算速率(/S)邊緣處理平均速率0248鄭州-杭州鄭州-北京 湖州-杭州 北京-杭州 北京-湖州 鄭州-湖州103兩地霧集群更新流處理計算速率(/S)云中心邊緣集群邊緣集群16集群總速率01234568北京-鄭州-杭州鄭州-湖州-杭州北京
溫馨提示
- 1. 本站所有資源如無特殊說明,都需要本地電腦安裝OFFICE2007和PDF閱讀器。圖紙軟件為CAD,CAXA,PROE,UG,SolidWorks等.壓縮文件請下載最新的WinRAR軟件解壓。
- 2. 本站的文檔不包含任何第三方提供的附件圖紙等,如果需要附件,請聯系上傳者。文件的所有權益歸上傳用戶所有。
- 3. 本站RAR壓縮包中若帶圖紙,網頁內容里面會有圖紙預覽,若沒有圖紙預覽就沒有圖紙。
- 4. 未經權益所有人同意不得將文件中的內容挪作商業或盈利用途。
- 5. 人人文庫網僅提供信息存儲空間,僅對用戶上傳內容的表現方式做保護處理,對用戶上傳分享的文檔內容本身不做任何修改或編輯,并不能對任何下載內容負責。
- 6. 下載文件中如有侵權或不適當內容,請與我們聯系,我們立即糾正。
- 7. 本站不保證下載資源的準確性、安全性和完整性, 同時也不承擔用戶因使用這些下載資源對自己和他人造成任何形式的傷害或損失。
評論
0/150
提交評論