1、項目編號：RJ20150020設計方案氣象數據一體化信息服務平臺設計方案2016年1月南京助事達軟件科技有限公司1 概述 31.1 背景與預期 31.2 建設內容 42設計方案 52.1 系統架構 52.1.1. 平臺總體架構圖 52.1.2. 數據流概覽 62.2 分布式解析引擎 62.2.1. 分布式解析引擎概述 62.2.2. 分布式解析設計架構 72.3 氣象分布式數據庫設計 122.3.1. 氣象一體化平臺分布式數據庫設計概述 122.3.2. 分布式數據庫設計架構 152.4 氣象資料云服務引擎 172.4.1. 應用授權機制 172.4.2. 授權認證機制 172.4.3. 服務

2、請求基礎參數體系建立 172.5 服務版本管理體系建立 182.5.1. 版本管理設計 182.5.2. 建立服務 API幫助文檔 181概述1.1背景與預期針對以往基礎數據庫建設分散、標準不統一、服務能力差等問題， 按照“系統集成，數據集中，資源集約，功能完善，突出特色”的思 路，經過兩年半的努力，依托江蘇預報業務一體化平臺項目建設，初 步建成全省統一的基礎數據環境，有效提高了信息資源的利用率和數 據服務能力，為本省率先實現氣象現代化提供了有力支撐。信息中心在全省氣象信息業務建設的基礎上， 先后出臺幾十項標 準或規范，為一體化體系提供標準支撐，完善了我省氣象信息的標準 規范體系；優化數據傳輸

3、流程，時效性可靠性提升顯著，省內區域自 動站可實現60秒內、雷達數據8分鐘之內、省際共享上海市區域自 動站100秒內到達預報員桌面；通過“軟 CAST同步機制，省市間 數據實現了秒級流轉；完成了自動站、土壤水份、精細化等50多類數據的解析入庫，數據解析的種類和覆蓋范圍在不斷擴充， 確保了數 據的完整性、一致性。架設全省云平臺實現硬件資源的統一管理與分 配，達到資源集約化、應用多樣化的目標。為進一步提高和增強氣象數據服務能力， 科學準確的做好數據服 務工作，結合前期預報業務一體化平臺使用和市縣推廣應用情況，在氣象數據傳輸、數據存儲和數據應用方面，提出諸多改進措施和方案， 旨在不斷的提高氣象數據服

4、務能力和質量。1.2建設內容根據江蘇氣象現代化發展的需求， 在現有工作基礎上，進一步完 善全省基礎資源配置和管理，開展智能化、個性化的基礎數據環境信 息服務平臺的設計和開發，繼續優化各類基礎資料的收集處理流程， 做好統一數據環境在市縣的推廣應用，著手開展適合本省的實時質量 控制方法研究和質控系統的設計和開發工作， 提高數據服務質量。通 過建立團隊協作機制，聯合進行數據處理和信息技術應用開發， 建立 數據規范；完成實時/歷史數據庫設計、解碼和入庫。2設計萬案2.1系統架構2.1.1. 平臺總體架構圖C數據層核心數據支揮庫業務數據支撐庫業務邏輯函數庫統的規范標準F'I分布式處理氣象數抿云云

5、存錨管理駕駛艙云鮮折服務樓心槪務接口省舟咸向同步應用層元解析引華分布式脈務MIft數據開步骨理任務盟悅報文解析組杵云朦務適配器數據定劃同步監控M（補調云存悩引隼K步成拎及扯計救據頂址監挖1用戶及權隈系蜿管理kA支撐層云解析引璽 分布式檢案引聲 云曲引華云適配引畫安全的保障體系圖表i平臺總體架構圖2.12數據流概覽CIMISStft 口分右式解析服務（ Ktrlhulrd»vr*l：e|分布式數據庫圖表2數據流概覽DataD遷鈿Nod«D占tjNodeDataNod«2.2分布式解析引擎2.2.1.分布式解析引擎概述氣象資料的來源有多種，包括上百種類型的氣象資料報文

6、、各個 業務系統產出的氣象服務產品、來自于 CIMISS的數據資料等等。由 于資料種類繁多、場地分散、解析入庫方式及質量參差不齊等等各種 問題的存在，同樣為了滿足集中管理、統一標準的業務目標需求，我 們最終使用了氣象數據分布式解析引擎 來實現其各種功能。Service Control IKefiiotingPurser Client Mcm!tor 和電mingA丘解折服務貧理器服務管理場采管理殂件管理資料源監控安全管理智能化解析配胃Folder Watch or RematingrT皿文 嶄枳 用件1報文辭忻'旦件時Mr 鬥件匚1馳1 r 1工C寮tirr1機別二1斛rH田件孫布式輔

7、析科'222. 分布式解析設計架構圖表3分布式解析設計架構分布式解析云的核心主要由四個部分組成：a）解析云服務主要通過實時發布遠程對象的方式為各個功能域提供分進程間信息共享平臺。共享的遠程對象主要包括：報文資源文件夾監控對象、分布式解析器運行時對象、服務全局控制對象、智能化解析配置對象、 全局報文解析組件適配對象等。實質：遠程對象以信道作為發布渠道，來進行客戶端和服務器之間的通信。信道包括客戶端的信道部分和服務器的信道部分發布的內容以消息作為載體，消息包含遠程對象的信息、被調用方法的名稱以及所有的參數。TrinipArtrit Prowy二 IAKP 應 TTTP®斥EiMf

8、l旺R汩3心方 眥CMrtnnelSPf*U嘶圖表4分布式客戶端與服務間通信原理報文資源文件夾監控對象：每種資源文件都存儲在一個或多個文件夾中，當有新的文件加入時解析云自動將待解析的文件加入到 解析資源池（即任務隊列）。當 分布式解析器中有存在空閑的解析器時， 此解析器則會自動向服務申 請一個解析任務。之后，當一個任務被解析器處理完畢后，其就會從任務隊列中自動刪除，同時將相對應的原始數據文件自動移動到已處理文件目錄下 面。分布式解析器運行時對象：每個報文解析器分別部署在一個或多個服務器上，那么各個解析 器運行狀態的管理就十分的重要。 為了滿足全局監控，定向管理的目 標，云解析平臺將分布式解析器

9、運行時對象作為各功能域內部可見的 全局對象進行發布。即各個解析器運行后自動向云服務 發送注冊請求, 云服務接受請求后則將此解析器加入到解析器隊列中用于后期的監控及管理。服務全局控制對象：主要負責服務的啟動、暫停、重啟以及重新加載配置文件等工作。智能化解析配置對象：此對象主要為分布式解析引擎提供解析知識庫，為了實現解析組 件的可插拔我們將 智能解析配置對象 也作為全局對象進行發布。可以 從云解析管理器中對其內容進行更改，更改后云服務自動通知各個解 析器接下來的解析工作使用 新的解析知識庫 進行報文識別及智能解 析。全局報文解析組件適配對象：為了使報文的識別實現 動態化擴展，我們將解析適配器對象進

10、行 全局發布，當云解析管理器對解析適配器信息進行更改后云解析服務 將自動應用新的解析適配方案。所有的分布式解析器都使用云解析服 務提供的統一解析適配器進行解析適配工作， 所以當云服務的適配器 方案改變后各個解析器 自動使用新的方案進行適配工作。b）云解析管理器云解析管理器是云解析服務的一個客戶端，主要用于輔助云解析 服務工作，為云解析服務提供可視化操作界面。如云解析服務提供的 各個實時對象的管理及運行時參數的維護管理等工作都在云解析器 中進行操作。如報文解析組件適配信息配置、智能化解析知識庫配置、分布式 客戶端監控、資源池監控、解析組件配置、數據源配置、運行日志管 理等。c）分布式解析引擎分布

11、式解析引擎是云解析服務的運算核心，所有類型的數據都通 過此引擎進行解析運算。報文解析引擎由三大支撐組件（數據類型識 別組件、智能化解析組件和解析組件適配器）和解析組件池組成。數據類型識別組件：數據類型識別組件主要對當前申請到的解析資源進行自動識別， 主要通過數據文件名、數據段特殊標記以及其他特性化配置方式進行 識別。數據類型被識別后向解析引擎反饋此文件的解析適配標識。解析組件適配器：解析組件適配器主要將數據類型識別組件反饋的解析適配標識進 行適配，并從解析組件工廠中構造一個適合此適配標記的解析組件智能化解析組件：智能化解析組件主要將智能解析知識庫中的信息翻譯成解析器能夠識別的信息結構，并將此信

12、息結構提供給解析組件進行報文解析。解析組件池：由一系列報文解析組件組成，如重要天氣報解析組件、A文件解析組件、高空資料解析組件、自動站解析組件等等。每個解析組件都 遵從解析引擎的報文解析流程，最終完成報文的解析。報文解析流程如下:能 H=Hi報渝代1識別圖表5報文解析流程d）分布式解析器分布式報文解析器主要有如下幾個特性:1. 分布式：即此解析器可以在多臺服務器上同時運行， 同樣也可以 在一臺服務器上運行多個實例。2. 可擴展性:解析器中搭載的是 解析組件引擎，而解析組件隊列可在遠程服務中直接獲取，所以當云解析服務更新組件配置或加入新的 解析組件時各個解析器同時受益。3. 并行計算：每個解析器

13、的都在獨立的進程中進行運算，所以當多個解析器同時對解析任務池中的任務進行解析時大大縮短了解析的時間縮短，提高解析效率。4. 可管理性:每個解析組件運行后首先會注冊到解析云服務，同時解析云服務會將此信息反饋給解析服務管理器，管理器收到信息后將 此解析組件加入到本地的可視化解析組件管理列表中，對其進行實施監控。當一個解析器出錯或強行退出時，解析云自動注銷其消息訂閱 事件，并通知解析云服務管理器，管理器從管理列表中將此解析器 移 除，或提醒管理員此解析器已下線。2.3氣象分布式數據庫設計2.3.1.氣象一體化平臺分布式數據庫設計概述從目前江蘇省氣象信息的數據結構及分布情況分析，我們的數據屬于異構數據

14、庫。即現有的數據使用了多個DBMS如SQL Server，Oracle等。由于各種氣象資料較為繁雜，存儲的數據結構也不盡相 同。所以我們建立的分布式數據庫管理架構不但要解決分布式存儲 的問題還需要解決異構數據庫的問題。本架構設計的核心原理是通過分布式數據服務全局共享數據節 點索引對象。并使用分布式數據庫管理引擎來對各個數據節點進行高效的存取操作。數據索引需要建立在一個全局共同遵守的標準之上， 這個標準中 規定了在不同數據分片場景下各個數據節點應共同包含或通過邏輯 映射的方式包含相應的屬性。如在水平分片場景下，各個數據節點應 共同擁有日期屬性，日期屬性可分為（年、月、旬、候、時間）等多 個分類方

15、式。如同屬于年分類的場景下，則需要共同擁有年屬性。如在垂直分片場景下，各個數據節點應共同擁有要素類型屬性。分布式存儲的核心問題是對數據分片和數據分配方式， 分片的方 式分為水平分片、垂直分片、導出分片和混合分片。水平分片：即按一定的條件把全局關系的所有元組劃分成若干不 相交的子集，每個子集為關系的一個片段。根據分析我們可以通過時 間節點對數據進行水平分片。垂直分片：即把一個全局關系的屬性集分成若干子集， 并在這些 子集上作投影運算，每個投影稱為垂直分片。如我們可以通過氣象要 素進行空間的垂直分片。導出分片：又稱為導出水平分片，即水平分片的條件不是本關系 屬性的條件，而是其他關系屬性的條件。我們

16、一般在特殊的數據應用 場景中使用此分片方式。如對數據按站點所在的城市為條件進行數據 分片，因站點所在的城市這個屬性一般不在要素基本屬性中存在，而是在站點信息關系表中存在，那么此種分片則稱為導出分片。混合分片：綜合了以上三種分片方式進行數據分片。數據分配方式分為：集中式、分割式、全復制式和混合式根據氣象數據的特點我們建議采用分割式的數據分配方式，即所有數據只有一份，它被分割成若干邏輯片段，每個邏輯片段被指派在 一個特定的場地上。同時服務器的磁盤陣列使用冗余磁盤陣列（RAID） 的方式進行管理，并建議使用 RAID10（即卩RAID 0+ 1 ）。虛擬化技術虛擬化是一種資源管理技術，是將計算機的各

17、種實體資源，如服 務器、網絡、內存及存儲等，予以抽象、轉換后呈現出來，打破實體 結構間的不可切割的障礙，使用戶可以比原本的組態更好的方式來應 用這些資源。這些資源的新虛擬部份是不受現有資源的架設方式，地域或物理組態所限制。一般所指的虛擬化資源包括計算能力和資料存 儲。在實際的生產環境中，虛擬化技術主要用來解決高性能的物理硬 件產能過剩和老的舊的硬件產能過低的重組重用，透明化底層物理硬件，從而最大化的利用物理硬件。因為我們需要將數據節點存儲在多個場地上， 為了節約硬件產品, 并充分利用硬件的計算資源以及存儲資源， 我們可以將一臺工作站 虛 擬成多個存儲場地。2.32分布式數據庫設計架構it ft

18、 jCftJW HU 齊(IH sii hut ed LhHtabase ice)Service Control RenKit in廠/空財歎躺時構出踐也宦仏川躺):1/坐向址劇厲訓莎啊曙城拒推遲般并如拒陽尸及収Jlft總理全幀側爭険(CIJL>>丿Distributed Client StackData Index StructData Query ServiceData Save Service云存儲接口SaveI. i h圖表6分布式數據庫總體設計方案分布式數據庫的核心模塊分為：分布式數據庫通訊服務(CM、分布式數據庫管理器 (DDBMS 云存儲接口(Cloud Data A

19、PI )、DataClient、Data Query Standard Lib 和 Data Save Standard Libo分布式數據庫通訊服務:負責在分布式數據庫的各場地之間傳送全局對象、消息和數據, 完成通信功能。核心的全局對象是 分布式數據索引對象(Data Index Struct) ， 每個分布式客戶端上線后將自動注冊到分布式數據庫通訊服務，通訊服務自動將其加入到 Distributed Clie nt Stack 中，同時根據客戶 端報送的數據節點名稱，服務自動為其初始化局部數據庫數據索引對 象，并將關鍵索引存儲為 Hash Table的key-value模式。并為其訂 閱全局數據檢索和數據保存事件等，當有數據檢索請求時，服務通過并行化編程技術使所有分布式客戶端同時處理此事件， 當某個分布式 客戶端處理發現本地索引中無相關 key或不滿足其數據分片條件時 則直接退出響應。如果相關條件都在其索引范圍內，則進行本地化數 據查詢操作，并將結果以 Data Set的形式返回至事件源。所有并行 流程執行完成后事件源將Data Set集反饋給查詢者。分布式數據庫管理系統（DDBMS）分布式數據庫管理系統主要用于2.4氣象資料云服務引擎2.4.1. 應用授權機制即每一個接入服務的應用都需要申請一個AppKey,此Key