1、物聯網大數據分析實驗室建設方案一、項目背景“十三五”期間，隨著我國現代信息技術的蓬勃發展，信息化建設模式發生根本性轉變, 一場以云計算、大數據、物聯網、移動應用等技術為核心的“新 IT ”浪潮風起云涌，信息化應用進入一個“新常態” 。章魚大數據為積極應對“互聯網+”和大數據時代的機遇和挑戰，適應經濟社會發展與改革要求，開發建設物聯網大數據平臺。物聯網大數據平臺打造集數據采集、數據處理、監測管理、預測預警、應急指揮、可視化平臺于一體的大數據平臺，以信息化提升數據化管理與服務能力，及時準確掌握社會經濟發展情況，做到“用數據說話、用數據管理、用數據決策、用數據創新”，牢牢把握社會經濟發展主動權和話語

2、權。二、物聯網行業現狀數字傳感器的大量應用及移動設備的大面積普及，才會導致全球數字信息總量的極速增長。根據工信部的統計結果，中國物聯網產業規模在 2011 年已經超過2300 億元，雖然和期望的“萬億規模產業”還有一定距離，但已經不可小視。其中傳感器設備市場規模超過900億元，RFID產業規模190億元，M2M終端數量也已超過2100萬個。另一個方面，我國的物聯網企業也呈現出聚集效應，例如北京中關村已有物聯網相關企業600 余家， 無錫國家示范區有608 家， 重慶、 西安等城市也有近300 家。從區域發展來看，形成了環渤海、長三角、珠三角等核心區以及中西部地區的特色產業集群。在 2009 年

3、以前，可能沒有哪家企業說自己是物聯網企業。一夜之間產生的上千家物聯網企業，他們的核心能力、產品或服務價值定位、 目標客戶和盈利模式都是如何呢？首先來看這些物聯網企業從哪里來。 現在的物聯網企業主要分為三類，第一類是以前的公用企業轉型，最典型的是電信運營商，他們有自己的基礎設施，有客戶資源，因此自然轉型到物聯網行業。除了電信運營商，一些交通基礎設施運營商、甚至是氣象設施運營商，也都轉型為物聯網企業。第二類是傳統 IT 企業，例如華為、神州數碼，以及眾多上市公司等。這一類公司也是在傳統的優勢積累基礎上開拓物聯網新業務。第三類是一些制造企業，包括傳感設備制造企業，網絡核心設備制造企業，還包括如家電等

4、一批傳統制造企業。這一類企業不能說沒有大企業，但是絕大多數都是中小型企業。這些企業的核心能力主要體現在三個方面，第一是傳感器和智能儀表，第二是嵌入式系統和智能裝備，第三是軟件與集成服務。再來看我國物聯網應用的領域。通過對多個部委和地區的物聯網專項進行匯總，下圖列出了目前提到最多，也是應用最成熟的八個領域。但是換個角度再看，不管是工業控制、供應鏈管理、精準農業，還是建筑自動化、遠程抄表、ETC其實都并不是新的技術領域，而是在物聯網這個大概念下重新包裝后再次引起了人們的興趣。總的來說， 物聯網應用傳感器改善了信息獲取的實時性和準確性，同時智能終端改變了人們利用和使用信息的習慣。目前存在的主要問題包

5、括應用過于碎片化，缺少滿足用戶需求的創新型產品/服務，行業間缺乏信息共享和應用協同渠道，以及安全和隱私保護重視不夠。三、建設目標章魚大數據物聯網大數據平臺是順應目前信息化技術水平發展、服務政府職能改革的架構平臺。它的主要目標是強化經濟運行監測分析， 實現企業信用社會化監督，建立規范化共建共享投資項目管理體系，推進政務數據共享和業務協同，為決策提供及時、準確、可靠的信息依據，提高政務工作的前瞻性和針對性，加大宏觀調控力度，促進經濟持續健康發展。1、制定統一信息資源管理規范，拓寬數據獲取渠道，整合業務信息系統數據、企業單位數據和互聯網抓取數據，構建匯聚式一體化數據庫，為平臺打下堅實穩固的數據基礎。

6、2、梳理各相關系統數據資源的關聯性，編制數據資源目錄，建立信息資源交換管理標準體系，在業務可行性的基礎上，實現數據信息共享，推進信息公開，建立跨部門跨領域經濟形勢分析制度。3、在大數據分析監測基礎上，為政府把握經濟發展趨勢、預見經濟發展潛在問題、輔助經濟決策提供基礎支撐。四、建設原則物聯網大數據平臺以物聯網數據資源為重點，以大數據應用為核心，堅持“統籌規劃、分步實施，整合資源、協同共享，突出重點、注重實效，深化應用、創新驅動”的原則， 全面提升信息化建設水平，促進全省經濟持續健康發展。1 、統籌規劃、分步實施。結合我省經濟發展與改革領域實際需求，明確總體目標和階段性任務，科學規劃建設項目。先期

7、完成大數據平臺的整體架構建設，后期分步完成業務系統的整合及相互間數據共享問題。2、整合資源、協同共享。對信息資源統一梳理，建立經濟發展與改革信息標準資源庫和數據規范，逐步消滅“信息孤島”，加快推進數據資源整合，建設共享共用的大數據中心，實現業務協同。3、突出重點、注重實效。以用戶為中心，以需求為導向，以服務為目的，突出重點，注重實效，加強平臺可用性和易用性。4、深化應用、創新驅動。深入了解用戶需求，密切跟蹤信息技術發展趨勢，不斷深化應用、拓展新技術在應用中的廣度和深度，促進跨界融合，豐富管理和服務手段。五、建設方案為了保證項目的順利進行和建設目標的可行性，章魚大數據采取如下幾種建設方案。1 、

8、數據采集方案。我們統一信息資源標準規范，建立多維度數據庫，拓寬數據來源，通過不同的方式匯聚數據，增強分析力度，提高監測預警的準確性和時效性。1、預留接口，支持其它系統各種數據的上傳導入處理。將現存有關經濟運行業務系統中的歷史數據和時效數據，通過上傳數據文件至服務器、分析提取有效數據導入服務器數據庫等方式采集起來，在本平臺上復用。2、支持外接數據的上傳導入處理。可以將企業單位或定點監測機構的數據通過同樣的方式采集起來，在本平臺上復用。3、支持非結構化數據，即搜索引擎數據、社交媒體數據、地理空間數據和音視頻數據等等。2、數據分析方案。物聯網大數據之大并不是難點所在，其真正難以對付的挑戰來自于數據類

9、型多樣、要求及時響應和數據的不確定性，而我們所面臨的也正是如此。我們采用批量數據處理系統，借助于深度學習、知識計算和可視化等大數據分析技術，通過對數據的批量處理挖掘其中的價值來支持決策和發現新的洞察。3、業務整合方案。在對社會發展相關業務子系統充分調研基礎上，結合項目需求， 可對其進行整合或嵌入處理（本方案整合公共信用信息服務平臺、投資項目信息管理平臺等）。1、整合處理。將原有數據通過上傳或導入方式進行采集，原有功能模塊整合到本平臺中，合二為一，完美的將數據匯聚起來。缺點是耗時較長。2、嵌入處理。以單點登錄的方式將原有系統鏈接嵌入到本平臺中，作為子系統單獨存在。缺點在于數據共享難以實現。六、建

10、設內容1 、宏觀經濟監測預測及可視化平臺政府信息化的最終目標是提高政府的決策水平，其中經濟決策是核心內容。為了提高宏觀調控決策水平，我們必須從依靠傳統統計數據向依靠物聯網非統計數據轉變，從監測預測宏觀經濟總量向監測預測宏觀經濟先行指標轉變，從中長期監測預測向實時監測預測轉變。宏觀經濟監測預測及可視化平臺圍繞網絡搜索、社交媒體、電子商務、終端定位和業務交易等五個方面全面整合互聯網相關數據資源，建設以“容量大、形式多、分類細、響應快”為目標的宏觀經濟監測預測數據庫，構建基于互聯網數據的宏觀經濟非統計指標監測預測應用平臺。圍繞重點產業活躍度、區域經濟關聯度、宏觀經濟走向社會預期、社會消費熱點、大宗商

11、品供求及價格走勢、全國就業形勢、外貿訂單變化趨勢等方面，構建物聯網大數據宏觀經濟先行指標和現時預測指標庫，研究能客觀、準確反映我省宏觀經濟運行狀況的指標體系，編制“山東指數”。在健全完善監測預警數據庫的基礎上，充分運用大數據技術和理念，加強數據挖掘力度，強化定量分析，建立宏觀經濟分析系列模型，切實提高預測分析的前瞻性、準確性和可靠性。積極拓寬信息發布渠道，建立可視化平臺，如采用Unity3D引擎，三維界面高度仿真，所見即所得。平臺針對多源易構的海量數據，通過數據處理、存儲管理、可視化交互分析等技術，實現圖形化數據查詢、可視化關聯分析、證據鏈和情報線索發掘等功能。利用預測信號燈系統，形象地刻畫出

12、宏觀經濟總體運行狀況，分析經濟波動原因，及時了解各地區經濟發展的不平衡性，準確判斷和測定經濟景氣循環運行狀態，提高宏觀經濟決策水平。2、建立食品安全風險監測大數據分析平臺食品安全風險監測大數據平臺的基礎是感知、收集、分析和共享覆蓋食品生產全過程的相關數據。國家應制定相關法規，強制推行在農、林、牧、副、漁及食品生產企業和相關主體建立覆蓋食品生產全過程的食品安全風險監測網點，進行動態數據的標示與感知，設立食品安全風險監測省級及地方大數據分平臺，負責動態收集、分析本省及地方的食品安全監測數據，對本省及地方的食品安全狀況做出評估，對監測發現的可能存在的食品安全隱患及時發布預警，并將數據及時匯總到食品安

13、全風險監測管理部門。3 、物聯網數據共享交換平臺物聯網數據共享交換平臺是各個平臺中的基礎性和綜合性平臺，是解決“信息孤島”、實現數據互連互通的基礎設施，有利于提高各類信息資源整合共享，以及信息資源的綜合利用。建設物聯網數據共享交換平臺的首要目標就是要創造一個信息交換、信息共享的方式和環境，按照統一標準和規范，建立信息資源整合機制，規范數據采集口徑、采集方式，規范數據的服務方式，建立統一的資源信息整合與交換機制。我們按照統一、集約、高效的數據開發利用理念，通過研究建立多級交換管理體系，形成政務信息資源物理分散、邏輯集中的信息共享模式，通過以應用為抓手，進一步打通數據流，滿足政府部門多方位、多層次

14、的數據需求，為跨地域、跨部門、跨平臺不同應用系統、不同數據庫之間的互連互通提供包含提取、轉換、傳輸和加密等操作的數據交換服務。通過分布式部署和集中式管理架構，有效解決各節點間數據的及時、高效上傳下達，在安全、快捷、方便的進行信息交換的同時精準的保證數據的一致性和準確性。章魚大數據物聯網數據共享交換平臺的全局目標是建立一個可擴展、可集成、有統一數據模型、可交換和安全可靠的分布式系統，對各類物聯網資源進行組織和管理。解決物聯網信息資源的發現與定位問題，解決物聯網信息資源規劃與整理問題。支持物聯網信息集成整合應用、各業務部門辦公應用和政府職能決策應用。面向政務協作、宏觀決策、市場監管和社會管理服務。

15、七、技術支持與平臺性能1 、系統架構建立基于分布式的物聯網大數據集群管理系統，提供物聯網大數據集群管理系統，功能包含Hadoop、 Hive、 HBase、 Sqoop、 Flume、Spark等節點部屬及管理，提供實時監控集群的 CPU內存、硬盤等使用率及相關信息，可以對管理節點、計算節點進行啟動、停止等操作管理。系統架構圖如下：2、Hadoop集群生態系統技術架構3、Hadoop核心主要功能設計4、HDFST紹-文件讀流程Client向NameNod發起文件讀取的請求。NameNod返回文件存儲的 DataNode的信息。Client 讀取文件信息。5、HDFST紹-文件寫流程Client

16、向NameNod發起文件寫入的請求。NameNode艮據文件大小和文件塊配置情況，返回給 Client 它所管理部分DataNode的信息。Client將文件劃分為多個Block ,根據DataNode的地址信息， 按順序寫入到每一個DataNode塊中。6、MapReduce映射、化簡編程模型輸入數據->Map分解任務-> 執行并返回結果->Reduce匯總結果 -> 輸出結果7、HBase分布式數據存儲系統Client :使用 HBase RPCM制與 HMaster 和 HRegionServer 進行通信Zookeeper：協同服務管理，HMaster通過Zoo

17、keepe可以隨HRegionServer 的健康狀況HMaster:?管理用戶對表的增刪改查操作HRegionServer: HBase中最核心的模塊，主要負責響應用戶I/O請求，向HDFSC件系統中讀寫數據HRegion:Hbase 中分布式存儲的最小單元，可以理解成一個TableHStore： HBase存儲的核心。由 MemStore和 StoreFile 組成。HLog：每次用戶操作寫入Memstore的同時，也會寫一份數據到HLog文件2、平臺性能及優勢1、先進性、開放性。基于 Hadoop/Spark 主流大數據結構的應用技術和開放式的體系框架，結構化設計，靈活可拆分，具有靈活的

18、可擴充接口，易于修改調整、二次開發和擴充，最大限度降低因上游技術升級帶來的系統實施風險，保證投資的有效性和延續性。2、可擴展性。由于采用了平臺化構建思想，章魚大數據整個系統可做到與底層多種硬件環境、操作系統、數據接口的自由適配，保證系統在軟件、硬件環境方面的靈活配置以及未來的拓展應用。采用基于開放的模塊化設計，可根據需要進行靈活動態的模塊擴充，并保證原系統環境不受影響。系統提供開放的標準接口，可實現與外圍業務系統的無縫集成應用，靈活擴展系統的業務應用范圍。3、穩定性、可靠性。系統采用集群結構應用模式，集中安裝部署，客戶端零安裝, 所以系統的運行不受任何客戶端單點故障的影響。技術框架的支 撐，可以實現數據信息的持久、穩定連接，確保事務處理的連續 和完整，保證業務數據準確完全。4、其他優勢。八、硬件系統建設1、服務器采用二十臺高性能品牌服務器作為大數據節點進行建設，采用企業級全千兆 三層交換機進行網絡數據交換每臺節點的配置如下：處理器每節點支持2個英特爾？至強？處理器E5-2620v4 CPU高速緩存15MBQPI總線速率7.2GT/S內存提供12個內存插槽，標配192G內存，支持局級內存糾錯，內存鏡像，內存熱備等局級功能磁盤標酉己3