第第A號公開招標方案建議書數據倉庫建設數據倉庫總體架構專家系統接收增購項目車輛TCMS或其他子系統通過車地通信傳輸的實時或離線數據，經過一系列綜合診斷分析，以各種報表圖形或信息推送的形式向用戶展示分析結果。針對診斷出的車輛故障將給出專家建議處理措施，為車輛的故障根因修復提供必要的支持。根據專家系統數據倉庫建設目標，結合系統數據業務規范，包括數據采集頻率、數據采集量等相關因素，設計專家系統數據倉庫架構如下：數據倉庫架構從層次結構上分為數據采集、數據存、數據分析、數據服務等幾個方面的內容：數據采集：負責從各業務自系統中匯集信息數據，系統支撐Kafka、Storm、Flume及傳統的ETL采集工具。數據存儲：本系統提供Hdfs、Hbase及RDBMS相結合的存儲模式，支持海量數據的分布式存儲。數據分析：數據倉庫體系支持傳統的OLAP分析及基于Spark常規機器學習算法。數據服務總線：數據系統提供數據服務總線服務，實現對數據資源的統一管理和調度，并對外提供數據服務。數據采集專家系統數據倉庫數據采集包括兩個部分內容：外部數據匯集、內部各層數據的提取與加載。外部數據匯集是指從TCMS、車載子系統等外部信息系統匯集數據到專家數據倉庫的操作型存儲層（ODS）；內部各層數據的提取與加載是指數據倉庫各存儲層間的數據提取、轉換與加載。外部數據匯集專家數據倉庫數據源包括列車監控與檢測系統（TCMS）、車載子系統等相關子系統，數據采集的內容分為實時數據采集和定時數據采集兩大類，實時數據采集主要對于各項檢測指標數據；非實時采集包括日檢修數據等。根據項目信息匯集要求，列車指標信息采集具有采集數據量大，采集頻率高的特點，考慮到系統后期的擴展，因此在數據數據采集方面，要求采集體系支持高吞吐量、高頻率、海量數據采集，同時系統應該靈活可配置，可根據業務的需要進行靈活配置橫向擴展。本方案在數據采集架構采用Flume+Kafka+Storm的組合架構，采用Flume和ETL工具作為Kafka的Producer，采用Storm作為Kafka的Consumer，Storm可實現對海量數據的實時處理，及時對問題指標進行預警。具體采集系統技術結構圖如下:數據匯集架構功能Flume提供了從console(控制臺)、RPC(Thrift-RPC)、text(文件)、tail(UNIXtail)、syslog(syslog日志系統，支持TCP和UDP等2種模式)，exec(命令執行)等數據源上收集數據的能力。Flume的數據接受方，可以是console(控制臺)、text(文件)、dfs(HDFS文件)、RPC(Thrift-RPC)和syslogTCP(TCPsyslog日志系統)等。在我們系統中由kafka來接收。Kafka分布式消息隊列，支撐系統性能橫向擴展，通過增加broker來提高系統的性能。Storm流處理技術，支撐Supervisor橫向擴展以提高系統的擴展性和數據處理的實時性。采集架構優勢解耦在項目中要平衡數據的匯集與數據的處理性能平衡，是極其困難的。消息隊列在處理過程中間插入了一個隱含的、基于數據的接口層，兩邊的處理過程都要實現這一接口。這允許你獨立的擴展或修改兩邊的處理過程，只要確保它們遵守同樣的接口約束。冗余有些情況下，處理數據的過程會失敗。除非數據被持久化，否則將造成丟失。消息隊列把數據進行持久化直到它們已經被完全處理，通過這一方式規避了數據丟失風險。在被許多消息隊列所采用的“插入-獲取-刪除”范式中，在把一個消息從隊列中刪除之前，需要你的處理過程明確的指出該消息已經被處理完畢，確保你的數據被安全的保存直到你使用完畢。擴展性因為消息隊列解耦了你的處理過程，所以增大消息入隊和處理的頻率是很容易的；只要另外增加處理過程即可。不需要改變代碼、不需要調節參數。擴展就像調大電力按鈕一樣簡單。靈活性&峰值處理能力在訪問量劇增的情況下，應用仍然需要繼續發揮作用，但是這樣的突發流量并不常見；如果為以能處理這類峰值訪問為標準來投入資源隨時待命無疑是巨大的浪費。使用消息隊列能夠使關鍵組件頂住突發的訪問壓力，而不會因為突發的超負荷的請求而完全崩潰。可恢復性當體系的一部分組件失效，不會影響到整個系統。消息隊列降低了進程間的耦合度，所以即使一個處理消息的進程掛掉，加入隊列中的消息仍然可以在系統恢復后被處理。而這種允許重試或者延后處理請求的能力通常是造就一個略感不便的用戶和一個沮喪透頂的用戶之間的區別。送達保證消息隊列提供的冗余機制保證了消息能被實際的處理，只要一個進程讀取了該隊列即可。在此基礎上，IronMQ提供了一個”只送達一次”保證。無論有多少進程在從隊列中領取數據，每一個消息只能被處理一次。這之所以成為可能，是因為獲取一個消息只是”預定”了這個消息，暫時把它移出了隊列。除非客戶端明確的表示已經處理完了這個消息，否則這個消息會被放回隊列中去，在一段可配置的時間之后可再次被處理。緩沖在任何重要的系統中，都會有需要不同的處理時間的元素。例如,加載一張圖片比應用過濾器花費更少的時間。消息隊列通過一個緩沖層來幫助任務最高效率的執行—寫入隊列的處理會盡可能的快速，而不受從隊列讀的預備處理的約束。該緩沖有助于控制和優化數據流經過系統的速度。異步通信很多時候，你不想也不需要立即處理消息。消息隊列提供了異步處理機制，允許你把一個消息放入隊列，但并不立即處理它。你想向隊列中放入多少消息就放多少，然后在你樂意的時候再去處理它們。內部各層數據提取與加載數據匯集將數據儲存于操作型數據存儲層（ODS），在數據倉庫各層次間數據轉換提取加載，采用傳統的ETL工具進行采集，數據倉庫間的各層次的數據采集的實效性根據具體的數據需求而定，具體ETL建模界面如圖：數據加工與處理對于數據倉庫平臺，應該建立一套標準化、規范化的數據處理流程，例如：如何采集內部和外部數據、結構化和非結構化數據；如何清洗采集來的臟數據和無效數據；如何對不同來源的數據進行打通；如何對非結構化的數據進行結構化加工；如何在結構化數據的基礎上進行商業建模和數據挖掘等等。大數據管理層在一條數據總線上構建了一條完整的大數據處理流水線。這條流水線從數據的采集、清洗到加工處理，把原始雜亂無章的數據加工成結構化的數據組件，供上層的大數據應用來拼裝調用，讓企業擁有創造數據資產的能力。存儲設計數據量估算按每列列車平均500毫秒通過車地通信采集監測數據100條，每天運營時間18小時，按每條記錄160字節計算(監測數據的數據項相對簡單)，初步按照67列列車計算。單列列車日監測數據=3600*2*160*100*18/1024/1024/1024≈2G67列列車年數據量=2*67*365/1024≈48T10年總數據量(乘上增長系數10%)≈530T(含操作系統)數據規劃10年，加上系統用戶信息、系統日志信息、專家信息、業務數據及其它不可預測類數據，數據總量預估530T。數據存儲專家系統數據采用混合存儲模式進行存儲，RDBMS存儲專家系統業務基本數據及最近1年的監測數據，10年內歷史監測數據采用NoSQLHBase數據庫進行存儲，以方便查詢，HBase基于Hdfs分布式文件系統搭建，具體存儲模式如下圖。RDBMS數據庫，支持專家庫的核心業務，存儲列車最近1年的監測數據為保證專家系統安全、穩定運行，在數據庫系統上支撐各種統計分析及傳統的BI業務。考慮到操作系統存儲、緩存存儲、數據庫系統存儲、日志存儲等因素，RDBMS數據庫服務器預計每臺60T存儲，考慮數據安全及系統穩定因素RDBMS采用雙機熱備技術互備。大數據平臺規劃存儲最近10年監測數據，日志文件備份及歷史數據采用大數據Hadoop和HBase存儲，大數據平臺數據采用節點間冗余備份，預設數據2倍冗余存儲，（考慮平臺提供的壓縮技術，壓縮存儲可以節省30-55%的空間）。10年數據量=530T*1.5≈800T(2倍冗余存儲)分層存儲專家數據分三個層次進行匯集與存儲，分別為ODS層、數據倉庫層、主題數據層，各層次數據存儲內容如下ODS層：數據來源于各生產系統，通過ETL工具對接口文件數據進行編碼替換和數據清洗轉換，不做關聯操作。未來也可用于準實時數據查詢。數據倉庫層：數據深度匯集層，根據業務有選擇的對ODS層的數據進行提取，通過對數據的加工處理，將單一的數據信息轉換成體系信息，將點信息數據變成面信息數據。主題數據層：將數據信息體系根據各主題進行提取與轉換，主題域內部進行拆分、關聯。是對ODS操作型數據按照主題域劃分規則進行的拆分及合并。數據分析建模伴隨著大數據時代的悄然來臨,數據的價值得到人們的廣泛認同,對數據的重視提到了前所未有的高度。數據已經作為企業、事業單位的重要資產被廣泛應用于盈利分析與預測、客戶關系管理、合規性監管、運營風險管理等業務當中。如何建立大數據分析模型，以提供決策依據是很多用戶所迫切解決的問題。專家數據倉庫建立在Hadoop分布式系統之上，提供了多種豐富的算法模型，不同的應用通過借助不同的接口實現數據的多維呈現和結果展示，為用戶提供科學的決策支持。圖10-7hadoop算法模型圖大數據平臺提供數據挖掘模型、分布式計算引擎、高性能機器學習算法庫（包含分類、聚類、預測、推薦等機器學習算法）、即席查詢功能，可以幫助決策者快速建立數據分析模型立方體，便于決策者進行OLAP分析。常用算法模型：分類算法：分類是找出數據庫中的一組數據對象的共同特點并按照分類模式將其劃分為不同的類，其目的是通過分類模型，將數據庫中的數據項映射到某個給定的類別中。如政務網中將用戶在一段時間內的網上辦理所遇到的問題劃分成不同的類，根據情況向用戶推薦關聯類的問題解決方案，從而方便用戶快速解決網上辦事審批中遇到的各類問題。回歸算法回歸分析反映了數據庫中數據的屬性值的特性，通過函數表達數據映射的關系來發現屬性值之間的依賴關系。在回歸算法中通常將數值結果轉化為了0到1之間的概率，數值越大，函數越逼近1，數值越小，函數越逼近0，它可以應用到對數據序列的預測及相關關系的研究中去。如我們根據這個概率可以做垃圾郵件預測，例如概率大于0.5，則這封郵件就是垃圾郵件。聚類算法聚類類似于分類，但與分類的目的不同，是針對數據的相似性和差異性將一組數據分為幾個類別。屬于同一類別的數據間的相似性很大，但不同類別之間數據的相似性很小，跨類的數據關聯性很低。分類算法中的一個顯著特征就是訓練數據中包含了標簽，訓練出的模型可以對其他未知數據預測標簽。在聚類的算法中，訓練數據都是不含標簽的，而算法的目的則是通過訓練，推測出這些數據的標簽。以二維的數據來說，一個數據就包含兩個特征，可通過聚類算法，給他們中不同的種類打上標簽，通過聚類算法計算出種群中的距離，根據距離的遠近將數據劃分為多個族群。關聯算法關聯規則是隱藏在數據項之間的關聯或相互關系，即可以根據一個數據項的出現推導出其他數據項的出現。關聯規則的挖掘過程主要包括兩個階段：第一階段為從海量原始數據中找出所有的高頻項目組;第二極端為從這些高頻項目組產生關聯規則。推薦算法推薦算法是目前業界非常火的一種算法，在電商界，如亞馬遜，天貓，京東等得到了廣泛的運用。推薦算法的主要特征就是可以自動向用戶推薦他們最感興趣的東西，從而增加購買率，提升效益。神經網絡模型神經網絡模型，因其自身自行處理、分布存儲和高度容錯等特性非常適合處理非線性的以及那些以模糊、不完整、不嚴密的知識或數據為特征的處理問題，它的這一特點十分適合解決數據挖掘的問題。典型的神經網絡模型主要分為三大類：第一類是以用于分類預測和模式識別的前饋式神經網絡模型;第二類是用于聯想記憶和優化算法的反饋式神經網絡模型。第三類是用于聚類的自組織映射方法。Adaboost算法其核心思想是針對同一個訓練集，訓練不同的分類器(弱分類器)，然后把這些弱分類器集合起來，構成一個更強的最終分類器(強分類器)。其算法本身是通過改變數據分布來實現的，它根據每次訓練集之中每個樣本的分類是否正確，以及上次的總體分類的準確率，來確定每個樣本的權值。將修改過權值的新數據集送給下層分類器進行訓練，最后將每次訓練得到的分類器最后融合起來，作為最后的決策分類器。深度學習深度學習算法是對人工神經網絡的發展。在計算能力變得日益廉價的今天，深度學習試圖建立大得多也復雜得多的神經網絡，用來處理存在少量未標識數據的大數據集。數據資源管理專家系統數據具有數據量大、數據類別多、數據關聯關系緊密等特點，隨著數據的積累，數據資源的利用價值逐步體現，提高數據的管理，是對數據資源充分利用的前提條件。數據資源管了包括如下幾部分內容：數據標準化管理、數據監測管理及元數據管理等。數據標準管理匯集整理數據資源管理所需的標準規范信息，建立數據標準數據庫。利用專家系統數據標準管理系統的接口同步更新標準信息。包括數據元標準以及信息代碼標準。建設數據資源庫，實現專家系統發布標準數據元與本地擴展數據元標準的匯集。實現與車輛檢修等數據源管理系統接口對接。建設信息代碼資源庫，梳理國標、部標和本省定義的標準代碼以及各業務信息系統需要使用的其它代碼，建立字典代碼實體數據庫。應具備字典代碼定期同步功能。并建設信息代碼在線映射維護功能，以便對數據標準化轉換提供支持。數據監控管理大數據運行監控通過對大數據資源庫相關服務器、Oracle數據庫、分布式存儲系統、Hadoop平臺等的運行狀態、性能指標以及數據更新情況進行持續監控，及時發現存在的問題及隱患，輔助系統管理員及時采取措施，提高大數據資源庫的運行可靠性，保障大數據資源庫穩定高效運行。發現異常問題時通過短信、郵件等方式通知系統管理員及時處理，實現通過自動、智能、持續的自動監控預警代替人工巡檢，降低運維工作量，提高運維效率。通過可視化圖表對監控結果進行統計分析直觀展現平臺運行各類運行指標，輔助管理員從宏觀角度掌握平臺運行情況。性能指標監控可以對服務器CPU負載、Oracle數據庫連接數、分布式存儲IO負載、Hadoop負載等各類性能相關指標進行監控，以便掌握平臺負載情況，及時發現性能問題，輔助平臺優化。大數據庫日志監控自動采集大數據相關組件運行日志，并根據既定規則進行分析，發現異常及時告警。提供日志查詢檢索功能，可以按組件類型、時間、關鍵字等進行過濾。數據量監控數據量監控通過對數據總量以及增量進行定期監控，可以掌握數據量變化情況，也可以從數據增量角度發現數據入庫異常。數據量監測結果可同步到數據臺帳，以便數據臺帳統計數據總量情況。元數據管理元數據是數據倉庫中存儲的基本單元，實現對元數據的管理，數據倉庫的最基本功能之一。元數據管理包括元數據注冊登記、元數據存儲、元數據建模等多方面功能。數據服務大數據平臺開放存儲訪問接口，提供基于Hadoop技術體系的HDFS、HBase訪問接口，以OpenAPI的方式，為應用提供大數據存儲服務。數據服務層主要由數據服務總線來建設，主要負責將大數據平臺的能力接口注冊進去，再以標準化接口開放給應用系統使用，支持多種協議轉換、服務質量控制、訪問控制、規則引擎等。數據服務層將大數據平臺的數據服務能力開放出去，供第三方平臺使用。如上圖：應用服務系統使用服務接口，來接入數據服務總線，經過數據服務總線的接入端點，進行過濾。同時根據訪問控制、服務質量、協議轉換、策略調度、規則引擎的處理，接出到大數據平臺的能力接口。大數據平臺大數據平臺基礎架構大數據基礎平臺基于烽火自主知識產權FitData產品，FitData主要集成了基礎計算資源、網絡資源、存儲資源，在統一的安全體管理體系下，將這些資源再進行深度加工、處理、關聯，形成多種類型的基礎服務能力，構建基礎資源層，向應用提供基礎資源的服務能力。數據服務總線通過服務治理來維護基礎資源服務能力，并通過訪問控制、服務質量、協議轉換等，對應用提供多協議支持。平臺支撐體系的運維體系提供整體運維能力，保障平臺的正常運行；安全體系提供整體安全能力，保障平臺的數據安全和使用安全；平臺采用分布式架構，支持巨量數據存儲與分析，保障專家管理系統的高性能、高可用性和易擴展性。FitData大數據基礎平臺結構如下圖紅線標出部分。數據計算與存儲：是FitData大數據平臺的核心內容，提供分布式存儲能力和分布式計算能力。提供的存儲框架能力，包括基于結構化數據存儲、非結構化數據存儲和半結構化數據存儲，其計算框架與存儲框架均是分布式集群方式部署，可以平滑的進行彈性擴容。數據服務層：數據服務層主要由數據服務接口來實現，對應用提供數據支撐。通過數據服務接口將平臺的數據資源以標準API接口的方式開放出來，供不同的應用系統使用。數據應用層主要提供基于該平臺來構建的專家系統應用。采用平臺的標準API，數據資源層獲取數據服務，目前API接口包括資源目錄瀏覽、數據查詢搜索等。數據匯聚層：提供各層之間數據交換能力，由ETL數據集成工具來實現。平臺支持多中異構數據源，針對不同數據源的不同數據，也提供多種數據抽取方式，例如數據庫直連抽取、Sqoop抽取等。提供計算框架能力，主要集成了批處理計算框架、流式計算框架、內存計算框架等能力，還提供了像Hive、Mahout、Spark等二次計算能力框架。平臺可將這些計算能力開放，供數據模型、數據挖掘、應用系統來使用。運維體系：運維體系提供面向專家系統完整運維方案，涵蓋了運行監控到使用操作。安全體系提供面向專家系統大數據平臺的用戶權限管理、終端訪問控制、日志安全審計等能力。數據存與計算是FitData大數據平臺核心能力，將目前專家系統內部業務數據源進行有效整合，集成以數據為核心的查詢、分析和管理能力。采用分層整合，靈活配置，橫向擴展，縱向貫穿的大數據平臺服務能力，其計算框架、存儲框架都以容器的方式，可輕松靈活的在線進行裝卸，以平滑擴充大數據平臺的集成能力。除此還集成了二級計算框架、通用的數據處理算法庫和數據倉庫，將大數據平臺的數據進行清洗、加工和分析挖掘，處理后的數據可訂閱，充分體現數據即服務的大數據思想。?分布式存儲框架：主要負責針對巨量數據的存儲，以分布式存儲技術，支持快速、巨量、多種類型的數據存取。支持從數據源抽取數據到大數據平臺存儲，集成多種存儲方式，有針對結構化數據、非結構化數據和半結構化數據的存儲。?計算框架：主要提供批處理計算、內存計算、流式計算框架，由數據處理管理驅動來分配和調度計算框架，加載數據處理算法，完成數據處理。?數據倉庫：主要對計算框架完成后的結果進行存儲，支持Hbase、MSSQLServer等存儲，同時將數據以接口的形式開放出去。?數據處理算法庫：集成通用的數據分析算法、能夠插入用戶自定義的數據模型算法，配合以資源管理系統為主的計算存儲框架，進行數據處理。?資源管理系統，以容器的方式，來為計算框架和存儲框架分配資源，并支持資源調度，彈性伸縮。?數據服務總線：主要將基礎平臺的能力和數據服務接口，以API的方式開放出去，形成一個共享的、供應用使用的服務總線。FitData特點廣泛適應性：支持結構化、半結構化、非結構化數據；支持實時數據。巨量數據：數據處理能力在PB級以上。線性擴展：存儲、計算均可增加節點進行線性擴展。統一運維管理：降低安裝部署、運營、維護成本。經濟性：可運行在普通X86服務器上，硬件成本低。高可靠性：支持容災容錯、備份恢復機制，支持自動告警。支持節點可靠性、數據可靠性。高性能：高效數據處理性能，支持Spark、Storm、R。認證安全：支持Kerberos安全認證、LDAP賬戶管理控制。數據安全：支持數據加密。負載均衡：支持節點間存儲、技術負載均衡。開放性：支持符合Hadoop規范的第三方組件或工具。FitData主要功能FitData是基于開源Hadoop開發的企業級大數據產品，提供PB級數據的采集、存儲和處理能力，支持數據加載、查詢、分析、挖掘等功能。節點批量自動部署通過以Web管理，以圖形界面的方式實現大數據平臺節點批量自動部署，只需添加主機名(或者IP地址)即可實現將節點服務器添加到集群中，截圖如下：圖向集群中添加節點節點動態管理通過web管理實現節點的動態添加、刪除，當存儲空間或者計算資源不足時，支持向集群中添加同等配置的服務器，實現大數據平臺在線動態擴容，而不需要停機處理，不影響平臺正常運行。大數據平臺以Web圖形界面實現Hadoop集群監控，包括大數據平臺的硬件資源、軟件資源、數據資源的監控，以及整個Hadoop集群的工作負載。主要包括以下幾個方面：服務組件狀態監控通過管理平臺可以看到所有目前已安裝的服務組件的健康狀況。圖服務組件運行狀況計算資源負載監控通過管理平臺可以實時看到整個平臺的資源負載情況，包括集群的CPU、集群磁盤IO、集群網絡IO、HDFSIO，如下圖所示：圖計算資源監控多任務實時監控通過對集群運行任務的實時監測，并根據任務優先級和耗時不同對任務進行動態調度，減少出現大量任務等待和重要任務無法及時完成的可能，可以使Hadoop集群的運行變得更加高效合理。（1）、系統根據各隊列資源的最小值分配集群資源，這樣可以按照需求對各任務隊列獲取的集群資源進行分配，而且不會出現集群資源的閑置浪費。（2）、可以實現對各任務隊列獲取的集群資源大小實時動態調整，及時保證高優先級任務所在隊列獲得更多的集群資源。（3）、可以實現在某個任務隊列出現空閑時，將該任務隊列獲取的集群資源自動分配給其他繁忙的任務隊列，以使得集群資源利用最大化。磁盤性能監控對集群機器的硬盤進行監控，如下圖所示，詳細的展示出磁盤IO的利用率，讀寫速度，磁盤的等待時間。圖：磁盤性能監控故障快速定位大數據平臺具備完整的告警監控和故障快速定位能力。能夠將計算框架的每個作業進度、狀態、資源利用情況進行監控，并通過可視化圖形界面進行展示。當大數據平臺出現異常情況時，平臺能夠通過監控系統，對服務器節點宕機、集群異常、安全異常等異常事件進行預警、報警，并通過郵件、短信報警手段進行告警通知。提供預制的恢復規則和安全規則，對集群異常進行自動修復、自動限制非安全行為的操作。大數據平臺能夠通過對告警信息的分析，快速定位平臺內部出現故障的節點，對于因故障無法繼續提供服務器的節點進行標記，將平臺的作業任務自動分配到其他的節點上運行，同時，大數據平臺采用分布式體系結構及無單點故障設計，平臺內任何節點的宕機都不會影響平臺的穩定運行和業務的正常使用。待故障節點恢復正常后，再將該節點納入平臺的資源中，將作業任務分配到恢復后的節點上運行。日常運維監控大數據綜合平臺提供完整的日常運維監控的服務能力，針對從上層應用平臺到底層基礎平臺的各個功能模塊和組件均提供有監控能力，能夠分析系統的運行日志和用戶日志，并且能夠將監控數據通過文件接口或webservice接口的方式匯總到平臺管理運維模塊的監控管理界面中進行統一呈現和管理使用。系統能夠根據監控到的數據進行分析判斷，對異常的數據觸發告警，在前臺界面提醒，直至出發通知和處理等進一步動作。平臺的監控范圍涵蓋有：平臺管理資源的使用與分配服務器視圖：提供針對各服務器和存儲等設備的資源使用情況的實時查看，包括當前設備的CPU負荷，內存占用情況，存儲空間使用情況，網絡帶寬占用情況、設備運行狀態等。管理員能夠根據監控信息在管理平臺上有效調度分配系統資源。其中集群的監控如下圖所示：針對服務器的監控如下圖所示：服務視圖：提供系統中各服務資源使用情況的實時查看，包括連接數、當前作業數，I/O情況，運行狀態等。監控系統的運行情況接口服務運行監控：提供針對數據源和應用層的監控服務，包括運行狀態和流量等信息；數據存取過程監控：提供針對數據存儲過程的監控服務，包括系統平臺的I/O情況（整體I/O和具體各節點I/O以及具體的各作業的I/O情況）和數據存取過程的任務列表；數據匯聚過程監控：監控系統的數據匯聚過程，包括使用資源信息，使用的數據源信息，作業進程運行狀況信息，使用時間/計劃完成時間等信息；數據處理過程監控（作業監控）：監控系統的數據處理（作業）過程，包括使用資源信息，使用的數據源信息，作業進程運行狀況信息，使用時間/計劃完成時間等信息；應用監控：針對運行在平臺上的應用進行監控，包括各應用當前的運行狀態、應用對數據的使用狀況，應用為用戶提供的查詢數量等；系統異常告警與處理用戶告警：對用戶操作使用過程中的異常行為進行告警，例如某用戶訪問了超過其正常權限的數據等。系統告警：對系統中存在的服務節點宕機，系統接口異常，數據存儲報錯，系統資源緊張等系統運行異常情況進行告警觸發，并提醒用戶進行操作處理。FitData優勢烽火大數據平臺FitData借助先進開源的大數據存儲及處理技術，成功實施了公安大數據平臺、楚天云政務大數據平臺，通過大數據項目的實施，逐步沉淀了大量的算法模型及分析與展示工具，在平臺性能及穩定性上經歷了實戰的考驗，逐步總結出一套FitData自己的系統優化策略及系統運維策略，平臺經受住了單節點超過1000臺集群的實戰考驗，并支持HA高可用性運行策略，經過四年時間及高強度項目的錘煉，FitData大數據平臺已經走出了自己的路。在數據處理上支持PB及超大量數據的秒級查詢及匯集。SmartAS是企業級基礎開發平臺，它基于FitData平臺之上，采用微服務架構，支持分布式部署，是成熟可靠的多終端應用開發框架。它集成業界流行和成熟的技術框架，通過應用系統使用，反饋的情況不斷完善應用框架的通用功能，滿足業務系統快熟構建的目標，具備良好用戶體驗硬件部署按照專家系統安裝接口規范要求，結合專家管理系統數據量估算值和數據存儲特點，本著數據安全、系統穩定可靠的核心設計思路，設計專家系統大數據平臺數據節點服務器22臺，其中管理節點服務器2臺，數據節點服務器19臺，監控節點一臺，系統RDBMS數據庫服務器臺，應用服務器6臺，繪制專家系統部署邏輯結構圖如下:硬件清單根據系統規劃及安裝接口規范要求，初步規劃服務器如下：系統應用服務器需求6臺；大數據平臺設計節點22個，其中管理節點2個，數據節點19個，監控節點服務器1臺，RDBMS數據庫服務器兩臺雙機熱備。具體各服務器硬件需求如下表：編號服務器名配置數量說明1RDBMS數據庫服務器4*IntelXeonE7-4800/8800v3最大可擴展至4CPU，72核支持8GB/16GB/32GB/64GBDDR4高速內存配置128GBDDR4內存配置9塊900GB15KSAS，14*4TNLSAS硬盤。2雙機備份2大數據平臺管理節點2*IntelXeonE7-4800/8800v3最大可擴展至4CPU，72核支持8GB/16GB/32GB/64GBDDR4高速內存配置128GBDDR4內存配置6塊600GB15KSAS，3*4TNLSAS硬盤。1Active3大數據平臺管理節點2*IntelXeonE7-4800/8800v3最大可擴展至4CPU，72核支持8GB/16GB/32GB/64GBDDR4高速內存配置128GBDDR4內存配置6塊600GB15KSAS，3*4TNLSAS硬盤。1Standby4大數據平臺數據節點2*IntelXeonE7-4800/8800v3最大可擴展至4CPU，72核支持8GB/16GB/32GB/64GBDDR4高速內存配置128GBDDR4內存配置6塊600GB15KSAS，12*4TNLSAS硬盤。19數據節點5大數據集群性能檢測服務器2*IntelXeonE7-4800/8800v3最大可擴展至4CPU，72核支持8GB/16GB/32GB/64GBDDR4高速內存配置128GBDDR4內存配置6塊600GB15KSAS，3*4TNLSAS硬盤。1監控節點6應用服務器CPU：2顆E5-2630v3≥24個內存插槽，最大支持1.5TB內存，支持2133MHz內存。當前配置64GB內存。支持SAS、SSD和PCIeSSD硬盤，支持2.5寸和3.5寸硬盤混插。支持24+2個2.5寸SAS/SATA或者14個3.5寸SAS/SATA+2個2.5寸SAS/SATA+16個1.8"SSD。硬盤：配置6塊600GB15KSAS硬盤2應用服務器7交換機4810/100/1000Base-TX，4100/1000Base-XSFP2網絡設備8防火墻多功能防火墻，4口以上2安防設備9工作站Intel(R)XeonCPUE5，配置1TSATA硬盤。內存：8GB2說明：硬件部分交換機、防火強及工作站，請根據標書確認！大數據服務器、RDBMS數據庫服務器及應用服務器的具體配置參數請硬件朋友和標書上進行重新確認，這邊只對內存量、CPU顆數及存儲空間大小做了要求。個人介紹吳宏勛：“烽火集成”高級大數據架構師，曾擔任醫療大數據、公安大數據、財稅大數據項目大數據架構師，具有豐富的大數據項目實施經驗，對高吞吐、高并發、海量數據實時匯集，TB、PB級海量數據即席查詢與實時處理具有針對性方案和經驗，研讀過部分Hadoop、HBase、Spark源碼，對Hadoop、HBase、Spark的原理有很深的理解，曾從事多個項目大數據平臺的調優工作！專家系統架構設計本系統總共分為四個層次，從下到上依次為數據采集層、基礎平臺層、應用支撐層、應用及展示層，各層在專家系統統一業務規范、技術規范、安全規范下進行數據通信及集成。數據采集層：負責專家系統信息數據的匯集、轉換與加載，數據采集層提供多種數據采集方法:ETL、Flume、Kafka等，系統支持Flume+Kafka+Storm混合架構的數據采集模式，以提高數據采集系統的吞吐量和并發量。基礎平臺層：基礎平臺層為專家數據倉庫提供大數據基礎平臺支撐，包括分布式存儲系統、Hbase數據庫系統、Yarn并行計算資源管理與監控等，同時支持Spark機器學習算法庫，支持R等行業分析庫。應用支撐層：應用支撐層為系統各類應用提供支撐，是系統數據層和應用層的連接紐帶。應用支撐層包括基礎平臺和常規算法兩個部分，基礎平臺負責數據的存儲與并行計算，數據存儲支持分布式存儲、RDBMS存儲等存儲方式，常規算法負責數據分析與業務建模。應用及展示層：應用層是系統各項業務功能的集合，主要包括資車輛故障診斷、車輛健康評估、車輛部件檢修、車輛故障處理及車輛對比分析等。展示層是用戶同系統交互的窗口，是應用層對外提供服務的主要手段。支持多種圖表展示如餅圖、柱狀圖、曲線圖、熱力圖、氣泡圖和散點圖等可視化展示。平臺運維管理Hadoop集群監控大數據平臺以Web圖形界面實現Hadoop集群監控，包括大數據平臺的硬件資源、軟件資源、數據資源的監控，以及整個Hadoop集群的工作負載。主要包括以下幾個方面：服務組件狀態監控通過管理平臺可以看到所有目前已安裝的服務組件的健康狀況，綠色圈表示運行狀態健康。圖：服務組件運行狀況存儲與內存資源監控包括獲取存儲量、剩余存儲量以及存儲系統整體情況信息。如果集群中的某臺機器的磁盤或者內存的使用率達到指定的閥值，系統可以通過郵件或者短信的方式進行預警。圖：存儲和內存資源監控系統負載管理I通過管理平臺可以實時看到整個平臺的資源負載情況，包括集群的CPU、集群磁盤IO、集群網絡IO、HDFSIO，如下圖所示：通過對集群運行任務的實時監測，并根據任務優先級和耗時不同對任務進行動態調度，減少出現大量任務等待和重要任務無法及時完成的可能，可以使Hadoop集群的運行變得更加高效合理。（1）、系統根據各隊列資源的最小值分配集群資源，這樣可以按照需求對各任務隊列獲取的集群資源進行分配，而且不會出現集群資源的閑置浪費。（2）、可以實現對各任務隊列獲取的集群資源大小實時動態調整，及時保證高優先級任務所在隊列獲得更多的集群資源。（3）、可以實現在某個任務隊列出現空閑時，將該任務隊列獲取的集群資源自動分配給其他繁忙的任務隊列，以使得集群資源利用最大化。操作系統管理磁盤性能監控對集群機器的硬盤進行監控，如下圖所示，詳細的展示出磁盤IO的利用率，讀寫速度，磁盤的等待時間。圖：磁盤性能監控故障快速定位大數據平臺具備完整的告警監控和故障快速定位能力。能夠將計算框架的每個作業進度、狀態、資源利用情況進行監控，并通過可視化圖形界面進行展示。當大數據平臺出現異常情況時，平臺能夠通過監控系統，對服務器節點宕機等集群異常、安全異常等異常事件進行預警、報警，并通過郵件、短信等報警手段進行告警通知。提供預制的恢復規則和安全規則，對集群異常進行自動修復、自動限制非安全行為的操作。大數據平臺能夠通過對告警信息的分析，快速定位平臺內部出現故障的節點，對于因故障無法繼續提供服務器的節點進行標記，將平臺的作業任務自動分配到其他的節點上運行，同時，大數據平臺采用分布式體系結構及無單點故障設計，平臺內任何節點的宕機都不會影響平臺的穩定運行和業務的正常使用。待故障節點恢復正常后，再將該節點納入平臺的資源中，將作業任務分配到恢復后的節點上運行。運行日志監控針對每個服務組件運行的實時日志信息可以從平臺中查看，便于在服務組件運行中斷時查找和追蹤原因。例如，我們想要查看HBase服務組件中Mater角色的日志信息，如下圖所示：平臺安全管理在Hadoop2.x中加入了Kerberos認證機制。Kerberos可以將認證的密鑰在集群部署時事先放到可靠的節點上。集群運行時，集群內的節點使用密鑰得到認證。只有被認證過節點才能正常使用，防止惡意的使用或篡改Hadoop集群的問題，確保Hadoop集群的可靠安全。數據質量管理數據標準化數據標準化包括數據標準制定及數據標準化處理兩個部分，數據標準制定是在專家系統業務統一規范前提下，指導專家系統大數據標準，包括數據格式標準、數據交換標準、數據共享標準等；數據標準規范化是指按照統一專家系統數據標準格式。將專家信息數據進行標準化處理，生成符合專家系統數據標準要求的信息數據。數據質量檢測根據數據質量監測規則，通過數據質量檢測引擎，對數據表中的增量數據進行掃描，調用規則算法或擴展程序進行數據質量檢測，并提供問題數據庫的建立、數據質量報告的生成、問題數據的處理、以及對問題數據的通報和反饋來保證數據的質量和實效性等功能。數據關聯對采集的數據庫根據數據間的業務關聯關系實現數據的關聯，通過數據的關聯，增加實體數據的維度，將單個的數據擴展成行業信息資源，提高數據的價值。武漢光谷創意文化科技園有限公司P（2014）104號地塊二期消防工程一、工程概況龍巖市中心城區道路總長66844m，道路車、人流量大，道路兩旁建筑商場密集。為滿足市政布置要求約120米處設置一個消防栓，總設計565個，需新建及改造320個消防栓，消火栓安裝在街道的十字路口區．在保證醒目又不影響行人、行車的位置上，同時考慮維護和日常排水泄水方便，宜設置在人行道街沿上，雨水排泄口旁，人行道樹側距路邊的距離宜1m處；距建筑外墻的距離不宜小于5m，同時，為便于使用，規定了消火栓距被保護建筑物不宜超過40m。安排雙龍路段先行施工，雙龍路位于龍騰路與曹溪路之間，全長1305m。二、工程特點1、管線沿線地形、地貌多變，可能需破路邊綠化，地下管線復雜不詳。現場施工時必須與周圍群眾做好溝通，必須采取有力的措施，大力做好施工協調工作，精心組織施工，確保工期目標的實現。2、施工工作面較大，施工時須合理安排。3、工程施工為露天作業，受天氣影響很大，會遇到許多意想不到的困難，如遇下雨天氣，需做好防雨措施等。三、施工總體安排根據業主總體工期安排以及現場實際情況進行合理安排工期，計劃開工日期為2014年4月10日，完工日期為2014年6月9日，總工期60天。施工隊伍配置：每天16組，每組2人，其中工程師1名，現場管理人員2名，水電工6名，砼工6名，普工20名，安全員1名，共36人。主要材料機械配備

施工主要機械設備：采用閩山牌消防栓及管道，配備足夠的安裝、調試機具（各類材料的規格、性能、各類參數應能滿足設計及施工規范的要求，并應選用優質產品）；電焊機；電鉆；土建施工用具；挖機；自卸汽車等。四、完成進度工期的措施1、采用流水計劃，詳細制定月、旬計劃，逐旬落實計劃完成情況，昨早計劃、早安排、早落實。做到只能超前，不能落后。2、認真制定施工方法合理調配人員，提高機組急劇的利用率。3、嚴抓現場管理工作程序，樹立質量意識；正確理解質量和進度的關系。4、提高現場施工人員的安全、環保意識，做到“三個保持、三個完善、三個落實”。5、在施工中針對質量、計劃、進度、安全等問題做到：常開會、常分析、常安排、常布局、常落實，促進施工進度。6、加強內部管理，嚴格遵循自檢、報檢、抽檢程序，做到內業資料數據的真實性。五、編制依據龍巖水務提供的圖紙及設計說明。《給水排水管道工程施工及驗收規范》（GB50268—2008）《工程測量規范》（GB50026—93）《管道工程設計與施工手冊》；《建筑給排水及采暖工程施工驗收規范》（GB50242-2002）國家及福建省有關標準、規范、圖集。公司項目管理文件。公司ISO9001:2000質量體系文件。六、施工組織方案1、施工前準備：開工前，由管道專業工程師組織施工技術人員做好圖紙會審；組織技術人員對管道沿線的地形地貌現場勘察并做好技術資料的交接和書面交接記錄。施工現場做好清理準備，清除現場障礙物，做好防護工作。2、施工安排根據工程特點和施工條件，本路段施工采取平行流水作業施工。3、施工主體方案測量放樣→挖管道溝槽（根據實際情況選擇是否用排水、降水措施）→基底夯實及墊層施工→管道安裝（管道防腐處理）→安裝閥門、消防栓→砌筑閥門井→給水管道系統自檢→系統試壓、滲水試壓→回填土及夯實土方→管道清洗及消毒→交工驗收。（一）、測量放線1、對業主提供的測量交底樁進行復核，并按照施工需要加密導線點的控制網。為確保控制網的可造性，將根據現場條件把控制點都選定在施工作業范圍外的永久物體上，做到各控制點通視性良好，符合施工需要，控制點選定后經過實測和導線閉合把整個工程范圍內的控制點坐標定下來。2、臨時水準點和管道軸線控制樁的設置應便于觀測且必須牢固，沿管道兩側布置。設置控制點時充分考慮施工對場地的需要，把控制點布置在不影響施工的地方，并用混凝土護樁，縱橫軸線測設完畢后經現場監理復核認可后方可使用。開槽鋪設臨時水準點，每200米不應少于1個。3、臨時水準點、管道軸線控制樁、高程樁應經過復核方能使用，且經常校核。4、已建管道，構筑物等與本工程銜接的平面位置和高程，開工前應校核。（二）、溝槽的開挖、支護和排水1、開挖土方開挖前，應首先查明地下水位、土質及地下現有管道、構筑物等情況，然后根據實際情況制訂土方開挖、調運方案及是否需要采取溝槽降水、支撐等安全措施等。本工程開挖深度不大，根據土質、地下水位、地下及地上構筑物以及施工環境等情況進行溝槽施工。溝槽的開挖采用直槽的形式，運輸土方機械利用10m3的自卸汽車。溝槽開挖前先進行測量放樣，放出管道中心線，按中心線用白粉劃出。開挖應分段進行。當挖至距槽底20㎝時，測量放樣，采用人工挖土，修整槽底，經驗槽合格后，立即進行基礎施工。當溝槽底有軟土或腐殖土時應全部挖除，拋石排淤，并回填。超挖部分在填實整平后其壓實度不得小于90%。溝槽開挖時應注意：⑴、基坑（槽）兩側臨時堆土或施加其他荷載時，不得影響臨近建筑物、各種管線和其他設施的使用和安全，另外也應考慮對基坑（槽）土壁安全的影響。人工挖土時要求堆土高度不超過1.5m，距槽口邊緣距離不得小于1米。并及時將挖出的土方外運出去。⑵、開挖時應注意不得掩埋消火栓、管道閘閥、雨水口、測量標志以及各種地下管道的井蓋等，且不得防礙其正常使用。⑶、在有行人、車輛通過的地方開挖，應設護欄及警示燈等安全標志。⑷、當下步工序與本工序不連續施工時，槽底應預留保護土層不挖，待下部工序開工時再挖。⑸、采用坡度板控制槽底高程和坡度時，坡度板應選用有一定剛度且不易變形的材料制作，其應設置牢固，平面上呈直線的管道，坡度板間距為15米一塊。呈曲線管道的坡度板間距應加密，井室位置、折點及變坡點位置應增設。⑹、槽底高程的允許偏差應控制在±20mm范圍內。2、支撐溝槽是否需要設置支撐應根據溝槽的土質，地下水位，開槽斷面及荷載條件等實際因素進行考慮。結合本工程管徑不大、開挖溝槽比較窄的實際情況，部分需要支護段的溝槽支撐形式擬采用斷續式水平擋土板橫支撐的形式。3、排水施工前應根據現場的實際情況（或者試坑的涌水量數據）制訂合理的排水措施。結合本工程的實際情況（附近有濕地及水塘等），如需人工降低地下水位，優先考慮采用輕型井點降水的施工方法。安置位置應靠在水塘一側，井點安裝距溝槽上口邊緣0.5～1m，井點排水溝距井點4m左右，用管子將井點與排水溝連接。降水的工藝流程為：開挖排水溝→設總管→孔、下井管、灌砂、封口→裝連接軟管→安裝抽水設備、接通電源→試抽→抽水排水時應注意：砂濾層應選用干凈粗砂，填縫均勻，砂填至濾管頂上1～1.5m，上用粘土封口以防漏氣降低降水效果。井點系統安裝完畢后需進行試抽以檢查有無漏氣現象。開始抽水后嚴禁時抽時停，正常的抽水應是細水長流、出水澄清。進點抽水2～3天后挖驗土坑開始挖溝槽，抽水至溝槽回填運載水位以上時結束。集水總管底面及水泵基座的高程應盡量降低。（三）基礎墊層的施工1、管道基礎均采用砂墊層，基礎厚度：一般土質：100mm；較差土質：200mm。當地基承載力小于設計要求時，須對地基先進行補強處理再鋪設砂礫基層。2、基礎砂墊層施工。清除基底的雜物和浮土，排干溝底的積水，進行基礎鋪筑，即在基底鋪一層砂。3、管道基礎有地下水時鋪墊20cm厚、顆粒尺寸5-40cm的碎石墊層，上鋪厚50cm中、細砂墊層；無地水時溝槽底鋪設15cm厚碎石,上鋪5cm中、細砂墊層。4、管道基礎支承角應依基礎地質條件、地下水位、管徑及埋深等條件由設計計算確定。5、管道基礎應按設計要求鋪設，厚度不得小于設計規定。基礎各部位的壓實度應符合有關規定。6、管道基礎在接口部位的凹槽，宜在鋪設管道時隨鋪隨挖。凹槽長度按管徑大小采用，宜為0.4～0.6m,凹槽深度宜為0.05~0.1m,凹槽寬度宜為管外徑的1.1倍在接口完成后，凹槽隨即用砂回填密實（四）、管道安裝管道的安裝1、排管前要先對槽底高程復核，復核無誤后鋪設砂礫，保證砂礫厚度，并在井位架設龍門桿以控制中線，龍門桿架設要牢固，不得有松動。2、管節安裝前應對管材按產品標準逐支檢查，不符合標準不得使用。3、管道安裝采用人工安裝。槽深不大時可由人工抬管入槽，槽深大于3m時，可用非金屬繩索溜管入槽，依次平衡地放在砂礫基礎理論管位上。嚴禁用金屬繩索勾住兩面端管口或將管材自槽邊翻滾拋入槽中。4、承插口管安裝，管道承口應放在檢查井的進水方向，插口方向應放在檢查井的出水方向，由低點向高點依次安裝。5、調整管材長短時可用手鋸切割，斷面應垂直平整，不應有損壞。6、管節安裝完畢經檢驗中心線、高程合格后，立即支設鋼模板。模板支好后清除模板中的塵渣、異物，核實模板尺寸。7、管材采用人工安裝，安裝時根據控制樁嚴格控制管道中心和高程，以避免管內底高程超差.橡膠圈的環內徑，宜為插口端外徑的0.85～0.9，橡膠圈斷面直徑壓縮率一般采用40%。清理干凈承口內橡膠圈溝槽，插口端工作面及橡膠圈，不得有土或其它雜物。將橡膠圈正確安裝在承口橡膠圈內，不得裝反或扭曲，為了安裝方便可先用水浸濕膠圈，但不得在橡膠圈上涂潤滑劑安裝。橡膠圈連接管材在施工中被切斷時（斷口平整且垂直管軸線）應在插口端倒角，并劃出插入長度標線，然后再進行連接。用毛刷將潤滑劑均勻地涂在嵌在承口處的橡膠圈和管插口端外表面上，但不得將潤滑劑涂到承口的橡膠圈溝槽內，潤滑劑可采用V型脂肪酸鹽，禁止用黃油或其它油類作為潤滑劑。將連接管道的插口對準承口，保持插入管段的平直，用手動葫蘆或其它拉力機械將管一次插入至標線。若插入阻力過大，切勿強行插入，以防橡膠圈扭曲。用塞尺順承口間隙插入，沿管線圓周檢查橡膠圈的安裝是否正常。管道安裝時應注意：1、管道必須墊穩，管底坡底不得倒流水，管道內不得有泥土、磚石、砂漿、木塊等雜物。2、橡膠圈使用前必須逐個檢查，不得有割裂，破損，氣泡，大飛邊等缺陷。應確認橡膠圈安放位置及插口的插入深度。3、接口時，先將承口的內壁清理干凈，并在承口內壁及插口橡膠圈上涂潤滑劑（首選硅油），然后將承插口端面的中心軸線對齊。4、接口方法按程序進行,橡膠封圈正確就位，不扭曲、不脫落。5、為防接口合攏時已排設管道軸線位置移動，需采用穩管措施。具體方法可要在編織袋內灌滿黃砂，封口后壓在已排設管道的頂部，其數量視管徑大小而異。管道接口后，應復核管道的高程和軸線使其符合要求。6、管道敷設后，因意外因素造成管壁出現局部損壞，當損壞部位的面積或裂縫長度和寬度不超過規定時，可采取粘貼修補措施。具體做法見下：①管壁局部損壞的孔洞直徑或邊長不大于20mm時，可用聚氯乙烯塑料粘接溶劑在其外部粘貼直徑不小于100mm與管材同樣材質的圓形板。②管壁局部損壞孔洞為20～100時，可用聚氯乙烯塑料粘接溶劑在其外部粘貼不小于孔洞最大尺寸加100mm與管材同樣材質的圓形板。③管壁局部出現裂縫，當裂縫長度不大于管周長的1/12時，可在其裂縫處粘貼長度大于裂縫長度加100mm、寬度不小于60mm與管材同樣材質的板，板兩端宜切割成圓弧形。④修補前應先將管道內水排除，用刮刀將管壁面破損部分剔平修整，并用水清洗干凈。對異形壁管，必須將貼補范圍內的肋剔除，再用砂紙或銼刀磨平。⑤粘接前應先用環已酮刷粘接部位基面，待干后盡快涂刷粘接溶劑進行粘貼。外貼用的板宜采用，從相同管徑管材的相應部位切割的弧形板。外貼板材的內側同樣必須先清洗干凈，采用環已酮涂刷基面后再涂刷粘接溶劑。⑥在管道修補完成后，必須對管底的挖空部位按支承角的要求用粗砂回填密實。⑦當管道損壞部位的大小超過上列條文的規定時，應將損壞的管段更換。當更換的管材與已鋪管道之間無專用連接管件時，可砌筑檢查井或連接井連接。（五）閉水試驗管道的閉水實驗當管道工程敷設和安裝完畢以后，應進行管道工程的壓力試驗。壓力試驗前，對埋地管道系統試壓段應檢查回填土是否除管道接口處外露以外，管頂回填土層不小于0.5米的要求。埋地管道應進行嚴密性與強度試驗，以水為介質進行水壓試驗。嚴密性采用測定管道滲水量的方法判定。其補水量不得大于按下式計算出來的允許值：Q---管道每公里每日允許的補水量L。di---管內徑Ft---管道試驗壓力（MPa）。一般為設計內水壓力+0.5MPa確定。不得小于0.9MPa。沖洗給水管道經試驗合格后，在竣工驗收前，要通水沖洗。沖水的流速控制在1M/S范圍內，應連續沖洗，不留死角。系統的最低點設放水口。當進出口水質相當時即可停止。（六）、閥門井、排水檢查井施工閥門井、消火栓井室內裝拆部件與井壁和井底的距離宜不小于300mm。穿過井壁的管子與井壁應嚴密、不漏水。磚砌井室應符合以下要求：=1\*GB3①井基礎應與管線基礎同時進行，并符合設計要求，管子排好后可開始砌井。=2\*GB3②磚在砌筑時磚要放平，砂漿飽滿，特別要注意管頭下部及管子周圍必須砌筑密實。檢查井的流槽應在井壁砌到管頂以下即行砌筑，并應用砂漿分層壓實抹光。=3\*GB3③井的各部位尺寸均應符合設計要求，踏步應按設計要求放平，上下對正，砂漿密實，磚要壓緊砂漿在凝固前，不得碰撞，更不允許受力，以免造成松動。磚砌圓形檢查井，應隨時檢測直徑尺寸，當需收口時應按設計要求收進。=4\*GB3④砌筑檢查井的井室內壁應按設計進行抹面，內壁抹面應分層壓實，井室外壁應用砂漿批擋。內外粉刷應執行技術操作規范，砂漿要按配合比拌合均勻，粉刷要求密實平整不得有空鼓現象，流槽應光滑圓順。=5\*GB3⑤井砌好后應及時安裝井蓋，在路面上的井蓋及座采用重型，其余采用普通型，井蓋上表面應同路面相平，無路面井蓋應高出室外地面設計標高50mm，并應在井口周圍以0.02的坡度向外做護坡。=6\*GB3⑥預留支管：預留管的管徑、方向、標高應符合設計要求，管與井壁銜接處應嚴密不得漏水，預留支管宜用低強度等級砂漿砌筑封口抹平。=7\*GB3⑦井外回填土：檢查井砌筑應邊砌邊回填土，每層高不得超過20cm。⑧高差超過1m的排水檢查井做跌水井，參國標03S515。現澆混凝土井室應符合以下要求：①管道敷設前施工井室時，應嚴格控制井底和預留口標高，以及預留口的方位和坡度；管道敷設后施工時，井底標高應按已安裝管道控制，穿井壁套管應與管子同軸，且固定牢固；②井底和井壁混凝土宜采取一次澆筑法，當分兩次澆筑時，相接處應按施工縫處理；③混凝土應振搗密實，表面平整、光滑，不得有裂縫、蜂窩、麻面等缺陷。磚砌井室或現澆混凝土井室安裝允許偏差應符合以下要求：①井身長度、寬度或直徑：±20mm；②井底標高：±10mm；③路面井蓋標高：+50mm；④非路面井蓋標高：±20mm；⑤軸線及管管口方位：±10mm；有密封性要求的排水檢查井，應進行管道、井體的聯合閉水試驗，土方應在隱蔽驗收合格后回填；井室砌筑完成后應及時安裝井圈和井蓋。（七）回填管道工程施工完畢并經驗收合格后需及時回填，壓力管道在水壓試驗前回填應該留出管道連接部位暫不回填，管道兩側及管頂以上回填高度不小于0.5米。連接部位待水壓試驗合格后再回填。無壓管道的回填應在閉水試驗合格后及時完成。回填時應先填實管底，再同時回填管道兩側，以防管道位移。再回填至管頂0.5米處。如果溝槽內有積水，必須全部排凈后，方可回填。井室等附屬構筑物回填土應四周同時進行。管道兩側及管頂以上0.5米范圍內回填土內不得含有碎石，磚塊，垃圾等雜物。回填后應分層夯實。每層厚度為0.2米。管道兩側及管頂0.5米范圍內回填土的夯實采用人工夯實。以上部分可以采用小型機械夯實。七、安全保證措施施工現場安全技術措施1、針對工程特點、對所有從事管理和生產的人員進行全面的安全教育。重點對專（兼）職安全員、領工員、班組長、從事特種作業工人以及新工上崗、工人變崗和改變工藝等進行培訓教育。2、管道溝槽開挖時應設置有防止行人、物體等墜落的安全設施；危險地點懸掛按照GB2893-82《安全色》和GB2894-82《安全標志》規定的標牌，夜間有人經過的溝槽位置設紅燈示警，施工現場設置大幅安全宣傳標語。3、現場的生產、生活區均設足夠的消防水源和消防設施網點，消防器材設專人管理不得亂拿亂動，并組成一個由2-3人的義務消防隊，所有施工人員要熟悉并掌握消防設備的性能和使用方法。4、各類房屋、庫棚、料場等的消防安全距離符合國家或公安部門的規定，室內不得堆放易燃品；嚴禁在木工加工場、料庫、油庫等處吸煙；現場的易燃雜物，隨時清除，嚴禁在有火種的場所或其近旁堆放。5、施工現場的臨時用電，嚴格按照《施工現場臨時用電安全技術規范》JGJ46-88的規定執行。6、各種機械操作人員和車輛駕駛員，必須取得操作合格證，不操作與操作證不相符的機械；不將機械設備交給無本機操作證的人員操作，對機械操作人員要建立檔案，專人管理。7、操作人員必須按照本機說明書規定，嚴格執行工作前的檢查制度和工作中注意觀察及工作后的檢查保養制度。8、指揮施工機械作業人員，站在可讓人了望的安全地點，并明確規定指揮聯絡信號。9、定期組織機電設備、車輛安全大檢查，對檢查中查出的安全問題，按照“三不放過”的原則進行調查處理，制定防范措施，防止機械事故的發生。10、大型設備使用必須有專人指揮、協調，重大吊裝作業必須指定詳細的施工方案。11、實行總配電箱、分配電箱、開關箱三級接線用電，三級漏電保護。施工用電設專人管理，所有配電箱必須加鎖。12、整個現場設不同的用電回路進行供電，編制詳細的臨時用電施工組織設計，嚴格進行定期檢修。13、加強職工用電安全教育，提高職工認識，對電氣設備操作人員進行定期培訓。14、所有電氣設備使用前必須有專業人員進行檢查確認其安全性能良好。禁止在雨天露天使用任何電動設備。15、搭建臨時設施前，要向消防局呈報報建手續，并領取“搭建臨時建筑許可證”。搭建材料不得使用易燃材料。16、臨時設施不得在高壓線下或危險區域搭建。17、焊割設備上的安全附件，必須完整有效，與明火距離不得小于10米。18、施工用