智能電網電力數據存儲以及數據分析,職稱論文內容摘要：智能電網是一個完好的自動化系統，現有的電網系統中嵌入了大量傳感器，利用當代信息技術對其進行控制和監控。從這些傳感器收集的數據量非常龐大，具備了大數據的所有特征，因而提出采用大數據手段對智能電網的電力數據進行處理、分析，進而使智能電網愈加智能化。本文以Apachespark作為一個統一的集群計算平臺，用于智能電網電力數據存儲以及數據分析階段，為電力企業、終端用戶提供準確、實時的數據支持。本文關鍵詞語：智能電網;傳感器;電力大數據;Apachespark;SmartGridPowerBigDataAnalysisTechnologyBasedonCloudComputingCHENQing-mingXUHuanYEPei-shanSouthernPowerGridMediaCo.,Ltd.ChinaSouthernPowerGridCo.,Ltd.Abstract：Smartgridisacompleteautomationsystem.Alargenumberofsensorsareembeddedintheexistinggridsystem,whichiscontrolledandmonitoredbymoderninformationtechnology.Theamountofdatacollectedfromthesesensorsisverylarge,andithasallthecharacteristicsofbigdata.Therefore,itisproposedtousebigdatameanstoprocessandanalyzethepowerdataofthesmartgrid,sothatthesmartgridismoreintelligent.ThispaperusesApachesparkasaunifiedclustercomputingplatformforsmartgridpowerdatastorageanddataanalysis,providingaccurateandreal-timedatasupportforpowercompaniesandendusers.1引言隨著信息和通信系統新興技術的不斷發展，當今的電網運行正逐步演變成以傳感器嵌入式的網絡(即智能電網)，它能夠控制電網運行的整個經過。各種類型的傳感器部署在智能電網運行的各處，所有這些傳感器產生不同類型的數據(異構數據)，然后在電網專用數據中心進行數據的采集。造成在數據管理存在數據量大、數據類型冗雜等情況，根據傳統的數據處理形式無法知足。因而提出采用大數據手段，對所收集的數據進行分析，以挖掘隱藏在大數據中并可用于制定戰略、戰術及運營決策的數據支撐，該經過的關鍵在于數據挖掘，常用的數據挖掘方式方法如下：◆形式匹配和關聯規則：牽涉學習數據中經常出現的趨勢，以便為將來的決策制定規則。形式匹配算法包括Eclat,FP-Tree等。◆分類：一種監督機器學習方式方法，華而不實數據分為訓練和測試集。然后，使用訓練集來訓練分類器模型，以預測給定測試數據的類標簽。一些最廣泛使用的分類算法是決策樹，K-近期鄰(K-NN)，支持向量機(SVM)和樸素貝葉斯等。◆聚類：這是一個無監督的學習經過。聚類的目的是將數據集中的數據點一起分為多個組，詳細取決于其在更高層次維空間中的分布。集群數量的選擇取決于數據和問題定義。一些最常用的聚類算法是k-均值，期望最大化和層次聚類。◆回歸：使用給定數據辨別獨立變量和因變量之間的關系模型的經過。然后，該模型用于預測即將到來的獨立變量的值。這是一種有監督的機器學習方式方法。一些廣泛使用的回歸算法，包括Logistic回歸，支持向量回歸(SVR)和Gauss-Newton算法。本文具體介紹了ApacheSpark在大數據分析中的作用，主要從電網中各數據源、相關的數據處理技術以及在電網中的應用，并且以電網價格為應用背景，提出了統一處理應用的數據平臺。2智能電網數據流分析智能電網當前已成為數據科學家的一個有趣的研究領域。智能電網數據大致分為發電數據、傳輸/分配數據和消費者數據。以數據為中心的傳感器網絡視圖和智能電網中的數據分布如此圖1所示。能夠對這些數據進行大量數據分析，使智能電網愈加智能化。圖1智能電網數據分布圖(1)面向發電的數據在發電廠中，發電方式不同，如水，煤，潮汐，風，核等.Swartz等。文獻[1]中提出了一種利用無線傳感器和行動者網絡，能夠在風電場上無縫地進行數據采集，如可提取有關風力渦輪機動態狀態行為的數據。Li等人[2]提到了一種使用關聯規則挖掘的煤電廠故障分析和診斷系統。通過對發電廠運行負荷的預測提供了技術手段，為將來的需求做好規劃，該方式方法這有助為公用事業行業每年節省數百萬美元。(2)輸電配電數據通常，分布式控制系統(distributedcontrolsystem,DCS)和監督控制和數據采集(supervisorycontrolanddataacquisition,SCADA)是用于輸電和配電的專有控制和監測系統。近年來，已經征對電網輸配電開發了很多電網監測技術，部分采集手段介紹如下：◆電網監控系統：使用GPS(全球定位系統)的相量測量單元(PhasorMeasurementUnit,PMU)測量來自所選電網位置的電壓和電流的自發幅度。然后將其傳輸到具有時間戳的服務器，該系統開拓了電力系統的全域和動態視角。◆反向散射無線電：為傳輸和分配組件失敗的注意事項提供改良的數據。從這些源收集的數據可用于分析電力系統狀態估計，電力系統狀態估計用于確保電網運行的穩定性并防止停電。文獻[3]中利用加權最小二乘法計算電力系統狀態預測，當網絡的某些部分與網格分離時，將發生孤島化，并且此類事件可能導致網格(電網)中的穩定性問題。文獻[4]中使用SQLServer和OLAP開發了電能質量數據分析框架。在電力系統中，電網故障辨別、故障原因辨別是確保電網正常工作的核心問題。(3)功耗數據分布式電力將對來自各個區域的用戶的消費進行分析，例如住宅(個人住宅和公寓)，商業(例如：保險)，工業(例如：工廠)，運輸(鐵路)，緊急服務(例如：醫院)和公共服務，以上通過在服務對象端配備智能電表，以規則的時間間隔感測并向服務提供商通報利用數據。這些數據有兩種類型，分解數據(分解單個定向電路中每個組件或諸多組件的數據)或聚合數據(所有設備的集合數據)。這些數據首先在數據集中器處匯總，然后將其傳輸到云端處理。對于宏大的經濟和工業消費者而言，負荷預測在優化電力消耗以促進其將來發展方面發揮著重要作用。文獻[5]比擬了大規模工業和公寓負荷預測的流行數據挖掘方式方法的效率，客戶分析有助于他們的行為預測和提供知足其要求的動態定價。以上所討論列出的各種各樣的應用，其能夠通過利用從電網產生的數據，應用各種機器學習技術來執行。隨著數據變為大數據，存儲和處理成為關鍵問題，這需要設計統一的智能電網數據處理框架，可提供智能電網數據處理分析所需的數據和處理能力。3智能電網上的大數據分析根據電網生成和使用系統的傳感器和運行數據，大數據分析和機器學習的性能是精到準確的。為了實現這一點，系統需要靈敏地近實時地評估所有電力系統和消耗數據的收集。當聚合來自相量監測單元(PhasorMonitoringUnits,PMU)、廣域測量(WAM)、高級計量基礎設施系統、基于IP的設備等系統的所有用電數據和運營網格系統數據時，數據集往往容易到達P字節比例范圍，然后這些數據集將增加到天天數百GB的大小。因而采用大數據分析平臺知足海量電力數據的處理要求，大數據分析中使用的主要處理技術類型是批處理，流處理和迭代處理。3.1批量處理本文采用HadoopMap-Reduce數據處理模型，通過將非常大的數據集分成很多小集合進行處理，計算在所有這些微小的數據單元上并行完成。例如，能夠使用Map-Reduce作業來獲得所有智能儀表中的最小讀數，地圖任務的每個實例都會獲取一小部分智能儀表讀數，并在華而不實找到最小值。這些較小的結果通過減速器工作減少到總體最小值。Map-Reduce可用于計算客戶使用情況分析，因而，Map-Reduce專門用于定期批處理，但不合適頻繁重新處理大量動態數據集。它不能用于實時傳感器數據和流數據處理，因而，該模型不適用于很多智能電網實時分析流程，如需求響應、短期負荷預測、AMI(高級計量基礎設施)運營、實時使用和定價分析、實時客戶分析、在線網格控制和監控等領域。除了傳統的批處理技術(Map-Reduce)之外，無法執行在線和流數據分析是ApacheHadoop的主要缺點。ApacheHadoop提供的一組機器學習算法也缺乏以知足智能電網數據分析的要求，因而，ApacheHadoop不是智能電網系統上大數據分析的適宜選擇。ApacheSpark[6]是另一個通用集群計算平臺，它提供靈敏性、可擴展性和實時性，以應對智能電網中大數據的挑戰。除了通常的批處理之外，Apachespark還具有執行迭代和流處理的能力，Apachespark擁有更多有效的機器學習算法和加強的線性代數庫。3.2流處理流處理牽涉在每個新數據實例上調用依靠邏輯，而不是等待下一批數據重新處理所有內容。在ApacheSpark中，使用流處理而不是批處理來進行更多分析。這避免了不必要的重復處理數據，與批處理相比，流處理可提供及時且更準確的結果。此模型使ApacheSpark能夠使用動態行為對數據執行分析，當數據從諸多數據源實時連續傳輸時，該機制的重要性可顯而知。例如，為了監測和預測整個電網的穩定性，使用PMU數據，需要計算并跟蹤電網的穩定性指標。穩定性指標必須在沒有任何延遲的情況下從PMU的可用數據計算，這些數據是實時安裝在網格上的。這能夠保衛網格的潛在威脅，如孤島，停電等。這使得流處理非常有用，可解決智能電網應用經過中存在的如實時定價、實時盜竊辨別和電網網絡安全相關問題[7]。3.3迭代處理除了批處理和流處理方式方法之外，還存在很多大數據分析問題，這些問題不屬于這些技術的范圍，迭代處理是用于解決此類問題的另一類處理方式方法。迭代處理的主要特征是頻繁處理各種數據類型。通常，迭代處理是耗時的，這是由于頻繁的進行讀取和寫入操作(每次迭代)，這牽涉更多的I/O傳輸。ApacheSpark是當下用于迭代處理的領先框架。它具有在群集中處理和保存內存中數據的能力，將數據加載到框架后，只要在完成所有迭代經過后才會寫回數據[8]。這確保ApacheSpark比MapReduce框架快10倍至100倍。4ApacheSpark在智能電網的實際應用介紹在輸電和配電中，諸如DCS、SCADA之類的系統適當用于控制和監控，電力系統本質上是非線性動態的，并且能夠在幾毫秒內發生干擾。傳統的監控和測量基礎設施能夠在4-6秒內檢測數據，無需任何時間同步，使用SCADA數據進行實時處理可能會導致錯誤的估算。需要分析能夠以更快的速率捕獲實時網格信息的系統的功率系統動態并采取控制動作。PMU是一種利用GPS時間戳產生電壓和電流信號的同步相量、頻率和頻率估計變化率的裝置。PMU主要用于測量電壓和電流相量、電壓和電流序列分量、頻率、頻率變化率和斷路器狀態等數據。從PMU傳輸的數據幀數量從每秒10-60幀不等，這比SCADA系統和部署的穿插傳輸和分配中心的默認數據速率快得多。PMU的使用是的電網運行數據收集的高速化成為現實，這些數據在相量數據集中器(PhasorDataConcentrators,PDC)中累積，并由能源管理系統進行存儲和分析。數據收集和處理之間的微小延遲導致估計的錯誤，確保了需要平臺來更快地處理數據。圖2Spark系統的體系構造同時，來自所有PMU的同步數據能夠準確查看整個電力系統，能夠對所收集的數據執行大數據分析，以獲得有關系統狀態，電網穩定性等的信息。PMU數據的實時處理有助于辨別電網中任何類型的干擾存在，并且能夠進一步采取行動。Apachespark為處理PMU數據提供了數據處理平臺，沒有過多延遲，無法準確查看網格。PDC以分層構造排列，以收集來自PMU和其他PDC的相量數據、離散事件數據等。因而，每個階段中的PDC能夠執行合適于該級別的特定持續時間分析。本文通過云端的方式搭建了大數據處理平臺，并且以XXX區域電網數據進行模型驗證，即同步相關網絡獲取來自不同地點的每小時PMU數據，使用Apachesparkcluster對此時間序列數據進行流式分析。如此圖2所示為Spark系統的體系構造，華而不實Apache中的數據庫用于數據存儲。以上數據庫采用適用于時間序列數據管理的最佳NoSQl大數據數據庫。ApacheKafka用于向ApacheSpark引擎提供窗口化流數據，計算在集群機器上并行完成。5結束語ApacheSpark已成為智能電網大數據應用的主流集群計算平臺。當今的智能電網實用程序需要廣泛的大數據處理方式方法，像Map-Reduce這樣的簡單數據處理形式缺乏以解決智能電網的分析和數據處理要求的復雜性。智能電網的數據分析軟件平臺應該能夠分析緩慢和快速變化的數據，可通過結合批量和實時數據處理技術的組合來完成。本文采用ApacheSpark集成平臺，可無縫地結合批量、實時和迭代數據處理要求，為電網提供高級分析和機器學習方式方法。可有效地用于實時價格預測，自動需求響應系統，高峰時間負載平衡，故障辨別和在線電網監控等應用領域。以下為參考文獻[1]SWARTZRA,LYNCHJP,ZERBSTS,etal.Structuralmonitoringofwindturbinesusingwirelesssensornetworks[J].SmartStructuresSystems,2018,6(6):183-196.[2]LIJQ,WANGSL,NIUCL,etal.ResearchandApplicationofDataMiningTechniqueinPowerPlant[C]//InternationalSymposiumonComputationalIntelligenceDesign.IEEE,2008(2):250-253.[3]CHENY,HUANGZ,LIUY,etal.ComputationalChallengesforPowerSystemOperation[C]//HawaiiInternationalConferenceonSystemSciences.IEEE