1、電能質(zhì)量監(jiān)測(cè)數(shù)據(jù)清洗技術(shù)研究張華贏1，陽子婧2，段紹輝1，姚森敬1，曹軍威2，許延詳2（1 深圳供電局有限公司，廣東 深圳 518000；2 清華大學(xué)信息技術(shù)研究院，清華大學(xué)信息科學(xué)與技術(shù)國家實(shí)驗(yàn)室，北京 清華大學(xué)，100084）摘要：隨著電能質(zhì)量問題得到高科技企業(yè)和電網(wǎng)公司越來越多的重視，大量電能質(zhì)量監(jiān)測(cè)系統(tǒng)得到部署和應(yīng)用。然而，基于監(jiān)測(cè)數(shù)據(jù)的高級(jí)分析并未得到廣泛應(yīng)用，其重要原因在于電能質(zhì)量監(jiān)測(cè)數(shù)據(jù)沒有得到有效的梳理。本文提出數(shù)據(jù)清洗（Data Cleaning）技術(shù)是使能電能質(zhì)量高級(jí)分析的關(guān)鍵和前提，描述了電能質(zhì)量監(jiān)測(cè)數(shù)據(jù)清洗的具體步驟和軟件實(shí)現(xiàn)。本文以深圳電網(wǎng)電能質(zhì)量監(jiān)測(cè)事件的具體數(shù)據(jù)為

2、例，說明了數(shù)據(jù)清洗技術(shù)應(yīng)用于電能質(zhì)量數(shù)據(jù)分析中的效果，指出清洗后的電能質(zhì)量監(jiān)測(cè)數(shù)據(jù)避免了無效和缺失等問題，在反應(yīng)實(shí)際情況中更具有實(shí)用性，為進(jìn)一步的電能質(zhì)量高級(jí)分析奠定了基礎(chǔ)。Data Cleaning for Power Quality MonitoringHuaying Zhang1,Zijing Yang2,Shaohui Duan1,Senjing Yao1, Junwei Cao2, YanxiangXu2(1 Shenzhen Power Supply CO.,LTD, Shenzhen 518000,China,2 Research Institute of Information

3、 Technology, State Key Laboratory of Information and Technology of Tsinghua University, Tsinghua University, Beijing 100084, China)Tsinghua National Laboratory for Information Science and Technology, Beijing 100084, ChinaAbstract: Power quality issues are becoming more critical for high-tech enterpr

4、ises and grid companies. Many power quality monitoring systems are deployed in recent years. Advanced analysis of monitoring data is not widely applied due to the lackness of data management. In this work, data cleaning technology is introduced to enable advanced study of power quality data, with de

5、tailed procedures and software implementation. With power quality monitoring data from Shenzhen Power Company, the effectiveness of data cleaning technology applied for power quality data analysis is demonstrated. Cleaned data that avoid voidness and lackness is more feasible in actual usage, as a g

6、ood basis for further advanced analysis of power quality.一、介紹隨著計(jì)算機(jī)、信息設(shè)備、精密儀器、高端制造業(yè)等對(duì)電源質(zhì)量敏感設(shè)備的應(yīng)用，電能質(zhì)量問題受到用戶的廣泛關(guān)注。對(duì)敏感用戶（如半導(dǎo)體制造企業(yè)）而言，幾十毫秒的電壓暫降就可能導(dǎo)致設(shè)備損壞、生產(chǎn)線停產(chǎn)，造成巨大經(jīng)濟(jì)損失。例如作為全國第四個(gè)負(fù)荷過千萬的城市，深圳市的用電量甚至可與一個(gè)普通省份用電量相比較，其中大部分為高新技術(shù)企業(yè)。近年來，各類微電子、半導(dǎo)體、生物醫(yī)藥、精密制造等企業(yè)，以及醫(yī)院、金融業(yè)、通信行業(yè)、大型數(shù)據(jù)中心等敏感用戶對(duì)電網(wǎng)的供電電能質(zhì)量提出了更高要求。目前國內(nèi)有部分省網(wǎng)已陸

7、續(xù)開始了電能質(zhì)量監(jiān)測(cè)系統(tǒng)的建設(shè)，有的已初具規(guī)模。建設(shè)模式主要分為引進(jìn)成熟系統(tǒng)和自主研發(fā)兩類。上海、華北、云南等電力公司采用了美國電科院成熟的PQView3.2平臺(tái)并進(jìn)行二次開發(fā)，已相繼建立了網(wǎng)絡(luò)化的電能質(zhì)量監(jiān)測(cè)平臺(tái)；廣東、浙江、江蘇電力公司采用自主研發(fā)的方式，開發(fā)了區(qū)域電能質(zhì)量監(jiān)測(cè)網(wǎng)。深圳電網(wǎng)現(xiàn)有電能質(zhì)量監(jiān)測(cè)體系已經(jīng)初具規(guī)模，目前已在主網(wǎng)146個(gè)變電站安裝了電能質(zhì)量監(jiān)測(cè)終端651臺(tái)，電能質(zhì)量監(jiān)測(cè)系統(tǒng)具備的主要功能為巡檢、遠(yuǎn)程操作、數(shù)據(jù)查詢分析、報(bào)表統(tǒng)計(jì)等，缺乏基于數(shù)據(jù)挖掘功能支撐的高級(jí)分析應(yīng)用。為更好地支持高級(jí)分析應(yīng)用，需要對(duì)電能質(zhì)量監(jiān)測(cè)數(shù)據(jù)進(jìn)行整理和清洗，主要基于以下幾方面的原因：電能質(zhì)量監(jiān)

8、測(cè)系統(tǒng)的開發(fā)人員不熟悉電能質(zhì)量相關(guān)標(biāo)準(zhǔn)，將本不屬于電能質(zhì)量問題的事件進(jìn)行了記錄；電能質(zhì)量監(jiān)測(cè)系統(tǒng)的開發(fā)人員對(duì)輸配電系統(tǒng)的運(yùn)行原理缺乏了解，對(duì)關(guān)聯(lián)事件進(jìn)行了重復(fù)記錄；由于通信等方面的系統(tǒng)錯(cuò)誤，記錄的部分?jǐn)?shù)據(jù)可能存在不合理性或非一致性，需要剔除。本文的主要貢獻(xiàn)在于將數(shù)據(jù)清洗技術(shù)應(yīng)用于電能質(zhì)量監(jiān)測(cè)數(shù)據(jù)的梳理。以深圳電網(wǎng)電能質(zhì)量監(jiān)測(cè)事件的具體數(shù)據(jù)為例，說明數(shù)據(jù)清洗技術(shù)應(yīng)用于電能質(zhì)量數(shù)據(jù)分析中的效果。二、數(shù)據(jù)清洗技術(shù)電能質(zhì)量監(jiān)測(cè)數(shù)據(jù)高級(jí)分析的前提和基礎(chǔ)是數(shù)據(jù)的正確性、一致性和有效性，這需要通過數(shù)據(jù)清洗（Data Cleaning）技術(shù)來實(shí)現(xiàn)。數(shù)據(jù)清洗是指將不一致的或錯(cuò)誤的數(shù)據(jù)從記錄集、表格或數(shù)據(jù)庫中檢測(cè)

9、出并進(jìn)行修正的過程。由于用戶的誤輸入、傳輸或存儲(chǔ)過程中的出錯(cuò)等原因，數(shù)據(jù)集中可能存在非完整的、錯(cuò)誤的或不相關(guān)的信息。因此，需要通過數(shù)據(jù)清洗，來有效識(shí)別、替換、修正或刪除這些“臟數(shù)據(jù)”，使該數(shù)據(jù)集與系統(tǒng)中其他的相似的數(shù)據(jù)集保持一致。國外對(duì)數(shù)據(jù)清洗的研究最早出現(xiàn)在美國，是從對(duì)全美的社會(huì)保險(xiǎn)號(hào)的糾錯(cuò)開始1。隨后美國信息業(yè)和商業(yè)的發(fā)展，有力推動(dòng)了數(shù)據(jù)清洗技術(shù)的研究，并主要集中在檢測(cè)及消除數(shù)據(jù)異常、檢測(cè)及消除近似重復(fù)記錄、數(shù)據(jù)集成和特定領(lǐng)域的數(shù)據(jù)清洗四個(gè)方面。在國內(nèi)，對(duì)數(shù)據(jù)清洗的研究起步較晚，目前主要應(yīng)用于數(shù)據(jù)倉庫、決策支持、數(shù)據(jù)挖掘和全面數(shù)據(jù)質(zhì)量管理等領(lǐng)域，但對(duì)于商業(yè)性的數(shù)據(jù)清洗工作則主要是針對(duì)各自的

10、具體應(yīng)用，理論性不強(qiáng)2-4。而如何結(jié)合應(yīng)用實(shí)際，運(yùn)用有效的模型和方法對(duì)臟數(shù)據(jù)如不完整數(shù)據(jù)、錯(cuò)誤數(shù)據(jù)和重復(fù)數(shù)據(jù)進(jìn)行數(shù)據(jù)清洗，從而提高數(shù)據(jù)質(zhì)量，仍是有待深入研究的難點(diǎn)問題5。三、電能質(zhì)量監(jiān)測(cè)數(shù)據(jù)高級(jí)分析電能質(zhì)量監(jiān)測(cè)數(shù)據(jù)為深入研究實(shí)際運(yùn)行電網(wǎng)的電能質(zhì)量問題提供了基礎(chǔ)，當(dāng)前已經(jīng)存在大量面向該類數(shù)據(jù)的分析和研究，按研究手段和應(yīng)用目的可將這些研究分為兩大類：一類是以數(shù)據(jù)統(tǒng)計(jì)為手段，以電能質(zhì)量監(jiān)測(cè)優(yōu)化、評(píng)估和運(yùn)行管理為目的的基礎(chǔ)分析6-8；另一類是以數(shù)據(jù)挖掘?yàn)槭侄?，以從大?guī)模、高維的電能質(zhì)量監(jiān)測(cè)數(shù)據(jù)中提取出隱藏的模式和規(guī)則，為電力系統(tǒng)規(guī)劃和決策提供支持依據(jù)的高級(jí)分析9-12。其中，電能質(zhì)量監(jiān)測(cè)數(shù)據(jù)高級(jí)分析的

11、主要過程如圖1所示。從圖中可發(fā)現(xiàn)：數(shù)據(jù)清洗是進(jìn)行電能質(zhì)量數(shù)據(jù)高級(jí)分析的前提和基礎(chǔ)。數(shù)據(jù)預(yù)處理監(jiān)測(cè)數(shù)據(jù)(倉)庫監(jiān)測(cè)監(jiān)測(cè)。挖掘挖掘結(jié)果分析數(shù)據(jù)清洗數(shù)據(jù)降維規(guī)一化處理格式轉(zhuǎn)換數(shù)據(jù)集成數(shù)據(jù)選擇分類處理聚類處理關(guān)聯(lián)分析處理時(shí)間序列分析規(guī)則解釋模式評(píng)估知識(shí)表示系統(tǒng)應(yīng)用孤立點(diǎn)分析圖1電能質(zhì)量數(shù)據(jù)高級(jí)分析流程圖四、電能質(zhì)量監(jiān)測(cè)數(shù)據(jù)清洗為說明數(shù)據(jù)清洗技術(shù)在電能質(zhì)量數(shù)據(jù)分析中的重要性，本文重點(diǎn)以電能質(zhì)量監(jiān)測(cè)系統(tǒng)所記錄的暫態(tài)事件的對(duì)應(yīng)數(shù)據(jù)為例，對(duì)其進(jìn)行具體的梳理和清洗。具體步驟針對(duì)電能質(zhì)量問題，對(duì)采集到的監(jiān)測(cè)數(shù)據(jù)進(jìn)行清洗，可通過以下三個(gè)主要步驟來實(shí)現(xiàn)：（1）數(shù)據(jù)剔除：即將不符合電能質(zhì)量暫態(tài)事件定義的數(shù)據(jù)予以剔除。根

12、據(jù)由IEEE SCC 22提出并已被IEC采納的電能質(zhì)量的分類標(biāo)準(zhǔn)，將持續(xù)時(shí)間在半個(gè)周波到一分鐘以內(nèi)的電壓變化（含電壓暫升、電壓暫降和短時(shí)電壓中斷）定義為電能質(zhì)量暫態(tài)事件。因此，對(duì)持續(xù)時(shí)間在半個(gè)周波到一分鐘范圍以外的監(jiān)測(cè)數(shù)據(jù)予以剔除。（2）事件統(tǒng)計(jì)：即對(duì)電能質(zhì)量暫態(tài)事件的發(fā)生次數(shù)進(jìn)行準(zhǔn)確統(tǒng)計(jì)。目前，輸、配電是通過三相交流電即由三個(gè)頻率相同、電勢(shì)振幅相等、相位差互差120角的交流電路組成的電力系統(tǒng)來實(shí)現(xiàn)的。在統(tǒng)計(jì)過程中，為保證統(tǒng)計(jì)結(jié)果的準(zhǔn)確性，將同一變電站的同一母線下在同一時(shí)刻發(fā)生的兩相或三相的暫態(tài)事件均按照分析目標(biāo)（即電壓暫升、電壓暫降或短時(shí)電壓中斷）記為零次或一次。（3）數(shù)據(jù)再處理：即對(duì)經(jīng)過

13、以上數(shù)據(jù)剔除和事件統(tǒng)計(jì)兩個(gè)步驟的數(shù)據(jù)作進(jìn)一步的處理。在預(yù)期分析目標(biāo)的要求下，部分?jǐn)?shù)據(jù)可能存在不合理性或非一致性。因此，需根據(jù)相關(guān)信息如事件的關(guān)聯(lián)分析、用戶需求等對(duì)監(jiān)測(cè)數(shù)據(jù)進(jìn)行再處理。軟件實(shí)現(xiàn)數(shù)據(jù)清洗軟件是實(shí)現(xiàn)對(duì)行業(yè)中數(shù)據(jù)進(jìn)行高效預(yù)處理的有力工具。近年來，市場(chǎng)上的數(shù)據(jù)清洗軟件，既有商業(yè)開發(fā)的，也有由大學(xué)和研究機(jī)構(gòu)開發(fā)的。而針對(duì)電能質(zhì)量監(jiān)測(cè)數(shù)據(jù)的相應(yīng)軟件的研發(fā)，目前還處于初步探索階段。本研究開發(fā)了電能質(zhì)量暫態(tài)事件分析軟件（見圖2），數(shù)據(jù)清洗是其中的重要組成部分。圖2 電能質(zhì)量暫態(tài)事件分析軟件實(shí)現(xiàn)軟件實(shí)現(xiàn)是基于美國MathWorks公司出品的MATLAB平臺(tái)而開發(fā)。利用MATLAB的計(jì)算功能和友好的

14、人機(jī)交互界面，軟件實(shí)現(xiàn)包括參數(shù)設(shè)置、數(shù)據(jù)清洗、小波分析、噪聲分析等多個(gè)模塊。五、實(shí)驗(yàn)驗(yàn)證本節(jié)采用深圳電網(wǎng)某中心站2010年至2012年電能質(zhì)量暫態(tài)事件的詳細(xì)記錄，作出其ITI（CBEMA）幅值時(shí)間分布圖，并對(duì)比數(shù)據(jù)清洗前后的效果，分別如圖3、圖4所示。其中，CBEMA曲線是由美國計(jì)算機(jī)和商用設(shè)備制造商協(xié)會(huì)（CBEMA）對(duì)電能質(zhì)量的要求提出的電壓容限曲線。ITI曲線是美國信息技術(shù)工業(yè)協(xié)會(huì)（ITIC）在CBEMA曲線的基礎(chǔ)上發(fā)展起來，根據(jù)計(jì)算機(jī)等信息工業(yè)設(shè)備對(duì)暫態(tài)電能質(zhì)量的抗擾度水平形成的。該曲線是目前評(píng)估暫態(tài)電能質(zhì)量事件影響的一個(gè)重要依據(jù)，被IEEE引用為美國標(biāo)準(zhǔn)13。圖3 電能質(zhì)量監(jiān)測(cè)數(shù)據(jù)清洗

15、之前的統(tǒng)計(jì)分析結(jié)果圖4 電能質(zhì)量監(jiān)測(cè)數(shù)據(jù)清洗之后的統(tǒng)計(jì)分析結(jié)果六、結(jié)論本文主要工作在于將數(shù)據(jù)清洗技術(shù)應(yīng)用于電能質(zhì)量的監(jiān)測(cè)數(shù)據(jù)，為未來進(jìn)一步的高級(jí)分析應(yīng)用奠定了基礎(chǔ)。電能質(zhì)量監(jiān)測(cè)系統(tǒng)產(chǎn)生的海量數(shù)據(jù)因多種原因在正確性和一致性等方面存在種種問題，甚至可能產(chǎn)生誤導(dǎo)。若不能對(duì)電能質(zhì)量監(jiān)測(cè)數(shù)據(jù)進(jìn)行有效的整理和剔除，就無法準(zhǔn)確反映實(shí)際電能質(zhì)量問題的嚴(yán)重性。本工作結(jié)合深圳電網(wǎng)的實(shí)際情況，匯集了電能質(zhì)量監(jiān)測(cè)系統(tǒng)的相關(guān)數(shù)據(jù)，對(duì)基礎(chǔ)數(shù)據(jù)進(jìn)行了深入研究，提出數(shù)據(jù)清洗的必要性，并通過實(shí)際案例給出了清洗前后的效果對(duì)比。深圳作為高科技產(chǎn)業(yè)密集的城市，對(duì)電能質(zhì)量的要求非常高，本工作的研究成果對(duì)深圳電能質(zhì)量問題的進(jìn)一步分析和治

16、理具有重要的指導(dǎo)意義。致謝國家973基礎(chǔ)研究計(jì)劃(2013CB228206)；國家自然科學(xué)基金(61233016)。參考文獻(xiàn)：1 Galhardas H, Florescu D. An Extensible Framework forData Cleaning C. In: Proceedings of the 16thIEEE International Conferenceon Data Engineering. San Diego, California, 2000: 312 - 312.2 王曰芬，章成志，張蓓蓓，吳婷婷。數(shù)據(jù)清洗研究綜述J。情報(bào)分析與研究。2007，12：50-56。

17、3 曹建軍，刁興春，汪挺，王芳瀟。領(lǐng)域無關(guān)數(shù)據(jù)清洗研究綜述J。計(jì)算機(jī)科學(xué)。2010，37（5）：26-29。4 葉鷗，張璟，李軍懷。中文數(shù)據(jù)清洗研究綜述J。計(jì)算機(jī)工程與應(yīng)用。2012，48（14）：121-129。5 蔣勇青，楊奕虹，楊賀。論數(shù)據(jù)清洗對(duì)信息檢索質(zhì)量的影響及清洗方法J。中國索引。2012，1：16-20。6 肖湘寧，韓民曉，徐永海等。電能質(zhì)量分析與控制M。北京：中國電力出版社。2004。7 唐會(huì)智，彭建春?；谀：碚摰碾娔苜|(zhì)量綜合量化指標(biāo)研究J。電網(wǎng)技術(shù)。2003，27(12)：85-88。8 江輝，彭建春，歐亞平等?；诟怕式y(tǒng)計(jì)和矢量代數(shù)的電能質(zhì)量歸一量化與評(píng)價(jià)J。湖南大學(xué)學(xué)

18、報(bào)(自然科學(xué)版)。2003，30(1)：66-70。9 歐陽森，宋政湘，王建華等?；谛盘?hào)相關(guān)性和小波方法的電能質(zhì)量去噪算法J。電工技術(shù)學(xué)報(bào)。2003，18(3)：111-116。10 黃文清，戴瑜興。電能質(zhì)量擾動(dòng)的Block-Thresholding去噪方法J。電工技術(shù)學(xué)報(bào)。2007，22(10)：160-166。11 劉志剛，曾怡達(dá)，錢清泉。多小波在電力系統(tǒng)信號(hào)消噪中的應(yīng)用J。中國電機(jī)工程學(xué)報(bào)，2004，24(1)：30-34。12 唐良瑞，楊雪?；谌悄Ｈ诤纤阕拥碾娔苜|(zhì)量去噪算法J。電工技術(shù)學(xué)報(bào)。2007，22(9)：154-158。13 IEEE Application Guide forIEEEStd 1547, IEEE Standardfor Interconn