1、PMU數據預處理及壓縮算法*胡麗麗1，牛勝鎖1，梁志瑞1，孔靜2，吳本愚3華北電力大學農業電氣化與自動化，河北 保定 071003 ; 2. 環境保護部核與輻射安全中心, 北京100082； 3. 華北電力大學電磁場與微波技術，河北 保定 071003）摘要：隨著廣域測量系統在電力系統越來越廣泛的應用，大量PMU實測數據產生，為了高效的對數據進行傳輸、存儲和應用，通過深入研究PMU數據的特點，利用波形相差法和坐標遞減法對數據進行預處理，在處理基礎上，利用改進的遞歸Huffman算法進行壓縮。通過預處理和對解壓縮算法的改進，提高壓縮率，縮短了解壓縮時間。關鍵詞：廣域測量系統；PMU數據；Huff

2、man算法；數據預處理中圖分類號：TM77 文獻標識碼：A 文章編號：1001-1390（2015）14-0000-00PMU data preprocessing and compression algorithm Hu Lili1, Niu Shengsuo1, Liang Zhirui1，Kong Jing2, Wu Benyu3（1. Department of Agricultural Electrification and Automation, North China Electric Power University, Baoding 071003, Hebei, China.

3、 2. NuclearandRadiationSafetyCenter,Beijing 100082,China. 3. Electromagnetic Field and Microwave Technology, North China Electric Power University, Baoding 071003, Hebei, China)Abstract: With As the wide-area measurements system ( WAMS) is becoming more widely used in the power system more widely us

4、ed, a large number of PMU measured data was generated. In order to transmit,transmit, storeage and apply the data efficiently, this paper studies the characteristics of the PMU iIn-depth and uses the waveform difference and the diminishing coordinates to processpreprocess the data, and thenthan uses

5、 the recursion Huffman algorithm to compress on this basis. By pre-processing and improving compression algorithms, it optimizes the algorithm, and improves the compression ratio and shortens compression time.Keywords: WAMS, PMU data, Huffman algorithm, data pre-processing 0 引言 隨著信息化技術在廣域測量系統中的應用，產生

6、的數據量越來越大，給信息存儲特別是網絡傳輸帶來了諸多困難。為了節省信息的存儲空間和提高信息的傳輸效率，對大量的實際數據進行壓縮1。數據壓縮技術一般分為有損壓縮和無損壓縮。針對廣域測量系統中的同步相量測量單元PMU(Phasor Measurement Unit)產生的數據，我們選取通過解壓縮能完全恢復原數據的無損壓縮。*基金項目：中央高校基本科研業務費專項資金項目(2014QN38)目前，常規的PMU數據無損壓縮算法有：Huffman編碼、算術編碼、LZ系列編碼等，這些算法都實現了一定的壓縮率。為了進一步提高數據的傳輸效率，本文深入研究PMU數據的特點，利用波形相差法和遞減法對數據進行預處理，

7、使數據達到更簡化，更易存儲和讀取；選取Huffman無損壓縮算法對數據進行壓縮，并對其解碼進行改進，利用遞歸Huffman樹進行解碼。通過MATLAB編程測試，實現了一定的壓縮率的提高，優化了算法。1 PMU數據分析同步相量測量單元PMU是基于GPS的實時相量測量裝置，它以標準時間信號作為采樣過程的基準，對電力系統的不同節點電壓和電流進行同步采樣2。PMU的基本目的是為電網運行狀態的實時動態監測提供準確、夠用的信息資源，其數據特點主要表現在三個方面。（1）精確度高，實時性高；對電力系統的不同節點的電壓和電流進行同步采樣，在統一的時間坐標系上對電力系統的狀態進行分析，目前同步精度可以達到1s或者

8、更高。（2）數據量大；存儲于調度中心的PMU數據，實時的記錄了電網的各樞紐點電壓和電流的幅值、頻率和相位。（3）采樣數據一般可以以十六進制形式表示，在電力系統正常運行情況下具有周期性的特點。2 PMU數據的預處理數據的預處理方法有： HYPERLINK /view/702932.htm t _blank 數據清理， HYPERLINK /view/2039921.htm t _blank 數據集成，數據變換等。本文為簡化數據，提高采樣數據的壓縮率，用波形相差法和坐標遞減法對PMU數據進行壓縮前的預處理。PMU數據大多數時間記錄的是穩態的三相電流、電壓的數據，以十六進制呈現，連續的4位字符代表著

9、一個采樣點，256個點代表著一個周期。用MATLAB編程依次分割出U0、Ua、Ub、Uc、I0、Ia、Ib、Ic的波形。由于采樣的數據是穩態連續的，不同周期間對應相的數據變化是相似的，根據這個特點，提出波形相差法。2.1 波形相差法以Ua相為例，保持第一周期的數據不變，用文本中其他周期的Ua相的數據依次與第一周期相減，相差后的數據作為其他周期新的波形數據來存儲。波形差使同等字符差值為0，縮小了字符出現的范圍，簡化了數據，有助于壓縮率的提高。圖1是Ua相，圖2是Ua相相差后的波形圖，對比分析可以看出，相差后的波形幅度變小，達到預期效果。圖1 Ua相波形示意圖(圖中單位，橫坐標：t/ms,縱坐標：

10、u/kV)Fig. 1 The wWaveform schematic diagram of Ua phase2.2 坐標遞減法波形相差法是根據整個周期間數據的相關性提出來的，依據PMU同步采樣數據一個完整的波形內數據也是連續的，會隨著時間連續變化，相鄰點之間的變化往往是相似的，根據這個特點，提出坐標遞減法。圖2 波形相差后示意圖(圖中單位，橫坐標：t/ms,縱坐標：u/kV)Fig.2 The sSchematic diagram of waveform difference圖3 Ua相坐標相減后示意圖(圖中單位，橫坐標：t/ms,縱坐標：u/kV)Fig. 3 The Schematic

11、diagram of Ua phase after coordinates subtracting由數據存儲的特點知，一個周期有256個連續點，完整的波形中相近點的坐標大小相近，差值不大，相減后能去除掉同種的信息，保留不一致的信息，坐標遞減法正是利用這個原理，在波形相差法的基礎上，進一步減化了要存儲的數據量，具體操作方法：先用波形相差法對數據進行處理，完整的讀取一個周期的數據，保留第255個點的坐標，用第256個點的坐標的數據減去第255個點的坐標，差值作為第256個點的坐標保存，然后用第255個的坐標減去第254個點的坐標，保留為第255個點的坐標，以此類推，使整個周期的數據都進行轉化，并保

12、存。并對文本信息中其他的周期做同樣的處理。同樣以Ua相（圖1）為例，坐標遞減后的波形如圖3所示，對比分析后可以看出，坐標遞減后的波形幅度變的更小，達到預期效果。3 遞歸Huffman解壓縮算法 Huffman編碼是D. Huffman于1952年提出的一種基于統計模型的無損壓縮編碼方法3。其主要過程是構造一棵用于編碼的 Huffman 樹。3.1 Huffman樹的建立及編碼Huffman 樹的構造，可用簡單的語言描述：遍歷所有字符串，確定字符出現的頻率，字符出現頻率按升序排列；選取兩個頻率最小字符作為新構造的二叉樹的左右子樹，新二叉樹的根結點的頻率為其左右子樹的根結點的頻率之和；刪除左右子樹

13、，并把新的根節點頻率加入到頻率排列中，按升序重新排列；重復以上步驟，至形成一棵二叉樹為止46。假設某文件只出現 S1、S2、S3、S4、S5、S6、S7字符，出現的頻率為0.7、0.09、0.07、0.05、0.04、0.03、0.02形成的Huffman樹如圖4所示，編碼如表1所示。 圖4 生成的Huffman樹Fig.4 Generated Huffman tree3.2 遞歸 Huffman樹解碼Huffman編碼是一種用于無損壓縮的最小冗余編碼。隨著存儲技術的發展以及存儲工具的普及，Huffman解碼的時間效率變得更為重要，要求的解碼時間變得更為嚴格，而改進的遞歸 Huffman樹的解

14、碼方法旨在提高解碼時間效率問題78。傳統的解碼算法從根結點到葉結點進行追蹤，與此同時，對Huffman編碼的比特串進行逐位掃描，相應的左側為1，右側為0。為了減少解碼時間，首先將給定的Huffman樹轉化為遞歸Huffman樹。然后，在遞歸Huffman樹的幫助下，實現該算法一次解碼多個符號的能力，根據處理單元的寬度Z的不同，解碼的速度也有所不同。現以Z=2 為處理單元，對圖4的Huffman樹進行遞歸。表1 各字符的編碼Tab.1 Encoding each character字符 頻率 編碼 碼長 S1 0.7 0 1 S2 0.09 100 3S3 0.07 101 3S4 0.05 1

15、11 3S5 0.04 1100 4 S6 0.03 11010 5 S7 0.02 11011 5 3.2.1 子樹的形成由初始Huffman樹構建遞歸Huffman樹，其過程分為兩個階段。在第一個階段，從初始Huffman樹T中推導出一些子樹。這些子樹從初始Huffman樹切出的子樹中推導而出。切出的過程首先作用于T，然后遞歸地作用于每個推導出的新子樹。其中Si為源碼符號，所對應的碼字長度為Li，碼字Ci是1 i n的二進制串，對于Z等級中Tj的內部結點i，一個新的子樹以結點i為根結點，由結點i的左子樹與右子樹組成。然后切出過程作用于從Tj推導出的子樹。上述過程創造的子樹被稱為普通子樹，歸

16、類于，這樣l(Ti) l(Tj)并且如果對于所有0ijk-1來說，其l(Ti) = l(Tj)，則C(Ti) C(Tj)，式中k是普通子樹的數量。然后對于初始Huffman樹T中滿足0L(i)Z的內部節點i，可推導出根結點為i的一個子樹Ti，將該子樹稱為壓縮子樹。這些壓縮子樹也歸類于，這樣L(Ti) L(Tj) 并且如果對于所有kijk+s-1來說，其L(Ti) = L(Tj)，則C(Ti) C(Tj)，式中s是壓縮子樹的數量。圖4所示的Huffman樹被切分為如圖5所示的普通子樹T0，T1，T2，T3和壓縮子樹T4。圖5 Huffman樹的5個子樹Fig.5 Five sub-trees c

17、ut from the Huffman tree第二階段，對于滿足0 i k+s-1的每個子樹Ti，我們使用TREE-GROW程式將Ti的每個葉結點替換為初始Huffman樹，直到每個葉結點的等級大于等于Z。然后，使用TREE-PRUNE程式對在第一步時生成的子樹進行檢定，刪除帶有比Z級別高的結點。另外，TREE-PRUNE程式將一系列葉結點的符號轉變為字符串，以此來一次解碼多個符號910。如圖5中的子樹生長和修剪后變成如圖6的5個子樹。TREE-GROW（T，Z）輸入： 1個根結點為r的Huffman樹T以及參數Z輸出： 根結點為r的樹T1 復制T成為T，然后將T的根結點標為r2 搜索T中包

18、含葉結點q且q的深度小于Z的結點3 將該葉結點用T代替TREE-PRUNE（X，Z，string）輸入： X：被追蹤的結點Z：樹的深度參數string：從根結點到X的符號順序輸出：修剪后的樹T1 將字符串組合起來2 如果X的等級等于Z3 刪除X的左右子樹4 返回5 否則（即X的等級小于Z）6 調用TREE-PRUNE（leftx，string）7 調用TREE-PRUNE（rightx，string）8 返回 圖6 遞歸Huffman子樹 Fig.6 The rRecursion Huffman sub-trees3.2.2 解碼多個字符 現在，我們使用圖6所示的遞歸Huffman樹來說明我們

19、的解碼方法。假設Z=2。給定一個輸入Huffman比特串H012=1101001010，經遞歸Huffman樹解碼得到字符串S6S1S3S1。解碼從T0的根結點開始，第一個Z=2位為11，由于其也是T2的根結點，跳轉至T2。然后，讀取下一個Z=2位01。由于其為T3的根結點，我們跳轉至T3。然后讀取下一個Z=2位00。讀取該結點的解碼為S6S1。然后從T0的根結點重新開始解碼。下一個Z=2位H78為10，由于其也是T1的根結點，跳轉至T1，讀取下一個Z=2位為10，讀取該結點的解碼為S6S1。解碼進程結束。4 實驗結果分析 4.1 Z的選取 遞歸Huffman樹解碼方法主要缺點是需要大量的存儲

20、空間。要求的存儲空間取決于Z的大小以及子樹的多少。表2說明了不同Z的情況下訪問測試文件的時間比較。實驗取3個PMU數據存儲樣本作為測試文件：Huffman.txt（354KB）Test.txt（197KB）Test1.txt（84KB）。當Z分別為5、6、7、8對測試文件進行解碼時，輸入比特串中讀取位的數量增加而減少解碼時間。當Z分別為9、10、11、12、13、14時，Huffman樹的內存過大，造成高速緩存的命中率下降，以致解碼時間增大，當Z=8時解碼速度最快8。不同Z的解碼時間程序是在CPU為P8700內存為2G的電腦中運行的結果。（注：下文中提到的遞歸Huffman樹是在Z=8時的性能

21、。）4.2 解碼時間的比較 如表3所示，遞歸Huffman樹的解碼算法在一定程度上減少解碼的時間，從而提高了解碼效率。表2 不同Z運行時間比較Tab.2 Running time comparison in different Z源文件名 不同的Z單元運行的時間/ms5 6 7 8 9 Huffman.txtTest.txtTest1.txt187 171 156 124 157124 109 93 78 10960 52 49 46 78Huffman.txtTest.txtTest1.txt10 11 12 13 14 218 265 421 873 1513140 218 318 733

22、 1403109 193 314 724 1500表3 解碼時間比較 Tab.3 Decoding times comparison源文件名 Huffman 遞歸Huffman t0/ms t1/ms Huffman.txt 358 124Test.txt 201 78Test1.txt 93 464.3 壓縮率的比較表4和表5分別為數據預處理前后用Huffman算法進行壓縮。從表4測試結果看，壓縮后的文件要比源文件小，Huffman算法可以達到壓縮文件的目的。不同文件因為里面包含的字符和字符概率不同，所以壓縮率也會有所不同。表4 預處理前壓縮測試 Tab.4 Compression test

23、 before data prepro-processing源文件名 壓縮前/KB 壓縮后/KB 壓縮率Huffman.txt 354 168 52.45%Test.txt 197 95 51.37%Test1.txt 84 39 53.52%表5預處理后的壓縮測試Tab.5 Compression test after data propre-processing源文件名 處理后/KB 壓縮后/KB 壓縮率Huffman.txt 354 92 73.87%Test.txt 197 53 71.97%Test1.txt 84 22 72.81%由表4和表5進行對比，測試結果表明，數據預處理后的

24、文件要比處理前文件壓縮率有所提高，因此，波形相差法和坐標遞減法的預處理方法達到了簡化數據和進一步提高壓縮率的目的。經預處理之后Huffman壓縮算法，在一定程度上提高了壓縮率，與當今的主流壓縮軟件比較如表6所示。由表6對比知，預處理后Huffman算法在提高壓縮率上，有了明顯的效果。表6壓縮率比較Tab.6 The cCompression ratio comparing 壓縮軟件WinRARHaoZipHuffmanHuffman.txt61.25%60.87%73.87%Test.txt62.02%61.97%71.97%Test1.txt62.80%70.81%72.81%5 結束語本文

25、針對PMU數據存儲特性，利用波形相差法和坐標遞減法對數據進行預處理，減少了遍歷字符的時間，提高了文件的壓縮率，分析和實驗結果顯示該方法是有效的。當Z=8時，我們使用一種快速、有效地遞歸Huffman樹解碼算法，該算法具有解碼多個字符的能力，縮短了解碼時間，一定程度上提高了解碼效率。數據預處理和算法改進結合，更快速、準確地對數據進行了處理和傳輸，達到了很好的效果。參 考 文 獻1 胡益勝, 張明. 廣域測量系統在電力系統中的應用J. 電工技術, 2007, (5): 19-21. Hu Yisheng, Zhang Ming. The wide-area measurement system a

26、pplication in power systemJ. Electrical Technology, 2007, (5): 19-21.2 丁劍, 白曉民, 王文平, 等. 電力系統中基于同步數據的應用研究綜述J. 繼電器, 2006, 34(6): 147-150. Ding Jian, Bai Xiaomin, Wang Wenping, et al. Review of the application of power system based on synchronous dataJ. Electrical Relay, 2006, 34(6): 147-150.3 Nelson M

27、 著. 賈起東譯. 數據壓縮技術原理與范例M. 北京: 科學出版社, 1995.4 苗世洪, 王少榮, 劉沛, 等. 數據壓縮技術在電力系統通信中的應用J. 電力自動化設備, 1999, 19(3): 32-33.Miao Shihong, Wang Shaorong, Liu Pei et al. Data compression technology in power system communicationJ. Electric Power Automation Equipment, 1999, 19(3): 32-33.5 戴善榮, 等編著. 數據壓縮M. 西安電子科技大學出版社, 2005. 6 朱懷宏, 吳楠, 夏黎春. 利用優化哈夫曼編碼進行數據壓縮的探索J.微機發展, 2002, (5): 1-5.7 A. C. Rezaul, M. Kaykobad and K. Irwin. An efficient technique Decoding for CodesJ. 81(2002), 2002, ppJ05-308.8 Yih-Kai Lin, Shu-Chien Huang, Cheng-Hsing Yang.A fast alg