1、第1章 高階統(tǒng)計(jì)量的定義與性質(zhì)1.1 準(zhǔn)備知識(shí)1. 隨機(jī)變量的特征函數(shù)若隨機(jī)變量的分布函數(shù)為，則稱為的特征函數(shù)。其中為概率密度函數(shù)。離散情況：特征函數(shù)是概率密度的付里葉變換。例：設(shè)，則特征函數(shù)為令，則根據(jù)公式：，則若，則。2. 多維隨機(jī)變量的特征函數(shù)設(shè)隨機(jī)變量聯(lián)合概率分布函數(shù)為，則聯(lián)合特征函數(shù)為令,，則 矩陣形式或 標(biāo)量形式其中，為聯(lián)合概率密度函數(shù)。例：設(shè)維高斯隨機(jī)變量為,的概率密度為 的特征函數(shù)為 矩陣形式其中，, 標(biāo)量形式3. 隨機(jī)變量的第二特征函數(shù)定義：特征函數(shù)的對(duì)數(shù)為第二特征函數(shù)為(1) 單變量高斯隨機(jī)過程的第二特征函數(shù) (2) 多變量情形1.2 高階矩與高階累積量定義1. 單個(gè)隨機(jī)變

2、量情形(1) 高階矩定義隨機(jī)變量的階矩定義為 (1.1)顯然，。隨機(jī)變量的階中心矩定義為 (1.2)由式(1.2)可見，,。若存在，則的特征函數(shù)可按泰勒級(jí)數(shù)展開，即 (1.3)并且與的階導(dǎo)數(shù)之間的關(guān)系為 (1.4)(2) 高階累積量定義的第二特征函數(shù)按泰勒級(jí)數(shù)展開，有 (1.5)并且與的階導(dǎo)數(shù)之間的關(guān)系為 (1.6)稱為隨機(jī)變量的階累積量，實(shí)際上由及的連續(xù)性，存在，使時(shí)，故第二特征函數(shù)對(duì)有意義且單值（只考慮對(duì)數(shù)函數(shù)的主值），的前階導(dǎo)數(shù)在處存在，故也存在。(3) 二者關(guān)系下面推導(dǎo)與之間的關(guān)系。形式地在式(2.3)與式(2.5)中令，并利用 (1.7)比較上式中各同冪項(xiàng)系數(shù)，得階累積量與階矩的關(guān)系

3、如下：若，則 由上可見，當(dāng)隨機(jī)變量的均值為零時(shí)，其前三階累積量與前三階矩相同，而四階累積量與相應(yīng)的高階矩不相同。2. 多個(gè)隨機(jī)變量情形(1) 高階矩給定維隨機(jī)變量，其聯(lián)合特征函數(shù)為(1.8)其第二聯(lián)合特征函數(shù)為 (1.9)可見，聯(lián)合特征函數(shù)就是隨機(jī)變量的聯(lián)合概率密度函數(shù)的維付里葉變換。對(duì)式(1.8)與(1.9)分別按泰勒級(jí)數(shù)展開，則階數(shù)的聯(lián)合矩可用聯(lián)合特征函數(shù)定義為 (1.10)(2) 高階累積量同樣地，階數(shù)的聯(lián)合累積量可用第二聯(lián)合特征函數(shù)定義為 (1.11)(3) 二者關(guān)系聯(lián)合累積量可用聯(lián)合矩的多項(xiàng)式來表示，但其一般表達(dá)式相當(dāng)復(fù)雜，這里不加詳述，僅給出二階、三階和四階聯(lián)合累積量與其對(duì)應(yīng)階次的

4、聯(lián)合矩之間的關(guān)系。設(shè)和均為零均值隨機(jī)變量，則 (1.12a) (1.12b) (1.12c)對(duì)于非零均值隨機(jī)變量，則式(1.12)中用代替即可。與單個(gè)變量情形類似，前三階聯(lián)合累積量與前三階聯(lián)合矩相同，而四階及高于四階的聯(lián)合累積量則與相應(yīng)階次的聯(lián)合矩不同。注意，式(1.12)中采用表示聯(lián)合累積量的方法在以后將時(shí)常用到。3. 平穩(wěn)隨機(jī)過程的高階累積量設(shè)為零均值階平穩(wěn)隨機(jī)過程，則該過程的階累積量定義為隨機(jī)變量的階聯(lián)合累積量，即 (1.13)而該過程的階矩則定義為隨機(jī)變量的階聯(lián)合矩，即 (1.14)這里，表示聯(lián)合矩。由于是階平穩(wěn)的，故的階累積量和階矩僅僅是時(shí)延的函數(shù)，而與時(shí)刻無(wú)關(guān)，其二階、三階和四階累

5、積量分別為 (1.15a) (1.15b) (1.15c)可以看出，的二階累積量正好就是其自相關(guān)函數(shù)，三階累積量也正好等于其三階矩，而的四階累積量則與其四階矩不一樣，為了得到四階累積量，必須同時(shí)知道四階矩和自相關(guān)函數(shù)。1.3 高階累積量的性質(zhì)高階累積量具有下列重要特性：(1) 設(shè)為常數(shù)，為隨機(jī)變量，則(2) 累積量關(guān)于變量對(duì)稱，即其中為中的任意一種排列。(3) 累積量關(guān)于變量具有可加性，即 (4) 如果為常數(shù)，則 (5) 如果隨機(jī)變量與隨機(jī)變量相互獨(dú)立，則 (6) 如果隨機(jī)變量中某個(gè)子集與補(bǔ)集相互獨(dú)立，則1.4 高斯過程的高階累積量1. 單個(gè)高斯隨機(jī)變量情形設(shè)隨機(jī)變量服從高斯分布，即的概率密度

6、函數(shù)為故有的第二特征函數(shù)為 (1.16)利用累積量與的關(guān)系式(1.6)，并比較(1.6)與(1.16)兩式，可以得到隨機(jī)變量的各階累積量為 ， ， 由此，我們有下列結(jié)論：(1) 高斯隨機(jī)變量的一階累積量和二階累積量恰好就是的均值和方差。(2) 高斯隨機(jī)變量的高階累積量等于零。(3) 由于高斯隨機(jī)變量的各階矩為 可見，高階累積量與高階矩不一樣。由于高斯隨機(jī)變量的高階矩并不比其二階矩多提供信息，它仍取決于二階矩的統(tǒng)計(jì)知識(shí)，所以人們寧愿選擇高階累積量這一統(tǒng)計(jì)量，直接把多余的信息用零來處理。2. 高斯隨機(jī)過程情形先討論維高斯隨機(jī)矢量，設(shè)其均值矢量為，協(xié)方差矩陣為 其中 維高斯隨機(jī)變量的聯(lián)合概率密度函數(shù)

7、為的聯(lián)合特征函數(shù)為其中，的第二聯(lián)合特征函數(shù)為由于階數(shù)的聯(lián)合累積量可由第二特征函數(shù)定義為于是，維高斯隨機(jī)變量的各階累積量為：（1），即中某個(gè)值取1(設(shè))，而其余值為零，于是 （2），這有兩種情況：1）中某兩個(gè)值取1(設(shè))，其余值為零，這時(shí) 上式利用了關(guān)系式。2)中某個(gè)值取2（設(shè)），其余值為零，這時(shí) （3），由于是關(guān)于自變量的二次多項(xiàng)式，因而關(guān)于自變量的三階或三階以上（偏）導(dǎo)數(shù)等于零，因而的三階或三階以上聯(lián)合累積量等于零，即由上一節(jié)關(guān)于隨機(jī)過程的累積量的定義可知，對(duì)于高斯隨機(jī)過程，其階次大于的階累積量也為零，即 (1.17) 由于高斯過程的高階累積量（當(dāng)階次大于時(shí)）等于零，而對(duì)于非高斯過程，至少存

8、在著某個(gè)大于的階次，其階累積量不等于零。因此，利用高階累積量可以自動(dòng)地抑制高斯背景噪聲（有色或白色）的影響，建立高斯噪聲下的非高斯信號(hào)模型，提取高斯噪聲中的非高斯信號(hào)（包括諧波信號(hào)）。正因?yàn)檫@樣，高階累積量這一統(tǒng)計(jì)量已日益受到人們的重視并已成為信號(hào)處理中一種非常有用的工具。因此，文中在今后的算法研究中均代用高階累積量而不采用高階矩。1.5 雙譜及其性質(zhì)1. 高階譜的定義設(shè)為零均值平穩(wěn)隨機(jī)過程，則其階累積量的維付里葉變換定義為的階譜(kth-order spectrum)，即 (1.18)通常，為復(fù)數(shù)，其存在的充分必要條件是絕對(duì)可和，即高階譜又稱作多譜(Polyspectrum)，通常階譜對(duì)應(yīng)于

9、譜。例如三階譜對(duì)應(yīng)雙譜(Bispectrum)，四階譜對(duì)應(yīng)于三譜(Trispectrum)，今后我們大多數(shù)采用多譜這一概念。取時(shí)，式(1.18)分別簡(jiǎn)化為功率譜、雙譜和三譜公式，即，為功率譜 (1.19)，為雙譜 (1.20)，為三譜 (1.21)容易看出，式(1.19)就是維納-辛欽定理。可見，功率譜也是高階譜的一種特殊形式。2. 雙譜的性質(zhì)在高階譜中，雙譜處理方法最簡(jiǎn)單，且含有功率譜中所沒有的相位信息，是高階譜研究中的“熱點(diǎn)”。因此下面著重研究雙譜及其性質(zhì)。設(shè)為零均值、三階實(shí)平穩(wěn)隨機(jī)過程，其自相關(guān)函數(shù)和功率譜分別為 (1.22) 而其三階累積量和雙譜分別為 (1.23) (1.24)由式(

10、1.23)可知，三階累積量具有如下對(duì)稱性： (1.25)由式(1.24)雙譜的定義及式(1.25)三階累積量的對(duì)稱性可知：(1) 通常是復(fù)數(shù)，即包含幅度和相位。 (2) 是以為周期的雙周期函數(shù)，即 (3) 具有如下對(duì)稱性 (1.26)此外，雙譜在實(shí)際應(yīng)用中還具有如下重要特性：(1) 高斯過程：如果為零均值、高斯平穩(wěn)隨機(jī)過程，則對(duì)于所有，都有，因此。(2)非高斯白噪聲過程：如果是具有，的非高斯白噪聲過程，則其功率譜和雙譜分別為一直線與一平面，即，。(3) 非高斯白噪聲通過線性系統(tǒng)：設(shè)線性系統(tǒng)的傳遞函數(shù)為，系統(tǒng)的輸入為零均值非高斯白噪聲，且，則系統(tǒng)輸出的功率譜與雙譜分別為 (1.27) (1.28

11、)設(shè) (1.29) (1.30)則 (2.31) (2.32)由上可見，雙譜的幅度譜和功率譜均由決定，因而雙譜的幅度譜與功率譜的信息一樣多。但功率譜不含相位信息，而雙譜則包含相位信息，這就使雙譜在信號(hào)處理領(lǐng)域得到越來越多的應(yīng)用，因?yàn)橛行﹫?chǎng)合如對(duì)圖像處理來說，相位信息比幅度信息還重要。(4) 非最小相位系統(tǒng)的辨識(shí)雙譜含有相位信息，因此在非最小相位系統(tǒng)辨識(shí)中變得十分有用，現(xiàn)用一個(gè)簡(jiǎn)單的例子加以說明。設(shè)輸入為非高斯平穩(wěn)白噪聲過程，它有，。線性系統(tǒng)為下列三種情形的二階FIR系統(tǒng)。1) 最小相位系統(tǒng) 系統(tǒng)輸出為 2) 最大相位系統(tǒng) 系統(tǒng)輸出為 3) 混合相位系統(tǒng) 系統(tǒng)輸出為 輸出，及具有相同的自相關(guān)序列

12、，即 這就意味著它們具有相同的功率譜，因此利用功率譜無(wú)法將三個(gè)系統(tǒng)區(qū)分開來。然而利用雙譜則可以區(qū)分，因?yàn)椋熬哂胁煌娜A累積量，見表1.1。這表明三階累積量可以用來辨識(shí)非最小相位系統(tǒng)，這在地震信號(hào)反褶積及數(shù)據(jù)通信中有重要的應(yīng)用。表1.1具有相同自相關(guān)的三個(gè)系統(tǒng)的輸出的三階累積量累積量最小相位系統(tǒng)最大相位系統(tǒng)混合相位系統(tǒng)(5) 混合高斯和非高斯系統(tǒng)的辨識(shí)設(shè)一過程的功率譜為，雙譜為。若與相匹配的線性系統(tǒng)的傳遞函數(shù)為，即 (1.33)而與相匹配的線性系統(tǒng)的傳遞函數(shù)為，即 (1.34)當(dāng)由式(1.33)求得的與由式(1.34)求得的不同時(shí)，可用來辨識(shí)高斯與非高斯分量組合的系統(tǒng)。下面就來研究這個(gè)問題。

13、考慮如圖1-1所示的過程，它由兩個(gè)過程組成：一為高斯白噪聲通過AR濾波器的輸出，另一為非高斯白噪聲通過AR濾波器的輸出。設(shè)與相互獨(dú)立， 圖1-1 混合高斯和非高斯系統(tǒng)因此與相互獨(dú)立。為方便起見，設(shè)，。于是的雙譜是和各自雙譜的和，因?yàn)槭歉咚惯^程，其雙譜為零，故的雙譜就是的雙譜。的雙譜可由式(1.34)確定，其中 而的功率譜為與各自功率譜的和，它由式(1.33)確定，其中 而 這個(gè)例子表明，描述過程雙譜的模型不同于描述過程功率譜的模型。雙譜的這一特征使雙譜在辨識(shí)高斯與非高斯分量組合系統(tǒng)時(shí)起著關(guān)鍵作用，這也是我們利用雙譜及多譜（或高階累積量）進(jìn)行隨機(jī)信號(hào)建模以及有色噪聲中諧波恢復(fù)的理論依據(jù)。雙譜還具有其它一些性質(zhì)，如可用來檢測(cè)二次相位耦合，辨識(shí)系統(tǒng)的非線性等，這里就不再詳述。1.6 系統(tǒng)中的高階累積量對(duì)于單輸入單輸出線性時(shí)不變系統(tǒng)，輸入與輸出的高階累積量及多譜之間的關(guān)系