1、第4章 連續(linx)信息與連續(linx)信源共五十八頁2/57第4章 連續(linx)信息與連續(linx)信源 本章主要內容： 1. 連續隨機變量(su j bin lin)集合的熵 2. 離散時間高斯信源的熵 3. 連續最大熵定理 4. 連續隨機變量集的平均互信息 5. 離散集與連續集之間的互信息 共五十八頁3/57本章在研究第3章離散信源的基礎上研究連續信源的信息量度量。 內容安排如下： 首先研究離散時間連續信源的差熵，主要是高斯信源的差熵；然后(rnhu)介紹連續信源最大熵定理；最后介紹連續集合之間的平均互信息、離散集合與連續集合的平均互信息。 共五十八頁4/57本節主要內容：

2、1.連續隨機變量的離散化 2.連續隨機變量集的熵 3.連續隨機變量集的條件熵 4.連續隨機變量集的聯合熵 5.連續隨機變量集合(jh)差熵的性質 6.連續隨機變量集合的信息散度 4.1 連續隨機變量(su j bin lin)集合的熵 共五十八頁5/574.1.1 連續(linx)隨機變量的離散化 一個連續隨機變量的離散化過程大致如下(rxi)： 若給定連續隨機變量集合 的概率分布 或 概率密度 ；再給定一個由實數集合到有限或可數集合的劃分 ，使得 ，其中 表示離散區間， 為實數集合，且 互斥；用 將 進行劃分，劃分后的離散集合表示為 或 ，且使得： （4.1.2） 即，把 的概率看成 取值

3、的概率，這樣就得到離散化后隨機變量的概率分布。共五十八頁6/574.1.1 連續隨機變量(su j bin lin)的離散化(續) 對于二維連續隨機變量(su j bin lin) ，可采用類似方法，得到離散化后對應的二維離散隨機變量(su j bin lin)的聯合概率分布： （4.1.3） 其中， 分別為 的某種劃分，且 。共五十八頁7/574.1.2 連續(linx)隨機變量集的熵 設連續隨機變量集合 在離散化后分別為 ，根據離散化后的離散事件的概率(gil)可得 （4.1.4） 取等間隔劃分，即令 ，則 （4.1.5）共五十八頁8/574.1.2 連續(linx)隨機變量集的熵(續)

4、這樣，離散化后信源的熵可看成由（4.1.5）式中的兩項組成，當x0 時，第一(dy)和第二項分別用 和 來表示。那么 （4.1.6） （4.1.7）共五十八頁9/574.1.2 連續(linx)隨機變量集的熵(續) 可見，連續(linx)信源的熵由兩部分組成：一部分為絕對熵，其值為無限大，用 表示；另一部為差熵（或微分熵），用 表示。 通常我們所說的連續信源的熵就是差熵，可寫成： （4.1.8） 差熵的單位為：比特(奈特)/自由度。共五十八頁10/574.1.3 連續隨機變量(su j bin lin)集的條件熵類似地，可計算離散(lsn)化后的 為： 取等間隔劃分，即令 ，則 （4.1.9）

5、共五十八頁11/574.1.3 連續(linx)隨機變量集的條件熵(續) 當 時，第一和第二項分別(fnbi)用 和 來表示。那么 (4.1.11）共五十八頁12/574.1.3 連續隨機變量(su j bin lin)集的條件熵(續) 與前面(qin mian)類似以，連續信源的條件熵也由兩部分組成：一部分為絕對熵，其值為無限大，用 表示；另一部分為差熵，用 表示，可寫成： (4.1.12） 條件差熵的單位也為：比特(奈特)/自由度。共五十八頁13/574.1.4 連續隨機變量(su j bin lin)集的聯合熵 類似地，可以定義N維連續隨機變量集合的聯合差熵為： (4.1.13) 其中,

6、 N維連續隨機變量 , 為 的聯合概率密度,積分(jfn)為在整個概率空間的多重積分(jfn)。 聯合差熵的單位為：比特(奈特)/N自由度。共五十八頁14/574.1.4 連續隨機變量(su j bin lin)集的聯合熵(續) 對于平穩隨機過程或平穩隨機序列 定義熵率為： (4.1.14) 實際上，熵率表示每自由度的熵。 注： （1）一維連續信源的符號含一個自由度，N維連續信源的符號含N個自由度；（注意條件熵的情況） （2）一個連續信源的符號可能含多個自由度，所以(suy)比特/自由度不一定等于比特/符號； （3）對于某些信源有時也用比特/符號做單位。共五十八頁15/574.1.5 連續隨機

7、變量集合(jh)差熵的性質連續熵與離散熵的類似性連續熵與離散熵計算表達式類似。通過比較可見，由計算離散熵到計算連續熵，不過是將離散概率變成概率密度，將離散求和變成積分(jfn)。熵的不增性。連續熵同樣滿足熵的不增原理，即 (4.1.15) 由于 僅當X、Y獨立時等式成立。共五十八頁16/574.1.5 連續(linx)隨機變量集合差熵的性質(續) 連續熵與離散熵的類似性可加性 設N維隨機矢量(shling)集合 ,很容易證明 (4.1.16) 且僅當 相互獨立時，熵的不增性等式成立。共五十八頁17/574.1.5 連續隨機變量(su j bin lin)集合差熵的性質連續熵與離散熵的差別 差熵

8、可以作為信源平均不確定性的相對量度但不是絕對的量度。 如前所述，差熵實際上只是連續信源熵的一部分，因此不能作為信源平均不確性大小(dxio)的絕對量度。但是每個信源所包含的絕對熵部分都等于 ，與信源的概率分布無關，所以差熵的大小仍然可以作為信源平均不確定性的相對量度，即差熵的大的信源平均不確定性大。共五十八頁18/574.1.5 連續(linx)隨機變量集合差熵的性質(續) 連續熵與離散熵的差別 差熵不具有非負性。 根據差熵的公式，如果在整個積分區間概率密度的值若大于1，則計算出的差熵的值就小于零。在連續信源中，在一一對應變換的條件下，差熵可能(knng)發生變化。 如果兩個離散信源符號的取值

9、有一一對應的變換關系，那么變換后信源的熵是不變的 但此時對于連續信源，差熵可能發生變化。下面是詳細的論述。共五十八頁19/574.1.5 連續隨機變量(su j bin lin)集合差熵的性質連續信源變換的熵 定理4.1.1 設 、 為定義在 空間中的兩個N維矢量， 是一個可微的一對一的從RN到自身(zshn)的變換，則 (4.1.17)其中 為 的概率密度， 為逆變換 的雅可比行列式，即 (4.1.18)共五十八頁20/574.1.5 連續隨機變量集合差熵的性質(xngzh)(續)連續信源變換的熵 如果， 不依賴于 或者是一個線性變換，那么(4.1.17)式變為 (4.1.20) 設 、 為

10、定義在 空間中的兩個N維隨機矢量集合， ,其中 是一個 的可逆線性變換， 為N維常數列矢量。這時由于 ，其中 表示(biosh)矩陣A的行列式，則 (4.1.21)共五十八頁21/574.1.5 連續隨機變量集合(jh)差熵的性質(續)連續信源變換的熵可以寫成如下更明顯(mngxin)的形式： (4.1.21a)如果變換為平移和旋轉，即 ，則 (4.1.21b)即經過平移和旋轉變換后的連續信源的差熵不變。共五十八頁22/574.1.6 連續隨機變量(su j bin lin)集合的信息散度 與離散情況類似，我們可以定義連續隨機變量的信息散度。設 和 為定義在同一概率(gil)空間的兩個概率(g

11、il)密度，定義 相對 于的散度為： (4.1.22) 同樣，在(4.1.22) 中，概率密度的維數不限，可以是一維，也可以是多維。共五十八頁23/574.1.6 連續隨機變量(su j bin lin)集合的信息散度(續)定理4.1.2 (散度不等式) 如果兩個(lin )連續隨機矢量概率密度分別為 和 ，那么 (4.1.23) 當且僅當對所有 時,等式成立。共五十八頁24/57本節主要內容： 1. 一維高斯隨機變量(su j bin lin)集的熵 2. 多維獨立高斯隨機變量集的熵 3. 多維相關高斯隨機變量集的熵 4.2 離散時間(shjin)高斯信源的熵 共五十八頁25/574.2.1

12、 一維高斯(o s)隨機變量集的熵 設一維高斯隨機變量X的分布密度為： (4.2.1)其中(qzhng)，m，2分別為隨機變量X的均值和方差， 先計算 共五十八頁26/574.2.1 一維高斯(o s)隨機變量集的熵（續） 根據（4.2.5）式,可得一維高斯隨機矢量集合的熵為： (4.2.2) 可見，高斯信源的熵僅與方差有關(yugun)而與均值無關。方法二,還有另外一種求法共五十八頁27/574.2.2 多維獨立(dl)高斯隨機變量集的熵 設N維獨立高斯隨機變量的分布(fnb)密度為： (4.2.3) 其中， 分別為隨機矢量 的均值和方差。 根據熵的可加性，可求得多維獨立高斯隨機矢量集合的熵

13、： (4.2.4)共五十八頁28/574.2.3 多維相關高斯(o s)隨機變量集的熵 定理4.2.1 設N維高斯隨機矢量 的分布密度(md)為： (4.2.5)其中， 為 協方差矩陣，其中 ， ，為 的均值矢量，那么隨機矢量集的熵為： (4.2.6)共五十八頁29/57 例4.2.1 設X和Y是分別具有均值 ，方差 的兩個獨立的高斯隨機變量集合(jh),且 ， ；試求 。 解 根據題意有 共五十八頁30/57 根據(gnj) (4.1.21)，有 上面利用了X、Y的獨立性。共五十八頁31/57例4.2.2（續） 將變換改為 ， ，試求解 此時(c sh) 到 的變換是正交變換，變換后熵不變，

14、所以共五十八頁32/57主要內容 1、限峰值最大熵定理(dngl) 2、限功率最大熵定理 3、熵功率和剩余度 4.3 連續(linx)最大熵定理 共五十八頁33/57對于離散(lsn)信源，當信源符號等概率分布時信源的熵取最大值。對于連續信源，差熵也可以通過改變信源的概率密度求最大值，但情況有所不同：除一般情況下對概率密度的非負 和歸一化 的約束條件之外，還必須附加其他的約束條件。這些附加約束通常是對隨機變量矩的約束，最重要的約束是對信源輸出的峰值約束和功率約束，即在一階矩和二階矩的約束條件下求 的極值問題 共五十八頁34/574.3.1 限峰值(fn zh)最大熵定理若信源輸出信號的峰值功率

15、受限為P ，即信源輸出信號的瞬時電壓限定在 ，等價于信源輸出連續隨機變量X的取值幅度受限于 內取值，即在約束(yush) 下，求信源熵的極值。 峰值功率受限等價于將信源輸出的幅度限制在一個有限區間內。 共五十八頁35/57定理(dngl)4.3.1 幅度受限的隨機變量，當均勻分布時有最大的熵。 該定理的詳細描述如下： 當N維隨機矢量 具有(jyu)概率密度 ，分布區間為（a1，b1），（a2，b2）， （aN，bN）時，其熵滿足證明：設X是分布區間為（a1，b1），（a2，b2），（aN，bN）的均勻分布，概率密度為： 共五十八頁36/57證明(zhngmng)續： 計算(j sun)-log

16、 , （xi（ai，bi）, i=1,N ）, 根據定理4.1.2，有 所以： 即：僅當p(x)等于q(x)時，等式成立，此時的熵就是均勻分布的信源的熵。共五十八頁37/574.3.2 限功率(gngl)最大熵定理若信源輸出信號的平均功率受限，對于均值為0的一維信源來說，就是其方差 受限。對于均值不為零的N維信源 的情況，就是在其協方差矩陣 受限的約束條件下，求信源熵的極值。 一維隨機變量的功率(gngl)就是它的方差，功率受限即為方差一定；對于多維隨機變量，功率受限即為協方差矩陣一定。共五十八頁38/57定理(dngl)4.3.2 功率受限的隨機變量，當高斯分布時有最大的熵。 該定理可詳細描

17、述如下：設N 維信源 的概率密度為 ，協方差矩陣為 ，且 ，其中： t 為 的均值(jn zh)矢量，那末 的熵滿足 僅當x為高斯分布時等式成立。 證明：設 為 (4.2.5)式所規定的N維高斯概率密度，其協方差矩陣也為 ，根據定理4.1.2有 共五十八頁39/57證明(zhngmng)續所以 上面利用了兩概率分布具有相同的自協方差矩陣的條件，其中 ，類似于(4.2.6)式的推導(tudo)，可得到(4.3.1)式，僅當 為高斯分布時等式成立。證畢。 共五十八頁40/574.3.3 熵功率(gngl)和剩余度定義(dngy)差熵為h(X)的連續隨機變量集合X的熵功率為 從而有 可見，連續信源的

18、熵功率就是具有相同差熵的高斯信源的平均功率。設X的實際功率為 。根據限功率最大熵定理，具有相同功率時，高斯分布的熵最大，因此有 再根據(4.2.10)，得，即 ，任何一個信源的熵功率不大于其實際平均功率（方差）。 共五十八頁41/57信源剩余(shngy)熵功率的大小可以(ky)表示連續信源剩余的大小。如果熵功率等于信號的平均功率，就表示信號沒有剩余。熵功率和信號的平均功率相差越大，說明信號的剩余越大。所以信號平均功率和熵功率之差被稱為連續信源的剩余度。 只有高斯分布的信源的熵功率等于其實際平均功率，剩余度為零。共五十八頁42/57定理(dngl)4.3.3 熵功率不等式 如果X和Y都是方差有

19、限的連續隨機變量，則 僅當X和Y均為獨立高斯隨機變量時等式(dngsh)成立。（證明略） 上式說明，兩隨機變量集合的熵功率的和不大于兩隨機變量和的熵功率，除非兩者都是高斯隨機變量。 熵功率定義：共五十八頁43/57主要內容 1、連續隨機變量集的平均(pngjn)互信息 2、連續隨機變量集平均互信息的性質 4.4 連續隨機變量(su j bin lin)集的平均互信息 共五十八頁44/574.4.1 連續隨機變量(su j bin lin)集的平均互信息 設X、Y為兩個(lin )連續隨機變量集合，它們的平均互信息定義為：其中，Sup ( Supremum)為上確界 , 取遍所有對X、Y的劃分P

20、、Q。共五十八頁45/57設對X有兩種劃分，分別為P1、P2，其中P1中的每一個(y )區間都是P2中某個區間的子區間，則離散集合XP1 中的某元素就包含在離散集合XP2中的某個元素中。因此XP1 可看成XP2的細化。根據前面離散互信息的性質有：同樣的論證也適用于Y。可見X、Y的區間劃分越細，則平均互信息越大。因此，我們有理由把這些劃分區間大小趨近于零時的平均互信息的極限值作為連續隨機變量集合X、Y的平均互信息。 共五十八頁46/57設連續集合X、Y，分別由P、Q兩劃分(hu fn)變成離散集合且 ， ，那末，根據（4.1.2）（4.1.3）可得所以 當 時,趨近于 ，因此，共五十八頁47/5

21、74.4.2 連續隨機變量集平均(pngjn)互信息的性質 對稱性，即 非負性，即平均互信息與差熵的關系線性變換下平均互信息的不變性設 、 為定義在RN空間中的兩個N維矢量， 、 分別(fnbi)為 、 的可逆線性變換，即， ， 那么 共五十八頁48/57例題4.4.1：二維高斯隨機變量集合 ，其中 的均值和方差分別為 和，且相關系數為 ，求：（1） 的聯合分布(fnb)密度 ；（2） ；（3） 。解 （1）設XY的協方差矩陣，則 利用 (4.2.5)式，得 共五十八頁49/57續解：（2）根據高斯(o s)變量差熵的公式 (4.2.6)、(4.2.2)，得（3）根據公式(4.1.15)和 (

22、4. 2.22)，得到 共五十八頁50/57例4.4.2 已知X，S為零均值、互相獨立的高斯隨機變量集合，方差分別(fnbi)為P、Q；Z為獨立于X和S的零均值高斯噪聲，方差為N；設 ， ，其中，為常數。求：（1） ；（2）解: 由已知條件可得 （1） 共五十八頁51/57續解：（2） 共五十八頁52/57主要內容 1、離散事件與連續事件之間的互信息 2、離散集合(jh)與連續集合(jh)的平均互信息 4.5 離散集與連續(linx)集之間的互信息 共五十八頁53/574.5.1 離散(lsn)事件與連續事件之間的互信息 設事件x X ，取自字母表A，y為連續集Y中的事件，定義(dngy)x 與y之間的互信息為： 其中， 為