1、2021-12-261 數據處理定理數據處理定理 : 當消息通過多級處理器時，隨著處理器數當消息通過多級處理器時，隨著處理器數目的增多，輸人消息與輸出消息之間的平均目的增多，輸人消息與輸出消息之間的平均互信息量趨于變小。互信息量趨于變小。 2.2.4 數據處理中信息的變化第一級處理器第二級處理器XYZ輸入圖2-2-4 級聯處理器http:/ 證明證明: 圖中：圖中：X是輸入消息集合是輸入消息集合 Y是第一級處理器的輸出消息集合是第一級處理器的輸出消息集合 Z為第二級處理器的輸出消息集合為第二級處理器的輸出消息集合 假設：假設：在在Y條件下條件下X與與Z相互獨立相互獨立)/()/(log)/;(

2、jikjijkiyxpzyxpyzxI可得：可得：)/()/(logjijiyxpyxp1log00)/;(YZXI即得即得 (1)2021-12-263而且而且 (2)0)/;(ZYXI0)/;(XZYI又由又由 I(X;YZ)I(X;Y)I(X;Z/Y) 和和 I(X;YZ)I(X;ZY)I(X;Z)I(X;Y/Z) 得得: I(X;Z)= I(X;Y)I(X;Z/Y) - I(X;Y/Z) 綜合綜合(1)、(2)得：得： I(X;Z) I(X;Y)將將 I(YZ;X)I(Y;X)I(Z;X/Y) 中的中的X代替代替Y、Y代替代替Z、Z代替代替X得得 I(XY;Z)I(X;Z)I(Y;Z/

3、X) （）（）再將式（）右邊的再將式（）右邊的X和和Y互換得：互換得： I(XY;Z)I(Y;Z)I(X;Z/Y) （ ）2021-12-264由式（）和（由式（）和（ ）得：）得： I(X;Z)I(Y;Z/X) =I(Y;Z)I(X;Z/Y) 所以，有所以，有 I(X;Z)=I(Y;Z)I(X;Z/Y) -I(Y;Z/X) I(X;Z) I(Y;Z)綜合綜合(1)、(2)得：得：證畢。證畢。 結論：結論：數據處理過程中只會失掉一些信息，絕數據處理過程中只會失掉一些信息，絕不會創造出新的信息，所謂不會創造出新的信息，所謂信息不增性信息不增性。 2021-12-265非負性非負性 H（X）H（x

4、1，x2，xn）=0 其中：等號只有在其中：等號只有在n=1時成立。時成立。證明：證明： （1）因為因為 ，且在熵函數中，對，且在熵函數中，對數的底總是取大于數的底總是取大于1的數，則的數，則logp(xi)=0， -logp(xi) =0，（，（i=1,2,n）, 所以所以 1)(0ixp0)(log)()(iiixpxpXH2.2.5 熵函數的代數性質2021-12-266在熵函數中，當在熵函數中，當 n=1 時時, p(x1)=1, log p(x1)=0, H(X)=H(x1)=p(x1) log p(x1)=0 證畢。證畢。說明：說明： （i）這就是熵函數的非負性。表明，從總體平這就

5、是熵函數的非負性。表明，從總體平均意義上講，信源在發送符號以前，總是存在均意義上講，信源在發送符號以前，總是存在一定的不確定性；在發送符號后，總可以提供一定的不確定性；在發送符號后，總可以提供一定的信息量。一定的信息量。（ii）從數學角度上看，信息熵具有非負性的關從數學角度上看，信息熵具有非負性的關鍵，在于信息函數中對數的底取大于鍵，在于信息函數中對數的底取大于1的數。的數。熵的非負性并非必要條件。這種非負性對于離熵的非負性并非必要條件。這種非負性對于離散信源的信息熵是合適的，但對于連續信源來散信源的信息熵是合適的，但對于連續信源來講，在相對熵的概念下，就可能出現負值。講，在相對熵的概念下，就

6、可能出現負值。2021-12-2672對稱性對稱性 熵函數所有變元順序可以任意互換，而熵函數熵函數所有變元順序可以任意互換，而熵函數的值不變。即的值不變。即 H（x1，x2，xn） H（x2，x1，xn） H（xn，x1，x2） 因為熵函數只與隨機變量的總體結構有關，例因為熵函數只與隨機變量的總體結構有關，例如下列信源的熵都是相等的：如下列信源的熵都是相等的： 6/ 12/ 13/ 1321xxxPX2/ 16/ 13/ 1321yyyPY6/ 13/ 12/ 1321zzzPZ2021-12-268證明：證明：由由 根據加法交換律，熵函數所有變元順序可以任根據加法交換律，熵函數所有變元順序可

7、以任意互換，而熵函數的值不變。意互換，而熵函數的值不變。說明說明 (1)熵函數的對稱性表明熵函數的對稱性表明,信源的信息熵只與信源的信息熵只與信源的概率空間的總體結構有關信源的概率空間的總體結構有關,而與各概率分而與各概率分量和各信源符號的對應關系量和各信源符號的對應關系,乃至各信源符號本乃至各信源符號本身無關身無關. (2) 概率空間的總體結構概率空間的總體結構(概率分量數概率分量數n)相相同的信源同的信源,不論其信源符號是否相同不論其信源符號是否相同,也不論其也不論其概率分量與信源符號的對應關系是否一致概率分量與信源符號的對應關系是否一致,其信其信源的信息熵均相等源的信息熵均相等.iiin

8、xpxpxxxHXH)(log)(),.,()(212021-12-269分析 概率分量數都等于概率分量數都等于3,概率空間都是由概率空間都是由1/2,1/3,1/6這三個分量構成。由于這三個這三個分量構成。由于這三個信源的概率空間的總體結構相同信源的概率空間的總體結構相同,所以他所以他們的信息熵相等們的信息熵相等. 即即 H(1/3,1/2,1/6)=H(1/3,1/6,1/2) =H(1/2,1/3,1/6) =1.4592 比特比特/信源符號信源符號2021-12-26103. 確定性確定性 若信源若信源X的概率空間中任意一概率分量等于的概率空間中任意一概率分量等于1時時,其它所有概率分

9、量均等于零其它所有概率分量均等于零,即即 則信源則信源X的信息熵一定等于的信息熵一定等于0,即即 H(x) = H(0,0,1,0) = -0log0+0log0+1log1+0log0 =00.1.00.21nixxxxPX2021-12-2611說明說明當信源任意一個符號幾乎必然出現時當信源任意一個符號幾乎必然出現時,其它符號幾乎不可能出現其它符號幾乎不可能出現,這個信源是這個信源是一個確知信源一個確知信源.在發符號前在發符號前,不存在不確不存在不確定性定性;在發符號后在發符號后,不提供任何信息量不提供任何信息量.(1) 當任意一個概率分量等于當任意一個概率分量等于1時時,才能使信才能使信

10、源信息熵等于源信息熵等于0.2021-12-26124香農輔助定理香農輔助定理 對于任意兩個對于任意兩個n維概率矢量維概率矢量P=（p1，p2，pn）和）和Q=（q1，q2，qn），如下不等式成），如下不等式成立立:niiiniiinqppppppH1121loglog),.,( 該式表明，對任意概率分布該式表明，對任意概率分布pi，它對其他概率，它對其他概率分布分布qi的自信息量的自信息量-logqi取數學期望時，必不小取數學期望時，必不小于于 pi本身的熵。等號僅當本身的熵。等號僅當 P=Q時成立。時成立。 2021-12-26135最大離散信源熵定理 給定給定離散無記憶信源輸出離散無記憶

11、信源輸出n n個不同的信息個不同的信息符號，符號，離散信源的離散信源的n個概率分量個概率分量p1, p2,pn , 當且僅當各個符號出現概率相當且僅當各個符號出現概率相等時（即等時（即piln n）熵最大。）熵最大。 H（X）= H(1/n,1/n,1/n) = logn 2021-12-2614證明: 按條件極值的數學求解方法，做輔助函數（約束按條件極值的數學求解方法，做輔助函數（約束條件條件 ) F(p1,p2,pn) = H(p1,p2,pr)+pi1 = -pipi +pi 1 其中，其中，為待定常數，對輔助函數為待定常數，對輔助函數F(p1,p2,pn)中的中的n 個變量個變量pi（

12、i=1,2,n）分別求偏導，并置）分別求偏導，并置之為零，得之為零，得n個穩定點方程個穩定點方程 -（1+ pi）+=0 （i=1,2,n） 11niip2021-12-2615 由穩定點方程可解得由穩定點方程可解得 pi=2(-1) （i=1,2,n） 將上式代入約束方程，有將上式代入約束方程，有 pi =2 (-1)=n 2(-1)=1 即得即得 2(-1)=1/n 解得使熵函數解得使熵函數H(p1,p2,pn)取得條件極取得條件極大值，即熵函數大值，即熵函數H(p1,p2,pn)的最大值的最大值的信源符號的信源符號xi（i=1,2,n）相應的概率）相應的概率分布分布 pi=1/n 202

13、1-12-2616 由此，求得熵函數的最大值由此，求得熵函數的最大值 H0(p1,p2,pn)=H(1/n,1/n,1/n) = 1/n1/n = n 在一般情況下，離散信源的熵函數不會在一般情況下，離散信源的熵函數不會超過上式所示的最大值，即有超過上式所示的最大值，即有 H(p1,p2,pn) n 2021-12-26176條件熵小于無條件熵條件熵小于無條件熵 條件熵小于信源熵：條件熵小于信源熵：H(X/Y) = 0, 所以所以, H（X）一）一 H（XY）= 0 H（X）= H（XY）2021-12-2618兩個條件下的條件熵小于一個條件下的兩個條件下的條件熵小于一個條件下的條件熵：條件熵

14、： H（ZX Y）= H（ZY）。）。 當且僅當當且僅當p(z/xy)=p(z/y)時取等號。時取等號。 證明證明: 由由 I(Z;Y)=H(Z)-H(Z/Y) 所以所以 I(Z/Y;X)=H(Z/Y)-H(Z/YX) 又有又有 I(Z/Y;X) 0 所以所以 H(Z)-H(Z/XY) 0 H(Z/XY) =0所以所以 H（X） H（Y） = H（XY） 2021-12-2622互信息量與熵之間的關系圖互信息量與熵之間的關系圖H(X/Y)H(Y/X)I(X;Y)H(X)H(Y)H(XY)2021-12-2623H（XY）= H（X）H（Y/X） = H（Y）H（XY） H（X） H（XY），）

15、，H（Y） H（YX） I（X；Y）= H（X）- H（XY） = H（Y）- H（YX） = H（X）H（Y）H（XY） H（XY） H（X）H（Y） 如果如果X與與Y互相獨立，則互相獨立，則I（X；Y）0 此時：此時：H（XY）H（X）+H（Y） H（X）H（XY） H（Y）H（YX） 從圖中可得到如下關系從圖中可得到如下關系2021-12-2624例例226 二進制通信系統用符號二進制通信系統用符號“0”和和“1”，由，由于存在失真，傳輸時會產生誤碼，用符于存在失真，傳輸時會產生誤碼，用符號表示下列事件：號表示下列事件：u0:發出一個發出一個“0”；u1：發出一個發出一個“1”；v0：收

16、到一個：收到一個“0”；v1：收到一個收到一個“1”。 2021-12-2625 給定下列概率：給定下列概率：p（u0）=1/2, p（v0u0）3/4，p（v0u1）1/2，求求（1）已知發出一個已知發出一個“0”，收到符號后得到的，收到符號后得到的信息量；信息量；（2）已知發出的符號，收到符號后得到的信已知發出的符號，收到符號后得到的信息量；息量；（3）知道發出的和收到的符號能得到的信息知道發出的和收到的符號能得到的信息量；量；（4）已知收到的符號，被告知發出的符號得已知收到的符號，被告知發出的符號得到的信息量。到的信息量。 2021-12-2626解：解：設設U=u0,u1,V=v0,v

17、1,（1）先求出先求出 p(v1/u0)=1 p(v0/u0)=1/4 所以所以 H(V/u0)= p(v0/u0)log2p(v0/u0) p(v1/u0)log2p(v1/u0) =H(1/4,3/4)=0.82 比特比特/符號符號2021-12-2627（2）聯合概率聯合概率 p（u0 v0）p（v0/u0）p（u0）3/8， 同理可得同理可得 p（u0 v1） p（v1/u0）p（u0） =18， p（u1 v0）= p（v0/u1）p（u1） =14， p（u1 v1） p（v1/u1）p（u1） =142021-12-2628H（VU）= =0.91 比特比特/符號符號 10102

18、)/(log)(ijijjiuvpvup21log4121log4141log8143log8322222021-12-2629（3）解法解法1： H（U V）= =-p(u0v0)log2p(u0v0) - p(u0v1)log2p(u0v1) -p(u1v0)log2p(u1v0) - p(u1v1)log2p(u1v1) =1.91 比特比特/符號符號 10102)/(log)(ijijjiuvpvup2021-12-2630解法2： 因為因為p（u0）=p（u1）=1/2， 所以所以H(U)=- p（u0)log2 p（u0） - p（u1)log2 p（u1） =1 比特比特/符號符

19、號 H（UV）H（U）H（VU） = 10.91 1.91比特比特/符號符號 2021-12-2631(4）可求出可求出 p(v0)= p(u0v0)+p(u1v0) =3/8+1/4 =5/8 p(v1)= p(u0v1) +p(u1v1) =1/8+1/4 =3/8 H（V）=H（3/8，5/8）=0.96 比特比特/符號符號 H（UV）= H（V）+ H（U/V） H（U/V）=H（UV）- H（V） =1.91- 0.96 =0.95 比特比特/符號符號 2021-12-2632第 三 講2002年4月29日2021-12-2633 條件條件熵熵定義定義 在給定在給定Y（即各個（即各個

20、yj）條件下，）條件下，X集合的條件集合的條件 熵熵H（X/Y）定義為）定義為 H（X/Y）jijijiyxpyxp,)/(log)(在給定在給定X（即各個（即各個xi）條件下，）條件下，Y集合的條件集合的條件熵熵H（Y/X）定義為）定義為 H（Y/X）jiijjixypyxp,)/(log)(回顧第二講回顧第二講2021-12-2634聯合熵聯合熵定義定義 聯合熵是聯合符號集合聯合熵是聯合符號集合 XY上的每個元素對上的每個元素對xiyj的自信息量的概率加權統計平均值。定義的自信息量的概率加權統計平均值。定義為為 H（XY）jijijiyxpyxp,)(log)(回顧第二講回顧第二講2021

21、-12-2635回顧第二講回顧第二講 什么叫互信息量什么叫互信息量? 什么叫平均互信息量什么叫平均互信息量?I（xi;yj）=log )()/(ijixpyxpjiijijixpyxpyxpYXI,)()/(log)();(2021-12-2636數據處理定理如何描述數據處理定理如何描述? 當消息通過多級處理器時，當消息通過多級處理器時，隨著處理器數目的增多，輸入隨著處理器數目的增多，輸入消息與輸出消息之間的平均互消息與輸出消息之間的平均互信息量趨于變小。信息量趨于變小。2021-12-2637 熵函數的代數性質熵函數的代數性質:1.非負性非負性2.對稱性對稱性 H（x1，x2，xn）H（x2

22、，x1，xn） H（xn，x1，x2） H（X）H（x1，x2，xn）02021-12-26383. 確定性確定性 H(x) = H(0,0,1,0) = -0log0+0log0+1log1+0log0 = 04. 香農輔助定理香農輔助定理niiiniiinqppppppH1121loglog),.,(2021-12-26395. 最大熵定理最大熵定理 6. 條件熵小于無條件熵條件熵小于無條件熵niiiniiinqppppppH1121loglog),.,(2021-12-2640今天所講內容如下今天所講內容如下2021-12-2641 2.3.1 連續信源的熵連續信源的熵 什么叫連續信源熵

23、什么叫連續信源熵? 分析如下分析如下: 假設假設x a, b，令，令 x (b-a)n， xi a(i-1) x , aix ，px(x)為連續為連續變量變量X的概率密度函數，則利用中值定理的概率密度函數，則利用中值定理, X取取xi的概率是的概率是: 第三節 連續信源的熵和互信息2021-12-2642根據離散信源熵的定義，則根據離散信源熵的定義，則 當當n 時，即時，即 時，由積分定義得時，由積分定義得 xxpdxxpxpiXxiaxiaXi)()()()1(niiXiXniiinxxpxxpxpxpXH11)(log)()(log)( ）0 x)(lim)(XHXHnndxxpxdxxp

24、xpbabaiXxiXiX)(loglim)(log)(02021-12-2643 上式的第一項具有離散信源熵的形式，上式的第一項具有離散信源熵的形式，是定值，第二項為無窮大。是定值，第二項為無窮大。 因此因此, 連續信源熵連續信源熵(也叫也叫相對熵相對熵)定義為定義為:baxiXiXxdxxpxploglim)(log)(0dxxpxpXHXXc)(log)()(2021-12-2644說明: 為什么連續信源的不確定度為無窮大為什么連續信源的不確定度為無窮大? 雖然連續信源熵與離散信源熵具有相雖然連續信源熵與離散信源熵具有相同的形式，但其意義不同。連續信源的不同的形式，但其意義不同。連續信源

25、的不確定度應為無窮大，這是因為連續信源可確定度應為無窮大，這是因為連續信源可以假設是一個不可數的無限多個幅度值的以假設是一個不可數的無限多個幅度值的信源，需要無限多個二進制比特來表示，信源，需要無限多個二進制比特來表示，因而它的熵為無窮大因而它的熵為無窮大(絕對熵絕對熵)。但采用上。但采用上式來定義連續信源的熵是因為在實際問題式來定義連續信源的熵是因為在實際問題中，常遇到的是熵之間的差，如互信息量，中，常遇到的是熵之間的差，如互信息量，只要兩者逼近時所取的只要兩者逼近時所取的x 一致，上式中一致，上式中第二項無窮大量是抵消的。第二項無窮大量是抵消的。 2021-12-2645 0 1 2 3

26、x1/2Px(x)（a）信源輸出信號概率密度）信源輸出信號概率密度例例2-3-1 已知信源概率密度，求連續熵？已知信源概率密度，求連續熵？由圖（由圖（a）得）得 bitdxdxxpxpXHXXc121log21)(log)()(31222021-12-2646 0 1 2 3 4 5 6 x1/4Px(x)（b）信源輸出信號被放大）信源輸出信號被放大2倍后概率密度倍后概率密度由圖（由圖（b）得）得 bitdxdxxpxpXHxxc6222241log41)(log)()(2021-12-2647說明：說明： 圖（圖（b）是圖（）是圖（a）的放大，計算結）的放大，計算結果表明信息量增加了，這是荒

27、謬的。因果表明信息量增加了，這是荒謬的。因為這兩種情況的絕對熵是不會變的，這為這兩種情況的絕對熵是不會變的，這是由無窮大項所造成的，圖（是由無窮大項所造成的，圖（b）比（）比（a）大了大了1比特。因此比特。因此Hc（X）給出的熵有）給出的熵有相相對意義，而不是絕對值。對意義，而不是絕對值。 1log2logxx2021-12-2648 連續信源聯合相對熵連續信源聯合相對熵 連續信源條件相對熵連續信源條件相對熵 dxdyxypxypXYHc)(log)()( dxdyxypxypXYHc)/(log)()/(2021-12-26492. 互信息量互信息量 Hc(XY)Hc(X)Hc(Y/X) H

28、c(Y)Hc(X/Y) I(X;Y)I(Y;X) Hc(X)- Hc(X/Y) Hc(X)Hc(Y)- Hc(XY) Hc(Y)- Hc(Y/X)2021-12-26502.3.2 連續信源最大相對熵定理連續信源最大相對熵定理 問題問題: 在連續信源中，當概率密度函數滿足什么在連續信源中，當概率密度函數滿足什么條件時才能使連續信源條件時才能使連續信源相對熵相對熵最大？最大？ 2021-12-2651峰值功率受限的最大相對熵定理峰值功率受限的最大相對熵定理 對于定義域為有限的隨機矢量對于定義域為有限的隨機矢量X，當它是，當它是均勻分布時，其熵最大。均勻分布時，其熵最大。證明證明:已知已知變量變量

29、X的幅度取值限制在的幅度取值限制在a,b，則，則由，由， 有有 ，對于對于由拉格郎日乘數法知由拉格郎日乘數法知 1)(dxxpXbaXdxxp1)(dxxpxpXHXXc)(log)()(22021-12-2652 令令 dxxpxpxpxFXXX)()(log)()(20)()(xpxFX01)(log2xpX1)(log2xpX12)(xpXbaXdxxp1)(badx121ab121 有有2021-12-2653 當任意當任意 符合平均分布條件符合平均分布條件 時，信源達到最大熵。時，信源達到最大熵。 abxpX1)(dxxpxpXHXXc)(log)()(2abdxabab1log12

30、其它,0,1)(bxaabxpX)(xpX2021-12-2654限平均功率最大相對熵定理限平均功率最大相對熵定理 對于相關矩陣一定的隨機矢量對于相關矩陣一定的隨機矢量X，當它是正態分布時，當它是正態分布時具有最大相對熵。具有最大相對熵。 定理：對于單維連續信源定理：對于單維連續信源X來說，在取值區間來說，在取值區間a,b（或（或R)內，內，若有這樣一個概率密度函數若有這樣一個概率密度函數 對另一個滿足同樣約束條對另一個滿足同樣約束條件的概率密度函數件的概率密度函數 ，如有，如有 則這個概率密度函數則這個概率密度函數 就是使單維連續信源就是使單維連續信源X的相對熵的相對熵達到最大值的概率密度函

31、數，其最大相對熵是：達到最大值的概率密度函數，其最大相對熵是：)(xp)(xqdxxpxpdxxpxq)(ln)()(ln)()(xpdxxpxp)(ln)(2021-12-2655證明:設：設：連續信源連續信源X在整個實數軸在整個實數軸R:（-，） 取值，取值， 其平均功率限定為其平均功率限定為P(均值固定為均值固定為m)。若。若 是是 滿足平均功率限定條件（均值固定為滿足平均功率限定條件（均值固定為m）的除）的除 了正態分布的概率密度函數以外的任一概率密了正態分布的概率密度函數以外的任一概率密 度函數，即有度函數，即有 )(xq(3) )(2) )(1) 1)(2Pdxxqxmdxxxqd

32、xxq2021-12-2656 若把連續信源若把連續信源X在取值區間（在取值區間（-，）內）內滿足平均功率限定條件（均值固定為滿足平均功率限定條件（均值固定為m）的正態分布的概率密度函數記為的正態分布的概率密度函數記為 ,則有則有 =1 （4） =m （5） =P （6） dxxp)(dxxxp)(dxxpx)(2)(xp2021-12-2657 符合約束條件（符合約束條件（4）和（）和（5）及（）及（6）式的）式的正態分布的概率密度函數正態分布的概率密度函數 其中：其中：m為數學期望，為數學期望， 是方差是方差 221)(xp222)(expmx22021-12-2658 dxxpmx)()(22dxxpmxmx)()2(22dxxpx)(2dxxxmp )(2dxxpm)(2dxxxpmp)(2dxxpm)(22mp （7） 由于平均功率由于平均功率P是限定值（均值固定為是限定值（均值固定為m），所以方差），所以方差 也是限定值也是限定值 22021-12-2659 由(1),(2),和(3)及(4)式可有 dxxpxq)(ln)(dxmxxq2222)(exp21ln)(dxxq221ln)(dxmxxq222)()()2ln(212dxmxmxxq222)(2212021-12-2660)2ln(