第3章離散無記憶信道與互信息

3.1單符號(hào)離散無記憶信道及其轉(zhuǎn)移概率3.2信道疑義度3.3范諾不等式3.4互信息的定義3.5平均互信息的基本性質(zhì)3.6平均互信息的凸性3.7信息系統(tǒng)的可靠性和有效性問題3.8連續(xù)信道的平均互信息習(xí)題33.1單符號(hào)離散無記憶信道及其轉(zhuǎn)移概率前面我們已經(jīng)從信源輸出隨機(jī)變量X的不確定性出發(fā)，討論了信源的平均信息量，即信源的信息熵。在實(shí)際的信息傳遞過程中，信源輸出的信息總是需要通過信道的傳輸來完成，即人們獲取信源輸出的信息是通過對(duì)信道的輸出進(jìn)行觀測而實(shí)現(xiàn)的。因此在前面的討論中，事實(shí)上我們做了一個(gè)假定，即信道中沒有隨機(jī)性干擾，通過信道的傳輸，接收端收到的符號(hào)與信源的輸出完全一致。然而，在一般的通信系統(tǒng)（見圖3-1）中，信道中是存在隨機(jī)性干擾的。由于信道干擾的影響，其輸出隨機(jī)變量Y與輸入隨機(jī)變量X（信源的輸出）并非總是一樣。因此對(duì)于信息傳輸過程的考察，不僅需要了解關(guān)于信源X的不確定性，而且需要分析經(jīng)過系統(tǒng)的信息傳遞，在接收端觀測到Y(jié)之后對(duì)X仍然存在的不確定性。為了便于討論和建立相應(yīng)的概念，此處首先建立一個(gè)最簡單的信道模型——單符號(hào)離散無記憶信道。圖3-1一般的通信系統(tǒng)

1.單符號(hào)離散無記憶信道圖3-2給出了一個(gè)單符號(hào)離散無記憶信道，其輸入和輸出分別為離散隨機(jī)變量X和Y。圖3-2單符號(hào)離散無記憶信道單符號(hào)離散無記憶信道有如下兩個(gè)基本特性。（1）輸入和輸出隨機(jī)變量的取值都是離散的，即X∈{a1,a2,…,ar}Y∈{b1,b2,…,bs}

信道的輸入、輸出構(gòu)成了一個(gè)離散的隨機(jī)變量對(duì)(X,Y)，可以借助二維隨機(jī)變量加以描述。

(2)某一時(shí)刻信道的輸出Y僅取決于即時(shí)信道的輸入X，與前面時(shí)刻信道的輸入和輸出無關(guān)。

2.單符號(hào)離散無記憶信道的轉(zhuǎn)移概率分布由于信道中存在著隨機(jī)性干擾，信道的輸出Y統(tǒng)計(jì)依賴于信道的輸入X。因此，當(dāng)信道的輸入X=ai時(shí)，輸出Y=bj發(fā)生的概率為條件概率，即P(Y=bj|X=ai)=P(bj|ai)i=1,2,…,r;j=1,2,…,s(3.1)這組條件概率P(bj|ai)反映了信道輸入X與輸出Y之間的統(tǒng)計(jì)依賴關(guān)系，被稱為信道的轉(zhuǎn)移概率。信道轉(zhuǎn)移概率滿足：(3.2)對(duì)于有r種輸入和s種輸出的單符號(hào)離散無記憶信道，反映其輸入X與輸出Y之間的統(tǒng)計(jì)依賴關(guān)系的條件概率共有r×s個(gè)。這樣的r×s個(gè)條件概率可以排成一個(gè)r行s列的矩陣這個(gè)矩陣被稱為信道的轉(zhuǎn)移概率矩陣或簡稱為信道矩陣。3.2信道疑義度信道中存在隨機(jī)性的干擾。信源輸出的符號(hào)經(jīng)信道傳遞，在這種隨機(jī)性干擾的影響下，輸出Y成為輸入X的一個(gè)“干擾”變形。因此，在接收端觀測信道的輸出Y之后，收信者仍然不能夠確定信源輸出的是哪一個(gè)符號(hào)，對(duì)于信源X，將仍然存在一定程度的不確定性。由第2章的討論可知，在不借助于對(duì)信道輸出Y的觀測的條件下，關(guān)于信源X的先驗(yàn)不確定性由信息熵H（X）來度量。因此，信源的信息熵H（X）也稱做先驗(yàn)熵。那么，在接收端觀測到信道的輸出Y之后，仍然存在的關(guān)于輸入X的不確定性應(yīng)該怎樣度量呢？首先，假設(shè)在信道的輸出端觀測到Y(jié)=bj（j固定）的情況。由信道的轉(zhuǎn)移概率分布可知，當(dāng)Y=bj時(shí)，信源輸出X=ai的概率為條件概率:P(bj|ai)i=1,2,…,r因此，在接收到Y(jié)=bj之后，我們關(guān)于X的后驗(yàn)不確定性為

H(X|Y=bj)表示了接收到Y(jié)=bj時(shí)關(guān)于X的不確定性，稱為接收到Y(jié)=bj時(shí)關(guān)于信源X的后驗(yàn)熵。(3.3)由于j=1,2,…,s，H(X|Y=bj)是一個(gè)伴隨著隨機(jī)變量Y=bj的發(fā)生而發(fā)生，并且與Y=bj有相同概率分布P(bj)的隨機(jī)變量,因此我們需要一個(gè)確定的量，能夠從總體上來度量在接收端觀測到消息集合Y時(shí)關(guān)于信源X的平均后驗(yàn)不確定性。為此，定義H(X|Y=bj)的數(shù)學(xué)期望為條件熵H(X|Y)：(3.4)由于信道中存在隨機(jī)性干擾，因此在對(duì)信道輸出Y進(jìn)行觀測后，我們對(duì)信道的輸入X仍具有某種程度的不確定性。條件熵H（X|Y）反映了觀測到Y(jié)之后對(duì)X仍然保留的不確定性。由于經(jīng)過信息傳遞仍然存在的這種不確定性是信道中存在的隨機(jī)性干擾，因此條件熵H（X|Y）被稱為信道疑義度。如果信道中不存在隨機(jī)性噪聲，即Y與X有一一對(duì)應(yīng)的確定關(guān)系，則在信道的輸出端接收到符號(hào)集Y之后，便可以完全消除關(guān)于符號(hào)集X的不確定性，故信道疑義度H（X|Y）=0。如果信道中存在隨機(jī)性干擾，則在信道的輸出端接收到符號(hào)集Y之后，不能夠完全消除關(guān)于信源X的不確定性，即仍然存在一定程度的剩余不確定性。但是，由第2章給出的條件熵的基本性質(zhì)：H(X|Y)≤H(X)可以知道，觀測信道的輸出Y之后，信道疑義度必小于等于信源的信息熵。因此，在統(tǒng)計(jì)平均意義下，對(duì)信道輸出Y的觀測對(duì)于減小關(guān)于信源X的不確定性總會(huì)有所幫助。由下面例子，我們可以更加明確地了解信道疑義度H(X|Y)滿足的關(guān)系。

【例3.1】圖3-3為一個(gè)二進(jìn)制可抹信道。已知輸入隨機(jī)變量X的概率空間為，輸出隨機(jī)變量Y∈{0,?,1}。計(jì)算：H(X|Y=0)、H(X|Y=?)、H(X|Y=1)和H(X|Y)。解：給定二進(jìn)制可抹信道的轉(zhuǎn)移概率P(y|x)可以列表表示（見表3-1）。圖3-3二進(jìn)制可抹信道表3-1P(y|x)信源的先驗(yàn)熵為

比特/符號(hào)

依概率關(guān)系：

可以求出隨機(jī)變量對(duì)(X,Y)的聯(lián)合概率分布P(x,y)和反向信道參數(shù)P(x|y)（見表3-2和表3-3）。表3-2P(x,y)表3-3P(x|y)于是有：

比特/符號(hào)

比特/符號(hào)

比特/符號(hào)計(jì)算結(jié)果表明，通過觀測信道的輸出了解信源的輸出時(shí)，如果得到Y(jié)=0或Y=1，則對(duì)于信源X將不再具有不確定性；當(dāng)觀測到Y(jié)=？時(shí)，對(duì)于X的后驗(yàn)不確定性H（X|Y=？）比其先驗(yàn)不確定性H（X）更大，即由先驗(yàn)不確定性0.9183比特/符號(hào)增大為1比特/符號(hào)。由此可知，在接收到某一具體符號(hào)Y=bj時(shí)，可能對(duì)于消除關(guān)于信源X的不確定性有幫助，也可能不僅無幫助，反而會(huì)使這種不確定性進(jìn)一步增大。但是應(yīng)當(dāng)明確，條件熵H(X|Y=bj)伴隨著Y=bj的發(fā)生而發(fā)生，是一個(gè)與Y=bj同分布的隨機(jī)變量。對(duì)于一個(gè)通信系統(tǒng)，其傳輸信息的能力需要從總體上進(jìn)行考察和度量。條件熵小于等于其無條件熵，即H(X|Y)≤H(X)的基本關(guān)系表明，在統(tǒng)計(jì)平均意義下，對(duì)信道輸出Y進(jìn)行觀測對(duì)于減小或消除關(guān)于信源X的平均不確定性總會(huì)有所幫助。在此例中，信道疑義度（后驗(yàn)熵）為

比特/符號(hào)而關(guān)于信源X的先驗(yàn)平均不確定（先驗(yàn)熵）為

H（X）=0.9183比特/符號(hào)

可見，觀測信道的輸出Y之后，仍然存在的關(guān)于信源X的平均不確定性減小了。3.3范諾不等式信道疑義度H(X|Y)度量了觀測信道輸出Y之后對(duì)信源X仍然保留的平均不確定性。范諾（Fano）不等式描述了信道疑義度與信息系統(tǒng)的錯(cuò)誤概率之間的關(guān)系，是反映通信過程中信道疑義度的產(chǎn)生原因和取值大小的一個(gè)重要性質(zhì)。為了推出范諾不等式，先給出下面的引理。

引理3.1

設(shè)X、Y、Z為隨機(jī)變量，對(duì)Z的每一取值z，定義

則有：

H(X|Y)≤H(Z)+E［logA(z)］(3.6)(3.5)證明：由A（z）的定義可知，A(z)、logA(z)都只與隨機(jī)變量Z有關(guān)，故A(z)、logA(z)與Z有相同的概率分布，即概率分布均為P(z)?？疾煊^測信道的輸出Y之后，關(guān)于信源X的平均不確定性即條件熵為對(duì)于三維隨機(jī)變量(X,Y,Z)，(X,Y)發(fā)生的邊緣概率分布可以由三維隨機(jī)變量(X,Y,Z)的聯(lián)合概率分布P(x,y,z)得到，即(3.7)因此(3.8)已知對(duì)數(shù)函數(shù)是上凸函數(shù)，并且是一組概率分布，對(duì)內(nèi)和式應(yīng)用Jensen不等式，便有：(3.9)因此(3.10)

定理3.1（范諾不等式）

設(shè)X和Y是隨機(jī)變量，X和Y均取值于離散集合{a1,a2,…,ar}。令pe=p(X≠Y)為錯(cuò)誤概率，那么H(X|Y)≤H2(pe)+pelog(r－1)

(3.11)證明：在X和Y有同樣符號(hào)取值集合的通信系統(tǒng)中，我們感興趣的是在接收端接收到的符號(hào)是否與信源輸出的符號(hào)一致。為此，在接收到Y(jié)之后，我們定義隨機(jī)變量Z：

由定理中給出的條件得到隨機(jī)變量Z的概率分布為(3.12)(3.13)根據(jù)前面的引理，對(duì)于隨機(jī)變量Z的每一取值z，定義隨機(jī)變量Z的函數(shù):

并依據(jù)定理中的條件計(jì)算隨機(jī)變量的函數(shù)A(z)和logA(z)的取值。當(dāng)Z=0時(shí)：(3.14)以y作為參變量，遍取x時(shí)：

式(3.14)中的內(nèi)和式：(3.15)(3.16)故有：

和logA(0)=log1=0

當(dāng)Z=1時(shí)：(3.17)(3.18)以y作為參變量，遍取x時(shí)：

在固定y，改變x時(shí)，滿足x≠y的X的取值有r－1個(gè)，有：(3.19)(3.20)故有：

和

logA(1)=log(r－1)(3.21)由于A(z)、logA(z)是與Z同分布的隨機(jī)變量，因此可以寫出它們的概率空間為因而可以求出：(3.22)

(3.23)將式(3.22)和式(3.23)的結(jié)果代入引理的結(jié)論中，便有：H(X|Y)≤H(Z)+E［logA(z)］=H2(pe)+pelog(r－1)

范諾不等式是反映信道疑義度H(X|Y)取值大小關(guān)系的一個(gè)重要定理，在信息系統(tǒng)分析中有明確意義和作用。此時(shí)信道的輸入和輸出有相同的符號(hào)集合，即X,Y∈(a1,a2,…,ar)，而系統(tǒng)中的錯(cuò)誤概率為：pe=P(X≠Y)。范諾不等式所指出的關(guān)系表明，在觀測信道的輸出Y之后，關(guān)于隨機(jī)變量X仍然存在的不確定性由兩部分組成。

(1)首先，需要判斷X是否與Y相同。在范諾不等式的證明中，定義了隨機(jī)變量:

因此，判斷X是否與Y相同等效于確定隨機(jī)變量Z為0還是為1，即信息傳輸過程中是否發(fā)生了錯(cuò)誤。由于已知信道中發(fā)生傳輸錯(cuò)誤的概率為pe，因此由輸出“對(duì)”或“錯(cuò)”所構(gòu)成的信源的熵為H（Z）=H2(pe)，即關(guān)于判斷“X是否與Y相同”的平均不確定性為H2(pe)。若可判斷得出X=Y，則由Y可知X，消除了關(guān)于X的不確定性。

(2)若已知X與Y不相同，則需要確定X究竟取何種符號(hào)。如果由第一步判斷已得知X≠Y，則由于X仍有r-1種可能的取值，因此，接收者對(duì)于信源X究竟輸出了哪一種符號(hào)仍然具有不確定性。但是，由熵的極值性可以知道，在已知X≠Y的條件下，關(guān)于X究竟取哪一種符號(hào)的不確定性不會(huì)超過log(r－1)。同時(shí)，由于X≠Y發(fā)生的概率為pe，因此“在X≠Y時(shí)，X究竟取何種符號(hào)”的平均不確定性不會(huì)超過pelog(r－1)。可見,范諾不等式的確指出了信息系統(tǒng)中信道疑義度H(X|Y)取值的上限,即滿足：H(X|Y)≤H2(pe)+pelog(r－1)3.4互信息的定義在一般的信息傳輸過程中，收信者獲取信源X輸出的信息，是通過信源輸出的符號(hào)在信道中傳遞，觀測信道的輸出來實(shí)現(xiàn)的（見圖3-4）。圖3-4一般的通信系統(tǒng)由前面的討論我們已經(jīng)知道，在收到信源輸出消息前對(duì)信源X的輸出具有不確定性。H（X）表示關(guān)于信源X的先驗(yàn)不確定性，而H（X|Y）則表示對(duì)信道輸出Y觀測后關(guān)于X的后驗(yàn)不確定性。因?yàn)镠(X|Y)≤H(X)，所以通過信息的傳遞和對(duì)Y的觀測，接收者對(duì)X的不確定性由H(X)減小為H(X|Y)，表明通過信息系統(tǒng)的信息傳遞，接收者由Y獲得了一些關(guān)于信源X的信息。在對(duì)各類信息系統(tǒng)進(jìn)行分析和設(shè)計(jì)中，需要對(duì)信源X的表示、傳輸信息的能力等方面進(jìn)行定量的分析和計(jì)算。本節(jié)我們將從信息的傳遞使得關(guān)于X的不確定性減小入手，建立對(duì)一般通信系統(tǒng)中信息傳遞現(xiàn)象定量描述的基礎(chǔ)，引出互信息的定義并深入討論互信息所具有的性質(zhì)。3.4.1符號(hào)間的互信息

設(shè)有離散無記憶信源：

經(jīng)離散無記憶信道傳輸，信道輸出符號(hào)集為Y∈{b1,b2,…,bs}首先考察接收到單個(gè)符號(hào)Y=bj時(shí)對(duì)了解信源符號(hào)X=ai的幫助,即分析信息系統(tǒng)中單個(gè)符號(hào)之間的信息傳遞關(guān)系。如果信道無噪無損，則X與Y一一對(duì)應(yīng)。由于Y與X有確定的對(duì)應(yīng)關(guān)系，因此如果接收者收到Y(jié)=bj，則可以確定信源的輸出符號(hào)為X=ai，即由Y=bj獲得了信源輸出X=ai的信息對(duì)于某一信源符號(hào)X=ai,我們具有先驗(yàn)不確定性，即單信源符號(hào)的自信息。已知X=ai發(fā)生的概率P(ai)對(duì)符號(hào)ai的先驗(yàn)不確定性為符號(hào)ai的自信息，即(3.24)然而，一般的信道中存在著隨機(jī)性干擾。在隨機(jī)干擾的作用下，信道的輸出符號(hào)Y=bj成為信源輸出符號(hào)X=ai的一個(gè)干擾變型。因此，接收到Y(jié)=bj之后，對(duì)X=ai仍然存在不確定性。已知Y=bj時(shí)，X=ai發(fā)生的概率為后驗(yàn)概率P(ai|bj)。接收到Y(jié)=bj后，接收者關(guān)于X=ai的不確定性為P(ai|bj)的函數(shù)，即

i=1,2,…,r;j=1,2,…,s可見，接收到Y(jié)=bj后，雖然對(duì)X=ai仍然具有不確定性，但是，通過對(duì)Y的觀測，關(guān)于X=ai的不確定性發(fā)生了變化。這種變化表明接收者從接收到Y(jié)=bj這一事件中得到了關(guān)于X=ai的某些信息。于是，我們給出符號(hào)間互信息的定義:

X=ai的先驗(yàn)不確定性與其后驗(yàn)不確定性之差為符號(hào)ai、bj之間的互信息，記做I(ai;bj)。

互信息I(ai;bj)代表了由接收到的符號(hào)Y=bj獲得的關(guān)于X=ai的信息量。

符號(hào)間的互信息I(ai;bj)有下面的基本關(guān)系。(3.25)

1．對(duì)稱性I(ai;bj)=I(bj;ai)

(3.26)證明：對(duì)稱性表明，由Y=bj提供的關(guān)于X=ai的信息量等于由X=ai提供的關(guān)于Y=bj的信息量。

I(ai;bj)與I(bj;ai)的這種對(duì)稱性也稱為交互性，因此I(ai;bj)被稱為互信息量。

2．符號(hào)間的互信息量的取值關(guān)系對(duì)于信源符號(hào)X=ai，其先驗(yàn)不確定性取決于先驗(yàn)（已知）概率分布P(ai)。觀測到Y(jié)=bj之后，關(guān)于X=ai的后驗(yàn)不確定性則取決于信道的統(tǒng)計(jì)特性，即后驗(yàn)概率P(ai|bj)。由于X=ai、Y=bj之間的互信息是關(guān)于X=ai的先驗(yàn)不確定性和后驗(yàn)不確定性之差，因此實(shí)際上此互信息量的取值也取決于信道的特性，即X=ai的后驗(yàn)概率。在不同的信道中，因其統(tǒng)計(jì)特性即后驗(yàn)概率P(ai|bj)不同，故X=ai與Y=bj之間的互信息的取值將有不同的特點(diǎn)。

(1)對(duì)于無噪無損信道，X=ai與Y=bj之間為一一對(duì)應(yīng)關(guān)系，即P(ai|bj)=1。此時(shí)可由Y=bj唯一地確定信源輸出X=ai，獲得ai的自信息量I(ai)。

(2)對(duì)于X=ai與Y=bj統(tǒng)計(jì)獨(dú)立的信道，因?yàn)镻(ai,bj)

=P(ai)P(bj)，所以有

可見，由信道的輸出Y=bj不能夠獲得關(guān)于X=ai的任何信息，I(ai;bj)=0。(3.27)

(3)對(duì)于一般的信道，后驗(yàn)概率P(ai|bj)滿足:0≤P(ai|bj)≤1i=1,2,…,r;j=1,2,…,s此時(shí)互信息的取值大小顯然取決于P(ai|bj)與P(ai)的關(guān)系。當(dāng)P(ai)≤P(ai|bj)<1時(shí)，通過對(duì)信道輸出bj的觀測，接收者對(duì)X=ai的不確定性減小了，即由bj中獲得了關(guān)于ai的一些信息，此時(shí)I(ai;bj)≥0。如果0<P(ai|bj)<P(ai)，則表明觀測到Y(jié)=bj后，對(duì)信源是否發(fā)出X=ai的不確定性不僅沒有減小，反而增大了，即觀測系統(tǒng)的輸出后，由Y=bj消除的關(guān)于X=ai的不確定性為一負(fù)值，有I(ai;bj)<0。因此，在已知某信源符號(hào)X=ai的概率關(guān)系（先驗(yàn)概率）時(shí)，通過觀測Y=bj所獲得的互信息I(ai;bj)的取值可正可負(fù)。

3．任何兩個(gè)事件之間的互信息量不大于其中任一事件的自信息量

(3.28)

證明：

由于P(ai|bj)≤1i=1,2,…,r;j=1,2,…,s因此同理由P(bj|ai)≤1i=1,2,…,r;j=1,2,…,s得出

證畢。

【例3.2】

圖3-5所示為二進(jìn)制可抹信道。計(jì)算符號(hào)之間的互信息I(x=0;y=0)和I(x=0;y=?)。圖3-5二進(jìn)制可抹信道解：由例3.1已知，已求出給定二進(jìn)制可抹信道的信道疑義度。根據(jù)符號(hào)間的互信息的定義，可以求得：

比特因?yàn)閥=0與x=0具有確定的概率轉(zhuǎn)移關(guān)系，所以接收到y(tǒng)=0后便可以消除信源發(fā)出x=0的不確定性。因此，由y=0所獲得x=0的信息量為x=0的自信息I(x=0),而

比特可見，由于信道中存在干擾，因此在接收到y(tǒng)=?時(shí)關(guān)于x=0的不確定性更大,即由y=?所獲得的關(guān)于x=0的信息量為負(fù)值。由二進(jìn)制可抹信道的后驗(yàn)概率可知，P(x=0|y=1)=0，如果觀測到y(tǒng)=1，則信源不可能發(fā)出0。因此無需考慮y=1與x=0之間的互信息。3.4.2平均互信息

符號(hào)間的互信息I(ai;bj)描述了在對(duì)通信系統(tǒng)的輸出進(jìn)行觀測時(shí)，由Y=bj得到的關(guān)于X=ai的信息量。這一符號(hào)間的互信息以單個(gè)符號(hào)的不確定性的變化（改變量）給出了一種信息的度量方法。但是由于X=ai和Y=bj均為隨機(jī)變量，因此由Y=bj所獲得的關(guān)于X=ai的互信息I(ai;bj)i=1,2,…,r;j=1,2,…,s是一個(gè)伴隨著X=ai與Y=bj同時(shí)發(fā)生而發(fā)生的隨機(jī)量，且發(fā)生的概率為X=ai和Y=bj構(gòu)成的聯(lián)合事件發(fā)生的聯(lián)合概率:P(ai,bj)i=1,2,…,r;j=1,2,…,s

顯然，使用這樣的按照一定概率而發(fā)生的隨機(jī)變量來度量一個(gè)信息系統(tǒng)傳輸信息的能力具有明顯的局限性。對(duì)于通信系統(tǒng)總體而言，其傳輸信息的特性和能力應(yīng)當(dāng)從系統(tǒng)的總體上加以度量，即關(guān)于信息量的描述和度量不應(yīng)當(dāng)是一個(gè)隨機(jī)變量，而應(yīng)當(dāng)是能夠從信息系統(tǒng)總體進(jìn)行描述的一個(gè)確定的量。因此，關(guān)于信息的描述與度量只能在統(tǒng)計(jì)平均的意義下進(jìn)行測度。

定義3.1

在聯(lián)合集X，Y上，X=ai與Y=bj之間的互信息I(ai;bj)在聯(lián)合概率空間:P(ai,bj)i=1,2,…,r;j=1,2,…,s中的統(tǒng)計(jì)平均值（期望值）稱為平均互信息，記做I(X;Y)。即I(X;Y)=H(X)－H(X|Y)此式表明，“Y已知”這一事件使我們關(guān)于X的不確定性減少了I(X;Y)，即通過通信系統(tǒng)的傳輸，接收到符號(hào)集Y后平均每個(gè)符號(hào)獲得關(guān)于X的信息量為I(X;Y)。因此，I(X;Y)稱為X與Y之間的平均互信息，簡稱為互信息。在下面的討論中，有時(shí)將平均互信息表示為

此時(shí)，x和y分別表示隨機(jī)變量X和Y的一個(gè)取值符號(hào)，而表示對(duì)隨機(jī)變量X和Y的全空間求和。

【例3.3】接續(xù)例3.1計(jì)算所給信源和二進(jìn)制可抹信道構(gòu)成的系統(tǒng)中，由Y所得到的關(guān)于X的平均互信息。解：前面已求出各種概率的關(guān)系,如表3-4和表3-5所示。H(X)=0.9138比特/符號(hào)比特/符號(hào)表3-4P(x,y),P(x)表3-5P(x|y)比特/符號(hào)亦可：

I(X;Y)=H(X)－H(X|Y)

=0.9183-0.3333≈0.585比特/符號(hào)由前面的計(jì)算結(jié)果知道，如果在接收端觀測到y(tǒng)=?，則由y=?獲得的關(guān)于x=1的互信息為負(fù)值。此處的計(jì)算表明，對(duì)于整個(gè)系統(tǒng)而言，所得的平均互信息是大于0的，即對(duì)符號(hào)集Y的觀測總會(huì)使我們對(duì)X的了解有所幫助。3.5平均互信息的基本性質(zhì)

平均互信息具有下面一些基本性質(zhì)。

1．對(duì)稱性I(X;Y)=I(Y;X)

(3.29)證明：

因?yàn)榫哂袑?duì)稱性，所以在下面的討論中我們主要考慮I（X;Y）。

2．非負(fù)性

I(X;Y)≥0

(3.30)當(dāng)且僅當(dāng)X、Y統(tǒng)計(jì)獨(dú)立時(shí)等式成立。證明：由定義式：

當(dāng)X、Y統(tǒng)計(jì)獨(dú)立時(shí):故有:

（等式成立條件）

當(dāng)X、Y非統(tǒng)計(jì)獨(dú)立時(shí)，有因?yàn)閷?duì)數(shù)函數(shù)是上凸函數(shù)，所以應(yīng)用顏森不等式，有

所以，I(X；Y)≥0當(dāng)且僅當(dāng)X、Y統(tǒng)計(jì)獨(dú)立時(shí)等式成立。證畢。由關(guān)于符號(hào)間的互信息I(ai;bj)的討論我們知道，I(ai;bj)的取值可正可負(fù),即由于信道中干擾的影響，由某一符號(hào)Y=bj獲得的關(guān)于X=ai的信息有可能是負(fù)數(shù)。然而,在對(duì)全空間(X,Y)作統(tǒng)計(jì)平均后，由一個(gè)通信系統(tǒng)的輸出Y獲得的關(guān)于X的平均互信息不會(huì)為負(fù)值。這就是說，從統(tǒng)計(jì)平均的意義上講，觀測信道的輸出Y總會(huì)對(duì)消除關(guān)于信源X的不確定性有幫助，即由Y總會(huì)獲得一些關(guān)于X的信息，而不會(huì)損失信息。只有當(dāng)信道的輸入X和輸出Y是統(tǒng)計(jì)獨(dú)立時(shí)，由信道的輸出Y才不能得到關(guān)于信源X的任何信息。

3．極值性I(X;Y)≤H(X)

(3.31)因?yàn)镠(X|Y)≥0，所以有I(X;Y)=H(X)－H(X|Y)≤H(X)。只有在無損信道中，即H(X|Y)=0時(shí)，I(X;Y)才能達(dá)到其最大值H(X)（等式成立條件）。

4．平均互信息和各類熵的關(guān)系平均互信息I(X;Y)和條件熵H(X|Y)、H(Y|X)、聯(lián)合熵H(X,Y)有如下關(guān)系：I(X;Y)=H(X)－H(X|Y)

=H(Y)－H(Y|X)

=H(X)+H(Y)－H(X,Y)

這些關(guān)系的證明可直接由I（X；Y）的定義式得到。例如：平均互信息和各類熵之間的關(guān)系可以由圖3-6所示的文氏圖表示出來。在圖3-6中，以X為中心的圓的面積表示關(guān)于X的不確定性即熵H(X);以Y為中心的圓的面積表示關(guān)于Y的不確定性即熵H(Y);兩圓所包圍的關(guān)于聯(lián)合事件X、Y的不確定性即X、Y的聯(lián)合熵H（X，Y）；兩圓未重疊的部分分別表示在已知某一隨機(jī)變量時(shí)的不確定性，即條件熵H(X|Y)和H(Y|X);這兩個(gè)圓相互重疊的陰影區(qū)則表示出了由一個(gè)隨機(jī)變量所獲得的關(guān)于另一個(gè)隨機(jī)變量的信息，即互信息。文氏圖不僅從幾何關(guān)系上形象地表示出了熵、條件熵、聯(lián)合熵和互信息之間的關(guān)系，也有助于我們對(duì)這些概念及它們之間的關(guān)系的物理意義的理解。圖3-6文氏圖3.6平均互信息的凸性

由前面的討論可知，通過信息傳遞，我們由信道的輸出Y獲得的關(guān)于信源輸出X的信息為平均互信息I(X;Y)。在圖3-7所示的通信系統(tǒng)中，如果改變信源（即改變P(x)），則由Y所得到的關(guān)于X的互信息I(X;Y)也將隨之改變。同理，如果改變信道（改變P(y|x)），那么由Y所得到的關(guān)于X的平均互信息I(X;Y)也將隨之改變。圖3-7簡單的通信系統(tǒng)由平均互信息I(X;Y)的定義式可以明顯地看到這一結(jié)論。由于

其中，，因此當(dāng)信源的概率分布P(x)改變時(shí)，或者是信道的轉(zhuǎn)移概率改變時(shí)，平均互信息I(X;Y)將隨之改變,即平均互信息I(X;Y)是信源概率分布P(x)和信道轉(zhuǎn)移概率分布P(y|x)的函數(shù)。這種函數(shù)關(guān)系可以記做：I（X;Y）=I［P(x);P(y|x)］(3.32)由于信源和信道是構(gòu)成通信系統(tǒng)的主要部分，因此在研究通信系統(tǒng)中的信息傳遞現(xiàn)象時(shí)，深入分析平均互信息I(X;Y)與信源概率分布P(x)和信道轉(zhuǎn)移概率分布P(y|x)的依賴關(guān)系是十分有意義的。為此，我們給出平均互信息I(X;Y)與信源概率分布P(x)和信道轉(zhuǎn)移概率分布P(y|x)之間的函數(shù)關(guān)系所具有的兩個(gè)重要性質(zhì)。

定理3.2

平均互信息I(X;Y)是信源概率分布P(x)的上凸函數(shù)。證明：此處我們考察的是互信息I(X;Y)隨信源概率分布P(x)改變時(shí)的函數(shù)特性。為了使分析較簡明，我們假設(shè)給定一個(gè)信道（即信道的轉(zhuǎn)移概率P(y|x)固定不變），而信源的概率分布P(x)是可變的。此時(shí)相當(dāng)于將一個(gè)可變信源發(fā)出的符號(hào)通過一個(gè)固定信道進(jìn)行傳輸（如圖3-8所示的物理模型）。圖3-8信源可變、信道固定的通信系統(tǒng)此時(shí)，平均互信息僅與信源概率分布P(x)呈函數(shù)關(guān)系：I（X;Y）=I［P(x)］(3.33)為了證明此時(shí)平均互信息函數(shù)與信源概率分布P(x)的上凸性關(guān)系，我們首先假設(shè)已給定兩種不同的信源概率分布P1(x)和P2(x)，并使用給定信道分別傳輸兩種不同信源的輸出符號(hào)。在這兩種不同的信源概率分布下，可以分別得到聯(lián)合事件X、Y的聯(lián)合概率分布和信道輸出Y的邊緣概率分布：它們均滿足概率分布率的條件，即對(duì)應(yīng)于兩種信源概率分布P1(x)和P2(x)，可以計(jì)算得到相應(yīng)的平均互信息I(X;Y),即為了分析平均互信息I(X;Y)與P(x)的凸性關(guān)系，由兩種已知的信源概率P1(x)和P2(x)，通過線性組合構(gòu)造第三種信源概率分布P(x)。令0≤α,β≤1，α+β=1，組合得到：P(x)=αP1(x)+βP2(x)

已知P1(x)、P2(x)是概率分布，它們滿足概率分布率：則有：0≤αP1(x)+βP2(x)≤1和可知,對(duì)于由P1(x)和P2(x)的線性組合構(gòu)造的第三種信源P(x)確為一組概率分布。使用給定信道傳輸?shù)谌N信源（組合信源）輸出的符號(hào)，可以求出此時(shí)聯(lián)合事件X、Y的聯(lián)合概率分布：

P(x,y)=P(x)P(y|x)

=αP1(x)P(y|x)+βP2(x)P(y|x)=αP1(x,y)+βP2(x,y)和隨機(jī)變量Y的邊緣概率分布：

顯然，P(x,y)和P(y)滿足：因此，使用給定信道（P(y|x)固定）傳輸?shù)谌N信源（概率分布P(x)）輸出的符號(hào)時(shí)，系統(tǒng)中的平均互信息I(X;Y)為如果可以證明上述平均互信息之間滿足:

便可知平均互信息I(X;Y)是信源概率分布P(x)的上凸函數(shù)。因?yàn)椋?.34）已知對(duì)數(shù)函數(shù)是上凸函數(shù)，應(yīng)用顏森不等式，則因此式（3.34）所表示的互信息之間的關(guān)系成立,即對(duì)于0≤α,β≤1,α+β=1滿足αI［P1(x)］+βI［P2(x)］≤I［αP1(x)+βP2(x)］所以，平均互信息I(X;Y)是信源概率分布P(x)的上凸函數(shù)。證畢。由平均互信息I(X;Y)的定義知道，平均互信息I(X;Y)是信源概率分布P(x)的函數(shù)。當(dāng)使用某一固定信道（給定信道轉(zhuǎn)移概率分布P(y|x)）傳輸不同信源（信源概率分布P(x)不同）輸出的符號(hào)時(shí)，在系統(tǒng)的輸出端獲得的平均信息量是不同的。定理3.2指出平均互信息I(X;Y)與信源概率分布P(x)之間的函數(shù)呈上凸性關(guān)系。這一反映平均互信息I(X;Y)與信源概率分布P(x)之間關(guān)系的重要性質(zhì)表明，對(duì)于每一個(gè)給定的信道，一定存在一種信源，使得在信道的輸出端獲得的關(guān)于信源的信息量I(X;Y)達(dá)到其最大值。

定理3.3

平均互信息I(X;Y)是信道轉(zhuǎn)移概率P(y|x)的下凸函數(shù)。證明：此處考察的是平均互信息I(X;Y)隨信道轉(zhuǎn)移概率分布P(y|x)改變時(shí)的函數(shù)特性。為此，假設(shè)給定一個(gè)信源（即信源的概率分布P(x)固定不變）和一個(gè)轉(zhuǎn)移概率分布P(y|x)可變的實(shí)驗(yàn)信道。將給定信源（P(x)固定）的輸出符號(hào)通過P(y|x)可變的實(shí)驗(yàn)信道傳輸。圖3-9給出了此時(shí)的信息系統(tǒng)模型。圖3-9信源固定、信道可變的通信系統(tǒng)由于P(x)是固定不變的，因此此時(shí)系統(tǒng)中的平均互信息I(X;Y)僅與信道轉(zhuǎn)移概率分布P(y|x)呈函數(shù)關(guān)系，即可簡單記做：I(X;Y)=I［P(y|x)］(3.35)設(shè)給定概率分布為P(x)的信源X。首先給定轉(zhuǎn)移概率分布分別為P1(y|x)和P2(y|x)的兩種已知信道。它們的信道參數(shù)分別滿足概率分布率的條件，即將給定信源X輸出的符號(hào)經(jīng)這兩種不同的信道構(gòu)成信息傳輸系統(tǒng)。對(duì)應(yīng)于兩種不同的信息傳輸系統(tǒng)，輸入、輸出隨機(jī)變量X、Y所構(gòu)成的聯(lián)合事件(X,Y)的聯(lián)合概率分布分別為相應(yīng)的邊緣概率分布為

條件概率分布為對(duì)應(yīng)于兩種不同的信道P1(y|x)和P2(y|x)，可以計(jì)算得到相應(yīng)的平均互信息I［P1(y|x)］和I［P2(y|x)］,即為了分析平均互信息I(X;Y)與信道轉(zhuǎn)移概率P(y|x)的凸性關(guān)系，由兩種已知信道P1(y|x)和P2(y|x)通過線性組合構(gòu)造第三種信道。設(shè)0≤α,β≤1，α+β=1，第三種信道的轉(zhuǎn)移概率分布為P(y|x)=αP1(y|x)+βP2(y|x)

因?yàn)镻1(y|x)和P2(y|x)滿足概率分布率的條件，所以可推知P(y|x)滿足：0≤αP1(y|x)+βP2(y|x)≤1和

顯然，線性組合得到的第三種信道的轉(zhuǎn)移概率分布率P(y|x)是一組概率分布。將給定信源X輸出的符號(hào)經(jīng)組合信道傳輸構(gòu)成信息傳輸系統(tǒng)時(shí)，輸入、輸出隨機(jī)變量X、Y的聯(lián)合概率分布為

P(x,y)=P(x)P(y|x)=αP(x)P1(y|x)+βP(x)P2(y|x)

=αP1(x,y)+βp2(x,y)進(jìn)一步可以求出此時(shí)的邊緣概率分布為

條件概率分布為

進(jìn)而得到經(jīng)組合信道傳輸給定信源的輸出符號(hào)時(shí)的平均互信息I(X;Y)為考察互信息之間的關(guān)系：

因?yàn)閷?duì)數(shù)函數(shù)是上凸函數(shù)，所以應(yīng)用顏森不等式得：

因此，對(duì)于0≤α,β≤1,α+β=1，滿足：

所以，平均互信息I（X;Y）是信道轉(zhuǎn)移概率分布P(y|x)的下凸函數(shù)。證畢。由平均互信息I(X;Y)的定義知道，I(X;Y)是信道轉(zhuǎn)移概率分布P(y|x)的函數(shù)。如果使用不同的信道（信道轉(zhuǎn)移概率分布P(y|x)可變）傳輸給定信源（信源概率分布P(x)固定）輸出的符號(hào)，則在系統(tǒng)的輸出端獲得的平均信息量是不同的。定理3.3指出平均互信息I(X;Y)與信道轉(zhuǎn)移概率分布P(y|x)之間的函數(shù)關(guān)系呈下凸性關(guān)系。這一平均互信息I(X;Y)的重要性質(zhì)表明，對(duì)于每一個(gè)給定的信源（P(x)固定），一定存在一種信道（轉(zhuǎn)移概率分布為P(y|x)），使得傳輸該信源符號(hào)時(shí)的平均互信息I(X;Y)達(dá)到其最小值。3.7信息系統(tǒng)的可靠性和有效性問題

對(duì)于一個(gè)廣義的通信系統(tǒng)模型，信息傳輸?shù)幕灸康氖窃诮邮斩藴?zhǔn)確地或近似地再現(xiàn)從信源輸出的信息，如何有效地表示信源輸出的信息，如何充分利用信道的信息傳輸能力實(shí)現(xiàn)信息的可靠傳輸，是信息系統(tǒng)的設(shè)計(jì)所追求的基本目標(biāo)。因此，信息系統(tǒng)的有效性和可靠性是系統(tǒng)最優(yōu)化技術(shù)研究中的基本問題。圖3-10簡單通信系統(tǒng)在圖3-10所示的簡單通信系統(tǒng)的信息傳輸過程中，信源X發(fā)出的符號(hào)經(jīng)信道傳遞，收信者通過觀測信道的輸出Y獲得信源信息。平均而言，由每一個(gè)信道輸出Y所得到的信源X的信息量被稱為系統(tǒng)的信息傳輸率R。由于平均互信息I(X;Y)即為在信道的輸出端接收到符號(hào)集Y后，平均由每一個(gè)輸出符號(hào)中獲得的關(guān)于信源X的信息量,因此，信息傳輸系統(tǒng)的信息傳輸率即為平均互信息，即R=I(X;Y)比特/符號(hào)由于平均互信息I(X;Y)是信源概率分布P(x)和信道轉(zhuǎn)移概率分布P(y|x)的函數(shù),即I(X;Y)=I［P(x);P(y|x)］因此對(duì)于一個(gè)信息傳輸系統(tǒng)，如果信源不同（P(x)不同）或者信道不同（P(y|x)不同），則該系統(tǒng)的信息傳輸率R不同。由此可知，作為描述信息系統(tǒng)傳輸信息的特性和能力的一個(gè)基本物理量，平均互信息I(X;Y)的凸性對(duì)于研究信息傳輸與處理系統(tǒng)的可靠性和有效性問題，有重要的理論指導(dǎo)意義和實(shí)用價(jià)值。下面我們分別討論平均互信息的凸性所具有的物理意義以及針對(duì)信息系統(tǒng)最優(yōu)化中所反映的基本問題，分析平均互信息的凸性所具有的理論指導(dǎo)意義。

1．互信息I(X;Y)是信源概率分布的上凸函數(shù)的物理意義由于信道中存在的隨機(jī)性干擾可能使得信息傳輸發(fā)生錯(cuò)誤，因此為了提高信息傳輸?shù)目煽啃裕枰ㄟ^信道編碼實(shí)現(xiàn)無差錯(cuò)的信息傳輸。對(duì)于一個(gè)給定信道，在充分利用其信息傳輸能力的條件下的無差錯(cuò)信息傳輸成為各類信道編碼方法研究的目標(biāo)。因此，給定有噪信道所具有的最大信息傳輸率R是信息系統(tǒng)可靠性研究中的一個(gè)基本的理論問題。由于平均互信息I（X;Y）是P(x)的上凸函數(shù)，因此對(duì)于每一種給定的信道（P(y|x)固定），存在一個(gè)平均互信息（信息傳輸率）的最大值，即αI［P1(x)］+βI［P2(x)］≤I［αP1(x)+βP2(x)］平均互信息是信源概率分布P（x）的上凸函數(shù)表明，使用給定信道傳輸不同信源輸出的信息時(shí)，系統(tǒng)的信息傳輸率不同。對(duì)于每一種給定信道（P(y|x)固定），一定存在一種信源概率分布P(x)，能夠使得系統(tǒng)的平均互信息達(dá)到其最大值。此最大平均互信息本質(zhì)上依賴于給定信道的轉(zhuǎn)移概率分布P(y|x)，它由給定信道本身的特性所決定，反映的是給定信道傳輸信息的能力，即給定信道的最大信息傳輸率。平均互信息I(X;Y)的上凸性所指出的信息傳輸率的上界表明，對(duì)于一種給定的信道，一定存在一個(gè)最大的信息傳輸率R。如果系統(tǒng)的信息傳輸率不超過此上界值，則總可以找到一種編碼方法，實(shí)現(xiàn)信息的可靠傳輸。在信息系統(tǒng)工程應(yīng)用中，平均互信息的上凸性所反映的最大的信息傳輸率指出了實(shí)現(xiàn)信息可靠傳輸?shù)睦碚摌O限，對(duì)于信息系統(tǒng)的可靠性分析和信道編碼原理研究具有重要的理論意義，在有噪信道的無差錯(cuò)編碼技術(shù)研究中有明顯的指導(dǎo)意義。

2．I(X;Y)是信道轉(zhuǎn)移概率分布P(y|x)的下凸函數(shù)的物理意義對(duì)于一個(gè)信息系統(tǒng)，通過信源編碼可以以較少的數(shù)據(jù)表示信源輸出的信息（實(shí)際應(yīng)用中常要求滿足一定失真限度），構(gòu)成一個(gè)具有較高有效性的信息系統(tǒng)。因此，對(duì)于一個(gè)給定的信源，傳輸其輸出信息時(shí)必須有的最小信息率R是信息系統(tǒng)有效性研究中的一個(gè)基本的理論問題。平均互信息I(X;Y)是P(y|x)的下凸函數(shù)，即I［αP1(y|x)+βP2(y|x)］≤αI［P1(y|x)］+βI［P2(y|x)］互信息的下凸性表明：使用不同信道傳輸給定信源輸出的信息時(shí)，系統(tǒng)的信息傳輸率不同。對(duì)于每一種給定信源，一定存在一種信道，使得信宿獲得的關(guān)于此信源的平均信息率為最小。此最小值取決于給定信源的概率分布P(y|x)，反映的是給定信源輸出信息的特性。下凸性所指出的平均互信息I(X;Y)的取值下界給出了傳輸該信源輸出信息時(shí)，系統(tǒng)必須有的最小信息傳輸率R。同時(shí)，平均互信息的下凸性也表明，如果系統(tǒng)的信息傳輸率R小于I(X;Y)下界所指出的最小信息率，則該信源輸出的信息將產(chǎn)生失真。如果將不同信道看做不同的信源編碼方法，那么對(duì)于一種給定的信源，在滿足失真要求的條件下，若某種信源編碼方法能夠以接近I(X;Y)下界所指出的最小信息率表示該源輸出的信息，則該編碼方法的有效性較高。因此，平均互信息I(X;Y)的取值下界指出了在滿足一定失真度的要求下，傳輸該信源輸出信息時(shí)信息系統(tǒng)必須有的最小信息傳輸率R?？梢?，平均互信息I(X;Y)的下凸性對(duì)于信息系統(tǒng)的有效性分析和高效信源編碼原理具有重要理論意義，在圖像、視頻、音頻、文本等各類信源編碼和數(shù)據(jù)壓縮的應(yīng)用技術(shù)領(lǐng)域有明顯的指導(dǎo)意義。圖3-11二進(jìn)制對(duì)稱信道

【例3.4】設(shè)離散無記憶信源:

通過圖3-11所示的二進(jìn)制對(duì)稱信道傳輸。計(jì)算此時(shí)的平均互信息I(X;Y),討論平均互信息I(X;Y)隨信源、信道的變化關(guān)系。解：已知信源概率分布P(x)和信道轉(zhuǎn)移概率分布P(y|x)，可以求出此輸入隨機(jī)變量X和輸出隨機(jī)變量Y的聯(lián)合概率分布，以及隨機(jī)變量Y的邊緣概率分布P(y)。此通信系統(tǒng)中的各種概率關(guān)系如表3-6和表3-7所示。表3-6P(x,y),P(y)表3-7P(x,y),P(y)可以求出：于是得到：

當(dāng)固定信道參數(shù)p和信源參數(shù)ε時(shí)，分別考察I(X;Y)的函數(shù)變化關(guān)系。

(1)如果信道給定（信道的參數(shù)p固定），而信源可變（信源概率分布可變，即ε為變量），則平均互信息I(X;Y)隨著ε的改變而改變。當(dāng)ε=0和ε=1時(shí)：I(X;Y)=H(p,1－p)－H(p,1－p)=0

(3.37)

I(X;Y)是信源概率分布的上凸函數(shù)。隨著ε在［0,1］范圍內(nèi)改變，I(X;Y)在其極值點(diǎn)處取得最大值。于是，對(duì)平均互信息I(X;Y)求偏導(dǎo)，得到I(X;Y)隨ε改變的極值點(diǎn)概率分布和平均互信息I(X;Y)的最大值。

令上式為0，有由此可知，為使得平均互信息I(X;Y)取得極大值的信源概率分布?？梢赃M(jìn)一步求出此時(shí)信道的輸出Y的邊緣概率分布為

即當(dāng)信源概率分布時(shí)，平均互信息I(X;Y)取得最大值，且此最大值為

maxI(X;Y)=max{H(Y)－H(Y|X)}

=1－H(p,1－p)比特/符號(hào)比特/符號(hào)由此可以做出互信息I（X；Y）隨機(jī)信源概率分布P(x)改變時(shí)的函數(shù)曲線（如圖3-12所示）。函數(shù)曲線表明，對(duì)于給定信道，在信源概率分布不同時(shí)，由信道的每一輸出符號(hào)平均獲得的信源輸出的信息量不同。當(dāng)信源概率為等概分布時(shí)，由此信道輸出端獲得的平均互信息最大。這個(gè)最大的平均互信息為maxI(X;Y)=1－H(p,1－p)取決于信道參數(shù)p，反映了給定信道傳輸信息的能力。圖3-12互信息I(X;Y)隨機(jī)信源概率分布p(x)改變時(shí)的函數(shù)曲線（2）如果使用不同的信道（p為變量）傳輸給定信源（ε固定）輸出的符號(hào)，則在接收端獲得的平均互信息I(X;Y)將隨著p的改變而改變。當(dāng)p=0或p=1時(shí)：

I(X;Y)=H(ε,1－ε)－H(0,1)

=H(ε,1－ε)=H(X)比特/符號(hào)

I(X;Y)是信道轉(zhuǎn)移概率分布的下凸函數(shù)。隨著p在［0,1］的范圍內(nèi)變化，平均互信息I(X;Y)的函數(shù)關(guān)系是下凸的，在其極值點(diǎn)處I(X;Y)取得最小值?？梢郧蟪?，當(dāng)時(shí)信道中的平均互信息I(X;Y)達(dá)到最小值。由式（3.36）可知，此最小的平均互信息為這個(gè)最小值表明，在圖3-11所示的二進(jìn)制對(duì)稱信道中，當(dāng)信道參數(shù)（信源參數(shù)ε為0~1之間的一個(gè)定值）時(shí)，信道中的干擾非常嚴(yán)重，以至于由信道的輸出Y無法得到關(guān)于信源X輸出的信息，I(X;Y)=0。由關(guān)于平均互信息I(X;Y)凸性的討論和例題分析可以看出，平均互信息I(X;Y)的凸性是反映信息系統(tǒng)最優(yōu)化的一個(gè)具有對(duì)偶性的基本問題。

I(X;Y)是信源概率分布P(x)的上凸函數(shù)，指出了給定信道的最大信息傳輸率。由于這一最大的信息傳輸率度量了給定信道傳輸信息的能力，因此I(X;Y)的上凸性函數(shù)關(guān)系反映了信息系統(tǒng)的可靠性問題，指出了信道編碼研究中的基本關(guān)系和追求目標(biāo)。

I(X;Y)是信源概率分布P(y|x)的下凸函數(shù),指出了傳輸給定信源必須有的最小信息傳輸率。由于這一最小的信息傳輸率度量了給定信源輸出信息的特性，因此I（X;Y）的下凸性函數(shù)關(guān)系反映了信息系統(tǒng)的有效性問題，指出了信源編碼方法研究中需要滿足的基本關(guān)系和追求目標(biāo)。作為信息理論中的兩個(gè)最基本的概念，信源的信息熵H(X)和平均互信息I(X;Y)在信息理論的學(xué)習(xí)和信息系統(tǒng)設(shè)計(jì)中有重要的意義和作用。3.8連續(xù)信道的平均互信息

本節(jié)將首先討論單符號(hào)連續(xù)信道的平均互信息，然后得到波形信道的信息傳輸率，而后給出連續(xù)信道平均互信息的一些基本性質(zhì)。3.8.1單符號(hào)連續(xù)信道的平均互信息單符號(hào)連續(xù)信道的數(shù)學(xué)模型為［X,p(y|x),Y］，如圖3-13所示。圖3-13基本連續(xù)信道其輸入信源X為

輸入信源Y為而信道的傳遞概率密度函數(shù)為p(y|x)。其中，。與2.5節(jié)討論的連續(xù)信源信息熵的問題一樣，我們也可以對(duì)連續(xù)信道輸入和輸出隨機(jī)變量的取值進(jìn)行量化，將其轉(zhuǎn)換成離散信道，求得此離散信道的平均互信息，然后將量化間隔Δ趨于零，就成為連續(xù)信道的平均互信息。因此，單符號(hào)連續(xù)信道輸入X和輸出Y之間的平均互信息為(3.38)(3.39)(3.40)對(duì)于連續(xù)信道的平均互信息來說，不但這些關(guān)系式和離散信道下平均互信息的關(guān)系式完全類似，而且它保留了離散信道的平均互信息的所有含義和性質(zhì)，只是表達(dá)式中用連續(xù)信源的差熵替代了離散信源的熵。由此可看出，將差熵定義為連續(xù)信源的熵是有重要的實(shí)際意義的。單符號(hào)連續(xù)信道的信息傳輸率為R=I(X;Y)比特/自由度(3.41)3.8.2連續(xù)信道平均互信息的性質(zhì)

兩連續(xù)型隨機(jī)變量之間的平均互信息的表達(dá)式與兩離散隨機(jī)變量之間的平均互信息的表達(dá)式不但類似，而且具有相同的性質(zhì)。下面我們給出兩連續(xù)型隨機(jī)變量之間的平均互信息的特性。

1．非負(fù)性I(X;Y)≥0

(3.42)證明：其中:

因?yàn)椋璴ogX是下凸函數(shù)，根據(jù)顏森不等式得：上式運(yùn)用和求得。從證明過程中可知，等式成立的條件是p(x)=p(x|y)，即連續(xù)隨機(jī)變量X和Y統(tǒng)計(jì)獨(dú)立。證畢。上述證明方法與離散變量的證明方法是一致的，只是在公式中把求和號(hào)換成積分號(hào)，把概率分布換成概率密度函數(shù)。因此，在離散變量中所得的有關(guān)結(jié)論均可推廣到連續(xù)變量中。2．對(duì)稱性(交互性)因?yàn)閜(xy)=p(yx)，所以當(dāng)X和Y統(tǒng)計(jì)獨(dú)立時(shí):p(x|y)=p(x)I(X;Y)=I(Y;X)=0此時(shí)不可能從一個(gè)隨機(jī)變量獲得關(guān)于另一個(gè)隨機(jī)變量的信息。

3．凸?fàn)钚赃B續(xù)變量之間的平均互信息I(X;Y)是輸入連續(xù)變量X的概率密度函數(shù)p(x)的上凸函數(shù),I(X;Y)又是連續(xù)信道傳遞概率密度函數(shù)p(y|x)的下凸函數(shù)。凸?fàn)钚缘淖C明方法類似于離散情況中的證明，此處從略。

4．信息不增性設(shè)連續(xù)信道輸入變量為X，輸出變量為Y。若對(duì)連續(xù)隨機(jī)變量Y再進(jìn)行處理而成為另一連續(xù)隨機(jī)變量Z，一般總會(huì)丟失信息，最多保持原獲得的信息不變，而所獲得的信息不會(huì)增加。這也就是數(shù)據(jù)處理定理，即I（X;Z）≤I(X;Y)

(3.43)其中,z=f(y)，當(dāng)且僅當(dāng)該函數(shù)是一一對(duì)應(yīng)時(shí)式(3.43)中的等式成立。證明：設(shè)X、Y、Z三連續(xù)隨機(jī)變量之間形成兩個(gè)連續(xù)信道的串接，如圖3-14所示。因?yàn)閳D3-14兩串接連續(xù)信道而

其中，因?yàn)樗缘玫?

其中，E［·］為對(duì)X、Y、Z三個(gè)連續(xù)概率空間求平均。運(yùn)用顏森不等式，可得其中，因?yàn)樗?/p>

由此證得:I(XY;Z)≥I(Y;Z)(3.44)當(dāng)且僅當(dāng)對(duì)所有x、y、z都有p(z|xy)=p(z|y)，即X、Y、Z是馬氏鏈時(shí)，式(3.44)中的等式成立。同理可證得：I（XY;Z）≥I(X;Z)

(3.45)當(dāng)且僅當(dāng)對(duì)所有x、y、z都有