第三章信道與信道容量3.1信道的基本概念3.2離散信道的容量及計算3.3離散序列信道及其容量3.4獨立并聯(lián)信道及其容量3.5串聯(lián)信道容量及數(shù)據(jù)處理定理3.6連續(xù)信道及其容量3.7信源與信道的匹配1第三章信道與信道容量3.1信道的基本概念113.1信道的基本概念信道是傳送信息的載體（信號所通過的通道）。信息是抽象的，信道則是具體的。信道的作用在信息系統(tǒng)中用于傳輸與存儲信息，而在通信系統(tǒng)中則主要用于傳輸。23.1信道的基本概念信道是傳送信息的載體（23.1信道的基本概念3.1.1信道的數(shù)學(xué)模型與分類

3.1.2信道參數(shù)3.1.3信道容量定義33.1信道的基本概念3.1.1信道的數(shù)學(xué)模型與33.1.1信道的數(shù)學(xué)模型與分類1、信道的分類信道可以從不同角度加以分類，常用的有下面幾種分類。從工程物理背景——傳輸介質(zhì)類型。從數(shù)學(xué)描述方式——信號與干擾描述方式。從信道本身的參數(shù)類型——恒參與變參。從用戶類型——單用戶與多用戶。43.1.1信道的數(shù)學(xué)模型與分類1、信道的分類443.1.1信道的數(shù)學(xué)模型與分類傳輸介質(zhì)類型信號與干擾類型信道參量類型用戶類型53.1.1信道的數(shù)學(xué)模型與分類傳輸介質(zhì)類型信號與干擾53.1.1信道的數(shù)學(xué)模型與分類圖3-1信道分類舉例其中：C1為連續(xù)信道，調(diào)制信道；C2為離散信道，編碼信道；C3為半離散、半連續(xù)信道；C4為半連續(xù)、半離散信道。63.1.1信道的數(shù)學(xué)模型與分類圖3-1信道分類舉63.1.1信道的數(shù)學(xué)模型與分類2、信道模型（1）調(diào)制信道模型

調(diào)制信道是為研究調(diào)制與解調(diào)問題所建立的一種廣義信道，它所關(guān)心的是調(diào)制信道輸入信號形式和已調(diào)信號通過調(diào)制信道后的最終結(jié)果，對于調(diào)制信道內(nèi)部的變換過程并不關(guān)心。具有如下共性：①有一對（或多對）輸入端和一對（或多對）輸出端。②絕大多數(shù)的信道都是線性的，即滿足線性疊加原理。③信號通過信道具有一定的延遲時間而且它還會受到（固定的或時變的）損耗。④即使沒有信號輸入，在信道的輸出端仍可能有一定的功率輸出（噪聲）。73.1.1信道的數(shù)學(xué)模型與分類2、信道模型773.1.1信道的數(shù)學(xué)模型與分類

圖3-2調(diào)制信道模型兩端信道模型，輸入輸出關(guān)系為：（3-1）其中，為輸入的已調(diào)信號；為信道總輸出波形；為加性噪聲，與相互獨立，無依賴關(guān)系。表示已調(diào)信號通過網(wǎng)絡(luò)所發(fā)生的（時變）線形變換。現(xiàn)在，我們假定能把寫為，其中，依賴于網(wǎng)絡(luò)的特性，是一種乘性干擾。于是上式可以表示為:（3-2）

83.1.1信道的數(shù)學(xué)模型與分類圖3-2調(diào)制83.1.1信道的數(shù)學(xué)模型與分類

由以上分析可知，信道對信號的影響可歸結(jié)為兩點：一是乘性干擾，二是加性干擾。實際的物理信道中，根據(jù)信道傳輸函數(shù)的時變特性的不同可以分為兩大類：一類是基本不隨時間變化，即信道對信號的影響是固定的或變化極為緩慢的，這類信道稱為恒定參量信道，簡稱恒參信道；另一類信道是傳輸函數(shù)隨時間隨機(jī)速快變化，這類信道稱為隨機(jī)參量信道，簡稱隨參信道。

93.1.1信道的數(shù)學(xué)模型與分類由以上93.1.1信道的數(shù)學(xué)模型與分類

（2）編碼信道模型編碼信道包括調(diào)制信道、調(diào)制器和解調(diào)器，是一種數(shù)字信道或離散信道。由于信道噪聲或其他因素的影響，將導(dǎo)致輸出數(shù)字序列發(fā)生錯誤，因此輸入、輸出數(shù)字序列之間的關(guān)系可以用一組轉(zhuǎn)移概率來表征。二進(jìn)制數(shù)字傳輸系統(tǒng)的一種簡單的編碼信道模型如圖3-3所示：圖3-3二進(jìn)制編碼信道模型

103.1.1信道的數(shù)學(xué)模型與分類（2）編碼信道模型103.1.1信道的數(shù)學(xué)模型與分類

輸出的總的錯誤概率為：

由于信道噪聲或其他因素影響導(dǎo)致輸出數(shù)字序列發(fā)生錯誤是統(tǒng)計獨立的，根據(jù)無記憶編碼信道的性質(zhì)可以得到下式：

圖3-4給出了一個無記憶多進(jìn)制編碼信道模型。圖3-4多進(jìn)制無記憶編碼信道模型

113.1.1信道的數(shù)學(xué)模型與分類輸出的總113.1信道的基本概念3.1.1信道的數(shù)學(xué)模型與分類3.1.2信道參數(shù)3.1.3信道容量定義123.1信道的基本概念3.1.1信道的數(shù)學(xué)模型與123.1.2信道參數(shù)1.信道疑義度

輸入信源X的熵：

(3-3)

是在接收到輸出Y以前，關(guān)于輸入變量X的先驗不確定性的度量，所以稱為先驗熵。一般信道中有干擾（噪聲）的存在，已知輸入變量X的概率分布為；而當(dāng)接收到輸出符號后，輸入符號的概率分布發(fā)生了變化，變成后驗概率分布。那么，接收到輸出符號后，關(guān)于X的平均不確定性為:

(3-4)

條件熵：(3-5)

這個條件熵稱為信道疑義度。

133.1.2信道參數(shù)1.信道疑義度13133.1.2信道參數(shù)2．平均互信息

已知代表接收到輸出符號以前關(guān)于輸入變量X的平均不確定性，而代表接收到輸出符號后關(guān)于輸入變量X的平均不確定性。

（3-6）稱為X和Y之間的平均互信息。它代表接收到輸出符號后平均每個符號獲得的關(guān)于X的信息量。它也表明，輸入與輸出兩個隨機(jī)變量之間的統(tǒng)計約束程度。

根據(jù)式（3-3）和式（3-5）得

（3-7）

式中，X是輸入隨機(jī)變量，；Y是輸入隨機(jī)變量，。

143.1.2信道參數(shù)2．平均互信息14143.1.2信道參數(shù)

互信息是代表收到某消息y后獲得關(guān)于某事件x的信息量，即 （3-8）對于平均互信息

（3-9）它是互信息的統(tǒng)計平均值，所以平均互信息永遠(yuǎn)不會取負(fù)值。最差情況是平均互信息，也就是在信道輸出端接收到輸出符號Y后不獲得任何關(guān)于輸入符號X的信息量。153.1.2信道參數(shù)互信息是代表收153.1.2信道參數(shù)3．平均條件互信息

設(shè)三個離散概率空間X，Y，Z，，，，且有概率關(guān)系式

（3-10）

（3-11）

（3-12）163.1.2信道參數(shù)3．平均條件互信息 （163.1.2信道參數(shù)

圖3-5三個概率空間連接關(guān)系圖

（3-13）已知事件的條件下，接收到y(tǒng)后獲得關(guān)于某事件x的條件互信息

將式（3-13）和式（3-8）比較可以得到下面結(jié)論：條件互信息與互信息的區(qū)別僅在于先驗概率和后驗概率都是在某一特定條件下的取值。173.1.2信道參數(shù) 圖3-5三個概率空173.1.2信道參數(shù)

已知，后，總共獲得關(guān)于的互信息，即

（3-14）此關(guān)系式表明，yz聯(lián)合給出關(guān)于x的互信息量等于y給出關(guān)于x的互信息量與y已知條件下z給出關(guān)于x的互信息量之和。

（3-15）

（3-16）而平均互信息為

（3-17）183.1.2信道參數(shù) 已知183.1.2信道參數(shù)

（3-18）平均互信息是隨機(jī)變量X與聯(lián)合變量YZ之間統(tǒng)計依賴程度的信息測度。

例3-1設(shè)信源通過一干擾信道，接收符號為，信道傳遞概率如圖3-6所示。求：（1）信源X中事件和分別含有的自信息。（2）收到消息(j=1,2)后，獲得的關(guān)于（i=1，2）的信息量。（3）信源X和信源Y的信息熵。（4）信道疑義度和噪聲熵。（5）接收到信息Y后獲得的平均互信息。圖3-6二元信道傳遞概率193.1.2信道參數(shù) 193.1.2信道參數(shù)

解：（1）信源

事件含有的自信息為

事件含有的自信息為

（2）根據(jù)題意是計算

i=1，2；j=1，2

i=1，2；j=1，2

j=1，2

i=1，2；j=1，2要計算出必須先算出，所以，計算互信息時一般選用第二個等式進(jìn)行計算，可得203.1.2信道參數(shù)解：（1）信源事件含有203.1.2信道參數(shù)

滿足

（3）信源X的信息熵213.1.2信道參數(shù)滿足 （3）信源213.1.2信道參數(shù)

（4）信道疑義度

223.1.2信道參數(shù) （4）信道疑義度223.1.2信道參數(shù)

噪聲熵（5）接收到信息Y后獲得的平均互信息233.1.2信道參數(shù) 噪聲熵（5）接收233.1信道的基本概念3.1.1信道的數(shù)學(xué)模型與分類3.1.2信道參數(shù)3.1.3信道容量定義243.1信道的基本概念3.1.1信道的數(shù)學(xué)模型與243.1.3信道容量的定義

信道的信息傳輸率就是平均互信息，即

（比特/符號） （3-19）信道中平均每個符號所能傳送的信息量，平均每個符號所能傳送的信息量，即信道的信息傳輸率R。

若平均傳輸一個符號需要t秒鐘，則信道每秒鐘平均傳輸?shù)男畔⒘繛?/p>

（bit/s） （3-20）一般稱此為信息傳輸速率。

253.1.3信道容量的定義 信道的信息253.1.3信道容量的定義

定理3-1平均互信息是輸入信源概率分布的型上凸函數(shù)。

定義這個最大的信息傳輸速率為信道容量C，即

（3-21）

其單位是比特/符號或奈特/符號，而相應(yīng)的輸入概率分布稱為最佳輸入分布。若平均傳輸一個符號需要t秒鐘，則信道單位時間為平均傳輸?shù)淖畲笮畔⒘繛?/p>

（bit/s） （3-22）263.1.3信道容量的定義 定理3-126第三章信道與信道容量3.1信道的基本概念3.2離散信道的容量及計算3.3離散序列信道及其容量3.4獨立并聯(lián)信道及其容量3.5串聯(lián)信道容量及數(shù)據(jù)處理定理3.6連續(xù)信道及其容量3.7信源與信道的匹配27第三章信道與信道容量3.1信道的基本概念27273.2離散信道的容量及其計算

3.2.1無干擾離散信道

3.2.2對稱離散無記憶信道容量3.2.3準(zhǔn)對稱離散無記憶信道容量3.2.4一般離散無記憶信道容量

283.2離散信道的容量及其計算3.2.1無干擾離散信283.2.1無干擾離散信道

考慮一個離散無干擾信道，其輸入字符集是，輸出字符集是，轉(zhuǎn)移概率如（3-23）式的定義，它由信道特征決定。若給定信道，即信道的轉(zhuǎn)移概率已定，則對應(yīng)于輸入符號的概率分布可以求出相應(yīng)的信道傳輸信息，即

（3-23）

（3-24）

（3-25）

（3-26）

293.2.1無干擾離散信道 考慮一293.2.1無干擾離散信道

（3-26）

C的單位是信道上每傳送一個符號（每使用一次信道）所能攜帶的比特數(shù)，即比特/符號（bit/ymbol或bit/channeluse）。（3-27）

如不是以2為底而以e為底取自然對數(shù)時，信道容量的單位變?yōu)槟翁?符號（nat/symbol）。如果已知符號傳送周期是T（秒），也可以“秒”為單位來計算信道容量，此時，以比特/秒（bit/s）或奈特/秒（nat/s）為信道容量單位。轉(zhuǎn)移概率矩陣P已知后，由式（3-26）計算離散無干擾信道容量的關(guān)鍵是能找出使最大的的概率分布。若將定義為輸入符號的概率矢量，由式（3-23）及關(guān)系式303.2.1無干擾離散信道 （3-2303.2.1無干擾離散信道

可得

（3-29）（3-28）例3-2一個離散無噪信道如下所示。

其信道矩陣是單位矩陣，即因為對于離散無噪信道有因此滿足

信道容量為

313.2.1無干擾離散信道 （3-313.2離散信道的容量及其計算

3.2.1無干擾離散信道3.2.2對稱離散無記憶信道容量3.2.3準(zhǔn)對稱離散無記憶信道容量3.2.4一般離散無記憶信道容量

323.2離散信道的容量及其計算3.2.1無干擾離散信323.2.2對稱離散無記憶信道容量

如果轉(zhuǎn)移概率矩陣P的每一行都是第一行的置換（包含同樣元素），稱該矩陣是輸入對稱的。如果轉(zhuǎn)移概率矩陣P的每一列都是第一列的置換（包含同樣元素），稱該矩陣是輸出對稱的；如果輸入、輸出都對稱，則稱該離散無記憶信道（DMC）為對稱的DMC信道。對稱DMC信道具有如下性質(zhì)：（1）對稱信道的條件熵與信道輸入符號的概率分布無關(guān)，且有

（2）當(dāng)信道輸入符號等概分布時，信道輸出符號也等概分布；反之，若信道輸出符號等概分布，則輸入符號必定也是等概分布。333.2.2對稱離散無記憶信道容量 如333.2.2對稱離散無記憶信道容量

（3）當(dāng)信道輸入符號等概分布時，對稱DMC信道達(dá)到其信道容量，為

（3-30）由于對稱信道的條件熵與信道輸入符號的概率分布無關(guān)，式

于是問題就簡化為。由信息論原理，當(dāng)輸出符號集的各符

或者這就是（3-30）式的來歷。（3-29）轉(zhuǎn)化成號等概出現(xiàn)時可得到最大信源熵，即（3-31）343.2.2對稱離散無記憶信道容量 （343.2.2對稱離散無記憶信道容量

例3-3信道轉(zhuǎn)移概率矩陣為，代入式（3-30）求得信道容量為

353.2.2對稱離散無記憶信道容量 例353.2離散信道的容量及其計算

3.2.1無干擾離散信道3.2.2對稱離散無記憶信道容量

3.2.3準(zhǔn)對稱離散無記憶信道容量3.2.4一般離散無記憶信道容量

363.2離散信道的容量及其計算3.2.1無干擾離散信363.2.3準(zhǔn)對稱離散無記憶信道容量

若信道矩陣M的列可以劃分成若干個互不相交的子集，即；，由為列組成的矩陣是對稱矩陣，則稱信道矩陣M所對應(yīng)的信道為準(zhǔn)對稱信道。

達(dá)到準(zhǔn)對稱離散信道容量的輸入分布（最佳輸入分布）是等概率分布，也可以計算準(zhǔn)對稱離散信道的信道容量為

式中，r是輸入符號集的個數(shù)，為準(zhǔn)對稱信道矩陣中的行元素。是第k個子矩陣中行元素之和，是第k個子矩陣中列

（3-32）設(shè)矩陣可劃分成n個互不相交的子集。元素之和，即

（3-33）

（3-34）當(dāng)輸入等概率分布時，式（3-33）和式（3-34）都與x無關(guān)。373.2.3準(zhǔn)對稱離散無記憶信道容量 373.2.3準(zhǔn)對稱離散無記憶信道容量

例3-4已知一個信道的信道轉(zhuǎn)移矩陣為，求該信道的容量。解：由P可看出信道的輸入符號有兩個，可設(shè)，信道的輸出符號有三個，用，，表示。由得聯(lián)合概率的矩陣為

恒定，與分布無關(guān)。

由得383.2.3準(zhǔn)對稱離散無記憶信道容量 383.2離散信道的容量及其計算

3.2.1無干擾離散信道3.2.2對稱離散無記憶信道容量

3.2.3準(zhǔn)對稱離散無記憶信道容量3.2.4一般離散無記憶信道容量

393.2離散信道的容量及其計算3.2.1無干擾離散信393.2.4

一般離散無記憶信道容量

式中，為拉格朗日乘子（待定常數(shù)）。解方程組（3-35）

（3-36）可先求解出達(dá)到極值的概率分布和拉格朗日乘子的值，然后再求解出信道容量C。（3-37）

403.2.4一般離散無記憶信道容量

403.2.4

一般離散無記憶信道容量

注意，式（3-37）中的對數(shù)是取任意大于1的數(shù)為底。

又因為

所以方程組式（3-36）變換成（3-38）

假設(shè)解得使平均互信息達(dá)到極值的輸入概率分布是（簡寫成或P）。然后把（3-38）中前r個方程式兩邊分別乘以達(dá)到，并求和得極值的輸入概率現(xiàn)令（3-39）

（3-40）

413.2.4一般離散無記憶信道容量

413.2.4

一般離散無記憶信道容量

式中，是輸出端接收到Y(jié)后獲得關(guān)于的信息量，即是對輸出端Y平均提供的互信息。上式中對數(shù)取不同的底的值與有關(guān)。根據(jù)式（3-38）

所以，對于一般離散信道有下述的定理。信源符號就得到相應(yīng)不同的單位。一般來講，和式（3-39）得定理3-2一般離散信道的平均互信息達(dá)到極大值（即等于滿足

（3-41）就是所求的信道容量。信道容量）的充要條件是輸入概率分布這時例3-5設(shè)離散無記憶信道輸入序列，輸出序列，其信道轉(zhuǎn)移矩陣為求信道容量和最佳分布。423.2.4一般離散無記憶信道容量

式423.2.4

一般離散無記憶信道容量

解：根據(jù)矩陣中元素的分布，可以設(shè)想最佳分布為，，，這樣信道的輸入和輸出就構(gòu)成了一一對應(yīng)的。關(guān)系，如圖3-8所示，接收方收到輸出符號集Y中的某個元素后，對發(fā)送方發(fā)送的是輸入符號集X中的哪個元素是完全確定的，即圖3-8取p(x2)=0時信道輸入和輸出的對應(yīng)關(guān)系若，則接收方收到中的某個符號后，關(guān)于發(fā)送的是中的哪個符號就會增加不確定性，即，從平均互信息量的表達(dá)式可看出，由于的非負(fù)性，這樣得到的平均互信息量就會減少，所以直觀地看，按設(shè)想的分布得到應(yīng)取最大值。433.2.4一般離散無記憶信道容量

433.2.4

一般離散無記憶信道容量

顯然滿足定理3-2的充要條件為故信道容量bit/symbol。443.2.4一般離散無記憶信道容量

44第三章信道與信道容量3.1信道的基本概念3.2離散信道的容量及計算3.3離散序列信道及其容量3.4獨立并聯(lián)信道及其容量3.5串聯(lián)信道容量及數(shù)據(jù)處理定理3.6連續(xù)信道及其容量3.7信源與信道的匹配45第三章信道與信道容量3.1信道的基本概念45453.3離散序列信道及其容量

圖3-9離散信道模型這種信道的傳遞概率滿足（3-43）

設(shè)離散無記憶信道的輸入符號集，輸出符號集，信道矩陣為且滿足463.3離散序列信道及其容量 圖463.3離散序列信道及其容量

則此無記憶信道的N次擴(kuò)展信道的數(shù)學(xué)模型如圖3-10所示。圖3-10N次擴(kuò)展信道因為在輸入隨機(jī)序列中，每一個隨機(jī)變量各取值于同一輸入符號集A，而符號集A共有r個符號，所以隨機(jī)矢量的可能取值個。同理，隨機(jī)矢量的可能取值有個。根據(jù)信道無記憶的特性，可得N次擴(kuò)展信道的信道矩陣473.3離散序列信道及其容量 則473.3離散序列信道及其容量

（3-44）根據(jù)平均互信息的定義，可得無記憶信道的N次擴(kuò)展信道的平均互信息，即（3-45）

在圖3-9所示的一般離散信道模型中，設(shè)，其中且有

（1）當(dāng)信道是無記憶的，即信道傳遞概率滿足（3-46）（2）當(dāng)信道的輸入信源是無記憶的，即滿足

（3-47）

（3-48）

483.3離散序列信道及其容量 （3-4483.3離散序列信道及其容量

（3）當(dāng)信道和信源都是無記憶的時，即（3-43）和式（3-47）兩條件都滿足，有（3-49）

若信道的輸入序列中隨機(jī)變量不但取自同一信源符號集，并且具有同一種概率分布，而且通過相同的信道傳送到輸出端（即信道傳遞概率分布不隨i而改變，為時不變信道）因此有（3-50）

式中，N是序列的長度。所以，對于此離散無記憶信道的N次擴(kuò)展信道來說，則有若輸入信源也是無記憶的話，則有（3-51）

此式說明當(dāng)信源是無記憶時，無記憶的N次擴(kuò)展信道的平均互信息等于原來信道的平均互信息的N倍。對于一般的離散無記憶信道的N次擴(kuò)展信道，因為有493.3離散序列信道及其容量 （3）當(dāng)493.3離散序列信道及其容量

所以其信道容量（3-52）

式中，令，這是某時刻i通過離散無記憶信道傳輸?shù)淖畲笮畔⒘俊?/p>

（3-53）

此式說明離散無記憶的N次擴(kuò)展信道的信道容量等于原單符號離散信道的信道容量的N倍。且只有當(dāng)輸入信源是無記憶的及每一輸入變量，的時，才能達(dá)到這個信道容量NC。分布各自達(dá)到最佳分布一般情況下，消息序列在離散無記憶的N次擴(kuò)展信道中傳輸?shù)男畔⒘繛椋?-54）

503.3離散序列信道及其容量 所以其信50第三章信道與信道容量3.1信道的基本概念3.2離散信道的容量及計算3.3離散序列信道及其容量3.4獨立并聯(lián)信道及其容量3.5串聯(lián)信道容量及數(shù)據(jù)處理定理3.6連續(xù)信道及其容量3.7信源與信道的匹配51第三章信道與信道容量3.1信道的基本概念51513.4

獨立并聯(lián)信道及其容量

圖3-11N個獨立并聯(lián)信道獨立并聯(lián)信道又稱并用信道，也等價于時變的N次無記憶擴(kuò)展信道。設(shè)有N，它們的輸出分別是，它們。在這N個獨立并聯(lián)信道中，只與本信道的輸入有關(guān)，與其他信道輸入、輸出都個信道，它們的輸入分別是的傳遞概率分別是每一個信道的輸出無關(guān)。那么，這N個信道的聯(lián)合傳遞概率滿足（3-55）

相當(dāng)于信道是無記憶時應(yīng)滿足的條件。因此，對于N個獨立并聯(lián)信道有（3-56）

523.4獨立并聯(lián)信道及其容量 圖3-523.4

獨立并聯(lián)信道及其容量

式中，即聯(lián)合平均互信息不大于各信道的平均互信息之和。因此得獨立并聯(lián)信道的信道容量

（3-57）是各個獨立信道的信道容量，即

所以，獨立并聯(lián)信道的信道容量不大于各個信道的信道容量之和。只有當(dāng)輸入符號相互獨立，且輸入符號的概率分布達(dá)到各信道容量的最佳

（3-58）輸入分布時，獨立并聯(lián)信道的信道容量才等于各信道容量之和，即533.4獨立并聯(lián)信道及其容量 即聯(lián)合53第三章信道與信道容量3.1信道的基本概念3.2離散信道的容量及計算3.3離散序列信道及其容量3.4獨立并聯(lián)信道及其容量3.5串聯(lián)信道容量及數(shù)據(jù)處理定理3.6連續(xù)信道及其容量3.7信源與信道的匹配54第三章信道與信道容量3.1信道的基本概念54543.5串聯(lián)信道容量及數(shù)據(jù)處理定理

假設(shè)有以離散單符號信道，其輸入變量為X，取值，輸出變量Y，取值；并設(shè)另一離散單符號信道，其輸入變量為Y，輸出變量Z，取值。這兩信道串聯(lián)的傳遞概率是，而信道的傳遞概率起來，如圖3-12所示。這兩個信道的輸入和輸出符號集都是完備集。信道一般與前面的符號X和Y都有關(guān)，所以記為若信道的傳遞概率使其輸出Z只與輸入Y有關(guān)，與前面的輸入X無關(guān)，即滿足（3-59）

稱這兩信道的輸入和輸出X，Y，Z序列構(gòu)成馬爾可夫鏈。這兩個串聯(lián)信道可以等價成一個總的離散信道如圖3-13所示。其輸入為X，取值，輸出為Z，取值，此信道的傳遞概率為553.5串聯(lián)信道容量及數(shù)據(jù)處理定理 假設(shè)553.5串聯(lián)信道容量及數(shù)據(jù)處理定理

圖3-12串聯(lián)信道

圖3-13等價的總信道

（3-60）（3-61）

（3-62）

定理3-3離散串聯(lián)信道中，平均互信息滿足（3-63）

（3-64）

當(dāng)且僅當(dāng)對所有x，y，z，滿足（3-65）

或

（3-66）

時，式（3-63）或式（3-64）中等號成立。563.5串聯(lián)信道容量及數(shù)據(jù)處理定理圖3-563.5串聯(lián)信道容量及數(shù)據(jù)處理定理

證明根據(jù)平均互信息的定義得（3-67）

（3-68）

在式（3-67）和式（3-68）中，都是對X，Y，Z三個概率空間求均值。所以得

（3-69）由于為形上凸函數(shù)，得

573.5串聯(lián)信道容量及數(shù)據(jù)處理定理證明根據(jù)573.5串聯(lián)信道容量及數(shù)據(jù)處理定理

因為已知

及

所以可得

（3-70）

當(dāng)且僅當(dāng)（對所有x，y，z）時，式（3-69）才等于零，因而式（3-70）的等號才成立。同理（3-71）

當(dāng)且僅當(dāng)（對所有x，y，z都成立）時，等式成立。583.5串聯(lián)信道容量及數(shù)據(jù)處理定理因為已知 及583.5串聯(lián)信道容量及數(shù)據(jù)處理定理

定理3-4若X、Y、Z組成一個馬爾可夫鏈，則有

（3-72）

（3-73）

證明首先證明式（3-73）。因為X、Y、Z是馬爾可夫鏈，所以滿足（對所有x，y，z）；則定理3-3中等式成立，得而又因式（3-71）成立，所以得其中等式成立的條件是（對所有x，y，z）（3-74）

再證（3-72）。因為X、Y、Z是馬爾可夫鏈，可證得Z、Y、X也是馬爾可夫鏈，所以有（對所有x，y，z） （3-75）

運(yùn)用與定理3-4同樣的證明方法，可得（3-76）

593.5串聯(lián)信道容量及數(shù)據(jù)處理定理 593.5串聯(lián)信道容量及數(shù)據(jù)處理定理

當(dāng)且僅當(dāng)（對所有x，y，z都成立）時，式（3-76）的等號成立。另又可證得（3-77）

當(dāng)且僅當(dāng)（對所有x，y，z都成立）時，式（3-77）的等號成立。并得當(dāng)且僅當(dāng)（對所有x，y，z都成立）時，等式成立。

（3-78）

定理3-4是很重要的。式（3-72）和式（3-78）表明通過串聯(lián)信道的傳輸只會丟失更多的信息。

如果滿足（對所有x，y，z都成立）

（3-79）

603.5串聯(lián)信道容量及數(shù)據(jù)處理定理 603.5串聯(lián)信道容量及數(shù)據(jù)處理定理

即串聯(lián)信道的總的信道矩陣等于第一級信道矩陣時，這個條件顯然是滿足的。如果第二個信道是數(shù)據(jù)處理系統(tǒng)，定理3-4就表明通過數(shù)據(jù)處理后，一般只會增加信息的損失，最多保持原來獲得的信息，不可能比原來獲得的信息有所增加。也就是說，對接收到的數(shù)據(jù)Y進(jìn)行處理后，無論變量Z是Y的確定對應(yīng)關(guān)系還是概率關(guān)系，絕不會減少關(guān)于X的不確定性。若要使數(shù)據(jù)處理后獲得的關(guān)于X的平均互信息保持不變，必須滿足（3-79）。故定理3-4稱為數(shù)據(jù)處理定理。（3-80）

圖3-14一系列串聯(lián)信道式（3-80）是定理3-4的推廣，就是數(shù)據(jù)處理定理。它說明，在任何信息傳輸系統(tǒng)中，最后獲得的信息至多是信源所提供的信息。如果一旦在某一過程中丟失一些信息，以后的系統(tǒng)不管如何處理，如不觸及到丟失信息過程的輸入端，就不能再恢復(fù)已丟失的信息。613.5串聯(lián)信道容量及數(shù)據(jù)處理定理 613.5串聯(lián)信道容量及數(shù)據(jù)處理定理

根據(jù)信道容量的定義，串聯(lián)信道的信道容量為

（3-81）由式（3-80）可知：串聯(lián)的無源數(shù)據(jù)處理信道越多，其信道容量（最大信息傳輸）可能會越小，當(dāng)串聯(lián)信道數(shù)無限大時，信道容量就有可能趨于零。623.5串聯(lián)信道容量及數(shù)據(jù)處理定理 62第三章信道與信道容量3.1信道的基本概念3.2離散信道的容量及計算3.3離散序列信道及其容量3.4獨立并聯(lián)信道及其容量3.5串聯(lián)信道容量及數(shù)據(jù)處理定理3.6連續(xù)信道及其容量3.7信源與信道的匹配63第三章信道與信道容量3.1信道的基本概念63633.6連續(xù)信道及其容量

3.6.1連續(xù)單符號加性信道

3.6.2多維無記憶加性連續(xù)信道3.6.3加性高斯白噪聲信道的信道容量643.6連續(xù)信道及其容量3.6.1連續(xù)單符號加性信643.6.1連續(xù)單符號加性信道

圖3-15連續(xù)單符號信道單符號連續(xù)信道的平均互信息為，信息傳輸率為bit/符號。信道容量為（3-82）對于加性噪聲信道，容易證明得，則有（3-83）

因為，，，所以，即當(dāng)信道輸入X是均值為0、方差為S的高斯分布隨機(jī)變量時，信息傳輸率達(dá)到最大值653.6.1連續(xù)單符號加性信道 653.6.1連續(xù)單符號加性信道

（3-84）式中是信號功率與噪聲功率之比，常稱為信噪比，用SNR表示，即。可見信道容量取決于信道的信噪比。對于加性均值為0，平均功率為的非高斯噪聲信道，其信道容量有下列上下界（3-85）

式中是噪聲熵，P為輸出信號的功率；。

663.6.1連續(xù)單符號加性信道 663.6連續(xù)信道及其容量

3.6.1連續(xù)單符號加性信道3.6.2多維無記憶加性連續(xù)信道3.6.3加性高斯白噪聲信道的信道容量673.6連續(xù)信道及其容量3.6.1連續(xù)單符號加性信673.6.2多維無記憶加性連續(xù)信道

信道輸入隨機(jī)序列，輸出隨機(jī)序列，加性信道有，其中是均值為零的高斯噪聲，表示各單元時刻1，2，…，L上的噪聲，如圖3-11所示。由于信道無記憶，所以有。加性信道中噪聲隨機(jī)序列的各時刻分量是統(tǒng)計獨立的，即，各分量都是均值為0、方差為的高斯變量，所以多維無記憶高斯加性信道就可等價成L個獨立的并聯(lián)高斯加性信道。則bit/L維自由度 （3-86）

式中，是第l個單元時刻高斯噪聲的方差，均值為0。因此當(dāng)且僅當(dāng)?shù)母咚棺兞繒r，輸入隨機(jī)矢量X中各分量統(tǒng)計獨立，且是均值為0、方差為才能達(dá)到此信道容量。683.6.2多維無記憶加性連續(xù)信道 683.6.2多維無記憶加性連續(xù)信道

（1）當(dāng)每個單元時刻上的噪聲都是均值為0、方差為的高斯噪聲時，由式（3-86）得bit/L維自由度 （3-87）

當(dāng)且僅當(dāng)輸入矢量X的各分量統(tǒng)計獨立，且各分量是均值為0、方差為S的高斯變量時，信道中傳輸?shù)男畔⒙士蛇_(dá)到最大。（2）當(dāng)各單元時刻L個高斯噪聲均值為0、但方差不同且為時，若輸入信號的總平均功率受限，約束條件為（3-88）則此時各單元時刻的信號平均功率應(yīng)合理分配，才能使信道容量最大。

693.6.2多維無記憶加性連續(xù)信道 693.6.2多維無記憶加性連續(xù)信道

需要在式（3-88）的約束條件下，求式（3-86）中的分布。

作輔助函數(shù)令，，

（3-89）上式表示各單元時刻上信號平均功率與噪聲功率之和，即各個時刻的信道輸出功率相等，設(shè)為常數(shù)v，則則各單元時刻信號平均功率為

（3-90）此時信道容量703.6.2多維無記憶加性連續(xù)信道 703.6.2多維無記憶加性連續(xù)信道

，，

圖3-16“注水法”原理（Water-Filling）圖

這時信道容量為

713.6.2多維無記憶加性連續(xù)信道 713.6連續(xù)信道及其容量

3.6.1連續(xù)單符號加性信道3.6.2多維無記憶加性連續(xù)信道

3.6.3加性高斯白噪聲信道的信道容量723.6連續(xù)信道及其容量3.6.1連續(xù)單符號加性信723.6.3

加性高斯白噪聲信道的信道容量

，，

波形信道中，在限時，限頻條件下可轉(zhuǎn)化成多維連續(xù)信道，將輸入、輸出隨機(jī)過程轉(zhuǎn)化成L維隨機(jī)序列和，因而可得波形信道的平均互信息為隨機(jī)過程一般情況，波形信道都是研究單位時間內(nèi)的信息傳輸率，即bit/s信道容量為bit/s733.6.3加性高斯白噪聲信道的信道容量

733.6.3

加性高斯白噪聲信道的信道容量

，，

高斯白噪聲加性波形信道是經(jīng)常假設(shè)的一種信道，加入信道的噪聲是限帶的加性高斯白噪聲，其均值為0，功率譜密度為。因為一般），而低頻限帶高斯時刻內(nèi)，。這是多維無記憶高斯信道的頻帶寬度總是受限的，設(shè)其為W（即白噪聲的各樣本值彼此統(tǒng)計獨立，所以限頻高斯白噪聲過程可分解成L維統(tǒng)計獨立的隨機(jī)序列，在加性信道，根據(jù)式（3-86），信道容量為式中，是每個噪聲分量的功率，是每個信號樣本值的平均功率，設(shè)信號的平均功率受限于PS，則。信道的容量為bit/L維 （3-91）

743.6.3加性高斯白噪聲信道的信道容量

743.6.3

加性高斯白噪聲信道的信道容量

，，

高斯白噪聲加性信道單位時間的信道容量bit/s （3-92）

式中，是信號的平均功率；為高斯白噪聲在帶寬W內(nèi)的平均功率）。可見信道容量與信噪功率比和帶寬有關(guān)。（功率譜密度為圖3-17信道容量與信噪比的關(guān)系下面對式（3-92）的香農(nóng)公式做深入討論，以說明增加信道容量的途徑。（1）當(dāng)帶寬W一定時，信噪比SNR與信道容量呈對數(shù)關(guān)系，如圖3-17所示。若SNR增大，就增大，但增大到一定程度后就會趨于緩慢。這說明增加輸入信號功率有助于容量的增大，但該方法是有限的；另一方面降低噪聲功率也是有用的，當(dāng)時，，即無噪聲信道的容量為無限大。753.6.3加性高斯白噪聲信道的信道容量

753.6.3

加性高斯白噪聲信道的信道容量

，，

（2）當(dāng)輸入信號功率一定，增加信道帶寬，容量可以增加，但到也隨之增加。當(dāng)時，，利用關(guān)系式（x很小時）可求出值，即一定階段后增加變得緩慢，因為當(dāng)噪聲為加性高斯白噪聲時，隨著W的增加，噪聲功率該式說明即使帶寬無限，信道容量仍是有限的。

（3）一定時，帶寬W越大，信噪比SNR可降低，即兩者是可以互換的。若有較大的傳輸帶寬，則在保持信號功率不變的情況下，可允許較大的噪聲，即系統(tǒng)的抗噪聲能力提高。無線通信中的擴(kuò)頻系統(tǒng)就是利用了這個原理，將所需傳送的信號擴(kuò)頻，使之遠(yuǎn)遠(yuǎn)大于原始信號帶寬，以增強(qiáng)抗干擾能力。763.6.3加性高斯白噪聲信道的信道容量

76第三章信道與信道容量3.1信道的基本概念3.2離散信道的容量及計算3.3離散序列信道及其容量3.4獨立并聯(lián)信道及其容量3.5串聯(lián)信道容量及數(shù)據(jù)處理定理3.6連續(xù)信道及其容量3.7信源與信道的匹配77第三章信道與信道容量3.1信道的基本概念77773.7信源與信道的匹配

，，

信道冗余度定義為（3-93）

式中，C是該信道的信道容量，是信源通過該信道實際傳輸?shù)钠骄畔⒘俊＃?-94）

在無損信道中，信道容量（r是信道輸入符號的個數(shù)）。而，這里是輸入信道的信源熵，因而（3-95）

對于無損信道，可以通過信源編碼，減少信源的冗余度，使信息傳輸率達(dá)到信道容量。783.7信源與信道的匹配

783.7信源與信道的匹配

，

例如，某離散無記憶信源為通過一無噪、無損二元離散信道進(jìn)行傳輸。我們可求得，二元離散信道的信道容量為（比特/信道符號）。此信源的信息熵為比特/信源符號。我們必須對信源S進(jìn)行二元編碼，才能使信源符號在此二元信道中傳輸。進(jìn)行二元編碼的結(jié)果可有許多種，若有可見，碼中每個信源符號需用3個二元符號，而碼中需用四個二元符號。對于碼，可得信道的信息傳輸率比特/信道符號；對于碼，比特/信道符號。這時，信道有冗余。

793.7信源與信道的匹配

793.7信源與信道的匹配

，

無失真信源編碼就是將信源輸出的消息變換成適合信道傳輸?shù)男滦旁吹南ⅲǚ枺﹣韨鬏敚剐滦旁吹姆柦咏雀欧植迹滦旁吹撵亟咏畲箪兀@樣，信道傳輸?shù)男畔⒘窟_(dá)到最大，信道冗余度接近于零，使信源和信道達(dá)到匹配，信道得到充分利用。803.7信源與信道的匹配

80第三章信道與信道容量3.1信道的基本概念3.2離散信道的容量及計算3.3離散序列信道及其容量3.4獨立并聯(lián)信道及其容量3.5串聯(lián)信道容量及數(shù)據(jù)處理定理3.6連續(xù)信道及其容量3.7信源與信道的匹配81第三章信道與信道容量3.1信道的基本概念1813.1信道的基本概念信道是傳送信息的載體（信號所通過的通道）。信息是抽象的，信道則是具體的。信道的作用在信息系統(tǒng)中用于傳輸與存儲信息，而在通信系統(tǒng)中則主要用于傳輸。823.1信道的基本概念信道是傳送信息的載體（823.1信道的基本概念3.1.1信道的數(shù)學(xué)模型與分類

3.1.2信道參數(shù)3.1.3信道容量定義833.1信道的基本概念3.1.1信道的數(shù)學(xué)模型與833.1.1信道的數(shù)學(xué)模型與分類1、信道的分類信道可以從不同角度加以分類，常用的有下面幾種分類。從工程物理背景——傳輸介質(zhì)類型。從數(shù)學(xué)描述方式——信號與干擾描述方式。從信道本身的參數(shù)類型——恒參與變參。從用戶類型——單用戶與多用戶。843.1.1信道的數(shù)學(xué)模型與分類1、信道的分類4843.1.1信道的數(shù)學(xué)模型與分類傳輸介質(zhì)類型信號與干擾類型信道參量類型用戶類型853.1.1信道的數(shù)學(xué)模型與分類傳輸介質(zhì)類型信號與干擾853.1.1信道的數(shù)學(xué)模型與分類圖3-1信道分類舉例其中：C1為連續(xù)信道，調(diào)制信道；C2為離散信道，編碼信道；C3為半離散、半連續(xù)信道；C4為半連續(xù)、半離散信道。863.1.1信道的數(shù)學(xué)模型與分類圖3-1信道分類舉863.1.1信道的數(shù)學(xué)模型與分類2、信道模型（1）調(diào)制信道模型

調(diào)制信道是為研究調(diào)制與解調(diào)問題所建立的一種廣義信道，它所關(guān)心的是調(diào)制信道輸入信號形式和已調(diào)信號通過調(diào)制信道后的最終結(jié)果，對于調(diào)制信道內(nèi)部的變換過程并不關(guān)心。具有如下共性：①有一對（或多對）輸入端和一對（或多對）輸出端。②絕大多數(shù)的信道都是線性的，即滿足線性疊加原理。③信號通過信道具有一定的延遲時間而且它還會受到（固定的或時變的）損耗。④即使沒有信號輸入，在信道的輸出端仍可能有一定的功率輸出（噪聲）。873.1.1信道的數(shù)學(xué)模型與分類2、信道模型7873.1.1信道的數(shù)學(xué)模型與分類

圖3-2調(diào)制信道模型兩端信道模型，輸入輸出關(guān)系為：（3-1）其中，為輸入的已調(diào)信號；為信道總輸出波形；為加性噪聲，與相互獨立，無依賴關(guān)系。表示已調(diào)信號通過網(wǎng)絡(luò)所發(fā)生的（時變）線形變換。現(xiàn)在，我們假定能把寫為，其中，依賴于網(wǎng)絡(luò)的特性，是一種乘性干擾。于是上式可以表示為:（3-2）

883.1.1信道的數(shù)學(xué)模型與分類圖3-2調(diào)制883.1.1信道的數(shù)學(xué)模型與分類

由以上分析可知，信道對信號的影響可歸結(jié)為兩點：一是乘性干擾，二是加性干擾。實際的物理信道中，根據(jù)信道傳輸函數(shù)的時變特性的不同可以分為兩大類：一類是基本不隨時間變化，即信道對信號的影響是固定的或變化極為緩慢的，這類信道稱為恒定參量信道，簡稱恒參信道；另一類信道是傳輸函數(shù)隨時間隨機(jī)速快變化，這類信道稱為隨機(jī)參量信道，簡稱隨參信道。

893.1.1信道的數(shù)學(xué)模型與分類由以上893.1.1信道的數(shù)學(xué)模型與分類

（2）編碼信道模型編碼信道包括調(diào)制信道、調(diào)制器和解調(diào)器，是一種數(shù)字信道或離散信道。由于信道噪聲或其他因素的影響，將導(dǎo)致輸出數(shù)字序列發(fā)生錯誤，因此輸入、輸出數(shù)字序列之間的關(guān)系可以用一組轉(zhuǎn)移概率來表征。二進(jìn)制數(shù)字傳輸系統(tǒng)的一種簡單的編碼信道模型如圖3-3所示：圖3-3二進(jìn)制編碼信道模型

903.1.1信道的數(shù)學(xué)模型與分類（2）編碼信道模型903.1.1信道的數(shù)學(xué)模型與分類

輸出的總的錯誤概率為：

由于信道噪聲或其他因素影響導(dǎo)致輸出數(shù)字序列發(fā)生錯誤是統(tǒng)計獨立的，根據(jù)無記憶編碼信道的性質(zhì)可以得到下式：

圖3-4給出了一個無記憶多進(jìn)制編碼信道模型。圖3-4多進(jìn)制無記憶編碼信道模型

913.1.1信道的數(shù)學(xué)模型與分類輸出的總913.1信道的基本概念3.1.1信道的數(shù)學(xué)模型與分類3.1.2信道參數(shù)3.1.3信道容量定義923.1信道的基本概念3.1.1信道的數(shù)學(xué)模型與923.1.2信道參數(shù)1.信道疑義度

輸入信源X的熵：

(3-3)

是在接收到輸出Y以前，關(guān)于輸入變量X的先驗不確定性的度量，所以稱為先驗熵。一般信道中有干擾（噪聲）的存在，已知輸入變量X的概率分布為；而當(dāng)接收到輸出符號后，輸入符號的概率分布發(fā)生了變化，變成后驗概率分布。那么，接收到輸出符號后，關(guān)于X的平均不確定性為:

(3-4)

條件熵：(3-5)

這個條件熵稱為信道疑義度。

933.1.2信道參數(shù)1.信道疑義度13933.1.2信道參數(shù)2．平均互信息

已知代表接收到輸出符號以前關(guān)于輸入變量X的平均不確定性，而代表接收到輸出符號后關(guān)于輸入變量X的平均不確定性。

（3-6）稱為X和Y之間的平均互信息。它代表接收到輸出符號后平均每個符號獲得的關(guān)于X的信息量。它也表明，輸入與輸出兩個隨機(jī)變量之間的統(tǒng)計約束程度。

根據(jù)式（3-3）和式（3-5）得

（3-7）

式中，X是輸入隨機(jī)變量，；Y是輸入隨機(jī)變量，。

943.1.2信道參數(shù)2．平均互信息14943.1.2信道參數(shù)

互信息是代表收到某消息y后獲得關(guān)于某事件x的信息量，即 （3-8）對于平均互信息

（3-9）它是互信息的統(tǒng)計平均值，所以平均互信息永遠(yuǎn)不會取負(fù)值。最差情況是平均互信息，也就是在信道輸出端接收到輸出符號Y后不獲得任何關(guān)于輸入符號X的信息量。953.1.2信道參數(shù)互信息是代表收953.1.2信道參數(shù)3．平均條件互信息

設(shè)三個離散概率空間X，Y，Z，，，，且有概率關(guān)系式

（3-10）

（3-11）

（3-12）963.1.2信道參數(shù)3．平均條件互信息 （963.1.2信道參數(shù)

圖3-5三個概率空間連接關(guān)系圖

（3-13）已知事件的條件下，接收到y(tǒng)后獲得關(guān)于某事件x的條件互信息

將式（3-13）和式（3-8）比較可以得到下面結(jié)論：條件互信息與互信息的區(qū)別僅在于先驗概率和后驗概率都是在某一特定條件下的取值。973.1.2信道參數(shù) 圖3-5三個概率空973.1.2信道參數(shù)

已知，后，總共獲得關(guān)于的互信息，即

（3-14）此關(guān)系式表明，yz聯(lián)合給出關(guān)于x的互信息量等于y給出關(guān)于x的互信息量與y已知條件下z給出關(guān)于x的互信息量之和。

（3-15）

（3-16）而平均互信息為

（3-17）983.1.2信道參數(shù) 已知983.1.2信道參數(shù)

（3-18）平均互信息是隨機(jī)變量X與聯(lián)合變量YZ之間統(tǒng)計依賴程度的信息測度。

例3-1設(shè)信源通過一干擾信道，接收符號為，信道傳遞概率如圖3-6所示。求：（1）信源X中事件和分別含有的自信息。（2）收到消息(j=1,2)后，獲得的關(guān)于（i=1，2）的信息量。（3）信源X和信源Y的信息熵。（4）信道疑義度和噪聲熵。（5）接收到信息Y后獲得的平均互信息。圖3-6二元信道傳遞概率993.1.2信道參數(shù) 993.1.2信道參數(shù)

解：（1）信源

事件含有的自信息為

事件含有的自信息為

（2）根據(jù)題意是計算

i=1，2；j=1，2

i=1，2；j=1，2

j=1，2

i=1，2；j=1，2要計算出必須先算出，所以，計算互信息時一般選用第二個等式進(jìn)行計算，可得1003.1.2信道參數(shù)解：（1）信源事件含有1003.1.2信道參數(shù)

滿足

（3）信源X的信息熵1013.1.2信道參數(shù)滿足 （3）信源1013.1.2信道參數(shù)

（4）信道疑義度

1023.1.2信道參數(shù) （4）信道疑義度1023.1.2信道參數(shù)

噪聲熵（5）接收到信息Y后獲得的平均互信息1033.1.2信道參數(shù) 噪聲熵（5）接收1033.1信道的基本概念3.1.1信道的數(shù)學(xué)模型與分類3.1.2信道參數(shù)3.1.3信道容量定義1043.1信道的基本概念3.1.1信道的數(shù)學(xué)模型與1043.1.3信道容量的定義

信道的信息傳輸率就是平均互信息，即

（比特/符號） （3-19）信道中平均每個符號所能傳送的信息量，平均每個符號所能傳送的信息量，即信道的信息傳輸率R。

若平均傳輸一個符號需要t秒鐘，則信道每秒鐘平均傳輸?shù)男畔⒘繛?/p>

（bit/s） （3-20）一般稱此為信息傳輸速率。

1053.1.3信道容量的定義 信道的信息1053.1.3信道容量的定義

定理3-1平均互信息是輸入信源概率分布的型上凸函數(shù)。

定義這個最大的信息傳輸速率為信道容量C，即

（3-21）

其單位是比特/符號或奈特/符號，而相應(yīng)的輸入概率分布稱為最佳輸入分布。若平均傳輸一個符號需要t秒鐘，則信道單位時間為平均傳輸?shù)淖畲笮畔⒘繛?/p>

（bit/s） （3-22）1063.1.3信道容量的定義 定理3-1106第三章信道與信道容量3.1信道的基本概念3.2離散信道的容量及計算3.3離散序列信道及其容量3.4獨立并聯(lián)信道及其容量3.5串聯(lián)信道容量及數(shù)據(jù)處理定理3.6連續(xù)信道及其容量3.7信源與信道的匹配107第三章信道與信道容量3.1信道的基本概念271073.2離散信道的容量及其計算

3.2.1無干擾離散信道

3.2.2對稱離散無記憶信道容量3.2.3準(zhǔn)對稱離散無記憶信道容量3.2.4一般離散無記憶信道容量

1083.2離散信道的容量及其計算3.2.1無干擾離散信1083.2.1無干擾離散信道

考慮一個離散無干擾信道，其輸入字符集是，輸出字符集是，轉(zhuǎn)移概率如（3-23）式的定義，它由信道特征決定。若給定信道，即信道的轉(zhuǎn)移概率已定，則對應(yīng)于輸入符號的概率分布可以求出相應(yīng)的信道傳輸信息，即

（3-23）

（3-24）

（3-25）

（3-26）

1093.2.1無干擾離散信道 考慮一1093.2.1無干擾離散信道

（3-26）

C的單位是信道上每傳送一個符號（每使用一次信道）所能攜帶的比特數(shù)，即比特/符號（bit/ymbol或bit/channeluse）。（3-27）

如不是以2為底而以e為底取自然對數(shù)時，信道容量的單位變?yōu)槟翁?符號（nat/symbol）。如果已知符號傳送周期是T（秒），也可以“秒”為單位來計算信道容量，此時，以比特/秒（bit/s）或奈特/秒（nat/s）為信道容量單位。轉(zhuǎn)移概率矩陣P已知后，由式（3-26）計算離散無干擾信道容量的關(guān)鍵是能找出使最大的的概率分布。若將定義為輸入符號的概率矢量，由式（3-23）及關(guān)系式1103.2.1無干擾離散信道 （3-21103.2.1無干擾離散信道

可得

（3-29）（3-28）例3-2一個離散無噪信道如下所示。

其信道矩陣是單位矩陣，即因為對于離散無噪信道有因此滿足

信道容量為

1113.2.1無干擾離散信道 （3-1113.2離散信道的容量及其計算

3.2.1無干擾離散信道3.2.2對稱離散無記憶信道容量3.2.3準(zhǔn)對稱離散無記憶信道容量3.2.4一般離散無記憶信道容量

1123.2離散信道的容量及其計算3.2.1無干擾離散信1123.2.2對稱離散無記憶信道容量

如果轉(zhuǎn)移概率矩陣P的每一行都是第一行的置換（包含同樣元素），稱該矩陣是輸入對稱的。如果轉(zhuǎn)移概率矩陣P的每一列都是第一列的置換（包含同樣元素），稱該矩陣是輸出對稱的；如果輸入、輸出都對稱，則稱該離散無記憶信道（DMC）為對稱的DMC信道。對稱DMC信道具有如下性質(zhì)：（1）對稱信道的條件熵與信道輸入符號的概率分布無關(guān)，且有

（2）當(dāng)信道輸入符號等概分布時，信道輸出符號也等概分布；反之，若信道輸出符號等概分布，則輸入符號必定也是等概分布。1133.2.2對稱離散無記憶信道容量 如1133.2.2對稱離散無記憶信道容量

（3）當(dāng)信道輸入符號等概分布時，對稱DMC信道達(dá)到其信道容量，為

（3-30）由于對稱信道的條件熵與信道輸入符號的概率分布無關(guān)，式

于是問題就簡化為。由信息論原理，當(dāng)輸出符號集的各符

或者這就是（3-30）式的來歷。（3-29）轉(zhuǎn)化成號等概出現(xiàn)時可得到最大信源熵，即（3-31）1143.2.2對稱離散無記憶信道容量 （1143.2.2對稱離散無記憶信道容量

例3-3信道轉(zhuǎn)移概率矩陣為，代入式（3-30）求得信道容量為

1153.2.2對稱離散無記憶信道容量 例1153.2離散信道的容量及其計算

3.2.1無干擾離散信道3.2.2對稱離散無記憶信道容量

3.2.3準(zhǔn)對稱離散無記憶信道容量3.2.4一般離散無記憶信道容量

1163.2離散信道的容量及其計算3.2.1無干擾離散信1163.2.3準(zhǔn)對稱離散無記憶信道容量

若信道矩陣M的列可以劃分成若干個互不相交的子集，即；，由為列組成的矩陣是對稱矩陣，則稱信道矩陣M所對應(yīng)的信道為準(zhǔn)對稱信道。

達(dá)到準(zhǔn)對稱離散信道容量的輸入分布（最佳輸入分布）是等概率分布，也可以計算準(zhǔn)對稱離散信道的信道容量為

式中，r是輸入符號集的個數(shù)，為準(zhǔn)對稱信道矩陣中的行元素。是第k個子矩陣中行元素之和，是第k個子矩陣中列

（3-32）設(shè)矩陣可劃分成n個互不相交的子集。元素之和，即

（3-33）

（3-34）當(dāng)輸入等概率分布時，式（3-33）和式（3-34）都與x無關(guān)。1173.2.3準(zhǔn)對稱離散無記憶信道容量 1173.2.3準(zhǔn)對稱離散無記憶信道容量

例