信道與信道容量1第1頁，課件共60頁，創作于2023年2月信道信道：信息傳輸的通道在通信中,信道按其物理組成常被分成微波信道、光纖信道、電纜信道等。信號在這些信道中傳輸的過程遵循不同的物理規律,通信技術必須研究信號在這些信道中傳輸時的特性信息論不研究信號在信道中傳輸的物理過程,并假定信道的傳輸特性已知,這樣信息論就可以抽象地將信道用下圖所示的模型來描述。信道輸入量X(隨機過程)輸出量Y(隨機過程)p(Y|X)第2頁，課件共60頁，創作于2023年2月3.1信道的基本概念3.1.1信道分類用戶數量：單用戶、多用戶輸入端和輸出端關系：無反饋、有反饋信道參數與時間的關系：固參、時變參噪聲種類：隨機差錯、突發差錯輸入輸出特點：離散、連續、半離散半連續、 波形信道第3頁，課件共60頁，創作于2023年2月5.按輸入/輸出信號在幅度和時間上的取值:離散信道：輸入和輸出的隨機序列取值都是離散的信道連續信道：輸入和輸出的隨機序列取值在幅度上連續、時間上離散的信道半離散(半連續)信道：輸入變量取值離散而輸出變量取值連續輸入變量取值連續而輸出變量取值離散波形信道：信道的輸入和輸出在時間上和幅度上均連續的隨機信號。

第4頁，課件共60頁，創作于2023年2月6.按輸入/輸出之間關系的記憶性來劃分：

無記憶信道：信道的輸出只與信道該時刻的輸入有關,而與其他時刻的輸入無關有記憶信道：信道的輸出不但與信道現時的輸入有關而且還與以前時刻的輸入有關第5頁，課件共60頁，創作于2023年2月7.按輸入／輸出信號之間的關系是否是確定關系:無干擾信道：輸入/輸出符號之間有確定的一一對應關系有干擾信道：輸入/輸出之間關系是一種統計依存的關系輸入/輸出的統計關系：離散無記憶信道：用條件概率矩陣來描述。離散有記憶信道：可像有記憶信源中那樣引入狀態的概念。第6頁，課件共60頁，創作于2023年2月設信道的輸入X=(X1,X2…Xi,…),Xi∈{a1…an}

輸出Y=(Y1,Y2…Yj,…),Yj∈{b1…bm}信道轉移概率矩陣p(Y|X)：描述輸入/輸出的統計依賴關系,反映信道統計關系信道XYp(Y|X)3.1.2信道參數第7頁，課件共60頁，創作于2023年2月（1）無干擾(無噪聲)信道無干擾(無噪聲)信道信道的輸出信號Y與輸入信號X之間有確定的關系Y=f(X),已知X后就確知Y轉移概率:第8頁，課件共60頁，創作于2023年2月（2）有干擾無記憶信道有干擾無記憶信道信道的輸出信號Y與輸入信號X之間沒有確定的關系,但轉移概率滿足:有干擾無記憶信道可分為:二進制離散信道離散無記憶信道離散輸入、連續輸出信道波形信道第9頁，課件共60頁，創作于2023年2月二進制離散信道BSC輸入符號X取值{0,1}；輸出符號Y取值{0,1}很重要的一種特殊信道信道轉移概率：

p(0|0)=1－pp(1|1)=1－pp(0|1)=pp(1|0)=p0101pp1-p1-p無錯誤傳輸的概率傳輸發生錯誤的概率1)二進制對稱信道（BSC）10第10頁，課件共60頁，創作于2023年2月2)離散無記憶信道（DMC）第11頁，課件共60頁，創作于2023年2月P:轉移概率矩陣已知X,信道輸出Y表現出來的統計特性完全描述了信道的統計特性,其中有些概率是信道干擾引起的錯誤概率,有些是正確傳輸的概率轉移概率矩陣第12頁，課件共60頁，創作于2023年2月3)離散輸入、連續輸出信道假設信道輸入符號選自一個有限的、離散的輸入字符集X={a1，a2，…，an}，而信道（檢測器）輸出未經量化（m＝∞），這時的譯碼器輸人可以是實軸上的任意值，即y={-∞，∞}。這樣的信道模型為離散時間無記憶信道。加性高斯白噪聲信道（AWGN）第13頁，課件共60頁，創作于2023年2月4)波形信道第14頁，課件共60頁，創作于2023年2月（3）有干擾有記憶信道（略）

說明：設計和分析離散信道編、解碼器的性能，從工程角度出發，最常用的是DMC信道模型或其簡化形式BSC信道模型；若分析性能的理論極限，則多選用離散輸入、連續輸出信道模型；如果我們是想要設計和分析數字調制器和解調器的性能，則可采用波形信道模型。

本書的主題是編、解碼，因此主要使用DMC信道模型。15第15頁，課件共60頁，創作于2023年2月我們研究信道的目的是要討論信道中平均每個符號所能傳送的信息量,即信道的信息傳輸率R平均互信息I(X;Y)：接收到符號Y后平均每個符號獲得的關于X的信息量。信道的信息傳輸率就是平均互信息3.1.3信道容量的定義16第16頁，課件共60頁，創作于2023年2月信道容量C：最大的信息傳輸率單位時間的信道容量：信息傳輸率R=I(X;Y)=H(X)－H(X/Y)比特/符號信息傳輸速率信道在單位時間內平均傳輸的信息量定義為Rt=I(X;Y)/t比特/秒17第17頁，課件共60頁，創作于2023年2月3.2離散單個符號信道及其容量信息傳輸率信道在單位時間內平均傳輸的信息量定義為信息傳輸速率R=I(X;Y)=H(X)－H(X/Y)比特/符號Rt=I(X;Y)/t比特/秒信道容量比特/符號（bits/symbol）

第18頁，課件共60頁，創作于2023年2月3.2離散單個符號信道及其容量3.2.1無干擾離散信道的信道容量第19頁，課件共60頁，創作于2023年2月3.2.1無干擾離散信道設信道的輸入X∈A={a1…an},輸出Y∈B={b1…bm}無噪無損信道輸入和輸出符號之間有確定的一一對應關系X111a1b1a2b2a3

b3Y第20頁，課件共60頁，創作于2023年2月無干擾離散信道無噪無損信道Xa1b1a2

b2an-1bn-1an

bn11Y第21頁，課件共60頁，創作于2023年2月無干擾離散信道無噪無損信道由計算得：噪聲熵H(Y|X)=0疑義度H(X|Y)=0第22頁，課件共60頁，創作于2023年2月無干擾離散信道無噪有損信道多個輸入變成一個輸出(n＞m)Xa1

Ya2

b1a3a4b2a511111輸出Y是輸入X的確定函數,但不是一一對應,而是多一對應關系。第23頁，課件共60頁，創作于2023年2月無干擾離散信道無噪有損信道多個輸入變成一個輸出(n＞m)噪聲熵H(Y|X)＝0疑義度H(X|Y)≠0信道中接收到符號Y后不能完全消除對X的不確定性,信息有損失。但輸出端Y的平均不確定性因噪聲熵等于零而沒有增加。第24頁，課件共60頁，創作于2023年2月無干擾離散信道有噪無損信道一個輸入對應多個輸出(n＜m)X

b1a1b2b3a2b4b51/31/31/31/43/4計算得同理由Y第25頁，課件共60頁，創作于2023年2月無干擾離散信道有噪無損信道一個輸入對應多個輸出(n＜m)接收到符號Y后,對發送的X符號是完全確定的。噪聲熵H(Y|X)≠0疑義度H(X|Y)=0第26頁，課件共60頁，創作于2023年2月無干擾離散信道無噪無損信道：X、Y一一對應無噪有損信道：多個輸入變成一個輸出有噪無損信道：一個輸入對應多個輸出第27頁，課件共60頁，創作于2023年2月3.2.2

對稱DMC信道對稱離散信道：對稱性:每一行都是由同一符號集{q1,q2,…qm}的諸元素不同排列組成——輸入對稱每一列都是由{p1,p2,…pn}符號集的諸元素不同排列組成——輸出對稱滿足對稱性,所對應的信道是對稱離散信道。第28頁，課件共60頁，創作于2023年2月對稱DMC信道信道矩陣

不具有對稱性,因而所對應的信道不是對稱離散信道。

第29頁，課件共60頁，創作于2023年2月3.2.2

對稱DMC信道輸入對稱輸出對稱第30頁，課件共60頁，創作于2023年2月3.2.2對稱DMC信道對稱信道容量第31頁，課件共60頁，創作于2023年2月例某對稱離散信道的信道矩陣為信道容量為32第32頁，課件共60頁，創作于2023年2月3.2.2對稱DMC信道例.求信道容量信道輸入符號和輸出符號的個數相同，都為n，且正確的傳輸概率為1－，錯誤概率被對稱地均分給n-1個輸出符號，此信道稱為強對稱信道或均勻信道，是對稱離散信道的一個特例第33頁，課件共60頁，創作于2023年2月C信道無噪聲當

=0,C=1－0=1bit=H(X)當

=1/2,

信道強噪聲BSC信道容量BSC信道容量C＝1－H（）第34頁，課件共60頁，創作于2023年2月串聯信道例設有兩個離散BSC信道,串接如圖,兩個BSC信道的轉移矩陣為:X00ZY111-p1-p1-pp串聯信道的轉移矩陣為:1-pp35第35頁，課件共60頁，創作于2023年2月串聯信道X00ZY11求得:在實際通信系統中,信號往往要通過幾個環節的傳輸,或多步的處理,這些傳輸或處理都可看成是信道,它們串接成一個串聯信道。pp1-p1-p1-p1-p36第36頁，課件共60頁，創作于2023年2月串聯信道由信息不增原理信道2信道m信道1…可以看出,串接的信道越多,其信道容量可能會越小,當串接信道數無限大時,信道容量可能會趨于0XYZ第37頁，課件共60頁，創作于2023年2月3.2.3準對稱DMC信道準對稱DMC信道如果轉移概率矩陣P是輸入對稱而輸出不對稱，即轉移概率矩陣P的每一行都包含同樣的元素而各列的元素可以不同，則稱該信道是準對稱DMC信道38第38頁，課件共60頁，創作于2023年2月3.2.3

準對稱DMC信道準對稱信道將信道矩陣P的列劃分成若干個互不相交的子集mk,由mk為列組成的矩陣[P]k是對稱矩陣。它們滿定對稱性,所以P1所對應的信道為準對稱信道。

39第39頁，課件共60頁，創作于2023年2月準對稱信道的信道容量準對稱信道準對稱信道容量40第40頁，課件共60頁，創作于2023年2月準對稱信道的信道容量當輸入分布為等概率時：其中n是輸入符號集的個數,(p1,p2,…pm)為準對稱信道矩陣中的行元素。設矩陣可劃分成r個互不相交的子集。Nk是第k個子矩陣Pk中行元素之和,Mk是第k個子矩陣Pk中列元素之和。

41第41頁，課件共60頁，創作于2023年2月例：設信道傳遞矩陣為

計算得：N1=3/4,N2=1/4,M1=3/4,M2=1/4將它分成

第42頁，課件共60頁，創作于2023年2月3.2.3準對稱DMC信道例第43頁，課件共60頁，創作于2023年2月3.2.3準對稱DMC信道例.求信道容量第44頁，課件共60頁，創作于2023年2月3.2.4一般DMC信道一般DMC信道

一般離散信道的平均互信息I(X;Y)達到極大值的充分和必要條件是輸入概率{p(ai)}必須滿足:I(ai;Y)=C

對于所有滿足p(ai)>0條件的II(ai;Y)

C

對于所有滿足p(ai)=0條件的I

當信道平均互信息達到信道容量時，輸入符號概率集{p(ai)}中每一個符號ai對輸出端Y提供相同的互信息，只是概率為零的符號除外.第45頁，課件共60頁，創作于2023年2月3.3離散序列信道及容量設信道的輸入X=(X1,X2…Xi,…),Xi∈{a1…an}

輸出Y=(Y1,Y2…Yj,…),Yj∈{b1…bm}信道XYp(Y|X)對于無記憶離散序列信道,其信道轉移概率為僅與當前輸入有關。若信道是平穩的46第46頁，課件共60頁，創作于2023年2月定理：若信道的輸入和輸出分別是L長序列X和Y,且信道是無記憶的,亦即信道傳遞概率為則存在

定理：若信道的輸入和輸出分別是L長序列X和Y,且信源是無記憶的,亦即則存在

47第47頁，課件共60頁，創作于2023年2月若信源與信道都是無記憶的L次擴展信道的信道容量當信道平穩時:

一般情況下:

擴展信道:如果對離散單符號信道進行L次擴展，就形成了L次離散無記憶序列信道48第48頁，課件共60頁，創作于2023年2月3.3離散序列信道及其容量

111X{00,01,10,11}，Y{00,01,10,11}，二次擴展無記憶信道的序列轉移概率p(00/00)=p(0/0)p(0/0)=(1-p)2，p(01/00)=p(0/0)p(1/0)=p(1-p)，p(10/00)=p(1/0)p(0/0)=p(1-p)，p(11/00)=p(1/0)p(1/0)=p2同理可得其他轉移概率0010110100011011例.BSC信道二次擴展49第49頁，課件共60頁，創作于2023年2月3.3離散序列信道及其容量

1111若p＝0.1，則C2＝2－0.938＝1.062比特/序列

C1=0.531bit/序列

轉移概率矩陣50第50頁，課件共60頁，創作于2023年2月獨立并聯信道

設有L個信道,它們的輸入、輸出分別是：

X1,X2…XL；Y1,Y2…YL信道信道信道p(Y1|X1)p(YL|XL)p(Y2|X2)…每一個信道的輸出Yl只與本信道的輸入Xl有關,與其他信道的輸入、輸出都無關。獨立并聯信道的信道容量

X1X2XLY1Y2YL51第51頁，課件共60頁，創作于2023年2月3.4

連續信道及其容量連續信道的容量不容易計算。當信道為加性連續信道時,情況簡單一些。設信道的輸入和輸出信號是隨機過程x(t)和y(t)

y(t)=x(t)+n(t)n(t)：信道的加性高斯白噪聲

一個受加性高斯白噪聲干擾的帶限波形信道的容量,由香農(1948)正式定義：信道n(t)x(t)y(t)52第52頁，課件共60頁，創作于2023年2月高斯白噪聲加性信道單位時間的信道容量這就是著名的香農公式

限時限頻限功率加性高斯白噪聲信道53第53頁，課件共60頁，創作于2023年2月3.4 連續信道及其容量

例電話信道的帶寬為3.3kHz，若信噪功率比為20dB，即SNR＝100，求信道的容量

第54頁，課件共60頁，創作于2023年2月例一個平均功率受限制的連續信道，其通頻帶為1MHZ，信道上存在白色高斯噪聲。（1）已知信道上的信號與噪聲的平均功率比值為10，求該信道的信道容量；（2）信道上的信號與噪聲的平均功率比值降至5，要達到相同的信道