信息論與編碼課件第三章第一頁，共六十五頁，2022年，8月28日第三章作業

教材第91頁~93頁

3.1，3.2(b)，3.3(1)(3)，

3.10， 3.11第二頁，共六十五頁，2022年，8月28日空間傳輸:各種物理通道---電纜、光纜、空間等。時間傳輸:指將信息保存，然后在以后讀取。信道的數學模型和分類信道概念——通信系統的組成部分，傳遞和存儲信息的通道或媒質,包括空間傳輸和時間傳輸。第三頁，共六十五頁，2022年，8月28日狹義信道：電傳播介質（電纜，自由空間）通信設備（信息經過的通道）廣義信道：測量、觀察設備（示波器）存儲、記憶設備（磁帶，光盤，書信等）信道的數學模型和分類第四頁，共六十五頁，2022年，8月28日輸入輸出關系：轉移概率p(y|x)信道描述：1.輸入集合2.輸出集合3.輸入輸出的轉移概率分布研究目標：從信道的輸出了解信道的輸入信道的數學模型和分類第五頁，共六十五頁，2022年，8月28日

按信道輸入輸出符號分類輸入、輸出空間＝狀態集合＋時間集合

離散信道（數字信道）：輸入輸出空間為離散。連續信道：狀態集合連續，時間集合離散。模擬信道（波形信道）：輸入輸出空間為連續。信道的數學模型和分類第六頁，共六十五頁，2022年，8月28日有記憶信道：輸出Y不僅與當前的輸入X有關，而且與前面的輸入有關。 無記憶信道：輸出Y僅與當前的輸入X有關，與前面的輸入無關。信道的數學模型和分類

按信道轉移概率分布函數的特點分類第七頁，共六十五頁，2022年，8月28日信道的數學模型和分類單用戶信道：輸入和輸出都只有一個的單向通信信道。多用戶信道：輸入和輸出中至少有一端有兩個以上的用戶，且可以進行雙向通信。

按輸入和輸出的數目分類第八頁，共六十五頁，2022年，8月28日固定參數（恒參）信道：信道的統計特性不隨時間變化。時變參數（隨參）信道：信道的統計特性隨時間變化。信道的數學模型和分類

按信道的統計特性與時間的關系分類第九頁，共六十五頁，2022年，8月28日單符號無記憶離散信道的信道容量數學模型：

或離散無記憶信道的信道容量第十頁，共六十五頁，2022年，8月28日研究目標：了解輸出端能從輸入端得到多少信息？即如何將信道所能傳遞的信息定量化？數學表示：互信息I(X;Y)

I(X;Y)=H(X)-H(X|Y)=H(Y)-H(Y|X)

分析：p(y|x)給定，I(X;Y)隨輸入分布p(x)變化而變化。調整該分布可使互信息達到最大值，即給出了信道所能傳遞的最大信息量。定義該最大值為給定信道的信道容量，用C表示：

求信道容量：找到最佳分布，使互信息達到最大值。（最佳分布：達到信道容量時的信源分布。）離散無記憶信道的信道容量第十一頁，共六十五頁，2022年，8月28日

離散無記憶信道的信道容量第十二頁，共六十五頁，2022年，8月28日說明：C客觀反映信道的傳輸能力，只與信道特性有關，而與信源無關，表示每個符號可能傳輸的最大信息量。可以通過編碼改變信源的分布使互信息達到最大值。離散無記憶信道的信道容量第十三頁，共六十五頁，2022年，8月28日定理3.1：對于信道矩陣為P的離散無記憶信道，其輸入分布p(x)能使互信息I(X;Y)達到最大值（信道容量）的充要條件是離散無記憶信道的信道容量第十四頁，共六十五頁，2022年，8月28日例3.3（P:70）取輸入分布

離散無記憶信道的信道容量第十五頁，共六十五頁，2022年，8月28日所以由定理3.1得，

最佳分布離散無記憶信道的信道容量第十六頁，共六十五頁，2022年，8月28日無噪無損信道特殊DMC的信道容量a1b1a2anb2bn111第十七頁，共六十五頁，2022年，8月28日有噪無損信道特殊DMC的信道容量b1a1b2b6a2a31/21/21/2b5b4b311/31/6第十八頁，共六十五頁，2022年，8月28日無噪有損信道特殊DMC的信道容量a1b1a2a6b2b3111a5a4a3第十九頁，共六十五頁，2022年，8月28日對稱信道對稱信道定義：信道轉移矩陣P中所有的行都是同一組元素的不同排列，所有的列也是同一組元素的不同排列。特殊DMC的信道容量第二十頁，共六十五頁，2022年，8月28日準對稱信道定義：設B為信道轉移矩陣P的列集合，如果將B劃分成m個子集，而用每一個子集構成的矩陣所對應的信道都是對稱信道。特殊DMC的信道容量第二十一頁，共六十五頁，2022年，8月28日特殊DMC的信道容量定理3.2：對于準對稱信道，達到信道容量的輸入分布為等概分布。證明：(略)準對稱信道的信道容量計算第二十二頁，共六十五頁，2022年，8月28日特殊DMC的信道容量例：準對稱信道第二十三頁，共六十五頁，2022年，8月28日對稱信道的信道容量計算特殊DMC的信道容量第二十四頁，共六十五頁，2022年，8月28日對稱信道的信道容量計算特殊DMC的信道容量第二十五頁，共六十五頁，2022年，8月28日特殊DMC的信道容量例：對稱信道第二十六頁，共六十五頁，2022年，8月28日強對稱信道（均勻信道）定義：信道輸入、輸出符號個數相同，且信道矩陣為特殊DMC的信道容量第二十七頁，共六十五頁，2022年，8月28日當信道轉移概率矩陣P是非奇異時（此時n=m），即逆矩陣P-1存在時，該信道被稱為可逆矩陣信道。一般DMC的信道容量第二十八頁，共六十五頁，2022年，8月28日例：取 另解：達到信道容量時輸入、輸出概率分布的唯一性第二十九頁，共六十五頁，2022年，8月28日結論：（1）輸入概率分布的解不唯一，輸出概率分布的解唯一。（2）當信道轉移矩陣可逆時，則輸入概率分布有唯一解。

達到信道容量時輸入、輸出概率分布的唯一性第三十頁，共六十五頁，2022年，8月28日數學模型：多符號信道的信道容量第三十一頁，共六十五頁，2022年，8月28日（1）信道無記憶：

證明：多符號信道的信道容量第三十二頁，共六十五頁，2022年，8月28日（2）信源、信道均無記憶：多符號信道的信道容量第三十三頁，共六十五頁，2022年，8月28日信源與信道的匹配第三十四頁，共六十五頁，2022年，8月28日信道的組合第三十五頁，共六十五頁，2022年，8月28日獨立并聯信道（積信道）特點：多輸入，多輸出。各分信道彼此獨立。容量：…獨立并聯信道第三十六頁，共六十五頁，2022年，8月28日獨立并聯信道第三十七頁，共六十五頁，2022年，8月28日和信道特點：隨機應用N個信道中的一個，構成一輸入/輸出信道。容量：分信道的使用概率：

…和信道第三十八頁，共六十五頁，2022年，8月28日和信道b1a1b2b6a2a31/21/21/2b5b4b311/31/63/41/41/43/4a4a5b7b8第三十九頁，共六十五頁，2022年，8月28日和信道b1a1b2b6a2a31/21/21/2b5b4b311/31/611a4a5b7b8第四十頁，共六十五頁，2022年，8月28日輸入并接信道特點：輸入相同X，輸出不同Y=Y1Y2…YN，單輸入，多輸出。容量：對X進行多次測量，每一次測量都構成一輸入/輸出信道，則N次測量后…輸入并接信道第四十一頁，共六十五頁，2022年，8月28日級聯信道特點：單輸入，單輸出。容量：…級聯信道第四十二頁，共六十五頁，2022年，8月28日級聯信道1-ppp1-p1-ppp1-p2p(1-p)(1-p)2+

p2(1-p)2+

p22p(1-p)第四十三頁，共六十五頁，2022年，8月28日連續無記憶信道的信道容量第四十四頁，共六十五頁，2022年，8月28日無記憶加性噪聲信道的容量第四十五頁，共六十五頁，2022年，8月28日無記憶加性高斯噪聲信道的容量無記憶加性高斯噪聲信道（平均功率S受限）說明：對于無記憶加性高斯噪聲信道，利用高斯信號作為輸入時，信道總可以得到充分利用。即在無記憶加性高斯噪聲信道中高斯信號是最有效的，在同樣的信號功率下可以傳輸最多的信息。第四十六頁，共六十五頁，2022年，8月28日無記憶加性噪聲信道的容量界第四十七頁，共六十五頁，2022年，8月28日無記憶加性噪聲信道的容量界第四十八頁，共六十五頁，2022年，8月28日無記憶加性噪聲信道的容量界說明：S為輸入平均功率的上限，為噪聲的方差，為噪聲的熵功率在高斯噪聲情況下，信道容量最小。在未知信道噪聲特性時，將噪聲視為高斯噪聲來考慮為好。第四十九頁，共六十五頁，2022年，8月28日模擬信道及其離散化模擬信道：輸入和輸出信號在幅度和時間上都連續取值的信道。實例：光纖，電纜，電磁波傳播的大氣層或宇宙空間。離散化：設模擬信道的輸入為x(t)，相應的輸出信號為y(t)，則可以通過正交展開將其化為時間離散的序列：

統計特性描述：模擬信道的信道容量第五十頁，共六十五頁，2022年，8月28日模擬信道容量計算（限帶，加性白色高斯噪聲信道）限帶：限制在頻帶[-W,W]內。輸入信號：x(t)，輸出信號：y(t)。噪聲信號：z(t)（1）加性（與輸入統計獨立）（2）高斯（瞬時值的密度函數服從高斯分布）（3）白色（平穩遍歷的隨機過程，功率譜密度N0

）模擬信道的信道容量第五十一頁，共六十五頁，2022年，8月28日結論：限帶W的加性白色高斯噪聲模擬信道相當于N個連續加性高斯信道的并聯。模擬信道的信道容量第五十二頁，共六十五頁，2022年，8月28日結論：（1）帶寬一定時，信道的最大傳輸率是信噪比的函數。（2）信噪比確定時，信道容量與帶寬成正比。此時提高最大信息傳輸率的方法是提高帶寬。例1.用香農公式研究Modem的速度Modem速度可達56Kbps，實際很低。香農公式第五十三頁，共六十五頁，2022年，8月28日在Modem通信環境中，音頻電話支持的頻率范圍是300Hz---3300Hz，則W＝3300Hz－300Hz＝3000Hz.此環境中一般的信噪比為30dB，即30＝10log10(S/N)，S/N＝1000則C＝3000log2(1000+1)30Kbps.（3）對于有確定信道容量C的信道，可以用帶寬W與信噪比S/N的不同組合來傳輸信息。如減少帶寬，則必須發送較大功率的信號。如增大帶寬，則同樣的信道容量能夠用較小功率的信號傳輸，即寬帶系統具有良好的抗干擾性。香農公式第五十四頁，共六十五頁，2022年，8月28日（4）擴頻技術香農公式第五十五頁，共六十五頁，2022年，8月28日

例：CDMA（碼分多址）技術基于擴頻通信的基本原理，將要傳輸的具有一定帶寬的信號，用一個帶寬遠遠大于信號帶寬的高速偽隨機編碼信號（白噪聲）去調制它，使原信號的帶寬被遠遠擴大，達到在S/N較低的情況下得到較高通信質量的目的。香農公式WC0第五十六頁，共六十五頁，2022年，8月28日平行可加高斯信道的容量第五十七頁，共六十五頁，2022年，8月28日由無記憶性及加性類似于離散情形有平行可加高斯信道的容量第五十八頁，共六十五頁，2022年，8月28日達到上述容量的輸入分布：輸入中個分量統計獨立，均值為零，平均功率為Si的高斯隨機變量。約束條件：輸入信號的總平均功率受限，問題：如何將總