總復習(按章節）第一章緒論1信息的定義。2信息論的定義。3信息、消息、信號的關系4通信系統的模型。2/5/20231第2章信源及其熵1、信源的數學模型2、信源分類：按消息在時間上和幅度上的分布情況，按發出符號之間的關系，對信源分類。3、馬爾科夫性4、齊次馬爾可夫信源的轉移概率具有具有什么特點。5、馬爾可夫鏈遍歷性的判斷定理。6、自信息量、條件自信息量的定義。7、信源符號不確定度和自信息量的區別。8、離散信源的熵。離散信源的熵9、條件熵H(X|Y)、條件熵H(Y|X)的物理含義。10、各種熵之間的關系。

11、離散信源最大熵定理12、互信息的定義，平均互信息；物理含義。13、數據處理定理。14、熵的性質2/5/2023215、離散無記憶信源的序列熵、平均符號熵,極限熵16、離散有記憶平穩信源的幾個結論17、連續信源的熵，最大熵定理18、冗余度的概念、產生的原因；冗余的壓縮。2/5/20233第3章信道和信道容量1、信道分類（按信道輸入/輸出信號特點，根據信道噪聲種類不同）2、信道的表示參數；3、信道容量的定義。4、無噪有損離散信道的信道容量。5、有噪無損離散信道的信道容量6、對稱DMC信道的信道容量。7、串聯信道的信道容量8、無記憶離散序列信道的容量。9、單符號連續信道的信道容量。10、多維無記憶高斯加性連續信道及其容量11、高斯白噪聲加性波形信道的容量（香農公式），香農信息極限2/5/20234第4章率失真函數1、失真度，失真矩陣，平均失真度，常用的失真函數。2、率失真函數，物理含義3、率失真函數的性質4、率失真函數的計算2/5/20235第5章信源編碼1、無失真信源編碼和限失真信源編碼2、信源編碼的數學描述3、碼長Ki及其意義4、幾種常見的碼5、碼樹和kraft不等式（判斷惟一可譯碼存在的充要條件）6、符號序列編碼7、無失真定長編碼定理7、香農第一極限定理（無失真非定長序列編碼定理）8、編碼效率9、最佳編碼的指導思想10、最佳編碼的主要方法：香農（Shannon）、費諾（Fano）、哈夫曼（Huffman）編碼11、香農第三極限定理（限失真信源編碼定理）12、常用信源編碼方法（游程編碼、算術編碼）2/5/20236第6章信道編碼1、信道編碼的目的2、差錯控制編碼3、檢錯和糾錯（差錯控制）的基本原理4、差錯控制方式5、有擾信道編碼定理（Shannon第二極限定理）6、分組碼概念，碼重、碼距；最小距離與檢錯和糾錯能力之間滿足如下關系。7、最簡單的線性分組碼。8、差錯圖樣與譯碼9、矢量空間（碼空間）：定義、基底、張成；子空間、正交；分組編碼的數學概念10、線性分組碼的生成矩陣，系統形式的生成矩陣，系統化2/5/2023711、線性分組碼的校驗矩陣12、伴隨式和標準陣列譯碼。13、譯碼算法；最大似然譯碼與最小距離譯碼14、完備碼及其特點；兩種完備碼的例子15、循環碼及其多項式描述16、生成多項式，循環碼的構造及校驗，系統循環碼17、循環碼編碼電路18、BCH碼和RS碼19、分組碼的擴展、縮短和循環冗余校驗碼20、卷積碼的基本概念21、卷積碼的解析表達式（說明為什么稱之為卷積碼）22、卷積碼的轉移函數矩陣23、卷積碼的狀態流圖24、卷積碼的狀態流圖2/5/2023825、卷積碼的距離特性；信號流圖法求自由距離26、最佳卷積碼27、卷積碼的譯碼——維特比算法28、維特比譯碼差錯概率29、卷積碼應用30、編碼與調制的結合---網格編碼調制31、運用級聯、分集與信息迭代概念的糾錯碼2/5/20239第六章作業講評二維四重子空間：兩個基底，如（0100），（1000）線性組合｛0000，0100，1000，1100｝6.1題重數---構成矢量的元素的個數

維數---張成矢量空間的基底的個數事實上，這是（4，2）分組碼的碼字空間，22=4，共有4個碼字（矢量）其對偶空間是一個n-k=4-2=2維的子空間。如取兩個基底為:(0010）（0001），張成的空間為｛0000，0010，0001，0011｝2/5/2023106.3題碼元排列順序（u3,u2,u1,u0,v3,v2,v1,v0),則生成矩陣為：若碼元排列順序（u0,u1,u2,

u3,v0,v1,v2,

v3),則生成矩陣為：2/5/202311最小碼距dmin方法1：最小碼距d0等于非零碼字的最小重量即d0=wmin

列出所有的碼字，d0=4方法2：由校驗矩陣求最小碼距d0=r+1,r為H的秩r≤4r=4?d0=

4+1=52/5/2023126.6題（3）伴隨式表n-k=424=16,列出16個伴隨式即可6.8題（2）循環碼的系統形式的生成矩陣

C=(cn-1,…c1,c0)=[mk-1,…m1,m0]=m*G將G系統化即得2/5/2023136.11題（7，3）RS碼已知生成多項式g(x)=x4+3x3

+x2+

x+3信息序列m=(4

2

3)即m(x)=4

x2+2

x+3r(x)=xn-km(x)modg(x)=x4(4

x2+2

x+3)modg(x)=

x2+5

x+1

c(x)=xn-km(x)+r(x)=6x6+2x5

+3

x4

+x2+5

x+1c=(6

2

30

51)2/5/202314c=(6

2

30

51)衍生碼為：c=(1011000110000101110018個元素都可以表示為的最高冪次為m-1(這里m=3)的多項式

3=+1；(011)

4=3=

(

+1)=2+;(110)5=32=(+1)2=2++1

；(111)

6=3

3=2+1;(101)2/5/2023156.14題結構圖狀態圖自由距離2/5/202316離散信源的熵1、單獨求信源的熵或其它量時，要給出信源模型2、熵的計算公式（注意符號的使用）3、計算出結果2/5/2023174、各種條件熵的符號①在給定符號yj的條件下，信源X的條件熵H(X|yj)為:②在給定信源Y(即各符號yj)的條件下，信源X的條件熵為:③在給定信源X(即各符號xi)的條件下，信源Y的條件熵為:強調：知道問題到底是求哪個量？2/5/202318各種熵之間的關系H(X,Y)＝H(X)＋H(Y|X)H(X,Y)＝H(Y)＋H(X|Y)

理解、證明和計算

H(X|Y)H(Y|X)I(X;Y)H(X)H(Y)H(X,Y)2/5/202319對稱DMC信道的信道容量。1、寫出模型（傳遞矩陣）2、判斷對稱性（輸入對稱、輸出對稱）3、代入“公式”計算或者：2/5/2023202/5/202321香農公式高斯白噪聲加性波形信道及其容量2/5/202322計算和理解（1）提高信噪比SNR，可以增加信道容量.N0w->0,Ct->∞.（2）增加信道的帶寬并不能無限制地提高信道容量。（3）給出了不同的SNR下，所能達到的最大頻帶利用率。（4）Ct一定時，帶寬w和信噪比SNR可以互換。大的系統帶寬可以降低對輸入信噪比的要求。而大的輸入信噪比可以減少對帶寬的要求。（舉例：擴頻通信）2/5/202323率失真函數的性質D允許的實驗信道