1、第一章1.通信系統的基本模型:2.信息論研究內容：信源熵，信道容量，信息率失真函數，信源編碼，信道編碼，密碼體制的安全性測度等等第二章.自信息量：一個隨機事件發生某一結果所帶的信息量。.平均互信息量：兩個離散隨機事件集合X和Y，若其任意兩件的互信息量為 I（Xi;Yj），則其聯合概率加權的統計平均值，稱為兩集合的平均互信息量，用I（X;Y ）表示.熵功率：與一個連續信源具有相同熵的高斯信源的平均功率定義為熵功率。如果熵功率等于信源平均功率，表示信源沒有剩余；熵功率和信源的平均功率相差越大，說明信源的剩余越大。所以信源平均功率和熵功率之差稱為連續信源的剩余度。信源熵的相對率(信源效率)：實際熵與

2、最大熵的比值信源冗余度：意義：針對最大熵而言，無用信息在其中所占的比例。.極限熵：平均符號熵的N取極限值，即原始信源不斷發符號，符號間的統計關系延伸到無窮。.平均符號熵：.離散信源和連續信源的最大熵定理。離散無記憶信源，等概率分布時熵最大。連續信源，峰值功率受限時，均勻分布的熵最大。平均功率受限時，高斯分布的熵最大。均值受限時，指數分布的熵最大.限平均功率的連續信源的最大熵功率：若一個連續信源輸出信號的平均功率被限定為，則其輸出信號幅度的概率密度分布是高斯分布時，信源有最大的熵，其值為.對于維連續平穩信源來說，若其輸出的維隨機序列的協方差矩陣被限定，則維隨機矢量為正態分布時信源的熵最大，也就是

3、維高斯信源的熵最大，其值為7.離散信源的無失真定長編碼定理：離散信源無失真編碼的基本原理原理圖說明：（1） 信源發出的消息：是多符號離散信源消息，長度為L,可以用L次擴展信源表示為： XL=(X1X2XL) 其中，每一位Xi都取自同一個原始信源符號集合（n種符號）： X=x1，x2，xn 則最多可以對應nL條消息。（2）信源編碼后，編成的碼序列長度為k,可以用k次擴展信宿符號表示為：Yk=(Y1Y2Yk) 稱為碼字/碼組其中，每一位Yi都取自同一個原始信宿符號集合：Y=y1，y2，ym 又叫信道基本符號集合（稱為碼元，且是m進制的）則最多可編成mk個碼序列，對應mk條消息定長編碼：信源消息編成

4、的碼字長度k是固定的。對應的編碼定理稱為定長信源編碼定理。變長編碼：信源消息編成的碼字長度k是可變的。8.離散信源的最佳變長編碼定理最佳變長編碼定理：若信源有n條消息，第i條消息出現的概率為pi，且p1>=p2>=>=pn，且第i條消息對應的碼長為ki，并有k1<=k2<=<=kn即：把經常出現的消息編成短碼，不經常出現的消息編成長碼。這樣可使平均碼長最短，從而提高通信效率，代價是增加了編譯碼設備的復雜度。在不等長碼字組成的序列中，要正確識別每個長度不同的碼字的起點就比等長編碼復雜得多。第三章1.信道容量的概念及用途：最大的信息傳輸速率為信息容量信道的功能：

5、以信號形式傳輸和存儲信息2.信道編碼定理：若有一個離散無記憶平穩信源，其容量為C，輸入序列長度為L，則只要傳輸的信息速度R<C則總可以找到一種編碼，使當L足夠大時，得到的譯碼錯誤概率反之，若R>C時，則無論采用何種編碼，必然會有譯碼差錯第四章1.保真度準則下的信源編碼定理：設有某一信源的信息率失真函數為R(D)，選擇有限的失真函數d，對于任意允許的平均失真度D，當壓縮后的信息率 R>R(D)則一定存在某種信源編碼方法，使譯碼后的平均失真度<=D反之，若壓縮后的信息率R<R(D)則無論用什么編碼方法，必有譯碼后的平均失真>=D2.信息率失真函數的概念及應用：給

6、定信源和失真函數，要使信源的平均失真 (D為給定的失真上限)，則需找到某個信道（滿足一定的信道轉移概率分布或轉移概率密度函數），使在該信道（稱為試驗信道）上傳輸的信息速率達到最小，這個最小的信息速率稱為信息率失真函數，記作R(D)。信息率失真理論是量化、數模轉換、頻帶壓縮和數據壓縮的理論基礎。3.信道容量和信息率失真函數的比較：相同點：二者都是求平均互信息的極值不同點：1、C和R(D)的不同：（1）信道容量：選擇某一信源分布的情況下，求平均互信息的極大值。依據：平均互信息I是信源概率分布p(xi)的嚴格上凸函數。（2）信息率失真函數：求選擇某一壓縮試驗信道（轉移概率分布）的情況下，依據保真度準

7、則，求平均互信息的極小值。依據：平均互信息I是信道轉移概率分布p(yj/xi)的嚴格下凸函數。2、 C和R(D)的不同：（1）信道容量C一旦求出來，則與信源分布無關（只是證明存在這樣的滿足信道容量的信源分布），它只和信道轉移概率分布p(yj/xi)有關。即信道容量和信源特性無關，反映信道特性。2）信息率失真函數R(D)一旦求出來，則與信道轉移概率分布無關（只是證明存在達到最小信息率的壓縮試驗信道），它只和信源概率分布p(xi)有關。即信息率失真函數和信道特性無關，反映信源特性。3、 C和R(D)的不同：（1）信道容量是通過信道編碼增加信息冗余度來提高通信的可靠性，是信息傳輸的理論基礎。（2）信

8、息率失真函數是通過信源編碼減少信息冗余度來提高通信有效性，是信源壓縮的理論基礎。第五章最佳變長信源編碼定理：最佳變長編碼定理：若信源有n條消息，第i條消息出現的概率為pi，且p1>=p2>=>=pn，且第i條消息對應的碼長為ki，并有k1<=k2<=<=kn即：把經常出現的消息編成短碼，不經常出現的消息編成長碼。這樣可使平均碼長最短，從而提高通信效率，代價是增加了編譯碼設備的復雜度。在不等長碼字組成的序列中，要正確識別每個長度不同的碼字的起點就比等長編碼復雜得多。第六章1.信道編碼的作用：一類信道編碼的是對傳輸信號的碼型進行變換，使之跟適合與信道特性或滿足接收端對恢復信號的要求，從而減少信息損失；一類信道編碼是在信息序列中人為的增加冗余位，使之具有相關特性，在接收端利用相關特性進行檢錯或糾錯。2.信道編碼器的性能指標及其與碼長之間