1、log 32H 2 f x e21 log2 2。e2, ”X和Y。121232323XY。1、在認識論層次上研究信息的時候，必須同時考慮到 形式、含義和效用 三個方面的因素。2、1948 年，美國數學家 香農 發表了題為“通信的數學理論”的長篇論文，從而創立了信息論。3、按照信息的性質，可以把信息分成 語法信息、語義信息和語用信息 。4、按照信息的地位，可以把信息分成 客觀信息和主觀信息 。5、人們研究信息論的目的是為了 高效、可靠、安全 地交換和利用各種各樣的信息。6、信息的 可度量性 是建立信息論的基礎。7、 統計度量 是信息度量最常用的方法。8、 熵 是香農信息論最基本最重要的概念。9

2、、事物的不確定度是用時間統計發生 概率的對數 來描述的。10、單符號離散信源一般用隨機變量描述，而多符號離散信源一般用 隨機矢量 描述。、一個隨機事件發生某一結果后所帶來的信息量稱為自信息量，定義為 其發生概率對數的負值 。12、自信息量的單位一般有 比特、奈特和哈特 。13、必然事件的自信息是 0 。14、不可能事件的自信息量是 。15、兩個相互獨立的隨機變量的聯合自信息量等于 兩個自信息量之和 。16、數據處理定理：當消息經過多級處理后，隨著處理器數目的增多，輸入消息與輸出消息之間的平均互信息量 趨于變小 。 H(X / X XH N12Nm20、一維連續隨即變量 X在a，b區間內均勻分布

3、時，其信源熵為 log （） 。21log 2 eP21、平均功率為 P 的高斯分布的連續信源，其信源熵，H （X）=222、對于限峰值功率的 N維連續信源，當概率密度 均勻分布 時連續信源熵具有最大值。23、對于限平均功率的一維連續信源，當概率密度 高斯分布 時，信源熵有最大值。2c24 0 P 和信源的熵功率 之P比 。25、若一離散無記憶信源的信源熵 （）等于 2.5，對信源進行等長的無失真二進制編碼，則編碼長度至少n26、m 元長度為 k，i=1，2n 的異前置碼存在的充要條件是：i27、若把擲骰子的結果作為一離散信源，則其信源熵為 log 6 。228 1/63 和 5 log 18

4、（1+22log 321xp(x) em，其中：x 0m 是 X的數學m2C30、一副充分洗亂的撲克牌（52 1 張，然后放回，若把這一過程看作離散無記憶信源，則2222NNCk。N39、多用戶信道可以分成幾種最基本的類型： 多址接入信道、廣播信道 和相關信源信道。40、廣播信道是只有 一個輸入端和多個輸出端 的信道。41、當信道的噪聲對輸入的干擾作用表現為噪聲和輸入的線性疊加時，此信道稱為 加性連續信道 。log )2N43、信道編碼定理是一個理想編碼的存在性定理，即：信道無失真傳遞信息的條件是 信息率小于信道容量 。1/2 1/2 000 1代表的信道的信道容量C= 1 。代表的信道的信道

5、容量 C= 1 。46、高斯加性噪聲信道中，信道帶寬 3kHz，信噪比為 7，則該信道的最大信息傳輸速率 C= 9 kHz 。tj 6*10 C= 10kHz 。5t51、信源的消息通過信道傳輸后的誤差或失真越大，信宿收到消息后對信源存在的不確定性就 越大 ，獲得的信息量就越小。52、信源的消息通過信道傳輸后的誤差或失真越大道傳輸消息所需的信息率 也越小 。53、單符號的失真度或失真函數 d（x，y）表示信源發出一個符號 x，信宿再現 y 所引起的 誤差或失真 。ijij0 i jij2ijji56、平均失真度定義為失真函數的數學期望，即（xy）在X和 Y 的 聯合概率空間 （）中 的統計平i

6、j均值。57、如果信源和失真度一定，則平均失真度是 信道統計特性 的函數。58、如果規定平均失真度 不能超過某一限定的值 ，即： 。我們把 稱為 保真度準則 。D DDD D59、離散無記憶N次擴展信源通過離散無記憶 N 次擴展信道的平均失真度是單符號信源通過單符號信道的平均失真度的 N 倍。p(y /x ):D ;i , j ,mDDjij2maxInfD12(D) 268、當 時，高斯信源在均方差失真度下的信息率失真函數為 R2DD1，則該信源的 D = a/2 。1，則該信源的 D = 0 。1a 0，則該信源的 R（）= （D/a） 。2ii2iiixxxxxx12345678P(）

7、1/4 1/4 1/8 1/8 1/16 1/16 1/16 1/16 1 。79、對具有 8 個消息的單符號離散無記憶信源進行 4 進制哈夫曼編碼時，為使平均碼長最短，應增加 2 個概率為 0 的消息。80、對于香農編碼、費諾編碼和哈夫曼編碼，編碼方法惟一的是 香農編碼 。81、對于二元序列 1 其相應的游程序列是 23652457 。L。010183、游程序列的熵 等于 原二元序列的熵。84、若“0 1 對應的二元序列的編01010185、在實際的游程編碼過程中，對長碼一般采取 截斷 處理的方法。860”游程和“1”游程可以分別進行哈夫曼編碼，兩個碼表中的碼字可以重復，但 C 碼 必須不同。87、在多符號的消息序列中，大量的重復出現的，只起占時作用的符號稱為 冗余位 。88 縮短了的多元序列 。89、L-D編碼是一種 分幀傳送冗余位序列 的方法。90、L-D編碼適合于冗余位