信息論基礎模擬試卷題 號一二三四五六七八總 分得 分評卷人一、填空題（共15分，每空1分）1、信源編碼的主要目的是 ，信道編碼的主要目的是 。2、信源的剩余度主要來自兩個方面，一是 ，二是 。3、三進制信源的最小熵為 ，最大熵為 。4、無失真信源編碼的平均碼長最小理論極限制為 。5、當 時，信源與信道達到匹配。6、根據信道特性是否隨時間變化，信道可以分為 和 。7、根據是否允許失真，信源編碼可分為 和 。8、若連續信源輸出信號的平均功率為，則輸出信號幅度的概率密度是 時，信源具有最大熵，其值為值 。9、在下面空格中選擇填入數學符號“”或“”（1）當X和Y相互獨立時，H（XY） H(X)+H(X/Y) H(Y)+H(X)。（2） （3）假設信道輸入用X表示，信道輸出用Y表示。在無噪有損信道中，H(X/Y) 0, H(Y/X) 0,I(X;Y) H(X)。二、（6分）若連續信源輸出的幅度被限定在【2,6】區域內，當輸出信號的概率密度是均勻分布時，計算該信源的相對熵，并說明該信源的絕對熵為多少。三、（16分）已知信源（1）用霍夫曼編碼法編成二進制變長碼；（6分）（2）計算平均碼長;（4分）（3）計算編碼信息率;（2分）（4）計算編碼后信息傳輸率;（2分）（5）計算編碼效率。（2分）四、（10分）某信源輸出A、B、C、D、E五種符號，每一個符號獨立出現，出現概率分別為1/8、1/8、1/8、1/2、1/8。如果符號的碼元寬度為0.5。計算：（1）信息傳輸速率。（5分）（2）將這些數據通過一個帶寬為B=2000kHz的加性白高斯噪聲信道傳輸，噪聲的單邊功率譜密度為。試計算正確傳輸這些數據最少需要的發送功率P。（5分）五、(16分)一個一階馬爾可夫信源，轉移概率為。(1) 畫出狀態轉移圖。(4分)(2) 計算穩態概率。(4分)(3) 計算馬爾可夫信源的極限熵。(4分)(4) 計算穩態下,及其對應的剩余度。(4分)六、設有擾信道的傳輸情況分別如圖所示。試求這種信道的信道容量。七、(16分)設X、Y是兩個相互獨立的二元隨機變量，其取0或1的概率相等。定義另一個二元隨機變量Z=XY(一般乘積)。試計算(1) (2) (3) (4) ;八、(10分)設離散無記憶信源的概率空間為，通過干擾信道，信道輸出端的接收符號集為，信道傳輸概率如下圖所示。(1) 計算信源中事件包含的自信息量；(2) 計算信源的信息熵；(3) 計算信道疑義度；(4) 計算噪聲熵；(5) 計算收到消息后獲得的平均互信息量。信息論基礎參考答案一、填空題（共15分，每空1分）1、信源編碼的主要目的是提高有效性，信道編碼的主要目的是提高可靠性。2、信源的剩余度主要來自兩個方面，一是信源符號間的相關性，二是信源符號的統計不均勻性。3、三進制信源的最小熵為0，最大熵為bit/符號。4、無失真信源編碼的平均碼長最小理論極限制為信源熵（或H(S)/logr= Hr(S)）。5、當R=C或（信道剩余度為0）時，信源與信道達到匹配。6、根據信道特性是否隨時間變化，信道可以分為恒參信道和隨參信道。7、根據是否允許失真，信源編碼可分為無失真信源編碼和限失真信源編碼。8、若連續信源輸出信號的平均功率為，則輸出信號幅度的概率密度是高斯分布或正態分布或時，信源具有最大熵，其值為值。9、在下面空格中選擇填入數學符號“”或“”（1）當X和Y相互獨立時，H（XY）=H(X)+H(X/Y)=H(Y)+H(X)。（2）（3）假設信道輸入用X表示，信道輸出用Y表示。在無噪有損信道中，H(X/Y) 0, H(Y/X)=0,I(X;Y)H(X)。二、（6分）若連續信源輸出的幅度被限定在【2,6】區域內，當輸出信號的概率密度是均勻分布時，計算該信源的相對熵，并說明該信源的絕對熵為多少。 =2bit/自由度該信源的絕對熵為無窮大。三、（16分）已知信源（1）用霍夫曼編碼法編成二進制變長碼；（6分）（2）計算平均碼長;（4分）（3）計算編碼信息率;（2分）（4）計算編碼后信息傳輸率;（2分）（5）計算編碼效率。（2分）（1） 編碼結果為：（2）（3）（4）其中，（5）評分：其他正確的編碼方案：1，要求為即時碼 2，平均碼長最短四、（10分）某信源輸出A、B、C、D、E五種符號，每一個符號獨立出現，出現概率分別為1/8、1/8、1/8、1/2、1/8。如果符號的碼元寬度為0.5。計算：（1）信息傳輸速率。（5分）（2）將這些數據通過一個帶寬為B=2000kHz的加性白高斯噪聲信道傳輸，噪聲的單邊功率譜密度為。試計算正確傳輸這些數據最少需要的發送功率P。（5分）解：（1） （2）五、(16分)一個一階馬爾可夫信源，轉移概率為。(1) 畫出狀態轉移圖。(4分)(2) 計算穩態概率。(4分)(3) 計算馬爾可夫信源的極限熵。(4分)(4) 計算穩態下,及其對應的剩余度。(4分)解：(1)(2)由公式有得(3)該馬爾可夫信源的極限熵為：(4)在穩態下：對應的剩余度為六、設有擾信道的傳輸情況分別如圖所示。試求這種信道的信道容量。解：信道傳輸矩陣如下可以看出這是一個對稱信道，L=4,那么信道容量為七、(16分)設X、Y是兩個相互獨立的二元隨機變量，其取0或1的概率相等。定義另一個二元隨機變量Z=XY(一般乘積)。試計算(1) (2) (3) (4) ;解：(1)Z01P(Z)3/41/4(2) (3) (4) 八、(10分)設離散無記憶信源的概率空間為，通過干擾信道，信道輸出端的接收符號集為，信道傳輸概率如下圖所示。(6) 計算信源中事件包含的自信息量；(7) 計算信源的信息熵；(8) 計算信道疑義度；(9) 計算噪聲熵；(10) 計