1、一、判斷題共10小J 滿分20分. 1.當隨機變量X和丫相互獨立時，條件爛H(XI Y)等 7、某二元信源爲冷打加其失真矩陣 圖如右圖所示, 信源X的符號集為0丄2 1 1 0 1 G = 1 1 0 1 1 0 1 0 1 0 于信源爛H(X).() 2. 由于構成同一空間的基底不是唯一的，所以不同的基 底或生成矩陣有可能生成同一碼集. () 3. 般情況下，用變長編碼得到的平均碼長比定長編碼 大得多.() 4. 只要信息傳輸率大于信道容量，總存在一種信道編譯 碼，可以以所要求的任意小的誤差概率實現(xiàn)可靠的通 信. () 5. 務碼字的長度符合克拉夫特不等式，是唯一可譯碼存 在的充分和必要條件

2、.() Y）_ H（X）。 三、（16分）已知信源 （1）用霍夫曼編碼法編成二進制變長碼；（6分） （2）計算平均碼長兀；（4分） （3）計算編碼信息率X; （2分） （4）計算編碼后信息傳輸率/?;（2分） （5）計算編碼效率巾。（2分） 四、（10分）某信源輸出A、B、C、D、E五種符號，每一個 符號獨立岀現(xiàn)，出現(xiàn)概率分別為1/8、1/8、1/8、1/2、1/8。 如果符號的碼元寬度為0.5/5。計算： （1）信息傳輸速率心。（5分） （3）計算馬爾可夫信源的極限爛。（4分） 計算穩(wěn)態(tài)下HH2及苴對應的剩余度。（4分） 六、設有擾信道的傳輸情況分別如圖所示。試求這種信道的 信道容量。 1/

3、2 七、（16分）設X、Y是兩個相互獨立的二元隨機變量，苴取 0或1的概率相等。左義列一個二元隨機變S Z=XY（一般乘 積）。試計算 （1） H（X）,H（Z）; H（XY）,H（XZ）; （3） H（XIF）,H（ZIX）; 八、（10分）設離散無記憶信源的概率空間為 通過干擾信道，信道輸出端的接收符號 五、（16分）一個一階馬爾可夫信源，轉(zhuǎn)移概率為 2 1 、“、 P（S1IS1） = -,P（S2ISI） = -,P（IIS2） = 1,P（S2IS2） = O. （1）畫出狀態(tài)轉(zhuǎn)移圖。（4分） （2）計算穩(wěn)態(tài)概率。（4分） il算信源X中事件旺包含的自信息量; （2）計算信源X的信息

4、爛： 計算信逍疑義度H（XIY）： （4）計算噪聲爛H（YIX）： 集為Y = yiiy2,信道傳輸概率如下圖所示。 0.2 0.2 = 0.2 0.2 - 0. 1 - o. 1 _L (2) (3) (4) H(S) = H (0.2,0.2,020.2,0.1.0.1) = 2.53 （5）計算收到消息Y后獲得的平均互信息呈:。 信息論基礎2參考答案 一、填空題（共15分，每空1分） 1、信源編碼的主要目的是提髙有效性,信道編碼的主要目的 是提高可靠性。 2、信源的剩余度主要來自兩個方而，一是信源符號間的相關 性，二是信源符號的統(tǒng)計不均勻性。 3、三進制信源的最小爛為g,最大爛為log,

5、 bit/符號。 4、無失真信源編碼的平均碼長最小理論極限制為信源爛（或 H（S）/logr二 Hr（S）。 5、當R二C或（信道剩余度為0）時,信源與信逍達到匹配。 6、根據(jù)信道特性是否隨時間變化，信道可以分為恒參信道和 隨參信道。 7、根據(jù)是否允許失真,信源編碼可分為無失貞信源編碼和限 失真信源編碼。 8、若連續(xù)信源輸出信號的平均功率為亍，則輸岀信號幅度 % 的概率密度是高斯分布或正態(tài)分布或/（X）=出時， 信源具有最大埔，英值為值110g2cr2 o 9、在下而空格中選擇填入數(shù)學符號=,乙5”或“” （1）當 X 和 Y 相互獨立時，H （XY） gH （X） +H （X/Y） 5H （

6、Y）+H （X） （2）H、（X*皿=聖蟲1 23 （3）假設信道輸入用X表示，信道輸岀用Y表示。在無噪有 損信道中,H（X/Y） 0, H（Y/X）=0,I（X;Y）H（X）o 三.（16分）已知信源 1.0 Ss Sb 編碼結果為： S =00 s, =01 S = 100 s4 = 101 Ss =110 3 = 111 Z = f 加=0.4 X 2 + 0.6 X 3 = 2.6 碼 號 II R = Elogr=2.6b* 了號 /學973%元其中， 、 H（S） H（S） （5） 77 = = = 0.973 Llogr L 評分：其他正確的編碼方案：1，要求為即時碼2,平均碼長

7、 最短 四、（10分）某信源輸岀A、B、C、D、E五種符號，每一個 符號獨立出現(xiàn)，出現(xiàn)概率分別為1/8、1/8、1/8、1/2、l/8o 如果符號的碼元寬度為0.5/5O計算： （1）信息傳輸速率。（5分） （1） （1）尺+h（x）-丹（為） = llog84-llog2 = log24-llog2 =2 log 2 = 2bit （1）用霍夫曼編碼法編成二進制變長碼:（6分） （2）計算平均碼長兀；（4分） （3）計算編碼信息率X; （2分） （4）i|-算編碼后信息傳輸率/?; （2分） （5）計算編碼效率巾 （2分） R( =4xl0%xy 0.5/5 五、（16分）一個一階馬爾可夫信

8、源，轉(zhuǎn)移概率為 2 , P（S1I5i） = -,P（S2IS1） = -,P（51IS2） = 1,P（52IS2） = 0. （1）畫出狀態(tài)轉(zhuǎn)移圖。（4分） 計算穩(wěn)態(tài)概率。（4分） 計算馬爾可夫信源的極限嫡。（4分） 計算穩(wěn)態(tài)下HH2及其對應的剩余度。（4分） 解： 由公式p(sj = p(ssjp(sj 2 2 P(SJ =若 P(SJSJP(SJ = P(SJ + P(S2) 1 P(S2) = P(S2I5,)P(SJ = -P(51) P(Sj + P(S2)= l P(SJ =扌 6)=4 （3）該馬爾可夫信源的極限爛為: 施= P(SJ P(SSjlog P(SSj (】y-1

9、 3 2 ,2311 =x xlogx xloe- 4 3 3 4 3 = 1x0.578 + 1x1.599 24 =0.681b/ 符號 =0.472 na/ 符號 =0.205 hart/ 符號 在穩(wěn)態(tài)下: M 3 11 二-乂卩(入)logP(xJ = _ -xlog-+-xlog- =0811b/符號 ii 44 44； H2 = Hx =0.205 hart/符號=0.472 nat/ 符號= 0.681 bit/符號 對應的剩余度為 0.811 rn 7jvv = 0.189 _ -log! - + 二log _ 2賈2丿2賈2丿丿 12 0.681 六、設有擾信道的傳輸情況分別

10、如圖所示。試求這種信逍的 信道容量。 Y 解：信道傳輸矩陣如下 Pyix = 可以看出這是一個對稱信道, C = log4-/f-,-,0,o !2 x 2/3 12/15 4/5 X 3/20 1/20 1/5 49/60 11/60 1/5 H(XY) = H fl 1 H(ZIX)= -H(l,0)+ -H 丄，丄= 0.5肋 2 2 、2 2 丿 (4) I(X.Y) = H(Y)-H(YX) = H(Y)-H(Y) = O = 1.404/ 符號 =0.973)nat/符號 =0.423 hart/ 符號 /(y)=H(49/60,11/60)=0.687M/楞=0476創(chuàng)楞=020

11、7加”/ 符號 /(X,Z)= H(Z) H(ZIX) = 0811305 = 0.3113b 八、(10分)設離散無記憶信源的概率空間為 X = v, V ,通過干擾信道，信道輸出端的接收符號 0.8 0.2. 集為y=yy2信道傳輸概率如下圖所示。 /(xiy)=/(xr)-/(r)=o.7i7to/符號丸鋤加/陸司恥伽/符號 H(Y1X卜H(XY卜H(X卜0 (8) 計算信道疑義度H(XIY)： 計算噪聲H(YX), x2 勺 耳 _ PLo.5 0.25 0250.125_ ，則其無記憶二 次擴展信源的嫡H(F) = () A、1. 75比特/符號； B、3. 5比特/符號; C、9比

12、特/符號；D、18比特/符號。 2、信 道 轉(zhuǎn) 移 矩 陣 為 4也) p(”/G 0 0 0 0 0 0 P()火) P(也) 0 0 0 0 0 0 P(”g) p(u 0.250.50.25 0.25 0.250.5，則它是 0.50.250.25 信道(填 一 _ 3-4 1-4 1-4 3-4 其中P(兒/兀)兩兩不相等，則該信道為 3、A、一一對應的無噪信道 B、具有并歸性能的無噪信道 C、對稱信道 D、具有擴展性能的無噪信道 3、設信道容量為C,下列說法正確的是：() A、互信息量一定不大于C B、交互嫡一定不小于C C、有效信息量一定不大于C D、條件嫡一定不大于C 4、在吊聯(lián)

13、系統(tǒng)中，有效信息量的值() A、趨于變大 B、趨于變小 C、不變 D、不確定 5、若BSC信道的差錯率為P,則其信道容量為: () A、H(P) log2 (1-小店 c、1 %) 對稱，準對稱)，其信道容量是比 特/信道符號。 三、(2分鮎通過-個干擾信 道，接受符號集為Y= 必,信道轉(zhuǎn)移矩陣為 試求(1) H(X),H(Y),H(XY); (7 分) (2) H(Y|X),H(X|Y); (5 分) (3) I(Y;X)o (3 分) (4) 該信道的容量C (3分) (5) 當平均互信息量達到信道容量時，接收端 Y的爛H (Y)o (2分) 計算結果保留小數(shù)點后2位，單位為比特/符 號。

14、 四、(9分)簡述平均互信息量的物理意義，并寫出 應公式。 D、-Plog(P) 二、填空題(20分，每空2分) 1、(74)線性分組碼中，接受端收到分組R的位 數(shù)為伴隨式S可能的值有_種, 差錯圖案e的長度為,系統(tǒng)生成矩 陣Gs為行的矩陣，系統(tǒng)校驗矩陣 耳為_ 行的矩陣，Gs和比滿足的關 系式是o 2、香農(nóng)編碼中,概率為卩3)的信源符號O q=lim-=log2 1 十 5答：香農(nóng)公式為 bills 它是 島斯加性白噪聲信道在貳位時間內(nèi)的信道容址.其值取決于信噪比和 帶寬。 2）求該信道的信道容量和最佳輸入分布。 101g_L_=30 dB -=1000 由抨得弘爐 ,則 Ct =50001

15、og2 （1 + 1000） = 49836 bit Is 瓦? H（X） 6答：只要L 10g29當N足夠長時，一定存在一種無失真編 碼。 7答：、IRVC時.只要碼長足夠長，一定能找到一種編碼方法和譯碼 規(guī)則.使譯碼錯誤概率無窮小。 S答 1）保真度準則為：平均失真度不大于允許的失真度。 3答:1）二元碼的碼字依序9： 10. 11, 010, 011. 1010. 1011. 1000, 1001 o 平均碼長厶=2 6勿符號，編碼效率廿97 2）三元碼的碼字依序為：1. 00. 02. 20. 21. 22, 010, 011。 平均碼長厶7勿仃符號，編碼效率巧=0少36 0=0 2）因為失貞矩陣中每