1、試卷評分標準及標準答案:號座 ：fe教te考（2013 2014學年度第1學期）信息論基礎課程（A 口 /B直|卷）:課程代碼：0410712501考核形式閉卷考試考核日期2 0年月日考核時長1 2 0 分鐘命題教師簽名教研室主任簽名主管系領導簽名.級班、業專、級年訂題號*二四五總分分0 0鬼導分統分人核分人得分評卷人一、選擇題（本大題共6小題，每小題3分，共18分）.卻家 .名姓 ：號學1.有一信源X,其概率分布為X x x1231/4 1/8 1/841/2J,若對該信源進行二次擴展，則每二個符號的平均信息量是（A ）A. 3.5bit B. 1-5bit c.

2、1.75bit D. 3bit12.信源的概率密度為03 x B. C. = D,不確定馬氏源的轉移概率如圖所示，則其所對應的概率轉移矩陣為（C ）1/31/3 2/30、C. 01/2 1/2J/ 201/ 2?1/ 201/2、A. 01/21/2J/302/3/1/ 201/2、D. 01/21/2J/3 2/30/1/ 2 11/2、B. 1/2 1/2 1/2J/302/3/得分 評卷人二、填空題（本大題共5小題，每小題3分，共15分）信源編碼的主要目的是提高有效性 ，信道編碼的主要目的是提高可靠性。無失真信源編碼定理（香農第一定理），可以簡述為：存在無失真信源編碼的充分必要 條件是

3、R2H（X）（或信源編碼碼率R不小于信源的嫡H （X）。二進制信源的最小嫡為0,最大嫡為Ibit/符號（或log2bit/符號）。1一維高斯隨機變量集的嫡為log（2兀22）。得分評卷人一個線性分組碼C =0000000,1111111,該分絹.碼的糾錯個數為3三、判斷題（本大題共5小題，每小題2分，共10分）對定長碼而言，只要非奇異，就唯一可譯。(V )與離散信源一樣，連續信源的差嫡具有非負性。(X )對于離散無記憶對稱信道達到容量時，輸入概率與輸出概率唯一。(V )MAP準則是使譯碼平均錯誤率最小的準則。(V )轉移概率矩陣不隨時間變化的馬氏鏈是平穩馬氏鏈。(X得分評卷人四、計算題(本大題

4、共5小題,每小題9分，共45分)p(OIOO)=p(llll)=O.8,1. 一個二階馬氏鏈，符號集A=0, 1,轉移概率 p(ll00)=p(0lll)=0.2, p(0l01)=p(0ll0)=p(ll01)=p(lll0)=0.5,確定所對應的馬氏源的狀態集，寫出狀態轉移矩陣；求出該信源的平穩分布。解：(1)馬氏源的狀態集為A2=co =00,co =01,co =10,co =11, 01狀態轉移矩陣為戶=(2)假設平穩分布為兀 ro.8 o0.50(71 K K 71 )12340.8 00.50二(K10.200.500.200.5000.500.2200.500.2K300.50

5、0.870、0.50 0.饑兀)r,4、=(兀1且71 + 71 +7l + 71 =1,解得平穩分布為(兀1234則根據RtP=Rt ,得71 71 71 ),23471 7123/。/ o414 7 7 14a a a a a a aap(x)012345670.1 0.1 0.1 0.1 0.1 0.4 0.05 0.052.已知信源共8個符號消息，其概率空間為試用Huffman編碼法編成二進制變長碼，并計算平均碼長。要求寫出詳細的編碼過程。:號座 ：fe教te考解：（1）編碼過程如下圖碼字： 001,。： 010,。2： 011，“3： 100, “4： 10b “5： 110000,

6、 %： 0001 o 67(2)平均碼長= 5x0.1x3 + 0.4x2 + 2x0.05 x 4 = 2.7 碼兀 / 信源符號3.某信道的轉移矩陣尸=1/3 1/3 1/6 1/6J/6 1/3 1/6 1/3/.級班試求：該信道的信道容量及達到容量時的輸出概率。業專、級年.卻家： .名姓:號學解：設輸出概率為，%，4, %。該信道是準對稱信道，當輸入等概率時達到信道容 TOC o 1-5 h z 量，可計算相應的輸出概率為0 =湛1/3 + 1/6) = 1/4, q = (1/3 + 1/ 3) = 1/ 3, 122 2q = (1/ 6 + 1/ 6) = 1/ 6, (1/ 6

7、 +1/ 3) = 1/ 4 o 所以信道容量為C = H(y)-H(l/3,1/ 3,1/ 6,1/ 6)二H(l/4,l/3,l/6,l/4) H(l/3,l/3,l/6,l/6)線=2x(-l/41ogl/4)-l/31ogl/3-l/61ogl/6+2xl/31ogl/3+2xl/61ogl/6:=1+l/31og 1/3+ l/61og 1/6(比特 / 符號).4.設一離散無記憶信道的轉移概率矩陣為0.5 0.3 0.2、P= 0.2 0.3 0.5洪.2 0.4 0勺其中輸入符號集A = a , a , a ）,輸出符號集B = b , b , b,且P（a ） = 1/2,12

8、31231P（。）=尸（。）=1/ 4,利用MAP準則求最佳判決函數和平均錯誤率。 23解：由）可得聯合概率矩陣:號座 ：fe教te考.級班、業專、級年.卻家 .名姓 ：號學0.25 0.150.10、0.05 0.075 0.125R.05 0.100.10 ?根據MAP準則，最佳判決函數為：g(y = b) = a, 1 1- g(y = b ) = a ,1g(y = b ) = a2.平均錯誤率：p =1-p (a ,b) p (a ,b )- p (a ,b )EXY 11 XY 12 XY 23二1-0.25-0.15-0.125=0.475.fx） f 01 ）0 3）5.二元對

9、稱信源=,失真矩陣=3,求信源的R（o）函數。、JL* / X /乙 JL/乙/E 丁 u ,解：根據對稱性，設信道轉移概率矩陣為區.史12 Q令D = Ed(x,y) =p p d =3(1。)=。，可得o = D13 ,i ij iji j由于輸入是等概率，且信道是強對稱信道，所以輸出也等概率，即0 = q=i/2,所 以可得R(D) = H(Y)-H(YX)二H(l/2,l/2) 2x1/ 2H(o,l o)=log2H(l0/3 刀/3).得分評卷人五、綜合應用題（本大題共1小題，共12分）1.在某城市，下雨和晴天的時間各占一半，而天氣預報無論在雨天還是在晴天都有 2/3的準確率。甲先

10、生每天上班這樣處理帶傘問題：如果預報有雨，他就帶傘上班; 如果預報無雨，他也有1/ 3的時間帶傘上班。（1）求事件“在雨天條件下甲先生未帶傘”所含的信息量;（2）求“甲先生帶傘條件下沒有下雨”的信息量；（3）求天氣預報所得到的關于天氣情況的信息量；（4）求通過觀察甲先生是否帶傘所得到的關于天氣情況的信息量。解：設天氣情況：X=0（有雨）,1（無雨）；天氣預報：丫 = 。（有雨），1（無雨）； 帶傘情況：Z = 0（帶傘）,1（未帶傘）。根據題意有X-Y的條件概率矩陣為X-z的條件概率矩陣為。/3J/362/3J/31/32/3/,丫Z的條件概率矩陣為1/3) ( 1X2/3J 1/30 )7/

11、9 2/3廠5/9/ 10、J/3 2/3/2/9、4/9/（1）由于，（z = lx = 0） = 2/9,所以事件“在雨天條件下甲先生未帶傘”所含的信息量為/(z = 1 X = 0) = -log2/ 9 bit.(2)由于(X = k = 0)=，3 = l)，(z = ok = l)p(x = l)p(z = o|x = l)p(z = 0)p(x = 0)p(z = 0|x = 0) + p(x = l)p(z = 0|x = 1)0.5x5/95-0.5x7/9 + 0.5x5/9-12,所以“甲先生帶傘條件下沒有下雨”的信息量為/(4 = l|z = 0) = Tog5/12 bit.2/3 1/3、(3)g =。) P(y = l)=(0.5 0.5)x=(0.5 0.5),JL /V7所以天氣預報所得到的關于天氣情況的信息量為I(X;Y) = H(Y)-H(Yx) = H(Q.5 ,0.5)-2xO.5H(2/3