1、期終練習一、某地區的人群中，10是胖子，80不胖不瘦，10是瘦子。已知胖子得高血壓的概率是15，不胖不瘦者得高血壓的概率是10，瘦子得高血壓的概率是5，則“該地區的某一位高血壓者是胖子”這句話包含了多少信息量。解：設事件A：某人是胖子； B：某人是不胖不瘦 C：某人是瘦子 D：某人是高血壓者根據題意，可知：P（A）=0.1 P（B）=0.8 P（C）=0.1P（D|A）=0.15 P（D|B）=0.1 P（D|C）=0.05 而“該地區的某一位高血壓者是胖子” 這一消息表明在D事件發生的條件下，A事件的發生，故其概率為P（A|D）根據貝葉斯定律，可得：P（D）P（A）* P（D|A）P（B）*

2、 P（D|B）P（C）* P（D|C）0.1 P（A|D）P（AD）/P（D）P（D|A）*P（A）/ P（D）0.15*0.1/0.10.15 故得知“該地區的某一位高血壓者是胖子”這一消息獲得的多少信息量為：I（A|D） = - logP（A|D）=log（0.15）2.73 （bit） 二、設有一個馬爾可夫信源，它的狀態集為S1，S2，S3，符號集為a1，a2，a3，以及在某狀態下發出符號集的概率是（i，k=1，2，3），如圖所示（1）求圖中馬爾可夫信源的狀態極限概率并找出符號的極限概率（2）計算信源處在某一狀態下輸出符號的條件熵H(X|S=j) (j=s1，s2，s3)（3）求出馬爾可

3、夫信源熵解：（1）該信源達到平穩后，有以下關系成立： 可得 （2） （3）（比特/符號）三、二元對稱信道的傳遞矩陣為（1）若P(0)=3/4，P(1)=1/4，求H（X），H（X|Y）和I（X；Y）（2）求該信道的信道容量及其最大信道容量對應的最佳輸入分布解：=0.811(比特/符號)=0.75*0.6+0.25*0.4=0.550.75*0.4+0.25*0.6=0.450.992(比特/符號)0.811+0.971-0.992=0.79 (比特/符號) =0.811-0.79=0.021(比特/符號) （2）此信道為二元對稱信道，所以信道容量為 C=1-H(p)=1-H(0.6)=1-0.

4、971=0.029(比特/符號) 當輸入等概分布時達到信道容量四、求信道的信道容量，其中。解：這是一個準對稱信道，可把信道矩陣分為：， 故 當輸入等概分布時達到信道容量。 1 五、信源（1）利用霍夫曼碼編成二元變長的惟一可譯碼，并求其（2）利用費諾碼編成二元變長的惟一可譯碼，并求其（3）利用香農碼編成二元變長的惟一可譯碼，并求其(1)香農編碼：信源符號概率P(xi)碼長li累積概率P碼字x10.42000x20.230.4011x30.230.6100x40.140.81100x50.0550.911100x60.0550.9511110=0.4×20.2×30.2

5、5;30.1×40.05×50.05×52.9(碼元/信源符號)H(X)/( logr)=2.222/2.9=0.7662（2）霍夫曼編碼：=0.4×2+0.2×2×2+0.1×3+0.05×4×2=2.3(碼元/信源符號)H(X)/( logr)=0.9964(3)費諾編碼：=0.4×2+0.2×2×2+0.1×3+0.05×4×2=2.3(碼元/信源符號)H(X)/( logr)= 0.9964六、設有一離散信道，傳遞矩陣為設P(x1)= P

6、(x2)=1/4，P(x3)=1/2，試分別按最小錯誤概率準則和最大似然譯碼準則確定譯碼規則，并相應的計算機平均錯誤概率的大小。解：（1）按最大似然譯碼準則 F(y1)=x1 F(y2)=x2 F(y3)=x3 P(E)=1/2(1/3+1/6)+1/4×2×(1/3+1/6)=1/2(2) 聯合概率矩陣為，則按最小錯誤概率準 F(y1)=x3 F(y2)=x2 F(y3)=x3 P(E)= 1/8+1/24+2/12 +1/24+1/12=11/24八、一個三元對稱信源接收符號為V0，1，2，其失真矩陣為（1）求Dmax和Dmin及信源的R(D)函數。（2）求出達到的正向試驗信道的傳遞概率解：（1）因為是三元對稱信源，又是等概分布，所以根據r元離散對稱信源可得R（D）log3Dlog2H（D）log3DH（D） 0<=D<=2/3 0 D>2/3 （2）滿足R（D）函數的信道其反向傳遞概率為根據根據貝葉斯定律，可得該信道的正向傳遞概率為：九、設二元碼為C=11100，01001，10010，00111（1）求此碼的最小距離；（2）采用最小距離譯碼準則，試問接收序列10000，01100和00100應譯成什么碼字？