本文格式為Word版，下載可任意編輯——信息論與編碼其次章答案2-1、一階馬爾可夫鏈信源有3個(gè)符號(hào)

?u1,u2,u3?，轉(zhuǎn)移概率為：p(u1u1)?1，

2p(u2u1)?12，p(u3u1)?0，p(u1u2)?13，p(u2u2)?0，p(u3u2)?23，p(u1u3)?13，p(u2u3)?23，p(u3u3)?0。畫出狀態(tài)圖并求出各符號(hào)穩(wěn)態(tài)概率。

解：由題可得狀態(tài)概率矩陣為：

0??1/21/2??

02/3[p(sj|si)]?1/3????1/32/30??狀態(tài)轉(zhuǎn)換圖為：

令各狀態(tài)的穩(wěn)態(tài)分布概率為W1，W2，W3，則：W1=

111122W1+W2+W3，W2=W1+W3,W3=W2且：W1+W2+W3=1233233?穩(wěn)態(tài)分布概率為：

296W1=，W2=，W3=

525252-2.由符號(hào)集｛０，１｝組成的二階馬爾可夫鏈，其轉(zhuǎn)移概率為：

P(0|00)=0.8,P(0|11)=0.2,P(1|00)=0.2,P(1|11)=0.8,P(0|01)=0.5,p(0|10)=0.5,p(1|01)=0.5,p(1|10)=0.5畫出狀態(tài)圖，并計(jì)算各符號(hào)穩(wěn)態(tài)概率。解：狀態(tài)轉(zhuǎn)移概率矩陣為：

?0.80.200??000.50.5??p(sjsi)???0.50.500???000.20.8??

令各狀態(tài)的穩(wěn)態(tài)分布概率為w1、w2、w3、w4，利用（2-1-17）可得方程組。

?w1?w1p11?w2p21?w3p31?w4p41?0.8w1?0.5w3?w?wp?wp?wp?wp?0.2w?0.5w?211222233244213?w?wp?wp?wp?wp?0.5w?0.2w11322333344324?3??w4?w1p14?w2p24?w3p34?w4p44?0.5w2?0.8w4且w1?w2?w3?w4?1；

55??w?p(00)??114?14???w?1?p(01)?1?27?7

解方程組得：?即：??w?1?p(10)?1?37?7??55?w4??p(11)??14?142-3、同時(shí)擲兩個(gè)正常的骰子，也就是各面浮現(xiàn)的概率都是1，求：

6（1）、“3和5同時(shí)出現(xiàn)〞事件的自信息量；

（2）、“兩個(gè)1同時(shí)出現(xiàn)〞事件的自信息量；（3）、兩個(gè)點(diǎn)數(shù)的各種組合的熵或平均信息量；（4）、兩個(gè)點(diǎn)數(shù)之和的熵；（5）、兩個(gè)點(diǎn)數(shù)中至少有一個(gè)是1的自信息量。

解：（1）3和5同時(shí)出現(xiàn)的概率為：p(x1)=111??2?6618??I(x1)=-lb118bit4.17111??6636（2）兩個(gè)1同時(shí)出現(xiàn)的概率為：p(x2)=?I(x2)=-lb1?5.17bit36（3）兩個(gè)點(diǎn)數(shù)的各種組合（無(wú)序?qū)Γ椋?1,1),(1,2),(1,3),(1,4),(1,5),(1,6)(2,2),(2,3),(2,4),(2,5),(2,6)(3,3),(3,4),(3,5),(3,6)(4,4),(4,5),(4,6)(5,5),(5,6)(6,6)其中，(1,1),(2,2),(3,3),(4,4),(5,5),(6,6)的概率為1/36，其余的概率均為1/18所以，?H(X)??15?1111lb?6?lb?4.337bit事件18183636（4）兩個(gè)點(diǎn)數(shù)之和概率分布為：

43x2

p136236336125463636i7636853694361031112521

363636信息為熵為：H???p(x)1bp(x)?3.27bit

ii?2（5）兩個(gè)點(diǎn)數(shù)之中至少有一個(gè)是1的概率為：p(x3)??I(x3)=-lb113611?1.17bit362-4.設(shè)在一只布袋中裝有100個(gè)用手觸摸感覺完全一致的木球，每個(gè)球上涂有一種顏色。100

個(gè)球的顏色有以下三種狀況：（1）紅色球和白色球各50個(gè)；（2）紅色球99個(gè)，白色球1個(gè)；（3）紅、黃、藍(lán)、白色球各25個(gè)。

分別求出從布袋中隨意取出一個(gè)球時(shí)，猜測(cè)其顏色所需要的信息量。解：（1）設(shè)取出的紅色球?yàn)閤1，白色球?yàn)閤2；有p(x1)?則有：H(X)??(lb11，p(x2)?2212111?lb)=1bit/事件222(2)p(x1)?0.99,p(x2)?0.01;

則有：H(X)??(0.99lb0.99?0.01lb0.01)=0.081（bit/事件）

(1)?px()2px?()3px?()(3)設(shè)取出紅、黃、藍(lán)、白球各為x1、x2、x3、x4，有px則有：H(X)??4(lb)?2bit/事件

4?141414

2-5、居住某地區(qū)的女孩中有25%是大學(xué)生，在女大學(xué)生中有75%身高為1.6M以上，而女孩中身高1.6M以上的占總數(shù)一半。假使得知“身高1.6M以上的某女孩是大學(xué)生〞的消息，問獲得多少信息量？

解：設(shè)女孩是大學(xué)生為事件A，女孩中身高1.6m以上為事件B，則p(A)=1/4,p(B)=1/2，

p(B|A)=3/4，則P(A|B)=

p(AB)p(A)P(B|A)0.25?0.753??=

0.58p(B)P(B)I（A|B）＝log（1/p(A/B)）=1.42bit

2-6.擲兩顆，當(dāng)其向上的面的小圓點(diǎn)數(shù)之和是3時(shí)，該消息所包含的信息量是多少？當(dāng)小圓點(diǎn)數(shù)之和是7時(shí)，該消息所包含的信息量又是多少？

解：（1）小圓點(diǎn)數(shù)之和為3時(shí)有（1,2）和（2,1），而總的組合數(shù)為36，即概率為p(x?3)?則

1，18I(x?3)??lbp(x?3)??lb1?4.17bit18（2）小園點(diǎn)數(shù)之和為7的狀況有（1,6），（6,1）（2,5）（5,2）（3,4）（4,3），則概率為

p(x?7)?11，則有I(x?7)??lb?2.585bit662-7、設(shè)有一離散無(wú)記憶信源，其概率空間為?（1）、求每個(gè)符號(hào)的自信息量；

（2）、信源發(fā)出一消息符號(hào)序列為

?X??x1?0x2?1x3?3x4?3????38?P141418?????202320230213001203210110321010021032023223210?，求該消息序列的自信息量及平均每個(gè)符號(hào)攜帶的信息量。

3?1.415bit81x2的自信息量為：I(x2)=-lb?2bit

41x3的自信息量為：I(x3)=-lb?2bit

41x4的自信息量為：I(x4)=-lb?3bit

8解：（1）x1的自信息量為：I(x1)=-lb（2）在該消息符號(hào)序列中，x1出現(xiàn)14次，x2出現(xiàn)13次，x3出現(xiàn)12，x4出現(xiàn)6次，所以，該消息序列的自信息量為：

I（xi）=14I（x1）+13I（x2）+12I（x3）+6I（x4）

?19.81bit?26bit?24bit?18bit?87.81bit平均每個(gè)符號(hào)攜帶的信息量為：

I2?87.81/45?1.95???比特/符號(hào)H(X)?p(x1)logp(x1)?p(x2)logp(x2)?p(x3)logp(x3)?p(x4)logp(x4)

3111?1.415??2??2??38448

?1.90b6it?

2-8．試問四進(jìn)制、八進(jìn)制脈沖所含的信息量是二進(jìn)制脈沖的多少倍？

解;設(shè)二進(jìn)制、四進(jìn)制、八進(jìn)制脈沖的信息量為

I2(X)??lb111?1bitI4(X)?lb?2bitI8(X)?lb?3bit248所以，四進(jìn)制、八進(jìn)制脈沖信息量分別是二進(jìn)制脈沖信息量的2倍、3倍。

2-10在一個(gè)袋中放5個(gè)黑球、10個(gè)白球，以摸一個(gè)球?yàn)樵囼?yàn)，摸出的球不再放進(jìn)去。求：（1）一次試驗(yàn)中包含的不確定度；

（2）第一次試驗(yàn)X摸出是黑球，其次次試驗(yàn)Y給出的不確定度；（3）第一次試驗(yàn)X摸出是白球，其次次試驗(yàn)Y給出的不確定度；（4）其次次試驗(yàn)包含的不確定度。

解：（1）一次試驗(yàn)的結(jié)果可能摸到的是黑球x1或白球x2，它們的概率分別是p(x1)?1，3p(x2)?2。所以一次試驗(yàn)的不確定度為312112)?(log?H(X)?H(,?333332log?)30.?528?0.39b0it0.918

(2)當(dāng)?shù)谝淮卧囼?yàn)摸出是黑球，則其次次試驗(yàn)Y的結(jié)果可能是摸到黑球x1或白球x2，它們的

概率分別是p(y1x1)?25、p(y2x1)?。77所以該事件的不確定度為

H(Yx1)???p(yix1)lopgyix(1??)i27(25l?og775log7)?0.516?0.347?0.863bit/符號(hào)

(3)當(dāng)?shù)谝淮卧囼?yàn)摸出是白球，則其次次試驗(yàn)Y的結(jié)果可能是摸到黑球y1或白球y2，它們的概率分別是p(y1x2)?59、p(y2x2)?。1414所以該事件的不確定度為

5599H(Yx2)???p(yix2)logp(yix2)??(log?log)

14141414i（4）

?0.530?0.410?0.940bit/符號(hào)

2H(Y|X)???p(xi)H(Y|xi)=p(x1)H(Yx1)?p(x2)H(Yx2)=0.91bit/符號(hào)i?0二次試驗(yàn)B出現(xiàn)結(jié)果的概率分布是p(x,y)=p(黑，黑)=p(x,y)=p(白，黑)=

25，p(x,y)=p(黑，白)=，212159，p(x,y)=p(白，白)=2121所以二次試驗(yàn)的不確定度為H(B)=?22555599?log?log=0.91bit/符號(hào)?loglog

2121212121212121

2-11有一個(gè)可旋轉(zhuǎn)的圓盤，盤面上被均勻地分成38份，用1，2，、、、，38數(shù)字標(biāo)示，其中有2份涂綠色，18份涂紅色，18份涂黑色，圓盤停轉(zhuǎn)后，盤面上指針指向某一數(shù)字和顏色。（1）若僅對(duì)顏色感興趣，則計(jì)算平均不確定度；

（2）若對(duì)顏色和數(shù)字都感興趣，則計(jì)算平均不確定度；（3）假使顏色已知時(shí)，則計(jì)算條件熵。

解：令X表示指針指向某一數(shù)字，則X={1,2,……….,38}

Y表示指針指向某一種顏色，則Y={綠色，紅色，黑色}Y是X的函數(shù)