2.1莫爾斯電報系統中，若采用點長為0.2s,1劃長為0.4s,且點和劃出現的概率分別為2/3和1/3,試求它的信息速率每個符號的熵為2.2一個8元編碼系統，其碼長為3,每個碼字的第一個符號都相同(用于同步),若每秒產生1000個碼字，試求其信息速所以，信息速率為6×1000=6000比特/秒2.3擲一對無偏的骰子，若告訴你得到的總的點數為：(a)7;(b)12。試問各得到了多少信息量?解：(a)一對骰子總點數為7的概率是(b)一對骰子總點數為12的概率是2.4經過充分洗牌后的一付撲克(含52張牌),試問：(a)任何一種特定排列所給出的信息量是多少?(b)若從中抽取13張牌，所給出的點數都不相同時得到多少信息量?解：(a)任一特定排列的概率為所以，給出的信息量為-log(b)從中任取13張牌，所給出的點數都不相同的概率為比特.2.5設有一個非均勻骰子，若其任一面出現的概率與該面上的點數成正比，試求各點出現時所給出的信息量，并求擲解：易證每次出現i點的概率為,所以比比比比比比比比比比比比特特特特特特圖中X表示白楊或白樺，它有種排法，Y表示梧桐樹可以栽種的位置，它有排法，所以共有種排法保證沒有兩棵梧桐樹相鄰，因此若告訴你沒有兩棵梧桐樹相鄰時，得到關于樹排列的p(y=0)=p(x=0)p(y=0|x=0)+p(x=1)p(y=0|p(z=0)=p(y=0)p(z=0|y=0)+p(y=1)p(z=0|=(p(z=0y=0,x=0)p(y=0|x=0)+p(z=0|y=1,x=0)p(y=1|x=0)p=(p(z=0|y=0,x=1)p(y=0|x=1)+p(z=0|y=1,x=1)p(y=1|x=1)pH(Y|X)=p(x=0)p(y=0|x=0)log?p(y=0|x2.8在A、B兩組人中進行民意測驗，組A中的人有50%講真話(7),30%講假話(F),20%拒絕回答(R)。而組B中有30%講真話，50%講假話和20%拒絕回答。設選A組進行測驗的概率為p,若以I(p)表示給定T、F或R條件下得到的有關消息來自組A或組B的平均信息量，試求I(p)的最大值。解：令X={A,B},Y={T,F,R},則P(T)=P(T|A)P(A)+P(T|B)P(B)=-(0.3+0.2p)log?(0.3+0.2p)-(0.5-0.2p)log?(0.5-0.2p)-0.-(0.5plog?2+0.3plog?1+0.2plog?5+0.3(1-p)log?3+0.5(1-p)l=0.3log?0.3+0.5log?0.5-(0.3+0.2p)log?(0.3+0.2p)-(0.5-0.2p)log?(2.9隨機擲三顆骰子，以X表示第一顆骰子拋擲的結果，以Y表示第一和第二顆骰子拋擲的點數之和，以Z表示三顆骰子的點數之和。試求H(Z|)、H(x|)、H(Z|XY),H(X=3.2744比特所以H(Z/Y)=H(Xs)=2.585比特H(X/Y)=H(X)-H(Y)+H(Y/X)=2.585-3.2744+2.585=1.8955比特H(Z/XY)=H(Z/Y)=2.585比特H(XZ/Y)=H(X/Y)+H(Z/XY)=1.8955+2.585=4.48052.12計算習題2.9中的I(Y;Z),I(X;Z),I(XY;Z),I(Y;Z|X)和I(X;ZI)。I(X;Z)=H(Z)-H(Z/X)=3.5993-3.27I(XY;Z)=H(Z)-H(Z/XY)=H(Z)-I(Y;Z/X)=H(Z/X)-H(Z/XY)=H(X?+Xs)-H(X?)=3.2744-2.585=0.6894比特I(X;Z/Y)=H(Z/Y)-H(Z/XY)=H(Z/Y)-H2.10設有一個系統傳送10個數字：0,1,…,9。奇數在傳送時以0.5的概率錯成另外的奇數，而其它數字總能正確所以I(X;Y)=log?10-1=2.32192.11令{uh,tu,…,s}為一等概消息集，各消息相應被編un=0000,u=0011,un=0101,u=0110=1001,L=1010,un=1100,L=1111通過轉移概率為p的BSC傳送。試求：(a)接收的第一個數字0與u之間的互信息量。(b)接收的前二個數字00與u之間的互信息量。(c)接收的前三個數字000與u之間酌互信息量。(d)接收的前四個數字0000與u之間的互信息量。解：(a)接收前一個數字為0的概率2.13令X、X、Z是概率空間，試(b)H(YZ|X)=H(Y|X)+H(Z|XY)。(c)(由第二基本不等式)或(由第一基本不等等號成立的條件為p(z/xy)=p(z/x),對所有x∈X,y∈Y,z∈Z,即在給定X條件下Y與Z相互獨立。等號成立的條件為p(z/xy)=p(z/x),對所有x∈X,y∈Y,z∈Z,即在給定X條件下Y與Z相互獨立。2.14對于任意概率事件集X、Y、Z,證明下述三角不等式成立。H(X|I+H(YZ≥H(X|ZH(XV/H(XY)+H(Y|Z/H(YZ)≥H(X|Z)/H(XZ)數。試證明有關距離的三個公理：d(X,X)=0(b)d(X,Y)=H(X/Y)+H(Y/X)=H(Y/X)+H2.16定義S(X,)=1-p(X,Y)=I(X;V/H(XY)I(X,Y)=H(X)+H(Y)-H(XY)≤H(X)+H(Y)-H(XY)+H(X/當且僅當X和Y獨立時，I(X;Y)=0,所以，當且僅當X和Y獨立時，解：X→Y→Z為馬爾可夫鏈，有p(z/xy)=p(z/y),對所有x,y,I(Y;Z/X)=I(Y;Z)-I(X;Z)≤I(Y;Z)I(X;Z=H(Z)—H(Y)I(XY;Z)=H(Z)I(X;YZ)=H(X)I(Y;Z|X)=H(Y)I(X;Y|Z)=H(X|Z)=H(YZ)I(Y;Z)=H(Z)-H(Z/Y)H(Z/X)=H(Y)I(XY;Z)=H(Z)-H(Z/XY)=H(Z)I(XY;Z)=H(XY)-H(XY/Z)≤H(XY)I(XY;Z)=H(Z)-H(Z/XY)=H(Z)I(X;YZ)=H(X)-H(X/XY)=H(X)所以I(X;Y/Z)=H(X/Z)=H(Y/Z)2.19證明HK(P)是概率矢量P=(P?,P?,…,Pk)的上凸函數，即對θ,o<θ<1和矢量R和B.有H(θP?+(1-θ)P?)>0H(P)+(1-θ)H(P?)設P=(p??,P1?…P1k),P?=(P?1,P2??,…P?k),0≤θ≤1θP?+(1-θ)P?=(θp+(1-θ)P?1,θp??+(1-θ)P2#2.22令U是非負整數集合，事件k∈U的概率為p(k),且約束條件為和2.23設X是在[-1,1]上為均勻分布的隨機變量。試求H(X),H(X)和H(X3)。=-0.443比特=-0.3比特#2.25設X和Y為連續隨機變量，且X的概率密度為其中-∞<x,K∞。試求H(X),H(Y/X),H(X/Y)和I(X;Y)。X～N(0,2α2),σ2=2α2,#為[0,∞]上分布的連續隨機變量，且滿足,求實現最大微分熵的分布及相應的熵值。和禾得禾得2.28令概率空間令Y是連續隨機變量。已知條件概率率密度為試求(a)Y的概率密度w(y)(b)I(X;Y)(c)若對Y作如下的硬判決：可求得V的分布為I(V;X)=H(V)-H(V/X)=0.53.2解：(a)長為100的事件序列中含有兩個和更少個a的序列數目為M=C100+C10+C?0=1+100+4因此在二元等長編碼下所需碼長為N=[log?50517=[12.3]=13(b)誤組率為長為100的事件序列中含有三個a的序列出現的概率因此有P.=1-C1000.9961-C100·0.9969?×0.004-C?0·0.996但碼A和碼B均是唯一可譯碼(b)對碼A對碼B對碼A,對碼B3.5解：Huffman平均碼長編碼效率Huffman為偶數，需要添一個概率為零的虛假符號H(U)=-0.9×log?0.9-0.1×log?0.1=0.469(b)因為信源是二元無記憶信源，所以有S?=1,l,8=1,p(S?)=0.可計算每個中間數字相應的信源數字的平均長度(c)根據表有信源符號/中間數字l2,0=l?1=l?,2=l2,3=l2,4=l2,5=l2,6可計算每個中間數字所對應的平均長度編碼效率為0.4756/0.469=98.6%4.1解：(c)和信道(課堂教學例題)!4.3解：(b):準對稱信道!4.5解：課堂教學例題4.8解：該題概率有誤，應把1/32改為1/64。R=Fs×H(S)=8000×2=1.4.9解：每象點8電平量化認為各級出現的概率相等，即H(U)=3bits所以信息速率R為4.10解：29.9×1000×3×60=5.382×4.12解：W=8KHz,高斯信道的信道容量為R=10?bps>4×10?bps=C所以，如該信道是高斯信道不可實現。如該信道不是高斯信道因此時信道容量C大于高斯信道的信道容量，即C>4×10?bps,但無法判定R與信道容量C的大小關系，故無法判定是否能實現如R=3×10?bps,則一定可以實現因R<C高斯≤C。習題5.1有因為譯碼錯誤概率為：Pe=Q(x)(1-P(y,|x)+Q(x?)(1-P(y?|x?))+Q(x?)(1-第七章信道編碼1.設(7,3)碼的生成矩陣為(1)寫出該碼的一致校驗矩陣H;(2)寫出該碼的所有許用碼字；(3).寫出該碼的“譯碼表”---標準譯碼表或簡化(伴隨式)譯碼表；(4)寫出接收矢量R=1000001的錯誤圖樣，并譯相應的許用碼字；(5)寫出該碼在BSC(錯誤轉移概率為p)中傳輸的(平均)正確譯碼概率pe的表達式；(6)寫出該碼在BSC(錯誤轉移概率為p)中傳輸的漏檢概率Paa(也稱不可檢測錯誤概率)的表達式.0000000,0111001,1101010,1010011,1011100,1100101,011011該碼的最小漢明距離為4。表為(陪集首)