1、2、一階馬爾可夫信源的狀態轉移圖如右圖所示,信源X的符號集為0,1,2.1求信源平穩后的概率分布：2求此信源的燧：3近似地認為此信源為無記憶時,符號的概率分布為平穩分布.求近似信源的燃“X并與進行比擬.一、判斷題.1 .當隨機變量x和y相互獨立時,條件場xiy等于信源炳x.2 .由于構成同一空間的基底不是唯一的,所以不同的基底或生成矩陣有可能生成同一碼集.3 .一般情況下,用變長編碼得到的平均碼長比定長編碼大得多.4 .只要信息傳輸率大于信道容量,總存在一種信道編譯碼,可以以所要求的任意小的誤差概率實現可靠的通信.5 .各碼字的長度符合克拉夫特不等式,是唯一可譯碼存在的充分和必要條件.6 .連

2、續信源和離散信源的場都具有非負性.7 .信源的消息通過信道傳輸后的誤差或失真越大,信宿收到消息后對信源存在的不確定性就越小,獲得的信息量就越小.8 .漢明碼是一種線性分組碼.9 .率失真函數的最小值是0.10.必然事件和不可能事件的自信息量都是0.二、填空題1、碼的檢、糾錯水平取決于.2、信源編碼的目的是:信道編碼的目的是.3、把信息組原封不動地搬到碼字前k位的/碼就叫做.4、香農信息論中的三大極限定理是、.5、設信道的輸入與輸出隨機序列分別為x和丫,那么/xN,y、j=N/x,y成立的條件.6、對于香農-費諾編碼、原始香農-費諾編碼和哈夫星編碼,編碼方法惟一的是7、某二元信源X=101L其失

3、真矩陣.=0,那么該信源的Omax=一.三、計算題.1、某信源發送端有2種符號%i=1,2,區=a：接收端有3種符號尤/=1,2,3,轉移概率矩陣為P=1計算接收端的平均不確定度Hy；bp.*-p（2） 計算由于噪聲產生的不確定度/FIX；/咦、_脾（3） 計算信道容量以及最正確入口分布.3、設碼符號為X=0,1,2,信源空間為*0.40.20.1、63試構造一種三元緊致碼.0.10.050.050.050.05110100001101004、設二元(7,4)線性分組碼的生成矩陣為G=000.1010001_(1)給出該碼的一致校驗矩陣,寫出所有的陪集首和與之相對應的伴隨式；(2)假設接收矢量

4、丫=(0001011),試計算出其對應的伴隨式S并根據最小距離譯碼準那么試著對其譯碼.(二)一、填空1、信源編碼的主要目的是,信道編碼的主要目的是,2、信源的剩余度主要來自兩個方面,一是,二是.3、三進制信源的最小炳為,最大燧為.4、無失真信源編碼的平均碼長最小理論極限制為.5、當時,信源與信道到達匹配.6、根據信道特性是否隨時間變化,信道可以分為和.7、根據是否允許失真,信源編碼可分為和.8、假設連續信源輸出信號的平均功率為那么輸出信號幅度的概率密度是時,信源具有最大燧,其值為值,9、在下面空格中選擇填入數學符號“=,生或“(1)當X和Y相互獨立時,H(XY)H(X)+H(X/Y)H(Y)+

5、H(X)a、,、HiX.X.XA(2)HX)=二3(X)=-(3)假設信道輸入用X表示,信道輸出用Y表示.在無噪有損信道中,H(X/Y)0,H(Y/X)_0,l(X;Y)_H(X)O二、假設連續信源輸出的幅度被限定在【2,6】區域內,當愉出信號的概率密度是均勻分布時,計算該信源的相對烯,并說明該信源的絕對烯為多少.三、信源SSS2$3S4SS56p一o.20.20.20.20.10.1_1)用霍夫夏編碼法編成二進制變長碼；(6分)(2)計算平均碼長Z;(4分)(3)計算編碼信息率網;(2分)(4)計算編碼后信息傳輸率R;(2分)5計算編碼效率2分四、某信源輸出A、B、C、D、E五種符號,每一個

6、符號獨立出現,出現概率分別為地、的、述、1/2、1/8.如果符號的碼元寬度為計算：1(1)計算信源X中事件再包含的自信息量：(2)計算信源X的信息熠；計算信道疑義度(XIV)；(4)計算噪聲燧(yix)：(5)計算收到消息y后獲得的平均互信息量.?信息論根底?參考答案一、填空題1、信源編碼的主要目的是提升有效性,信道編碼的主要目的是提升可靠性.2、信源的剩余度主要來自兩個方面,一是信源符號間的相關性,二是信源符號的統計不均勻性.3、三進制信源的最小炳為5最大與為102：bit/符號.4、無失真信源編碼的平均碼長最小理論極限制為信源燃(或H(S)/logr=(S)兀5、當R=C或(信道剩余度為0

7、)時,信源與信道到達匹配.6、根據信道特性是否隨時間變化,信道可以分為恒參信道和隨參信道.7、根據是否允許失真,信源編碼可分為無失真信源編碼和限失真信源編碼.8、假設連續信源輸出信號的平均功率為那么輸出信號螭度的概率密度是高斯分布或正態分布或=萬時,信源具有最大端,其值為值;logZ/e/.9、在下面空格中選擇填入數學符號=,或“(1)當X和Y相互獨立時,H(XY)=H(X)+H(X/Y)zH(Y)+H(X)u(2)H,(X)=八七(X)/,-23(3)假設信道輸入用X表示,信道輸出用Y表示.在無噪有損信道中,H(X/Y)0,H(Y/X)=OJ(X;Y)H(X)0二、假設連續信源輸出的幅度被限

8、定在【2,6】區域內,當輸出信號的概率密度是均勻分布5,計如該信源的相對燧,并說明該信源的絕對燃為多少.12x6=40.其它/.相對嫡h(x)=J：/(x)logf(x)dx=2bit/自由度該信源的絕對烯為無窮大.三、信源1用霍夫域編碼法編成二進制變長碼：6分2計算平均碼長Z;4分3計算編碼信息率叱；2分4計算編碼后信息傳輸率R;2分5計算編碼效率.2分(1)5 0.2_oS,0.2-_Sj0.2-116 0.1-J.編碼結果為：S=00S2=01=1005=1014工=110臬二111(2) Z=0.4x2+0.6x3=2.6馬%7號1-1(3) *=Z：logr=2.6b%F,；(4)

9、R=g=0.973b%元其中,H(S)=H(0.2,0.2,0.2,0.2,0.1,0.1)=2.53b%,號(5)H(S)H(S)77=0.973LlogrL四、某信源輸出A、B、C、D、E五種符號,每一個符號獨立出現,出現概率分別為1/8、地、抽、1/2、1/8,如果符號的碼元寬度為s計算：1信息傳輸速率均.2將這些數據通過一個帶寬為B=2000kHz的加性白高斯噪聲信道傳輸,噪聲的單邊功率譜密度為%=105%.試計算正確傳輸這些數據最少需要的發送功率Po解：凡=；h(X)()/(X)=-lloglx4-llogl=-log84-log2=-log24-llog2=2log2=2bitRt

10、=2b“=4x106s0.5/54x106=2x106logj1+-/106x2x106JP(2)l+-=222P=6W五、一個一階馬爾可夫信源,轉移概率為?、1P(51I51)=-.P(52I51)=-,P(S1I52)=1.P(52I52)=0o(1)畫出狀態轉移圖.(2)計算穩態概率.計算馬爾可夫信源的極限燃.(4)計算穩態下“2及其對應的剩余度.解：1由公式P(SJ=尸(SJSj)p(Sj)J-I22P(SJ=Z%JS)P(E)=P(SJ+P6)j-1321久邑戶工尸尸二尸)J-1J產(SJ+P(邑)=13%)=1尸(邑)=:該馬爾可夫信源的極限烯為:/=-tpSjPSjlSlogPS

11、/S,/-J-l3?2311=-xxlog-x-xlog-433433=-x0.578+-xl.59924=0.681/符號=0.472a,/符號=0.205萬門/符號在穩態下:3311-xlog-+-xlog-=0.81仍/符號.4444；H2=Hx=0.205人./符號=0.472w/符號=0.681歷/符號對應的剩余度為=0.1890.681釬=.319六、設有擾信道的傳輸情況分別如下圖.試求這種信道的信道容量.解：信道傳輸矩陣如下oO1-21-2O1-21-2O1-21-2oO1-2oo1-2可以看出這是一個對稱信道,L=4,那么信道容量為11C=log4H,一,0,0=logL+Z(

12、)/xr)logP(匕口)=log4+2xlog22=bit七、設X、Y是兩個相互獨立的二元隨機變量,其取0或1的概率相等.定義另一個二元隨機變量Z=XY一般乘積.試計算xy,xz；3xiy,zix；/x；y,/x；z；解：Z01P億利1/411(X)=6HQ)=H1=0.8113Z?/7.44；(2) H(AT)=(X)+(y)=l+l=2那么對ii|H(XZ)=H(X)+H(ZIX)=1+H(LO)+H=L5歷“對2222；(3) H(XY)=H(X)=lbith(zix)=1h(i,o)+1hJ.155=0.5hit(4) 1(Xy)=H(Y)-H(YX)=H(Y)-H(Y)=/(X,Z

13、)=(Z)-(ZIX)=08U30,5=0.311勸八、設離散無記憶信源的概率空間為X1x20.80.2,通過干擾信道,信道輸出端的接收符號集為y=.,%,信道傳輸概率如以下圖所示.5/61/4(8)(9)計算噪聲燃(FIX)：計算信源X中事件占包含的自信息量:計算信源X的信息熠;計算信道疑義度H(xiy)；(10)計算收到消息丫后獲得的平均互信息量.解：(1) /(%,)=-Iog0.8=0.322b0=0.0969/7Z/7=0.223加(2) H(X)=H(080.2)=0.722加布=0.5句福=0.217/皿7/符號轉移概率:yiX1濟X2利聯合分布:yiY2X1羽12/15然X1必

14、01/20必49/6011/60V5223IH(XY)=H二二一,一713152020)=1.404符號=0.973,/符號=0.4230.片/符號/(丫)=/69/60.11/60)=0.687而“符號=0.476“符號=0207加/符號H(Xiy)=H(Xy)-/(y)二0.71力M符號=0497M符號=0216/的符號(4)/(yiX)=H(Xy)-/(X)=0.682施僭號=0,473那么潴=0.205/符號/(X；y)=/(JQ-H(Xiy)=0,0Q5M網符號=0.00349詞符號=0.00152癡/轉(三)選擇題1、有一離散無記憶信源X,其概率空間為工20.250.1250.12

15、5,那么其無記憶二次擴展信源的燃Hx2=A、比特/符號；B、比特/符號；C、9比特/符號；D、18比特/符號.P箱2、信道轉移矩陣為0P(g/x)P(yJw)其中P力/%兩兩不相等,那么該信道為a、一一對應的無噪信道b、具有并歸性能的無噪信道C、對稱信道D、具有擴展性能的無噪信道3、設信道容量為C,以下說法正確的選項是：A、互信息量一定不大于CB、交互端一定不小于CC、有效信息量一定不大于CD、條件嫡一定不大于C4、在串聯系統中,有效信息量的值A、趨于變大B、趨于變小C、不變D、不確定5、假設BSC信道的過失率為P,那么其信道容量為：A、電1B、LC、D、-PlogP二、填空題1、億4線性分組

16、碼中,接受端收到分組R的位數為,伴隨式S可能的值有種,過失圖案e的長度為,系統生成矩陣Q為行的矩陣,系統校驗矩陣也為行的矩陣,國和此滿足的關系式是.2、一張1024X512像素的16位彩色BMP圖像能包含的最大信息量為.3、香農編碼中,概率為尸七的信源符號K對應的碼字G的長度K應滿足不等三、3、設有一個信道,其信道矩陣為道容量是X玉馬P(X)10.50.50.250.250.50.50.250.250.250.50.25,那么它是信道(填對稱,準對稱),其信比特/信道符號.,通過一個干擾信道,接受符號集為丫=%,信道轉移矩陣為1-43-43-41-4試求(1)H(X),H(Y)ZH(XY);(

17、2)H(Y|X),H(X|Y);l(Y;X).(4)該信道的容量C(5)當平均互信息量到達信道容量時,接收端Y的嫡H(Y)o計算結果保存小數點后2位,單位為比特/符號.四、簡述平均互信息量的物理意義,并寫出對應公式.五、假設英文字母表(n=26),密鑰k=abc,當明文m=familycome時,使川Vigenere密碼算法后得到的密文c=請寫出具體的步驟.六、設有離散無記憶信源,其概率分布如下:XP(X),玉X2七V4工54七1111111.24816326464,對其進行費諾編碼,寫出編碼過程,求出信源摘、平均碼長和編碼效率.七、信道編碼現有生成矩陣G,=10000100001000011

18、101111010111.求對應的系統校驗矩陣HSo2求該碼字集合的最小碼字距離d、最大檢錯水平、最大糾錯水平tmax.2.填寫下面的es表eS00000000000001000010000010000010000010000010000004.現有接收序列為一=1100100,求糾錯譯碼輸出3.5.5.畫出該碼的編碼電路四、簡做題1 .利用公式介紹無條件端、條件炳、聯合端和平均互信息量之間的關系.2 .簡單介紹哈夫區編碼的步驟五、計算題4211.某信源含有三個消息,概率分別為p0=,pl=,成2=,失真矩陣為.=032201求DmoxyDmin和R(Dmax)o2.設對稱離散信道矩陣為尸=1

19、11366,求信道容量已J.!16333.有一穩態馬爾可夫信源,轉移概率為PS1/SJ=羽,pS1/S2=lo求:畫出狀態轉移圖和狀態轉移概率矩陣/123求出各狀態的穩態概率.求出信源的極限燃.(五)一、填空11948年,美國數學家發表了題為“通信的數學理論的長篇論文,從而創立了信息論.2必然事件的自信息是03離散平穩無記憶信源X的N次擴展信源的端等于離散信源X的端的o4對于離散無記憶信源,當信源皤有最大值時,滿足條件為_5對于香農編碼、費諾編碼和霍夫曼編碼,編碼方法惟一的是,6某線性分組碼的最小漢明距離為3,那么這組碼最多能檢測出個碼元錯誤,最多能糾正一個碼元錯誤.7設有一離散無記憶平穩信道

20、,其信道容量為C,只要待傳送的信息傳輸率R_C大于、小于或者等于,那么存在一種編碼,當輸入序列長度n足夠大,使譯碼錯誤概率任意小.8平均錯誤概率不僅與信道本身的統計特性有關,還與和有關判斷J1信息就是一種消息.2信息論研究的主要問題是在通信系統設計中如何實現信息傳輸、存儲和處理的有效性和可靠性.(3)概率大的事件自信息量大.()(4)互信息量可正、可負亦可為零.()(5)信源剩余度用來衡量信源的相關性程度,信源剩余度大說明信源符號間的依賴關系較小.()(6)對于固定的信源分布,平均互信息量是信道傳遞概率的下凸函數.()(7) 非奇異碼一定是唯一可譯碼,唯一可譯碼不一定是非奇異碼.()(8) 信

21、源變長編碼的核心問題是尋找緊致碼(或最正確碼),霍夫夏編碼方法構造的是最正確碼.()(9)信息率失真函數R(D)是關于平均失真度D的上凸函數.()三、居住在某地區的女孩中有25%是大學生,在女大學生中有75%是身高米以上的,而女孩中身高米以上的占總數的一半.假設我們得知“身高米以上的某女孩是大學生的消息,問獲得多少信息量解：設A表示“大學生這一事件,B表示“身高以上這一事件,那么P(A)=p(B)=p(B|A)=故p(A|B)=p(AB)/p(B)=p(A)p(B|A)/p(B)=*=l(A|B)=5、 .黑白氣象圖的消息只有黑色和白色兩種,求：1)黑色出現的概率為,白色出現的概率為.給出這個

22、只有兩個符號的信源X的數學模型.假設圖上黑白消息出現前后沒有關聯,求熠“(X)；2)假設黑白消息出現前后有關聯,其依賴關系為產包伯)=0.9,尸(黑伯)=0.1,產值,黑)=0.2,軟黑/黑)=0.8,求其嫡式X).3)分別求上述兩種信源的冗余度,比擬它們的大小并說明其物理意義.6、 .信源空間為X=A,235七,試分別構造二元香農碼和二元霍夫曼碼,計算其平均碼長和P(X)_|0.20.190.180.170.150.10.01編碼效率(要求有編碼過程).信源雕方號為符號概率累加概戟蚓碼字長即碼字%0.2002.323(100.0.190.22.393001%0.180.392.473011Q

23、010.572.563100小0.150.742.743101“60.100.8933241110(1.0.010.996.647111111(11/21/31/6七.設有一離散信道,其信道傳遞矩陣為1/61/21/31/31/61/2P(4=;并設()=J,試分別按最大后驗概率準那么與最大似然譯碼Z=3.14WO=16J=Q831r-lL3.140.200.20.260.35,0.390.7V,a6i；.00.190.190.20/0.26j.35n/0.39-U0.180.18;0.19;10.200.26-U0.170.17；0.18/0.19J0.150.1510.17jJ0.io-z

24、0.111信源符號q概朝分)碼字Wj碼長1f0.01ai0.20102!=2.72%0.191120.180003q碼元/符號40.17OOI340.150103代管圖=0%60.1001104LZ./Z比特/符號0.0101114準那么確定譯碼規那么,并計算相應的平均錯誤概率.1)最小似然譯碼準那么下,有,2)(最大后驗概率準那么下,有,二元對稱信道如圖.311假設po=二,pQ=_,求x、.1丫和/X；丫：442求該信道的信道容量.月幻=02113配/符號Xiy=0.749萬符號77=0.06169符號2,C=0.082加打符號,此時輸入概率分布為等概率分布.000111九、設一線性分組碼

25、具有一致監督矩陣=0110011010111求此分組碼n=,k=共有多少碼字2求此分組碼的生成矩陣G.3寫出此分組碼的所有碼字.4假設接收到碼字101001,求出伴隨式并給出譯結果.解：1n=6,k=3,共有8個碼字.3分2設碼字?=GCiGCzG.由HC1=0,得C2GC0=0 C4GG=0C5GGc=o令監督位為GGC,那么有C=C5G0時率失真函數的.臉和%X二、綜合題1.黑白氣象圖的消息只有黑色和白色兩種,求：1黑色出現的概率為,白色出現的概率為.給出這個只有兩個符號的信源X的數學模型.假設圖上黑白消息出現前后沒有關聯,求燃以X：2假設黑白消息出現前后有關聯,其依賴關系為：陽伯戶0.9

26、.產黑/白=0.1,砥/黑=0.2,P黑喘-0.8,求其增&；31口假設尸：尸=彳,求h和ia；2求該信道的信道容量和最正確輸入分布.,S3.信源空間為忸.SSS40.40.20.10.1$5$60.050.050.050.05,試分別構造二元和三元霍夫域碼,計算其平均碼長和編碼效率,2263?L1234產0)=產=1彳124.設有一離散信道,其信道傳遞矩陣為362,并設警=2Z,試分別按最小錯誤概率準那么與最大似然譯碼準那么確定譯碼規那么,并計算相應的平均錯誤概率.10000111-01000100001000100001000155一8,5線性分組碼的生成矩陣為6 .求：1輸入為全0001

27、1和10100時該碼的碼字;2最小碼距.7 .設某一信號的信息傳輸率為s,在帶寬為4kHz的高斯信道中傳輸,噪聲功率譜NO=5xlO6mw/Hz0試求:8 .1無過失傳輸需要的最小輸入功率是多少9 .2此時輸入信號的最大連續場是多少寫出對應的輸入概率密度函數的形式.答案一、概念簡做題耳一演1og以為二、1,答：平均自信息為小表示信源的平均不確定度,也表示平均每個信源消息所提供的信息量平均互信息溫了以飛表示從Y獲得的關于每個X的平均信息量,也表示發X前后Y的平均不確定性減少的量.還表示通信前后整個系統不確定性減少的量.2答：最大離散墻定理為：離散無記憶信源,等概率分布時端最大.最大燎值為4雙二0

28、2切.3 .答：信息傳輸率,R指信道中平均每個符號所能傳送的信息量.信道容量是一個信道所能到達的最大信息傳榆率.信息傳輸率到達信道容量時所對應的輸入概率分布稱為最正確輸入概率分布.平均互信息是信源概率分布的C型凸函數,是信道傳遞概率的U型凸函數.4 .答：通信系統模型如下:數據處理定理為：串聯信道的輸入輸出X、Y、z組成一個馬爾可夫愉且有Z;Zn即2510那么尸上U.U5/外加2,在.328%最大崛自由度貿工二對應的輸入概率密度函數為工o.K564crVo.2O6xlO-3七一、名詞解擇25道1、“本體論的信息P32、“熟悉論信息P33、離散信源114、自信息殳125、離散平穩無記憶信源496

29、、馬爾可夫信源587、信源冗余度668、連續信源689、信道容量9510、強對稱信道9911、對稱信道101-10212多符號離散信道10913、連續信道12414、平均失真度13615、實驗信道13816、率失真函數13917、信息價值率16318、游程序列18119、游程變換18120、LD編碼184、21、冗余變換18422、BSC信道18923、碼的最小距離19324、線性分組碼19525、循環碼213二、填空100道1、在熟悉論層次上研究信息的時候,必須同時考慮到形式、含義和效川三個方面的因素.2、1948年,美國數學家查結發表.但為“通信的數學理論的長篇論文,從而創立信息論.3、根

30、據信息的性質,可以把信息分成語法信息、語義信息和語用信息4、根據信息的地位,可以把信息分成客觀信息和主觀信息.5、人們研究信息論的目的是為r島效、可靠、平安地交換和利用各種各樣的信息.6、信息的可度量性是建立信息論的根底.7 、統計度量是信息度量度常用的方法.8、是香農信息論最根本最重要的概念.9、事物的不確定度是用時間統計發生概率的對數來描述的.10、單.符號離散信源一般用隨機變量描述,而多符號離散信源一般用旗機矢量描述.11、一個航機事件發生某一結果后所帶來的信息量稱為自信息量,定義為其發生概率對數的負值o12、自信息量的推位一般有比特、奈特和哈特c13、必然事件的自信息是2:14、不可能

31、事件的自信息量是三.15、兩個相互獨立的隨機變量的聯合自信息員等于兩個自信息量之和.16、數據處理定理：當消息經過多級處理后,隨著處理器數目的增冬,輸入消息與輸出消息之間的平均互信息量趨于變小.17、離散平穩無記憶信源X的N次擴展信源的燧等于離散信源X的燧的JL018、19、20、21、22、23、離散平穩有記憶信源的極限燧,“父一-對于n元m階馬爾可夫信源,其狀態空間共有儼個不同的狀態一維連續隨即變量X在b區間內均勻分布時,其信源場為I.笑b-aolog、2九eP平均功率為P的高斯分布的連續信源,其信源燧,X=2.對于限峰值功率的N維連續信源,當概率密度均勻分布時連續信源場具有辰大值.對于限

32、平均功率的一維連續信源,當概率密度高斯分布時,信源墻有最大值.24、對于均值為0,平均功率受限的連續信源,信源的冗余度決定于平均功率的限定值P和信源的螭功率25、假設一離散無記憶信源的信源烯HX等于,對信源進行等長的無失真二進制編碼,那么編碼長度至少為3126、m元長度為k.i=l,2,0的異前置碼存在的充要條件是：z.27、假設把擲骰子的結果作為一離散信源,那么其信源嫌為28、同時擲兩個正常的骰子,各而呈現的概率都為瓏,那么“3和5同時出現這件事的自信息量是1.磔81+21.磔九1-px=em29、假設一維隨即變量X的取值區間是0,8,其概率密度函數為機,其中：m是X的數學期望,那么X的信源

33、燧HcX=og2me30、一副充分洗亂的撲克牌52張,從中任意抽取1張,然后放回,假設把這一過程看作離散無記憶信源,那么其信源端為lg252.31、根據輸入輸出信號的特點,可將信道分成離散信道、連續信道、半離散或半連續信道.32、信道的輸出僅與信道當前輸入有關,而與過去輸入無關的信道稱為無記憶信道.33、具有一一對應關系的無噪信道的信道容量C=_j2feP_.34、強對稱信道的信道容量C=l.即n-Hni35、對稱信道的信道容量012g獨斗36、對于離散無記憶信道和信源的N次擴展,其信道容量CN二NCoN37、對于N個對立并聯信道,其信道容量CN=X,38、多用戶信道的信道容量用上維空間的一個

34、區域的界限來表示.39、多用戶信道可以分成幾種最基木的類型：多址接入信道、播送信道和相關信源信道,40、播送信道是只有一個輸入端和多個輸出端的信道.分.41、當信道的噪聲對輸入的干擾作用表現為噪聲和輸入的線性疊加時,此信道稱為加性連續信道.11“42、510g2(1+高斯加性信道的信道容量c=z43、信道編碼定理是一個理想編碼的存在性定理,即：信道無失真傳遞信息的條件是信息率小于信道容量.-1/21/2044、信道矩陣L001代表的信道的信道容S；C=L.-1o-1045、信道矩陣L1代表的信道的信道容殳C二二046、高斯加性噪聲信道中,信道帶寬3kHz,信噪比為7,那么該信道的最大信息傳輸速

35、率弓=9kHz.47、對于具有歸并性能的無燥信道,到達信道容量的條件是P%):1/m)o1o-48、信道矩陣L01代表的信道,假設每分鐘可以傳遞6*105個符號,那么該信道的最大信息傳輸速率彩二10kHz,49、信息率失真理論是量化、數模轉換、頻帶壓縮和數據壓縮的理論根底.50、求解率失真函數的問題,即：在給定失真度的情況下,求信息率的極小值c51、信源的消息通過信道傳輸后的誤差或失真越大,信宿收到消息后對信源存在的不確定性就包工,獲得的信息量就越小.52、信源的消息通過信道傳輸后的誤差或失真越大道傳輸消息所需的信息率些.53、單.符號的失真度或失真函數d(XPyj)表示信源發出一個符號冷信宿

36、再現七所引起的誤差或失真./.i=j54、漢明失真函數d(xPyj)=I1l手jo55、平方誤差失真函數d(4Yj)=(工56、平均失真度定義為失真函數的數學期望,即d(冷yp在X和Y的聯合概率空間P(XY)中的統計平均值.57、如果信源和失真度一定,那么平均失真度是一信道/計特件的函數.58、如果規定平均失真度力不能超過某一限定的值D,即：D稱為保真度準那么.59、60、61、62、離散無記憶N次擴展信源通過離散無記憶N次擴展信道的平均失真度是小符號信源通過單符號信道的平均失真度的N倍.試驗信道的集合用出_來表示,那么P于,(/%)：.D;i=1,2,j=1,2,?信息率失真函數,簡稱為率失

37、真函數,即：試驗信道中的平均互信息量的.最小值.平均失真度的下限取o的條件是失真矩陣的每一行至少有一個零元素063、平均失真度的上限D4取力j=l,2,m中的最小值,64、率失真函數對允許的平均失真度是唯調理減和連續的.65、對于離散無記憶信源的率失真函數的最大值是2&IL.66、當失真度大于平均失真度的上限時Da時,率失真函數R(D)=_0_：67、連續信源X的率失真函數R(D)=p(y/x)ePD/(X；y)1.,、_log、68、69、當D其失真矩陣D=-oaa0_,那么該信源的Dmin=2-.72、某二元信源-x4px1/211/2其失真矩陣D=oaa0,那么該信源的RD=1HD/a7

38、3、根據不同的編碼目的,編碼可以分為三類：分別是信源編碼、信道編碼和平安編碼.74、信源編碼的目的是：提而通信的有效性.乃、一股情況下,信源編碼可以分為離散信源編碼、連續信源編碼和相關信源編碼76、連續信源或模擬信號的信源編碼的理論根底是一限失真信源編碼定理,77、在香農編碼中,第i個碼字的長度/忤X.之間有一log2P*尤n1對應的二元序列的編碼效率為n,那么三者的關系是nonn_io85、一箱實際的游程編碼過程中,對長碼一般采取戰斷處理的方法.86、“0游程和“1游程可以分別進行哈夫吧編碼,兩個碼表中的碼字可以重受,但C碼必須不同.87、在多符號的消息序列中,大量的重且出現的,只起占時作用

39、的符號稱為冗余位.88、“冗余變換即：將一個冗余序列轉換成一個二元序列和一個縮短J的多元序列.89、LD編碼是一種分幀傳送冗余位序列的方法.90、LD編碼適合于冗余位較多或較少的怙況.91、信道編碼的最終目的是提而信號傳輸的可靠性.92、狹義的信道編碼即：檢、糾錯編碼93、BSC信道即：無記憶二進制對稱信道.94、n位重且碼的編碼效率是也.95、等重碼可以檢驗全部的奇數位錯和局部的偶數位錯96、任意兩個碼字之間的最小漢明距離有稱為碼的最小距dmin,那么1會=尸.97、假設糾錯碼的最小距離為dmm那么可以糾正任意小于等于t二L2個過失.98、假設檢錯碼的最小距離為心皿,那么可以檢測出任意小于等

40、于歸品這個過失.99、線性分組碼是同時具有分組特性和線性特性的糾錯碼.100、循環碼即是采用循環移位特性界定的一類線性分組碼.三、判斷50道1、必然事件和不可能事件的自信息量都是.錯2、自信息量是再的小調遞減函數.對3、單符號離散信源的自信息和信源照都具有非負性.對4、單符號離散信源的自信息和信源焰都是一個確定值.錯5、單符號寓散信源的聯合自信息員和條件自信息量都是非負的和單調遞減的.對6、自信息量、條件自信息量和聯合自信息量之間有如下關系：/5.=/七+/巧/%=/yj+/再/力時7、自信息生、條件自信息量和互信息量之間有如下關系：/七；為=/再一/%/%=/力一/巧/王對8、當隨即變量X和

41、Y相互獨立時,條件燧等于信源嫡.對9、當隨即變量X和Y相互獨立時,IX：Y=HX0錯10、信源烯具有嚴格的下凸性.錯11、平均互信息量IX：丫對于信源概率分布pK和條件概率分布py/Xi都具有凸函數性.對12、m階馬爾可夫信源和消息長度為m的有記憶信源.其所含符號的依賴關系相同.錯13、利用狀態極限概率和狀態一步轉移概率來求m階馬爾可夫信源的極限燧.對14、N維統計獨立均勻分布連續信源的燧是N維區域體積的對數.對15、一維高斯分布的連續信源,其信源端只與其均值和方差有關.錯16、連續信源和離散信源的燧都具有非負性.錯17、連續信源和離散信源都具有可加性.對18、連續信源和離散信源的平均互信息都具有非負性.對19、定長編碼的效率一般小于不定長編碼的效率.對20、假設對