信息論基礎(chǔ)試題一、選擇題1.信息論的創(chuàng)始人是（）[單選題]*A.香農(nóng)B.圖靈C.馮·諾依曼D.愛因斯坦答案：A。原因：香農(nóng)被公認(rèn)為信息論的創(chuàng)始人，他在1948年發(fā)表的論文《通信的數(shù)學(xué)理論》奠定了現(xiàn)代信息論的基礎(chǔ)。圖靈主要貢獻(xiàn)在計(jì)算機(jī)科學(xué)領(lǐng)域的圖靈機(jī)等方面；馮·諾依曼對(duì)計(jì)算機(jī)體系結(jié)構(gòu)等有巨大貢獻(xiàn)；愛因斯坦主要貢獻(xiàn)在相對(duì)論等物理學(xué)領(lǐng)域。2.以下哪個(gè)概念是信息論中的基本概念，表示信息的不確定性（）[單選題]*A.熵B.概率C.信息量D.碼元答案：A。原因：熵是信息論中的基本概念，它表示信息的不確定性。概率是事件發(fā)生的可能性大小；信息量是對(duì)信息多少的一種度量，但不是表示不確定性本身；碼元是在數(shù)字通信中對(duì)信號(hào)的一種基本單元的稱呼。3.信源發(fā)出的信號(hào)共有4種可能狀態(tài)，且每種狀態(tài)等概率出現(xiàn)，該信源的熵為（）[單選題]*A.1bitB.2bitsC.3bitsD.4bits答案：B。原因：信源熵的計(jì)算公式為\(H=log_2n\)（\(n\)為信源可能的狀態(tài)數(shù)），這里\(n=4\)，\(log_24=2\)bits。4.下列關(guān)于互信息的說法正確的是（）[單選題]*A.互信息一定是非負(fù)的B.互信息可以為負(fù)C.互信息與熵沒有關(guān)系D.互信息只取決于信源答案：A。原因：互信息\(I(X;Y)\)滿足\(I(X;Y)\geq0\)，它表示在知道\(Y\)后\(X\)的不確定性減少的量，與信源和信道都有關(guān)系，并且和熵有緊密聯(lián)系，它可以通過熵來計(jì)算。5.在無記憶離散信源中，信源符號(hào)的概率分布為\(P(x_1)=0.2\)，\(P(x_2)=0.3\)，\(P(x_3)=0.5\)，該信源的熵為（）[單選題]*A.1.485bitsB.1.5bitsC.2bitsD.0.971bits答案：A。原因：根據(jù)離散信源熵的計(jì)算公式\(H(X)=-\sum_{i=1}^{n}P(x_i)log_2P(x_i)\)，代入\(P(x_1)=0.2\)，\(P(x_2)=0.3\)，\(P(x_3)=0.5\)計(jì)算可得\(H(X)=-(0.2log_20.2+0.3log_20.3+0.5log_20.5)\approx1.485\)bits。6.以下哪種編碼方式是信息論中常見的變長(zhǎng)編碼（）[單選題]*A.莫爾斯電碼B.格雷碼C.8421碼D.循環(huán)碼答案：A。原因：莫爾斯電碼是一種變長(zhǎng)編碼，不同的字符由不同長(zhǎng)度的點(diǎn)和劃組合而成。格雷碼是一種無權(quán)碼，主要特點(diǎn)是相鄰代碼只有一位不同；8421碼是一種常見的BCD碼，是定長(zhǎng)編碼；循環(huán)碼是一種具有循環(huán)特性的編碼，通常為定長(zhǎng)編碼。7.對(duì)于一個(gè)離散無記憶信道，信道容量是（）[單選題]*A.信道輸入和輸出之間的最大互信息B.信道輸入的最大熵C.信道輸出的最大熵D.信道傳輸?shù)淖畲蟠a元數(shù)答案：A。原因：離散無記憶信道的信道容量定義為信道輸入和輸出之間的最大互信息，它反映了信道能夠可靠傳輸?shù)淖畲笮畔⒘俊Ｐ诺垒斎氲淖畲箪嘏c信道容量不是同一個(gè)概念；信道輸出的最大熵也不等同于信道容量；信道傳輸?shù)淖畲蟠a元數(shù)不是信道容量的定義。8.以下關(guān)于信道編碼的目的說法正確的是（）[多選題]*A.提高信息傳輸?shù)目煽啃訠.增加信息的冗余度C.降低誤碼率D.提高信息傳輸速率答案：ABC。原因：信道編碼的主要目的是提高信息傳輸?shù)目煽啃裕ㄟ^增加信息的冗余度來實(shí)現(xiàn)，冗余信息可以幫助接收端糾正傳輸過程中的錯(cuò)誤，從而降低誤碼率。但是信道編碼通常會(huì)降低信息傳輸速率，因?yàn)樵黾恿巳哂嘈畔⒄加昧艘欢ǖ膫鬏斮Y源。9.如果一個(gè)信源編碼的平均碼長(zhǎng)為\(L\)，信源熵為\(H\)，那么編碼效率\(\eta\)為（）[單選題]*A.\(\frac{H}{L}\)B.\(\frac{L}{H}\)C.\(H\timesL\)D.\(\frac{1}{H\timesL}\)答案：A。原因：編碼效率\(\eta=\frac{H}{L}\)，其中\(zhòng)(H\)是信源熵表示信源的信息量，\(L\)是平均碼長(zhǎng)，編碼效率反映了編碼方案對(duì)信源信息的利用程度。10.在信息傳輸中，以下哪種噪聲對(duì)信號(hào)的影響是不可避免的（）[單選題]*A.人為噪聲B.自然噪聲C.熱噪聲D.脈沖噪聲答案：C。原因：熱噪聲是由導(dǎo)體中電子的熱運(yùn)動(dòng)產(chǎn)生的，只要有溫度就會(huì)存在，在信息傳輸中是不可避免的。人為噪聲可以通過合理的管理和措施減少；自然噪聲有些可以通過選址等方式避免；脈沖噪聲可以通過濾波等方式進(jìn)行一定程度的抑制。11.信息論中，衡量?jī)蓚€(gè)概率分布\(P\)和\(Q\)之間差異的量是（）[單選題]*A.相對(duì)熵B.互信息C.聯(lián)合