引論一、填空（40）1．1948年，美國數(shù)學(xué)家香農(nóng)發(fā)表了題為“通信的數(shù)學(xué)理論”的長篇論文，從而創(chuàng)立了信息論。2．按照信息的性質(zhì)，可以把信息分成語法信息、語義信息和語用信息。3．按照信息的地位，可以把信息分成客觀信息和主觀信息。4．人們研究信息論的目的是為了高效、可靠、安全地交換和利用各種各樣的信息。5．信息的可度量性是建立信息論的基礎(chǔ)。6．統(tǒng)計(jì)度量是信息度量最常用的方法。7．熵是香農(nóng)信息論最基本最重要的概念。8．事物的不確定度是用時(shí)間統(tǒng)計(jì)發(fā)生概率的對(duì)數(shù)來描述的。9．在認(rèn)識(shí)論層次上研究信息的時(shí)候，必須同時(shí)考慮到形式、含義和效用三個(gè)方面的因素。10．信息的基本概念在于它的不確定性。11．香農(nóng)信息定義為實(shí)物運(yùn)動(dòng)狀態(tài)或存在方式的不確定性描述。12．把消息變換成適合信道傳輸?shù)奈锢砹浚@種物理量為信號(hào)。13．消息中包含信息，它是信息的載體，一則消息可以載荷不同的信息，可以通過得到消息從而獲得信息。14．可靠性、有效性、保密性和認(rèn)證性體現(xiàn)了現(xiàn)代通信系統(tǒng)對(duì)信息傳輸?shù)娜嬉蟆?5．信源是產(chǎn)生消息和消息序列的源。16．信源輸出的消息是隨機(jī)的、不確定的，但又有一定的規(guī)律性。17．編碼器的作用是把消息變換成信號(hào)，并將信源和信道進(jìn)行匹配。18．編碼器可以分為信源編碼器和信道編碼器。19．信源編碼器對(duì)信源輸出的消息進(jìn)行適當(dāng)?shù)淖儞Q和處理，以提高信息傳輸?shù)男省?0．信道編碼器對(duì)消息進(jìn)行適當(dāng)?shù)奶幚砗妥儞Q，以提高信息傳輸?shù)目煽啃浴?1．信道是傳輸信號(hào)的通道。22．譯碼器是把信道輸出的編碼信號(hào)進(jìn)行反變換。23．譯碼器分為信源譯碼器和信道譯碼器。24．信宿是消息的傳送的對(duì)象。25．信息是對(duì)事物運(yùn)動(dòng)狀態(tài)和變化方式的表征，他存在與任何事物中，可以被認(rèn)識(shí)主題獲取和利用。26．研究信息傳輸系統(tǒng)的目的就是要找到信息傳輸過程中的共同規(guī)律，以提高信息傳輸?shù)目煽啃浴⒂行浴⒈Ｃ苄院驼J(rèn)證性，使信息傳輸系統(tǒng)達(dá)到最優(yōu)化。27．同一消息可以用不同的信號(hào)來表示，同一信號(hào)也可以表示不用的消息。28．通信系統(tǒng)的模型包括，信源、編碼器、信道、譯碼器、信宿、噪聲源。29．消息是信息的外殼、信息則是消息的內(nèi)核30．信號(hào)是信息的載體，信息是信號(hào)所載荷的內(nèi)容。二．單選（20）1．1948年，美國數(shù)學(xué)家(B)發(fā)表了題為“通信的數(shù)學(xué)理論”的長篇論文，從而創(chuàng)立了信息論。A．哈萊特B．香農(nóng)C．牛頓D．維納2.按照信息的地位，可以把信息分成（C）。A．客觀信息B．主觀信息C．客觀信息和主觀信息D．狹義信息3.（A）是對(duì)事物運(yùn)動(dòng)狀態(tài)和變化方式的表征，他存在與任何事物中，可以被認(rèn)識(shí)主題獲取和利用。A．信息B．信源C．熵D．編碼4.譯碼器是把信道輸出的編碼信號(hào)進(jìn)行（A）。A．反變換B．正變換C．編碼D．調(diào)制5.消息中包含信息，它是信息的（B），一則消息可以載荷不同的信息，可以通過得到消息從而獲得信息。A．形式B．載體C．內(nèi)容D．主體6.信息的（C）是建立信息論的基礎(chǔ)。A．安全性B．可靠性C．可度量性D．有效性7.（D）是信息度量最常用的方法。A．尺寸度量B．相似性度量C．可用性度量D．統(tǒng)計(jì)度量8.信息的基本概念在于它的（A）。A．不確定性B．安全性C．可靠性D．可度量性9.把消息變換成適合信道傳輸?shù)奈锢砹浚@種物理量為（B）。A．信源B．信號(hào)C．信息D．信道10．信號(hào)是信息的（C）。A．內(nèi)容B．主體C．載體D．源11．（D）是對(duì)事物運(yùn)動(dòng)狀態(tài)和變化方式的表征，他存在與任何事物中，可以被認(rèn)識(shí)主題獲取和利用。A．信號(hào)B．信源C．信道D．信息12．信源是產(chǎn)生消息和消息序列的（A）。A．源B．內(nèi)容C．載體D．主體13．事物的不確定度是用時(shí)間統(tǒng)計(jì)發(fā)生（B）來描述的。A．概率B．概率的對(duì)數(shù)C．可能性D．相似性14．研究信息傳輸系統(tǒng)的目的就是要找到信息傳輸過程中的共同規(guī)律，使信息傳輸系統(tǒng)達(dá)到最優(yōu)化，不包括提高信息傳輸?shù)模–）。A．有效性B．安全性C．實(shí)時(shí)性D．可靠性15.（D）的作用是把消息變換成信號(hào)，并將信源和信道進(jìn)行匹配。A.譯碼器B.信源C.信道D.編碼器16.信源編碼器對(duì)信源輸出的消息進(jìn)行適當(dāng)?shù)淖儞Q和處理，以提高信息（A）。A.傳輸?shù)男蔅.傳輸?shù)陌踩訡.傳輸?shù)目煽啃訢.傳輸?shù)娜萘?7.信道編碼器對(duì)消息進(jìn)行適當(dāng)?shù)奶幚砗妥儞Q，以提高信息傳輸（B）。A.傳輸效率B.可靠性C.安全性D.信道容量18.通信系統(tǒng)的模型不包括：（C）。A.信源B.譯碼器C.天線D.編碼器19.在認(rèn)識(shí)論層次上研究信息的時(shí)候，必須同時(shí)考慮到（C）三個(gè)方面的因素。A.形式、含義和安全性B.形式、載體和安全性C.形式、含義和效用D.內(nèi)容、載體和可靠性20.（D）是香農(nóng)信息論最基本最重要的概念A(yù).信源B.信息C.消息D.熵三．簡(jiǎn)答（20）1.通信系統(tǒng)模型如下：

2.信息和消息的概念有何區(qū)別？答：消息有兩個(gè)特點(diǎn)：一是能被通信雙方所理解，二是能夠互相傳遞。相對(duì)于消息而言，信息是指包含在消息中的對(duì)通信者有意義的那部分內(nèi)容，所以消息是信息的載體，消息中可能包含信息。3.信息論研究的范疇是什么？答：信息論的研究范疇可分為三種：狹義信息論、一般信息論、廣義信息論4.什么是誤碼率？什么是誤信率？兩者有何關(guān)系？答：誤碼率是指錯(cuò)誤接收的碼元數(shù)在傳送總碼元數(shù)中所占的比例，即碼元在傳輸系統(tǒng)中被傳錯(cuò)的概率。誤信率是指錯(cuò)誤接收的信息量在傳送信息總量中所占的比例，即碼元的信息量在傳輸系統(tǒng)中被丟失的概率。二進(jìn)制系統(tǒng)中誤碼率與誤信率相等，但在多進(jìn)制系統(tǒng)中，誤碼率與誤倍率一般不相等，通常誤碼率大于誤倍率。5.什么是碼元速率？什么是信息速率？兩者有何關(guān)系？答：碼元傳輸速率，又稱為碼元速率或傳碼率。碼元速率又稱為波特率，指每秒信號(hào)的變化次數(shù)。信息速率（Rb）：指每秒傳送的信息量。單位為“bit/s”。碼元速率：?jiǎn)挝粫r(shí)間（1秒）傳送碼元的數(shù)目。信息速率：?jiǎn)挝粫r(shí)間內(nèi)傳遞的平均信息量或比特?cái)?shù)。6.相比于模擬通信系統(tǒng)，簡(jiǎn)述數(shù)字通信系統(tǒng)的優(yōu)點(diǎn)。答：抗干擾能力強(qiáng)，中繼時(shí)可再生，可消除噪聲累計(jì)；差錯(cuò)可控制，可改善通信質(zhì)量；便于加密和使用DSP處理技術(shù)；可綜合傳輸各種信息，傳送模擬系統(tǒng)時(shí)，只要在發(fā)送端增加莫屬轉(zhuǎn)換器，在接收端增加數(shù)模轉(zhuǎn)換器即可。7.簡(jiǎn)述信息的性質(zhì)。答：存在普遍性；有序性；相對(duì)性；可度量性；可擴(kuò)充性；可存儲(chǔ)、傳輸與攜帶性；可壓縮性；可替代性；可擴(kuò)散性；可共享性；時(shí)效性；8.簡(jiǎn)述信息的分類。答；按照性質(zhì)分為：語法信息、語義信息、語用信息；按照地位分：客觀信息和主觀信息；按照作用分：有用信息、無用信息、干擾信息；9.信息論的研究范疇包括哪幾方面？答：狹義信息論、實(shí)用信息論、廣義信息論。10.闡述通信系統(tǒng)的模型，并簡(jiǎn)述每一個(gè)部分的作用。答：通信系統(tǒng)包括信源、編碼器、信道、譯碼器、信宿、噪聲。信源是產(chǎn)生消息和消息序列的源；編碼器的作用是把消息變換成信號(hào)，并將信源和信道進(jìn)行匹配；譯碼器是把信道輸出的編碼信號(hào)進(jìn)行反變換；信道是傳輸信號(hào)的通道；信宿是消息傳輸?shù)膶?duì)象，即接收消息的人或機(jī)器。四．名詞解釋（0）五．計(jì)算（20）1.同時(shí)擲一對(duì)骰子，要得知面朝上點(diǎn)數(shù)這和，描述這一信源的數(shù)學(xué)模型。2.設(shè)有一個(gè)二街二元馬爾科夫信源，其四中狀態(tài)的轉(zhuǎn)移概率矩陣為：畫出狀態(tài)圖并求穩(wěn)態(tài)下個(gè)狀態(tài)出現(xiàn)的概率。p(s0)=0.8p(s0)+0.5p(s2)p(s1)=0.2p(s0)+0.5p(s2)p(s2)=0.5p(s1)+0.3p(s3)p(s3)=0.5p(s1)+0.7p(s3)p(s0)+p(s1)+p(s2)+p(s3)=1p(s0)=，p(s1)=p(s2)=，p(s3)=3.有一個(gè)二元對(duì)稱信道，信道的誤碼率，設(shè)該信道呀1000個(gè)符號(hào)/秒的速率傳輸輸入符號(hào)，現(xiàn)有一消息序列，共有9500個(gè)符號(hào)，并設(shè)消息中，問從信息傳輸?shù)慕嵌葋砜紤]，10秒能否將消息無失真地傳送完成？Pe=q(0)p+q(1)p=0.06(1-0.06)﹡1000﹡10=9400<9500即不能4.求二元?jiǎng)h除信道的二次擴(kuò)展信道。信息量和熵一、填空（120）1.平均自信息為，表示信源的平均不確定度，也表示平均每個(gè)信源消息所提供的信息量。2.平均互信息,表示從Y獲得的關(guān)于每個(gè)X的平均信息量，也表示發(fā)X前后Y的平均不確定性減少的量，還表示通信前后整個(gè)系統(tǒng)不確定性減少的量。3.最大離散熵定理為：離散無記憶信源，等概率分布時(shí)熵最大。4.最大熵值為:5.一個(gè)隨機(jī)事件發(fā)生某一結(jié)果后所帶來的信息量稱為自信息量，定義為其發(fā)生概率對(duì)數(shù)的負(fù)值。6.自信息量的單位一般有比特、奈特和哈特。7.必然事件的自信息是0。8.不可能事件的自信息量是∞。9.兩個(gè)相互獨(dú)立的隨機(jī)變量的聯(lián)合自信息量等于兩個(gè)自信息量之和。10.數(shù)據(jù)處理定理：當(dāng)消息經(jīng)過多級(jí)處理后，隨著處理器數(shù)目的增多，輸入消息與輸出消息之間的平均互信息量趨于變小。11.按照信源發(fā)出的消息在時(shí)間和幅度上的分布情況，可將信源分成離散信源和連續(xù)信源兩大類。12.一個(gè)隨機(jī)事件的自信息量定義為其出現(xiàn)概率對(duì)數(shù)的負(fù)值。13．事件之間所以有互信息是因?yàn)閮蓚€(gè)事件之間統(tǒng)計(jì)相關(guān)。14．事件與事件之間的互信息量為15．一類信源輸出的消息常常以一個(gè)個(gè)符號(hào)的形式出現(xiàn)，這些符號(hào)的取值是有限的或可數(shù)的，這樣的信源稱為離散信源。16．連續(xù)信源可以用隨機(jī)過程來描述。17．離散信源分為單符號(hào)信源和多符號(hào)信源。18．一個(gè)隨機(jī)事件發(fā)生某一結(jié)果后所帶來的信息量稱為自信息量。19．自信息量定義為概率對(duì)數(shù)的負(fù)值。20．若隨機(jī)事件發(fā)生的概率為，那么它的自信息量為。21．在信息論中，常用的對(duì)數(shù)底為2時(shí)，信息量的單位為比特（bit）。22．一個(gè)以等概率出現(xiàn)的二進(jìn)制碼（0,1）所包含的自信息量為1bit。23．說明該事件是必然事件，所以不含任何信息量。24.是的單調(diào)遞減函數(shù)。25．概率越大的事件，不確定性越小，發(fā)生后提供的信息量就越小。26.是一個(gè)隨機(jī)量，而是的函數(shù)，所以自信息量是一個(gè)隨機(jī)變量。27．兩個(gè)隨機(jī)事件相互獨(dú)立時(shí)，同時(shí)發(fā)生得到的自信息量，等于這兩個(gè)隨機(jī)事件各自發(fā)生得到的自信息量之和。28．條件自信息量定義為條件概率對(duì)數(shù)的負(fù)值。29.設(shè)條件下，發(fā)生的條件概率為，那么它的自信息量為。30．聯(lián)合自信息量和條件信息量滿足非負(fù)性和單調(diào)遞減性。31．簡(jiǎn)單通信系統(tǒng)的模型包含的四部分分別為信源、有擾信道、信宿、干擾源。32．的后驗(yàn)概率與先念概率的比值的對(duì)數(shù)為對(duì)的互信息量。33．在信息論中，互信息量等于自信息量減去條件自信息量。34．當(dāng)X和Y相互獨(dú)立時(shí)，互信息為0。35．信源各個(gè)離散消息的自信息量的數(shù)學(xué)期望為信源的平均信息量，也稱信息熵。36．信源熵實(shí)質(zhì)上是無記憶信源平均不確定度的度量。37．信源熵的單位是bit/sign（比特/符號(hào)）。38．在離散信源的情況下，信源熵的值是有限的。39．信源熵反映了變量的隨機(jī)性。40.若隨機(jī)事件發(fā)生的概率為，那么它的信源熵為41.在事件個(gè)數(shù)相同的情況下，事件等概率出現(xiàn)的情況下集的熵值最大。42．熵的性質(zhì)包括對(duì)稱性、非負(fù)性、確定性、擴(kuò)展性、可加性、極值性。43．兩個(gè)概率分布和的相對(duì)熵定義為.44．平均互信息量描述了兩個(gè)集合之間，一個(gè)集合中事件出現(xiàn)后所給出的關(guān)于另一個(gè)集合中事件出現(xiàn)的信息量的平均值。45．各種熵、互信息等shannon信息度都可以表示為熵和條件熵的線性組合。46．各種熵、互信息等shannon信息度都可以看成平均條件互信息量的特例。47．若一個(gè)K維矢量的所有分量為非負(fù)的，且和為1，就稱為概率矢量。48．概率矢量是全體所構(gòu)成的區(qū)域是凸。49．信息不等式表示為.50．當(dāng)消息經(jīng)過多級(jí)處理后，隨著處理器數(shù)目的增多，輸入消息與輸出消息之間的平均互信息量趨于變小。51．對(duì)于信宿收到的信號(hào)或數(shù)據(jù)，常常需要進(jìn)行適當(dāng)?shù)奶幚恚允馆敵鱿⒆儞Q成更加有用的形式，這種處理方式為數(shù)據(jù)處理。52．在信息論中，信源是發(fā)出消息的源。53．運(yùn)用概率論和隨機(jī)過程的理論來研究信息，這是香農(nóng)信息論的基本點(diǎn)。54．離散信源是指發(fā)出時(shí)間和幅度上都是離散分布的。55．連續(xù)信源是指發(fā)出時(shí)間和幅度上都是連續(xù)分布的。56．每次只發(fā)出一個(gè)符號(hào)代表一個(gè)消息的信源叫做發(fā)出單個(gè)符號(hào)的無記憶信源。57．每次測(cè)量都是隨機(jī)的，可用連續(xù)型隨機(jī)變量X來描述，這樣的信源就是發(fā)出單個(gè)符號(hào)的連續(xù)無記憶信源。58．每次發(fā)出1組含有2個(gè)以上福海的符號(hào)序列來代表一個(gè)消息的信源叫做發(fā)出符號(hào)序列的信源。59．在離散無記憶的信源中，信源輸出的每個(gè)符號(hào)是統(tǒng)計(jì)獨(dú)立的，且具有相同的概率空間，則該信源是離散平穩(wěn)無記憶信源。60．一般認(rèn)為，通信系統(tǒng)中的信號(hào)都是平穩(wěn)遍歷的隨機(jī)過程。61．條件概率與時(shí)間起點(diǎn)無關(guān)，則信源輸出的符號(hào)序列可以看成齊次馬爾科夫鏈，這樣的信源叫做齊次馬爾科夫信源。62．概率為的符號(hào)的自信息量為.63．發(fā)出符號(hào)序列的臉無記憶信源發(fā)出的消息的信息量為64．符號(hào)的概率為，則有，，0。65．符號(hào)的概率為，則有，，。66．自信息量是與概率分布有關(guān)的一個(gè)隨機(jī)變量。67．平均自信息量只與信源各符號(hào)出現(xiàn)的概率有關(guān)，可以用來表征信源輸出信息的總體特征。68．平均自信息為，表示信源的平均不確定度，也表示平均每個(gè)信源消息所提供的信息量。69．平均互信息為,表示從Y獲得的關(guān)于每個(gè)X的平均信息量，也表示發(fā)X前后Y的平均不確定性減少的量，還表示通信前后整個(gè)系統(tǒng)不確定性減少的量。70．最大離散熵定理為：離散無記憶信源，等概率分布時(shí)熵最大。71．香農(nóng)定理中，為保證足夠大的信道容量，可采用用頻帶換信噪比和用信噪比換頻帶兩種方式。72．單符號(hào)離散信源一般用隨機(jī)變量描述，而多符號(hào)離散信源一般用隨機(jī)矢量描述。73．一個(gè)隨機(jī)事件發(fā)生某一結(jié)果后所帶來的信息量稱為自信息量，定義為其發(fā)生概率對(duì)數(shù)的負(fù)值。74．自信息量的單位一般有比特、奈特和哈特。75．離散平穩(wěn)無記憶信源X的N次擴(kuò)展信源的熵等于離散信源X的熵的N倍。76．離散平穩(wěn)有記憶信源的極限熵，。77．對(duì)于n元m階馬爾可夫信源，其狀態(tài)空間共有nm個(gè)不同的狀態(tài)。78．一維連續(xù)隨即變量在區(qū)間內(nèi)均勻分布時(shí)，其信源熵為。79．平均功率為的高斯分布的連續(xù)信源，其信源熵:。80．對(duì)于限峰值功率的N維連續(xù)信源，當(dāng)概率密度均勻分布時(shí)連續(xù)信源熵具有最大值。81．對(duì)于限平均功率的一維連續(xù)信源，當(dāng)概率密度高斯分布時(shí)，信源熵有最大值。82．對(duì)于均值為0，平均功率受限的連續(xù)信源，信源的冗余度決定于平均功率的限定值和信源的熵功率之比。83．若把擲骰子的結(jié)果作為一離散信源，則其信源熵為。84．同時(shí)擲兩個(gè)正常的骰子，各面呈現(xiàn)的概率都為1/6，則“3和5同時(shí)出現(xiàn)”這件事的自信息量是。85．若一維隨即變量X的取值區(qū)間是，其概率密度函數(shù)為，其中：，m是X的數(shù)學(xué)期望，則X的信源熵。86．一副充分洗亂的撲克牌（52張），從中任意抽取1張，然后放回，若把這一過程看作離散無記憶信源，則其信源熵為。87．按照信源發(fā)出的消息在時(shí)間和幅度上的分布情況，可將信源分成離散信源和連續(xù)信源兩大類。88．信息的基本概念在于它的不確定性。89．一個(gè)隨機(jī)事件的自信息量定義為其出現(xiàn)概率對(duì)數(shù)的負(fù)值。90．信息論不等式：對(duì)于任意實(shí)數(shù)，有，當(dāng)且僅當(dāng)時(shí)等式成立。91．設(shè)信源為，則信源的熵為比特/符號(hào)，如信源發(fā)出由個(gè)“0”和個(gè)“1”構(gòu)成的序列，序列的自信息量為比特/符號(hào)。92．離散對(duì)稱信道輸入等概率時(shí)，輸出為等概率分布。93．離散信源，則信源的熵為1.75bit/符號(hào)。94．齊次馬爾可夫信源的一步轉(zhuǎn)移概率矩陣為P，穩(wěn)態(tài)分布為W，則W和P滿足的方程為W=WP。95．某離散無記憶信源，其符號(hào)個(gè)數(shù)為，則當(dāng)信源符號(hào)呈等概分布情況下，信源熵取最大值。96．在信息處理中，隨著處理級(jí)數(shù)的增加，輸入消息和輸出消息之間的平均互信息量趨于減少。97．設(shè)的取值受限于有限區(qū)間，則服從均勻分布時(shí)，其熵達(dá)到最大；如的均值為，方差受限為，則X服從高斯分布時(shí)，其熵達(dá)到最大。98．設(shè)信源包含4個(gè)不同離散消息，當(dāng)且僅當(dāng)中各個(gè)消息出現(xiàn)的概率為___1/4___時(shí)，信源熵達(dá)到最大值，為__2__，此時(shí)各個(gè)消息的自信息量為__2__。99．平均互信息量與信源熵和條件熵之間的關(guān)系是。100．設(shè)信源包含8個(gè)不同離散消息，當(dāng)且僅當(dāng)中各個(gè)消息出現(xiàn)的概率為__1/8__時(shí)，信源熵達(dá)到最大值，為___3____。101．自信息量表征信源中各個(gè)符號(hào)的不確定度，信源符號(hào)的概率越大，其自信息量越_小___。102．信源的冗余度來自兩個(gè)方面，一是信源符號(hào)之間的__相關(guān)性__，二是信源符號(hào)分布的__不均勻性__。103．在無失真的信源中，信源輸出由來度量；在有失真的信源中，信源輸出由來度量。102．限平均功率最大熵定理指出對(duì)于相關(guān)矩陣一定的隨機(jī)矢量，當(dāng)它是正態(tài)分布時(shí)具有最大熵。105．離散無記憶序列信源中平均每個(gè)符號(hào)的符號(hào)熵等于單個(gè)符號(hào)信源的符號(hào)熵。106．信源的概率分布為，信源的概率分布為，則信源X和Y的熵相等。107．互信息量表示收到后仍對(duì)信源的不確定度。108．單符號(hào)離散信源的自信息和信源熵都具有非負(fù)性。109．自信息量、條件自信息量和聯(lián)合自信息量之間的關(guān)系為：。110．當(dāng)隨即變量X和Y相互獨(dú)立時(shí)，條件熵等于信源熵。111．平均互信息量對(duì)于信源概率分布和條件概率分布都具有凸函數(shù)性。112．利用狀態(tài)極限概率和狀態(tài)一步轉(zhuǎn)移概率來求m階馬爾可夫信源的極限熵。113．三進(jìn)制信源的最小熵為0，最大熵為bit/符號(hào)。114．當(dāng)X和Y相互獨(dú)立時(shí)，==。115．。116．假設(shè)信道輸入用X表示，信道輸出用Y表示，在無噪有損信道中，>0,=0，<。117．離散無記憶序列信源中平均每個(gè)符號(hào)的符號(hào)熵等于單個(gè)符號(hào)信源的符號(hào)熵。118．互信息量I(X;Y)表示收到Y(jié)后仍對(duì)信源X的不確定度。119．一般的把信息量定義為：收到某消息獲得的信息量等于不確定性減少的量。120．在一個(gè)盒子中放有個(gè)阻值各為的電阻，將從盒子中取出阻值為的電阻記為事件，則發(fā)生的概率為，這一事件發(fā)生所獲得的信息量為。二．單選（80）1．一般認(rèn)為，通信系統(tǒng)中的信號(hào)都是（A）。A．平穩(wěn)遍歷的隨機(jī)過程B．隨機(jī)過程C．遍歷過程D．確定過程2．在離散無記憶的信源中，信源輸出的每個(gè)符號(hào)是統(tǒng)計(jì)獨(dú)立的，且具有相同的（B），則該信源是離散平穩(wěn)無記憶信源。A．熵B．概率空間C．概率值D．信息源3．每次發(fā)出1組含有（C）個(gè)以上的符號(hào)序列來代表一個(gè)消息的信源叫做發(fā)出符號(hào)序列的信源。A．0B．1C．2D．34．每次測(cè)量都是隨機(jī)的，可用連續(xù)型隨機(jī)變量X來描述，這樣的信源就是發(fā)出單個(gè)符號(hào)的（D）。A．離散無記憶信源B．連續(xù)記憶信源C．離散記憶信源D．連續(xù)無記憶信源5．信息不等式表示為（A）。A．B．C．D．6．下述平均自信息表示正確的是（B）。A．B．C．D．7．在信息論中，最大離散熵定理為離散無記憶信源，等概率分布時(shí)熵為（C）。A．最小B．0C．最大D．18．平均互信息表示從Y獲得的關(guān)于每個(gè)X的平均信息量，也表示發(fā)X前后Y的平均不確定性減少的量，還表示通信前后整個(gè)系統(tǒng)不確定性減少的量,下述表示正確的是（D）。A．B．C．D．9．一個(gè)隨機(jī)事件發(fā)生某一結(jié)果后所帶來的信息量稱為自信息量，定義為（A）。A．其發(fā)生概率對(duì)數(shù)的負(fù)值。B．其發(fā)生概率對(duì)數(shù)。C．其發(fā)生概率的和。10．自信息量的單位一般不包括（B）。A．比特B．位C．奈特D．哈特11．必然事件的自信息是（C）。A．0或1B．C．0D．112．兩個(gè)相互獨(dú)立的隨機(jī)變量的聯(lián)合自信息量等于兩個(gè)自信息量（D）。A．之比B．之積C．之差D．之和13．事件與事件之間的互信息量定義為（A）。A．B．C．D．14．若隨機(jī)事件發(fā)生的概率為，那么它的自信息量為（B）。A．B．C．D．15．在信息論中，常用的對(duì)數(shù)底為2時(shí)，信息量的單位為（A）。A．比特B．位C．奈特D．哈特16．一個(gè)以等概率出現(xiàn)的二進(jìn)制碼（0,1）所包含的自信息量為（B）。A．2bitB．1bitC．0bitD．3bit17．自信息量是概率的（C）函數(shù)。A．二次B．對(duì)數(shù)C．單調(diào)遞減D．單調(diào)遞增18．概率越（D）的事件，不確定性越（D），發(fā)生后提供的信息量就越（D）。A．大，大，小B．大，小，大C．小，小，小D．大，小，小19．簡(jiǎn)單通信系統(tǒng)的模型包含包含的部分為（A）。A．調(diào)制及解調(diào)B．信源C．有擾信道D．信宿20．的后驗(yàn)概率與先念概率的（B）的對(duì)數(shù)為對(duì)的互信息量。A．差值B．比值C．和D．積21．當(dāng)X和Y相互獨(dú)立時(shí)，互信息為（C）。A．不存在B．C．0D．122．信源熵反映了變量的（D）。A．確定性B．?dāng)U展性C．遞增性D．隨機(jī)性23．若隨機(jī)事件發(fā)生的概率為，那么它的信源熵表示為：（A）A．B．C．D．24．．兩個(gè)概率分布和的相對(duì)熵定義為（B）。A．B．C．D．25．符號(hào)的概率為，則有，，（C）。A．1B．2C．0D．26．符號(hào)的概率為，則有，，（D）。A．1B．2C．0D．27．平均自信息量只與信源各符號(hào)出現(xiàn)的概率有關(guān)，可以用來表征信源輸出信息的（A）。A．總體特征B．不確定度C．可能性D．概率估算28．離散平穩(wěn)有記憶信源的極限熵表述正確是：（B）。A．B．C．D．29．對(duì)于n元m階馬爾可夫信源，其狀態(tài)空間共有（C）個(gè)不同的狀態(tài)。A．n-mB．n+mC．nmD．n/m30．一維連續(xù)隨即變量在區(qū)間內(nèi)均勻分布時(shí)，其信源熵表示正確的是：（D）。A．B．C．D．31．平均功率為的高斯分布的連續(xù)信源，其信源熵表示正確的是：（A）A．B．C．D．32．對(duì)于限峰值功率的N維連續(xù)信源，當(dāng)概率密度均勻分布時(shí)連續(xù)信源熵具有（B）A．最小值B．最大值C．極大值D．極小值33．對(duì)于限平均功率的一維連續(xù)信源，當(dāng)概率密度高斯分布時(shí)，信源熵有(C)。A．最小值B．極大值C．最大值D．極小值34．對(duì)于均值為0，平均功率受限的連續(xù)信源，信源的冗余度決定于平均功率的限定值和信源的熵功率之（D）。A．積B．差C．和D．比35．若把擲骰子的結(jié)果作為一離散信源，則其信源熵為（A）。A．B．C．D．36．同時(shí)擲兩個(gè)正常的骰子，各面呈現(xiàn)的概率都為1/6，則“3和5同時(shí)出現(xiàn)”這件事的自信息量是（B）。A．B．C．D．37．若一維隨即變量X的取值區(qū)間是，其概率密度函數(shù)為，其中：，m是X的數(shù)學(xué)期望，則X的信源熵正確的是（C）。A．B．C．D．38．一副充分洗亂的撲克牌（52張），從中任意抽取1張，然后放回，若把這一過程看作離散無記憶信源，則其信源熵正確的是：（D）。A．B．C．D．39．設(shè)信源為，則信源的熵為（A）比特/符號(hào)。A．B．C．D．40．如信源發(fā)出由個(gè)“0”和個(gè)“1”構(gòu)成的序列，序列的自信息量為（B）比特/符號(hào)。A．B．C．D．41．若離散信源表示為，則信源的熵為（C）。A．1.25bit/符號(hào)B．1.5bit/符號(hào)C．1.75bit/符號(hào)D．1bit/符號(hào)42．齊次馬爾可夫信源的一步轉(zhuǎn)移概率矩陣為P，穩(wěn)態(tài)分布為W，則W和P滿足的方程為（D）。A．W=W+PB．W=W/PC．W=W-PD．W=WP43．某離散無記憶信源，其符號(hào)個(gè)數(shù)為，則當(dāng)信源符號(hào)呈等概率分布情況下，信源熵取最大值是（A）。A．B．C．D．44．設(shè)信源包含4個(gè)不同離散消息，當(dāng)且僅當(dāng)中各個(gè)消息出現(xiàn)的概率為1/4時(shí)，信源熵達(dá)到最大值，為（B），此時(shí)各個(gè)消息的自信息量為（B）。A．2，3B．2，2C．1，2D．1，345．平均互信息量與信源熵和條件熵之間的關(guān)系是（C）。A．B．C．D．46．設(shè)信源包含8個(gè)不同離散消息，當(dāng)且僅當(dāng)中各個(gè)消息出現(xiàn)的概率為1/8時(shí)，信源熵達(dá)到最大值為（D）。A．8B．1C．2D．347．自信息量表征信源中各個(gè)符號(hào)的不確定度，信源符號(hào)的概率越大，其自信息量（A）。A．越小B．不變C．為0D．變大48．信源的概率分布為，信源的概率分布為，則信源X和Y的（B）相等。A．概率B．熵C．信息量D．自信息量49．平均互信息量對(duì)于信源概率分布和條件概率分布都具有（C）。A．遞增性B．遞減性C．凸函數(shù)性D．凹函數(shù)性50．自信息量、條件自信息量和聯(lián)合自信息量之間的關(guān)系下述表述正確的是：（D）A．B．C．D．51．下面表達(dá)式中正確的是（A）。A．B．C．D．52．率失真函數(shù)的下限為（B）。A.H(U)B.0C.I(U;V)D.沒有下限53．一珍珠養(yǎng)殖場(chǎng)收獲240顆外觀及重量完全相同的特大珍珠，但不幸被人用外觀相同但重量僅有微小差異的假珠換掉1顆。一人隨手取出3顆，經(jīng)測(cè)量恰好找出了假珠，不巧假珠又滑落進(jìn)去，那人找了許久卻未找到，但另一人說他用天平最多6次能找出，結(jié)果確是如此，這一事件給出的信息量（A）。A．0bitB．bitC．6bitD．bit54．一個(gè)隨即變量x的概率密度函數(shù)P(x)=x/2，，則信源的相對(duì)熵為（C）。A.0.5bitB.0.72bitC.1bitD.1.44bit55．下列離散信源，熵最大的是（D）。A.H（1/3,1/3,1/3）；B.H（1/2,1/2）；C.H（0.9,0.1）；D.H（1/2,1/4,1/8,1/8)56．同時(shí)扔兩個(gè)正常的骰子，即各面呈現(xiàn)的概率都是1/6，若點(diǎn)數(shù)之和為12，則得到的自信息為（B）。A．bitB．bitC．bitD．bit57．一個(gè)隨即變量x的概率密度函數(shù)P(x)=x/2，，則信源的相對(duì)熵為（C）A.0.5bit/符號(hào)B.0.72bit/符號(hào)C.1bit/符號(hào)D.1.44bit/符號(hào)58．設(shè)有一個(gè)無記憶信源發(fā)出符號(hào)A和B，已知，發(fā)出二重符號(hào)序列消息的信源，無記憶信源熵為（A）。A.0.81bit/二重符號(hào)B.1.62bit/二重符號(hào)C.0.93bit/二重符號(hào)D.1.86bit/二重符號(hào)59．三進(jìn)制信源的最小熵為0，最大熵為（B）bit/符號(hào)A．1B．3C．D．060．當(dāng)X和Y相互獨(dú)立時(shí)，（A）（A）A．=，=B．=，C．，D．，=61．（B）A．B．C．=D．62．假設(shè)信道輸入用X表示，信道輸出用Y表示，在無噪有損信道中，(B)0。A．B．C．=D．63．假設(shè)信道輸入用X表示，信道輸出用Y表示，在無噪有損信道中，（C）0。A．B．C．=D．64．假設(shè)信道輸入用X表示，信道輸出用Y表示，在無噪有損信道中，（A）。A．B．C．=D．65．離散無記憶序列信源中平均每個(gè)符號(hào)的符號(hào)熵等于單個(gè)符號(hào)信源的（B）。A．熵B．符號(hào)熵C．信息量D．概率值66．在一個(gè)盒子中放有個(gè)阻值各為的電阻，將從盒子中取出阻值為的電阻記為事件，則發(fā)生的概率為，這一事件發(fā)生所獲得的信息量為。A．B．C．D．68．給定條件下隨機(jī)事件所包含的不確定度和條件自信息量，（D）A．?dāng)?shù)量上不等，單位不同B．?dāng)?shù)量上不等，單位相同C．?dāng)?shù)量上相等，單位不同D．?dāng)?shù)量上相等，單位相同68.條件熵和無條件熵的關(guān)系是(C)。A．B．C．D．69.下面哪一項(xiàng)不屬于熵的性質(zhì)：（B）A．非負(fù)性B．完備性C．對(duì)稱性D．確定性70．連續(xù)信源的熵是（C），不再具有熵的物理含義。A．無窮小B．不存在C．無窮大D．171．若連續(xù)信源輸出信號(hào)的平均功率為，則輸出信號(hào)幅度的概率密度是高斯分布或正態(tài)分布或時(shí)，信源具有最大熵，其值為（D）。。A．B．C．D．72．居住在某地區(qū)的女孩中有25%是大學(xué)生，在女大學(xué)生中有75%是身高1.6米以上的，而女孩中身高1.6米以上的占總數(shù)的一半。假如我們得知“身高1.6米以上的某女孩是大學(xué)生”的消息，問獲得的信息量為（A）。A．1.42bitB．2.56bitC．1.35bitD．1.2bit73．（B）實(shí)質(zhì)上是無記憶信源平均不確定度的度量。A．信息量B．信源熵C．信源D．自信息量74．各種熵、互信息等shannon信息度都可以表示為熵和條件熵的（C）。A．非線性組合B．疊加C．線性組合D．之積75．若隨機(jī)事件發(fā)生的概率為，那么它的信源熵為（A）。A．B．C．D．三．簡(jiǎn)答（20）1．簡(jiǎn)述信息的特征。答：信息的基本概念在于它的不確定性，任何已確定的事物都不含信息。接收者在收到信息之前，對(duì)它的內(nèi)容是不知道的，所以信息是新知識(shí)、新內(nèi)容。信息是能使認(rèn)識(shí)主體對(duì)某一事物的未知性或不確定性減少的有用知識(shí)。信息可以產(chǎn)生，也可以消失，同時(shí)信息可以被攜帶、貯存及處理。信息是可以量度的，信息量有多少的差別。2．簡(jiǎn)述平均自信息。答：平均自信息表示信源的平均不確定度，也表示平均每個(gè)信源消息所提供的信息量。3．簡(jiǎn)述平均互信息。答：平均互信息表示從Y獲得的關(guān)于每個(gè)X的平均信息量，也表示發(fā)X前后Y的平均不確定性減少的量，還表示通信前后整個(gè)系統(tǒng)不確定性減少的量。4．最大離散熵定理主要內(nèi)容是？答：離散無記憶信源，等概率分布時(shí)熵最大。5．?dāng)?shù)據(jù)處理定理的主要內(nèi)容是？答：當(dāng)消息經(jīng)過多級(jí)處理后，隨著處理器數(shù)目的增多，輸入消息與輸出消息之間的平均互信息量趨于變小。6．簡(jiǎn)述信源的分類。答：按照信源發(fā)出的消息在時(shí)間和幅度上的分布情況，可將信源分成離散信源和連續(xù)信源兩大類。7．離散信源是怎樣定義的？答：一類信源輸出的消息常常以一個(gè)個(gè)符號(hào)的形式出現(xiàn)，這些符號(hào)的取值是有限的或可數(shù)的，這樣的信源稱為離散信源。8．簡(jiǎn)述簡(jiǎn)單通信系統(tǒng)的模型。答：簡(jiǎn)單通信系統(tǒng)的模型包含的四部分分別為信源、有擾信道、信宿、干擾源。9．簡(jiǎn)述信源熵。答：信源各個(gè)離散消息的自信息量的數(shù)學(xué)期望為信源的平均信息量，也稱信息熵。10．簡(jiǎn)述信源熵的性質(zhì)。答：信源熵的性質(zhì)包括對(duì)稱性、非負(fù)性、確定性、擴(kuò)展性、可加性、極值性。11．簡(jiǎn)述齊次馬爾科夫信源。答：條件概率與時(shí)間起點(diǎn)無關(guān)，則信源輸出的符號(hào)序列可以看成齊次馬爾科夫鏈，這樣的信源叫做齊次馬爾科夫信源。12．在香農(nóng)定理中，主要采用什么方式保證足夠大的信道容量？答：用頻帶換信噪比和用信噪比換頻帶兩種方式13．簡(jiǎn)述信源熵的物理含義。答：信源熵表示信源輸出后，平均每個(gè)離散消息所提取的信息量；信源熵表示信源輸出前，信源的的平均不確定度；反映變量X的隨機(jī)性。14．簡(jiǎn)述自信息量。答：一個(gè)隨機(jī)事件發(fā)生某一結(jié)果后所帶來的信息量稱為自信息量，定義為其發(fā)生概率對(duì)數(shù)的負(fù)值。15．簡(jiǎn)述離散信源的分類。答：離散信源分為單符號(hào)信源和多符號(hào)信源。16．簡(jiǎn)述平均互信息量與信源熵和條件熵之間的關(guān)系。答：17．信源的冗余度主要來自哪幾個(gè)方面？答：信源的冗余度來自兩個(gè)方面，一是信源符號(hào)之間的相關(guān)性，二是信源符號(hào)分布的不均勻性。18．簡(jiǎn)述聯(lián)合熵的概念。答：聯(lián)合熵是定義在二維空間XY上的，各個(gè)元素的自信息量的統(tǒng)計(jì)平均值。19．什么是平均自信息量與平均互信息，比較一下這兩個(gè)概念的異同？答：平均自信息為，表示信源的平均不確定度，也表示平均每個(gè)信源消息所提供的信息量。平均互信息，表示從Y獲得的關(guān)于每個(gè)X的平均信息量，也表示發(fā)X前后Y的平均不確定性減少的量，還表示通信前后整個(gè)系統(tǒng)不確定性減少的量。20．簡(jiǎn)述最大離散熵定理。對(duì)于一個(gè)有m個(gè)符號(hào)的離散信源，其最大熵是多少？答：最大離散熵定理為：離散無記憶信源，等概率分布時(shí)熵最大。最大熵值為。四．名詞解釋（20）1．平均自信息：表示信源的平均不確定度，也表示平均每個(gè)信源消息所提供的信息量。2．平均互信息：表示從Y獲得的關(guān)于每個(gè)X的平均信息量，也表示發(fā)X前后Y的平均不確定性減少的量，還表示通信前后整個(gè)系統(tǒng)不確定性減少的量。3．自信息量：一個(gè)隨機(jī)事件發(fā)生某一結(jié)果后所帶來的信息量稱為自信息量，定義為其發(fā)生概率對(duì)數(shù)的負(fù)值。4．離散信源：一類信源輸出的消息常常以一個(gè)個(gè)符號(hào)的形式出現(xiàn)，這些符號(hào)的取值是有限的或可數(shù)的，這樣的信源稱為離散信源。5．條件自信息量：條件自信息量定義為條件概率對(duì)數(shù)的負(fù)值。6．信源熵：信源各個(gè)離散消息的自信息量的數(shù)學(xué)期望為信源的平均信息量。7．離散平穩(wěn)無記憶信源：假定隨機(jī)變量欲裂的長度是有限的，如果信源輸出地信息序列中，符號(hào)之間的無相互依賴關(guān)系，則稱這類信源為離散平穩(wěn)無記憶信源。8．信源冗余度：信源熵的相對(duì)率為信源實(shí)際的信息熵與同樣符號(hào)數(shù)的最大熵的比值9．平穩(wěn)信源：概率分布函數(shù)與時(shí)間起點(diǎn)無關(guān)，平穩(wěn)信源是有記憶的，記憶的長度有限。10．香農(nóng)信息：信息是事物運(yùn)動(dòng)狀態(tài)或存在方式的不確定性的描述。11．消息(或稱為符號(hào))：信息的數(shù)學(xué)表達(dá)層，它雖不是一個(gè)物理量，但是可以定量地加以描述，它是具體物理信號(hào)的進(jìn)一步數(shù)學(xué)抽象。五．計(jì)算（60）1.同時(shí)擲兩個(gè)骰子，設(shè)每個(gè)骰子各個(gè)面朝上的概率是1/6，試求：（1）事件“2和6同時(shí)出現(xiàn)”的自信息量；（2）事件“兩個(gè)3同時(shí)出現(xiàn)”的自信息量；（3）事件“兩個(gè)點(diǎn)數(shù)中至少有一個(gè)是5”的自信息量；（4）兩個(gè)點(diǎn)數(shù)之和的熵。解：（1）（2）（3）（4）2.每幀電視圖像可以認(rèn)為是3*10^5個(gè)像素構(gòu)成，所有像素均獨(dú)立變化，且每一像素又取128個(gè)不同的亮度電平，并設(shè)亮度電平等概率出現(xiàn)。問每幀圖像喊多少信息量？如果一個(gè)廣播員在約1000個(gè)漢字的字匯中選取1000個(gè)字來口述此電視圖像，試問廣播員描述此圖像所廣播的信息量是多少（假設(shè)漢字字匯是等概率分布，并且彼此獨(dú)立）？若要恰當(dāng)?shù)孛枋龃藞D像，廣播員在口述中至少需用多少漢字？解：由于每一象素取128個(gè)不同的亮度電平，各個(gè)亮度電平等概率出現(xiàn)。因此每個(gè)亮度電平包含的信息量為：每幀圖像中像素均是獨(dú)立變化的，因此每幀圖像信源就是離散亮度電平信源的無記憶N次擴(kuò)展。由此，每幀圖像包含的信息量為廣播員在約10000個(gè)漢字中選取字匯來口述此電視圖像，各個(gè)漢字等概分布，因此每個(gè)漢字包含的信息量為廣播員述電視圖像是從這個(gè)漢字字匯信源中獨(dú)立地選取1000個(gè)字進(jìn)行描述，因此廣播員描述此圖像所廣播的信息量是由于口述一個(gè)漢字所包含的信息量為I(Y)，而一幀電視圖像包含的信息量是I(XN)，因此廣播員要恰當(dāng)?shù)孛枋龃藞D像，需要的漢字?jǐn)?shù)量為：3.設(shè)有12枚同值硬幣，其中有一枚為假幣。只知道假幣的重量與真幣的重量不同，但不知究竟是重還是輕。現(xiàn)用比較天平左右兩邊輕重的方法來測(cè)量。為了在天平上稱出哪一枚是假幣，試問至少必須稱多少次？解：從信息論的角度看，“12枚硬幣中，某一枚為假幣”該事件發(fā)生的概率為“假幣的重量比真的輕，或重”該事件發(fā)生的概率為為確定哪一枚是假幣，即要消除上述兩事件的聯(lián)合不確定性，由于二者是獨(dú)立的，因此有:而用天平稱時(shí)，有三種可能性：重、輕、相等，三者是等概率的，均為因此天平每一次消除的不確定性為。因此，必須稱的次數(shù)是：因此，至少需稱3次。4.同時(shí)扔一對(duì)均勻的骰子，當(dāng)?shù)弥皟慎蛔用娉宵c(diǎn)數(shù)之和為2”或“面朝上點(diǎn)數(shù)之和為8”或“兩骰子面朝上點(diǎn)數(shù)是3和4”時(shí)，試問這三種情況分別獲得多少信息量？解：“兩骰子總點(diǎn)數(shù)之和為2”有一種可能，即兩骰子的點(diǎn)數(shù)各為1，由于二者是獨(dú)立的，因此該種情況發(fā)生的概率為，該事件的信息量為：“兩骰子總點(diǎn)數(shù)之和為8”共有如下可能：2和6.3和5.4和4.5和3.6和2，概率為，因此該事件的信息量為：“兩骰子面朝上點(diǎn)數(shù)是3和4”的可能性有兩種：3和4.4和3，概率為，因此該事件的信息量為：5.摩爾斯電報(bào)系統(tǒng)中，若采用點(diǎn)長為0.2s、劃長為0.4s，且點(diǎn)和劃出現(xiàn)的概率分別為2/3.1/3，試求它的信息速率（bps）。解：平均每個(gè)符號(hào)長為:秒每個(gè)符號(hào)的熵為比特/符號(hào)所以信息速率為比特/秒6.一個(gè)八元編碼系統(tǒng)，其碼長為3，每個(gè)碼字的第一個(gè)符號(hào)都相同（用于同步），如若每秒產(chǎn)生1000個(gè)碼字，試求其信息速率。解：同步信號(hào)均相同不含信息,其余認(rèn)為等概率,每個(gè)碼字的信息量為3*2=6比特；所以信息速率為比特/秒7.擲一對(duì)無偏的骰子，若告訴你得到的總點(diǎn)數(shù)為（a）7；（b）12；試求各得到多少信息量。解：(a)一對(duì)骰子總點(diǎn)數(shù)為7的概率是所以得到的信息量為比特(b)一對(duì)骰子總點(diǎn)數(shù)為12的概率是所以得到的信息量為比特8.經(jīng)過充分洗牌后的一副撲克（含52張撲克），試問：（a）任何一種特定排列所給出的信息量是多少？（b）若從中抽取13張牌，所給出的點(diǎn)數(shù)都不同時(shí)得到多少信息量？解：(a)任一特定排列的概率為,所以給出的信息量為比特(b)從中任取13張牌,所給出的點(diǎn)數(shù)都不相同的概率為所以得到的信息量為比特.9.設(shè)有一個(gè)非均勻骰子，若其任意一面出現(xiàn)的概率與該面上的點(diǎn)數(shù)成正比，試求各點(diǎn)出現(xiàn)時(shí)所給出的信息量，并求擲一次，平均得到的信息量。解：易證每次出現(xiàn)i點(diǎn)的概率為,所以10.園丁植樹一行，若有3棵白楊、4棵白樺、5棵梧桐，設(shè)這12棵樹可以隨機(jī)地排列，且每一種排列是等可能的，若告訴你沒有兩棵梧桐樹相鄰時(shí)，你得到了多少關(guān)于樹的排列的信息？解：可能有的排列總數(shù)為沒有兩棵梧桐樹相鄰的排列數(shù)可如下圖求得，YXYXYXYXYXYXYXY圖中X表示白楊或白樺，它有種排法，Y表示梧桐樹可以栽種的位置，它有種排法，所以共有*=1960種排法保證沒有兩棵梧桐樹相鄰，因此若告訴你沒有兩棵梧桐樹相鄰時(shí)，得到關(guān)于樹排列的信息為=3.822比特11.某校入學(xué)考試中有1/4考生被錄取，3/4的考生未被錄取，被錄取的考生中有50%來自本市，而落榜的考生中有10%來自本市，所有本市的考生都學(xué)過英語，而外地落榜考生中以及被錄取的外地考生中都有40%學(xué)過英語，問：（a）當(dāng)已知考生來自本市時(shí)，給出多少關(guān)于考生是否被錄取的信息？（b）當(dāng)已知考生學(xué)過英語時(shí)，給出多少有關(guān)考生是否被錄取的信息？（c）以表示是否落榜，以表示是否是本市的學(xué)生，表示是否學(xué)過英語，、和的取值為0或1，試求、、。解：X=0表示未錄取，X=1表示錄取；Y=0表示本市，Y=1表示外地；Z=0表示學(xué)過英語，Z=1表示未學(xué)過英語，由此得12.在A.B兩組人中進(jìn)行民意測(cè)驗(yàn)，組A中的人有50%講真話（T），30%講假話（F），20%拒絕回答（R），，而組B中有30%講真話（T），50%講假話（F），20%拒絕回答（R）。設(shè)選組A進(jìn)行測(cè)驗(yàn)的概率為P，若以表示給定T、F、R條件下得到的有關(guān)消息來自組A或組B的平均信息量，試求的最大值。解：令，則13.隨機(jī)擲3顆骰子，以X表示第一顆骰子拋擲的結(jié)果，以Y表示第一個(gè)和第二個(gè)骰子拋擲的點(diǎn)數(shù)之和，以Z表示3顆骰子的點(diǎn)數(shù)之和，試求、、、、。解：解:令X=X1,Y=X1+X2,Z=X1+X2+X3,H(X1)=H(X2)=H(X3)=比特H(X)=H(X1)==2.585比特H(Y)=H(X2+X3)==3.2744比特H(Z)=H(X1+X2+X3)==3.5993比特所以H(Z/Y)=H(X3)=2.585比特H(Z/X)=H(X2+X3)=3.2744比特H(X/Y)=H(X)-H(Y)+H(Y/X)=2.585-3.2744+2.585=1.8955比特H(Z/XY)=H(Z/Y)=2.585比特H(XZ/Y)=H(X/Y)+H(Z/XY)=1.8955+2.585=4.4805比特14.如上題所示，試求解：I(Y;Z)=H(Z)-H(Z/Y)=H(Z)-H(X3)=3.5993-2.585=1.0143比特I(X;Z)=H(Z)-H(Z/X)=3.5993-3.2744=0.3249比特I(XY

;Z)=H(Z)-H(Z/XY)=H(Z)-H(Z/Y)=1.0143比特I(Y;Z/X)=H(Z/X)-H(Z/XY)=H(X2+X3)-H(X3)=3.2744-2.585=0.6894比特I(X;Z/Y)=H(Z/Y)-H(Z/XY)=H(Z/Y)-H(Z/Y)=015.設(shè)有一系統(tǒng)傳送10個(gè)數(shù)字，0,1，···9，奇數(shù)在傳送時(shí)以0.5的概率錯(cuò)成另外的奇數(shù)，而其他的數(shù)字總能正確的接收。試求收到一個(gè)數(shù)字平均得到的信息量。解：設(shè)系統(tǒng)輸出10個(gè)數(shù)字X等概,接收數(shù)字為Y,顯然H(Y)=log10所以I(X;Y)=比特16.令為一等概率的消息集，各消息相應(yīng)的被編成下述二元碼字通過轉(zhuǎn)移概率為P的BSC傳送，試求：（a）接收的第一個(gè)數(shù)字0與之間的互信息量。（b）接收的第二個(gè)數(shù)字00與之間的互信息量。（c）接收的第三個(gè)數(shù)字0000與之間的互信息量。（d）接收的第四個(gè)數(shù)字0000與之間的互信息量。解：（a）接收前一個(gè)數(shù)字為0的概率（b）同理（c）同理（d）同理17.令是概率空間，試證明下述關(guān)系式成立。（a）,給出等號(hào)成立的條件。（b）（c）,給出等號(hào)成立的條件。解：(a)等號(hào)成立的條件為,對(duì)所有,即在給定X條件下Y與Z相互獨(dú)立。(b)(c)（由第二基本不等式）或18.設(shè)X是在上為均勻分布的隨機(jī)變量，試求。解：(a)(b)令(c)令19.令概率空間，令是連續(xù)隨機(jī)變量，已知條件概率密度為試求：（a）的概率密度。（b）解：(a)由已知，（b）20.若連續(xù)信源輸出的幅度被限定在區(qū)域內(nèi)，當(dāng)輸出信號(hào)的概率密度是均勻分布時(shí)，計(jì)算該信源的相對(duì)熵，并說明該信源的絕對(duì)熵為多少?解：=2bit/自由度該信源的絕對(duì)熵為無窮大。21.某信源輸出A、B、C、D、E五種符號(hào)，每一個(gè)符號(hào)獨(dú)立出現(xiàn)，出現(xiàn)概率分別為1/8、1/8、1/8、1/2、1/8。如果符號(hào)的碼元寬度為0.5。計(jì)算：（1）信息傳輸速率。（2）將這些數(shù)據(jù)通過一個(gè)帶寬為B=2000kHz的加性白高斯噪聲信道傳輸，噪聲的單邊功率譜密度為。試計(jì)算正確傳輸這些數(shù)據(jù)最少需要的發(fā)送功率P。解：（1）（2）22.已知的聯(lián)合概率為：求，，，解：0.918bit/symbol=1.585bit/symbol0.251bit/symbol23.設(shè)信源為，試求：（1）信源的熵、信息含量效率以及冗余度；（2）求二次擴(kuò)展信源的概率空間和熵。解：（1）（2）二次擴(kuò)展信源的概率空間為：X\X1/163/163/169/1624.設(shè)隨機(jī)變量和的聯(lián)合概率空間為定義一個(gè)新的隨機(jī)變量(普通乘積)（1）計(jì)算熵H（X），H（Y），H（Z），H（XZ），H（YZ），以及H（XYZ）；（2）計(jì)算條件熵H（X|Y），H（Y|X），H（X|Z），H（Z|X），H（Y|Z），H（Z|Y），H（X|YZ），H（Y|XZ）以及H（Z|XY）；（3）計(jì)算平均互信息量I（X；Y），I（X：Z），I（Y：Z），I（X；Y|Z），I（Y；Z|X）以及I（X：，Z|Y）。解：（1）X\Y0101/83/81/213/81/81/21/21/2（2）X\Z0101/201/213/81/81/27/81/8Y\Z0101/201/213/81/81/27/81/8(3)25.設(shè)二元對(duì)稱信道的輸入概率分布分別為，轉(zhuǎn)移矩陣為，試求信道的輸入熵，輸出熵，平均互信息量。解：（1）信道的輸入熵；26.一個(gè)一階馬爾可夫信源，轉(zhuǎn)移概率為試求馬爾可夫信源的極限熵。解：該馬爾可夫信源的極限熵為：27.設(shè)離散無記憶信源的概率空間為，通過干擾信道，信道輸出端的接收符號(hào)集為，信道傳輸概率如下圖所示。(1)計(jì)算信源中事件包含的自信息量；(2)計(jì)算信源的信息熵；(3)計(jì)算信道疑義度；(4)計(jì)算噪聲熵；(5)計(jì)算收到消息后獲得的平均互信息量。解：(1)(2)(3)轉(zhuǎn)移概率：xyy1y2x15/61/6x23/41/4聯(lián)合分布：xyy1y2x12/312/154/5x13/201/201/549/6011/601/5(5)28.二元對(duì)稱信道如圖所示，若，，求、和。解：29.黑白氣象傳真圖的消息只有黑色和白色兩種，求：1）黑色出現(xiàn)的概率為0.3，白色出現(xiàn)的概率為0.7。給出這個(gè)只有兩個(gè)符號(hào)的信源X的數(shù)學(xué)模型。假設(shè)圖上黑白消息出現(xiàn)前后沒有關(guān)聯(lián)，求熵；2）假設(shè)黑白消息出現(xiàn)前后有關(guān)聯(lián)，其依賴關(guān)系為：，，，，求其熵；解：（1）信源模型為：（2）由題意可知該信源為一階馬爾科夫信源。得極限狀態(tài)概率：30.同時(shí)擲一對(duì)均勻的子，試求：(1)“2和6同時(shí)出現(xiàn)”這一事件的自信息量；(2)“兩個(gè)5同時(shí)出現(xiàn)”這一事件的自信息量；(3)兩個(gè)點(diǎn)數(shù)的各種組合的熵；(4)兩個(gè)點(diǎn)數(shù)之和的熵；(5)“兩個(gè)點(diǎn)數(shù)中至少有一個(gè)是1”的自信息量。解：(3)信源空間：X(1,1)(1,2)(1,3)(1,4)(1,5)(1,6)P(X)1/362/362/362/362/362/36X(2,2)(2,3)(2,4)(2,5)(2,6)P(x)1/362/362/362/362/36X(3,3)(3,4)(3,5)(3,6)P(x)1/362/362/362/36X(4,4)(4,5)(4,6)P(x)1/362/362/36X(5,5)(5,6)(6,6)P(x)1/362/361/36(4)信源空間：X23456789101112P(x)1/362/363/364/365/366/365/364/363/362/361/36(5)31.如有6行、8列的棋型方格，若有兩個(gè)質(zhì)點(diǎn)A和B，分別以等概落入任一方格內(nèi)，且它們的坐標(biāo)分別為（Xa，Ya）,（Xb，Yb）,但A，B不能同時(shí)落入同一方格內(nèi)。若僅有質(zhì)點(diǎn)A，求A落入任一方格的平均信息量；若已知A已落入，求B落入的平均信息量；若A，B是可辨認(rèn)的，求A，B落入的平均信息量。解：32.從大量統(tǒng)計(jì)資料知道,男性中紅綠色盲的發(fā)病率為7%,女性發(fā)病率為0.5%.如果你問一位男士：“你是否是紅綠色盲？”他的回答可能是：“是”，也可能“不是”。問這兩個(gè)回答中各含有多少信息量？平均每個(gè)回答中各含有多少信息量？如果你問一位女士，則她的答案中含有多少平均信息量？解：33.某一無記憶信源的符號(hào)集為｛0，1｝，已知求符號(hào)的平均信息量；由1000個(gè)符號(hào)構(gòu)成的序列，求某一特定序列（例如有m個(gè)“0”,（1000-m）個(gè)“1”）的自信量的表達(dá)式；計(jì)算（2）中序列的熵。解：34.設(shè)信源X的信源空間為：求信源熵，并解釋為什么H(X)>log6，不滿足信源熵的極值性。解：35.為了使電視圖象獲得良好的清晰度和規(guī)定的對(duì)比度，需要用5×105個(gè)像素和10個(gè)不同的亮度電平，并設(shè)每秒要傳送30幀圖象，所有的像素是獨(dú)立的，且所有亮度電平等概出現(xiàn)。求傳輸此圖象所需要的信息率（bit/s）。解：36.設(shè)某彩電系統(tǒng)，除了滿足對(duì)于黑白電視系統(tǒng)的上述要求外，還必須有30個(gè)不同的色彩度。試證明傳輸這種彩電系統(tǒng)的信息率要比黑白系統(tǒng)的信息率大2.5倍左右。證:37.每幀電視圖像可以認(rèn)為是由3×105個(gè)像素組成，所以像素均是獨(dú)立變化，且每像素又取128個(gè)不同的亮度電平，并設(shè)亮度電平是等概出現(xiàn)。問每幀圖像含有多少信息量？若現(xiàn)在有一個(gè)廣播員，在約10000個(gè)漢字中選1000個(gè)字來口述這一電視圖像，試問若要恰當(dāng)?shù)孛枋龃藞D像，廣播員在口述中至少需要多少漢字？解:38.給定一個(gè)概率分布和一個(gè)整數(shù)m，。定義，證明：。并說明等式何時(shí)成立？證：39.找出兩種特殊分布:p1≥p2≥p3≥…≥pn，q1≥q2≥q3≥…≥qm,使H(p1,p2,p3,…,pn)=H(p1,p2,p3,…,pm)。解：40.兩個(gè)離散隨機(jī)變量X和Y，其和為Z＝X＋Y，若X和Y統(tǒng)計(jì)獨(dú)立，求證：H(X)≤H(Z),H(Y)≤H(Z)H(XY)≥H(Z)證明：41.設(shè)信源通過一信道，信道的輸出隨機(jī)變量Y的符號(hào)集,信道的矩陣：試求：信源X中的符號(hào)1和2分別含有的自信息量；收到消息Y＝b1，Y＝b2后，獲得關(guān)于1、2的互交信息量：I(1;b1)、I(1;b2)、I(2;b1)、I(2;b2)；信源X和信宿Y的信息熵；信道疑義度H(X/Y)和噪聲熵H(Y/X)；接收到消息Y后獲得的平均互交信息量I(X;Y)。解:42.某二進(jìn)制對(duì)稱信道，其信道矩陣是：設(shè)該信道以1500個(gè)二進(jìn)制符號(hào)/秒的速度傳輸輸入符號(hào)。現(xiàn)有一消息序列共有14000個(gè)二進(jìn)制符號(hào)，并設(shè)在這消息中p(0)=p(1)=0.5。問從消息傳輸?shù)慕嵌葋砜紤]，10秒鐘內(nèi)能否將這消息序列無失真的傳送完。解:43.有兩個(gè)二元隨機(jī)變量X和Y，它們的聯(lián)合概率為P[X=0,Y=0]=1/8，P[X=0,Y=1]=3/8，P[X=1,Y=1]=1/8，P[X=1,Y=0]=3/8。定義另一隨機(jī)變量Z=XY，試計(jì)算：H(X),H(Y),H(Z),H(XZ),H(YZ),H(XYZ);H(X/Y),H(Y/X),H(X/Z),H(Z/X),H(Y/Z),H(Z/Y),H(X/YZ),H(Y/XZ),H(Z/XY);I(X;Y),I(X;Z),I(Y;Z),I(X;Y/Z),I(Y;Z/X),I(X;Z/Y)。解:44.已知信源X的信源空間為某信道的信道矩陣為：b1b2b3b4試求：(1)“輸入3，輸出b2的概率”；(2)“輸出b4的概率”；(3)“收到b3條件下推測(cè)輸入2”的概率。解：45.已知從符號(hào)B中獲取關(guān)于符號(hào)A的信息量是1比特，當(dāng)符號(hào)A的先驗(yàn)概率P(A)為下列各值時(shí)，分別計(jì)算收到B后測(cè)A的后驗(yàn)概率應(yīng)是多少。P(A)=10-2；P(A)=1/32；P(A)=0.5。解:46.某信源發(fā)出8種消息，它們的先驗(yàn)概率以及相應(yīng)的碼字如下表所列。以a4為例，試求：消息a1a2a3a4a5a6a7a8概率1/41/41/81/81/161/161/161/16碼字000001010011100101110111在W4＝011中，接到第一個(gè)碼字“0”后獲得關(guān)于a4的信息量I(a4;0)；在收到“0”的前提下，從第二個(gè)碼字符號(hào)“1”中獲取關(guān)于a4的信息量I(a4;1/0)；在收到“01”的前提下，從第三個(gè)碼字符號(hào)“1”中獲取關(guān)于a4的信息量I(a4;1/01)；從碼字W4＝011中獲取關(guān)于a4的信息量I(a4;011)。解：47.某一階馬爾柯夫信源的狀態(tài)轉(zhuǎn)移如下圖所示，信源符號(hào)集為X：{0,1,2}，并定義0012p/2p/2p/2p/2p/2p/2試求信源平穩(wěn)后狀態(tài)“0”、“1”、“2”的概率分布p(0)、p(1)、p(2)；求信源的極限熵H∞；p取何值時(shí)H∞取得最大值。解：48.某一階馬爾柯夫信源的狀態(tài)轉(zhuǎn)移如下圖所示，信源符號(hào)集為X：{0,1,2}。試求：(1)試求信源平穩(wěn)后狀態(tài)“0”、“1”、“2”的概率分布p(0)、p(1)、p(2)；(2)求信源的極限熵H∞；(3)求當(dāng)p=0,p=1時(shí)的信息熵，并作出解釋。pppp012解:49.設(shè)某馬爾柯夫信源的狀態(tài)集合S：{S1S2S3}，符號(hào)集X：{α1α2α3}。在某狀態(tài)Si(i=1,2,3)下發(fā)發(fā)符號(hào)αk(k=1,2,3)的概率p(αk/Si)(i=1,2,3;k=1,2,3)標(biāo)在相應(yīng)的線段旁,如下圖所示.求狀態(tài)極限概率并找出符號(hào)的極限概率;計(jì)算信源處在Sj(j=1,2,3)狀態(tài)下輸出符號(hào)的條件熵H(X/Sj);信源的極限熵H∞.αα2:1/4S1S2S3α3:1/2α2:1/2α1:1α1:1/2α3:1/4解:50.51.52.53.54.55.56.57.58.59.60.信源編碼——離散信源無失真編碼一、填空（80）1．信源編碼的目的是提高通信的有效性，信道編碼的目的是提高通信的可靠性，加密編碼的目的是保證通信的安全性。2．若要求精確地重現(xiàn)信源的輸出，就要保證信源產(chǎn)生的全部信息無損地傳送給信宿，這時(shí)的信源編碼就是無失真編碼。3．一般一對(duì)信源-信宿要定出可接收準(zhǔn)則或保真度準(zhǔn)則。4．信源的具體輸出稱做消息，它包括離散和連續(xù)形式。5．消息之所以含有信息是由于信源產(chǎn)生消息的隨機(jī)性。6．離散信源序列為一隨機(jī)變量，若彼此統(tǒng)計(jì)獨(dú)立，相應(yīng)的信源就稱為無記憶信源否則稱為有記憶信源。7．對(duì)于有記憶信源，需要用聯(lián)合概率空間描述。8．若信源輸出的隨機(jī)序列具有各態(tài)歷經(jīng)性，就稱為各態(tài)歷經(jīng)源。9．若序列的取值只與前面有限個(gè)隨機(jī)變量有關(guān)，就稱為有限記憶信源。10．若信源輸出既有連續(xù)分量，又有離散分量時(shí)，就稱為混合信源。11．若，則可以表示信源輸出的4個(gè)不同序列，其中每個(gè)碼符號(hào)序列稱做碼字。12．對(duì)等長元碼，若碼長長度為，則至多有個(gè)碼字。13．對(duì)不等長元碼，若碼字最長限定為，則至多有個(gè)碼字。14．所謂編碼就是從消息集到碼字集上的一種映射。15．若對(duì)于每一個(gè)消息都至少有一個(gè)碼字與之對(duì)應(yīng)，且不同的消息對(duì)應(yīng)不同的碼字，則稱這樣的碼為唯一可譯碼，否則就稱非唯一可譯碼。16．在無擾傳輸?shù)倪^程中，唯一可譯碼的譯碼錯(cuò)誤概率為0，故又稱為無錯(cuò)編碼。17．若對(duì)信源輸出的消息（一個(gè)符號(hào)或一組符號(hào)）采用不同長度的碼字表示，這種編碼法為不等長編碼法。18．Morse電碼屬于不等長編碼。19．編碼就是從消息集到碼字集上的一種映射。20．對(duì)于唯一可譯碼，若為待編碼消息的個(gè)數(shù)，其中為信源符號(hào)的個(gè)數(shù)，為信源序列長度，則唯一可譯碼存在的充分必要條件是。21．若對(duì)有限長的每個(gè)源輸出序列，相應(yīng)的碼字序列彼此都可五疑義地區(qū)分開來，這就稱做是唯一可譯的。22．若碼中各碼字都含有一個(gè)特定符號(hào)，用來指示一個(gè)碼字的起始點(diǎn)，就是逗點(diǎn)碼。23．碼屬于逗點(diǎn)碼，其中符號(hào)“0”起逗點(diǎn)作用，有利于同步，但為此要降低編碼效率。24．對(duì)于碼字,稱為碼字的長為的字頭或前綴。25．若碼中任何一個(gè)碼字都不是另一個(gè)碼字的字頭，則稱這種碼為異字頭碼。26．碼屬于異字頭碼。27．長度為的D元異字頭碼存在的充分必要條件為：。28．任一唯一可譯碼可用相應(yīng)碼字長度一樣的異字頭碼代替。29．任一唯一可譯碼滿足，存在D元唯一可譯碼，其平均長度滿足：。30．令，則0.811bit。32．對(duì)于給定信源，存在最佳唯一可譯二元碼，其最下概率的兩個(gè)碼字和的長度最長且不相等，他們之間僅最后一位碼元取值不同。33．離散源的編碼方法有兩種，一是：等長編碼二是：不等長編碼。34．等長編碼信源字母的平均錯(cuò)誤概率趨近于0。35．只要采用就能實(shí)現(xiàn)任意小的譯碼錯(cuò)誤概率。36．經(jīng)過源編碼后編碼其的輸出變?yōu)榻讵?dú)立等概的碼元序列，而且根據(jù)這個(gè)碼序列可以精確地恢復(fù)原來的消息序列。37．信源編碼和信道編碼主要解決的兩個(gè)問題為：提高傳輸效率和增強(qiáng)通信的可靠性。38．信源編碼包括兩個(gè)功能，一是將信源符號(hào)變換成合適信道傳輸?shù)姆?hào)；二是壓縮信源冗余度，提高傳輸效率。39．從信源消息到碼字的映射不是一一對(duì)應(yīng)的編碼稱為奇異碼。40．對(duì)于變長碼，碼集C的平均碼長用符號(hào)表示，定義碼C中每一個(gè)碼字，其碼長的概率加權(quán)平均值為。41．信道的信息傳輸速率為信道單位時(shí)間內(nèi)所傳輸?shù)膶?shí)際信息量。42．信息傳輸速率定義為：。43．編碼效率是衡量編碼質(zhì)量的一個(gè)重要指標(biāo)。44．對(duì)于給定信源，使平均碼長達(dá)到最小的編碼方法，稱為最佳編碼。45．給定熵為的離散無記憶信源，及有D個(gè)元素的碼符號(hào)集，則總可以找到一種無失真編碼方法，構(gòu)成唯一可譯碼。46．常用的變長編碼方法有：香農(nóng)編碼、費(fèi)諾編碼、霍夫曼編碼。47．一般情況下，對(duì)于同一信源，常見的三種編碼方式以霍夫曼編碼得到的平均碼長最短，即編碼效率最高。48．信源編碼是以提高通信有效性為目的的編碼。49．信源編碼通常通過壓縮信源冗余度來提高通信有效性。50．一般情況下，對(duì)于同一信源，編碼效率最高的是霍夫曼編碼。51．一般情況下信源編碼可以分為：離散信源編碼、連續(xù)信源編碼、相關(guān)信源編碼和變換編碼。52．如果一個(gè)碼的任何一個(gè)碼字都不是其他碼字的前綴，則稱該碼為即時(shí)碼。53．即時(shí)碼可以y用樹圖法來構(gòu)造，對(duì)于M元樹圖，在最頂部畫一個(gè)起始點(diǎn)，稱為樹根。54．赫夫曼編碼是一種效率比較高的變長無失真信源編碼方法。55．無失真信源編碼的平均碼長最小理論極限制為信源熵（或）。56．根據(jù)是否允許失真，信源編碼可分為無失真信源編碼和限失真信源編碼。57．對(duì)于香農(nóng)編碼、費(fèi)諾編碼和霍夫曼編碼，編碼方法唯一的是香農(nóng)編碼。58．信源變長編碼的核心問題是尋找緊致碼（或最佳碼），霍夫曼編碼方法構(gòu)造的是最佳碼。59．若一離散無記憶信源的信源熵等于2.5，對(duì)信源進(jìn)行等長的無失真二進(jìn)制編碼，則編碼長度至少為3。60．元長度為的異前置碼存在的充要條件是：。61．如果信源和失真度一定，則平均失真度是信道統(tǒng)計(jì)特性的函數(shù)。62．如果規(guī)定平均失真度不能超過某一限定的值，即：。我們把稱為保真度準(zhǔn)則。63．對(duì)于離散無記憶信源的率失真函數(shù)的最大值是。64．保真度準(zhǔn)則下的信源編碼定理的條件是信源的信息率大于率失真函數(shù)。65．某二元信源其失真矩陣D=，則該信源的Dmax=a/2。66．某二元信源其失真矩陣D=，則該信源的=。67．信源編碼的目的是：提高通信的有效性。68．一般情況下，信源編碼可以分為離散信源編碼、連續(xù)信源編碼和相關(guān)信源編碼。69．連續(xù)信源或模擬信號(hào)的信源編碼的理論基礎(chǔ)是限失真信源編碼定理。70．在香農(nóng)編碼中，第個(gè)碼字的長度和之間有關(guān)系。71．對(duì)信源進(jìn)行二進(jìn)制費(fèi)諾編碼，其編碼效率為1。72．對(duì)具有8個(gè)消息的單符號(hào)離散無記憶信源進(jìn)行4進(jìn)制哈夫曼編碼時(shí)，為使平均碼長最短，應(yīng)增加2個(gè)概率為0的消息。73．對(duì)于二元序列0011100000011111001111000001111111，其相應(yīng)的游程序列是23652457。74．設(shè)無記憶二元序列中，“0”和“1”的概率分別是和，則“0”游程長度L（0）的概率為。75．游程序列的熵等于原二元序列的熵。76．若“0”游程的哈夫嗎編碼效率為，“1”游程的哈夫嗎編碼效率為，且對(duì)應(yīng)的二元序列的編碼效率為，則三者的關(guān)系是。77．在實(shí)際的游程編碼過程中，對(duì)長碼一般采取截?cái)嗵幚淼姆椒ā?8．“0”游程和“1”游程可以分別進(jìn)行哈夫曼編碼，兩個(gè)碼表中的碼字可以重復(fù)，但C碼79．定長編碼的效率一般小于不定長編碼的效率。80．在編進(jìn)制的哈夫曼碼時(shí)，要考慮是否需要增加概率為0的碼字，以使平均碼長最短。二．單選（40）1．信源編碼的目的是提高通信的（A），信道編碼的目的是提高通信的（A），加密編碼的目的是保證通信的（A）。A．有效性，可靠性，安全性B．有效性，安全性，可靠性C．安全性，有效性，可靠性D．可靠性，有效性，安全性2．．若要求精確地重現(xiàn)信源的輸出，就要保證信源產(chǎn)生的全部信息無損地傳送給信宿，這時(shí)的信源編碼就是（B）。A．失真編碼B．無失真編碼C．信道編碼D．加密編碼3．消息之所以含有信息是由于信源產(chǎn)生消息的（C）。A．可靠性B．安全性C．隨機(jī)性D．有效性4．若，則可以表示信源輸出的4個(gè)不同序列，其中每個(gè)碼符號(hào)序列稱做（D）。A．序列B．碼速率C．碼長D．碼字5．對(duì)等長元碼，若碼長長度為，則至多有(A)個(gè)碼字。A．B．C．D．6．對(duì)不等長元碼，若碼字最長限定為，則至多有（B）個(gè)碼字。A．B．C．D．7．若對(duì)于每一個(gè)消息都至少有一個(gè)碼字與之對(duì)應(yīng)，且不同的消息對(duì)應(yīng)（C）的碼字，則稱這樣的碼為唯一可譯碼。A．隨機(jī)B．任意C．不同D．相同8．在無擾傳輸?shù)倪^程中，唯一可譯碼的譯碼錯(cuò)誤概率為（D），故又稱為無錯(cuò)編碼。A．1B．2C．無窮D．09．對(duì)于唯一可譯碼，若為待編碼消息的個(gè)數(shù)，其中為信源符號(hào)的個(gè)數(shù)，為信源序列長度，則唯一可譯碼存在的充分必要條件是（A）。A．B．C．D．10．若碼中各碼字都含有一個(gè)特定符號(hào)，用來指示一個(gè)碼字的起始點(diǎn)，就是（B）。A．異字頭碼B．逗點(diǎn)碼C．變長碼D．非變長碼11．碼屬于逗點(diǎn)碼，其中符號(hào)“0”起逗點(diǎn)作用，有利于同步，要（C）編碼效率。A．無影響B(tài)．改變C．降低D．提高12．碼屬于（D）。A．逗點(diǎn)碼B．奇異碼C．非奇異碼D．異字頭碼13．長度為的D元異字頭碼存在的充分必要條件為（A）。A．B．C．D．14．任一唯一可譯碼滿足，存在D元唯一可譯碼，其平均長度滿足：（B）。A．B．C．D．15．令，則（C）。A．0.45bitB．0.60bitC．0.811bitD．0.91bit16．對(duì)于給定信源，存在最佳唯一可譯二元碼，其最下概率的兩個(gè)碼字和的長度（D），他們之間僅最后一位碼元取值不同。A．最短且相等B．最長且相等C．最短且不相等D．最長且不相等17．等長編碼信源字母的平均錯(cuò)誤概率為（A）。A．0B．1C．無窮D．218．信源編碼和信道編碼主要解決的兩個(gè)問題為：提高（B）和增強(qiáng)通信的（B）。A．傳輸帶寬，可靠性B．傳輸效率，可靠性C．傳輸效率，實(shí)時(shí)性D．傳輸帶寬，有效性19．從信源消息到碼字的映射不是一一對(duì)應(yīng)的編碼稱為（C）。A．異字頭碼B．逗點(diǎn)碼C．奇異碼D．非奇異碼20．對(duì)于變長碼，碼集C的平均碼長用符號(hào)表示，定義碼C中每一個(gè)碼字，其碼長的概率加權(quán)平均值為（D）。A．B．C．D．21．（A）是衡量編碼質(zhì)量的一個(gè)重要指標(biāo)。A．編碼效率B．傳輸效率C．可靠性D．實(shí)時(shí)性22．給定熵為的離散無記憶信源，及有D個(gè)元素的碼符號(hào)集，則總可以找到一種無失真編碼方法，構(gòu)成（B）。A．異字頭碼B．唯一可譯碼C．非唯一可譯碼D．奇異碼23．一般情況下，對(duì)于同一信源，編碼效率最高的是（C）。A．香農(nóng)編碼B．費(fèi)諾編碼C．霍夫曼編碼D．加密編碼24．（D）是一種效率比較高的變長無失真信源編碼方法。A．香農(nóng)編碼B．費(fèi)諾編碼C．加密編碼D．霍夫曼編碼25．對(duì)于常見的信源編碼，編碼方法唯一的是（A）。A．香農(nóng)編碼B．費(fèi)諾編碼C．加密編碼D．霍夫曼編碼26．若一離散無記憶信源的信源熵等于2.5，對(duì)信源進(jìn)行等長的無失真二進(jìn)制編碼，則編碼長度至少為