1、2.3 一副充分洗亂的牌（含52張），試問：（1）任一特定排列所給出的不確定性是多少？（2）隨機抽取13張牌，13張牌的點數互不相同時的不確定性是多少？ 解：（1）52張撲克牌可以按不同的順序排列，所有可能的不同排列數就是全排列種數，為因為撲克牌充分洗亂，任一特定排列出現的概率相等，設事件A為任一特定排列，則其發生概率為 可得，該排列發生所給出的信息量為 bit dit（2）設事件B為從中抽取13張牌，所給出的點數互不相同。 撲克牌52張中抽取13張，不考慮排列順序，共有種可能的組合。13張牌點數互不相同意味著點數包括A，2，K，而每一種點數有4種不同的花色意味著每個點數可以取4中花色。所以1

2、3張牌中所有的點數都不相同的組合數為。因為每種組合都是等概率發生的，所以 則發生事件B所得到的信息量為 bit dit2.5 設在一只布袋中裝有100只對人手的感覺完全相同的木球，每只上涂有1種顏色。100只球的顏色有下列三種情況：(1) 紅色球和白色球各50只；(2) 紅色球99只，白色球1只；(3) 紅，黃，藍，白色各25只。求從布袋中隨意取出一只球時，猜測其顏色所需要的信息量。解：猜測木球顏色所需要的信息量等于木球顏色的不確定性。令R“取到的是紅球”，W“取到的是白球”，Y“取到的是黃球”，B“取到的是藍球”。（1）若布袋中有紅色球和白色球各50只，即 則 bit（2）若布袋中紅色球99

3、只，白色球1只，即 則 bit bit（3）若布袋中有紅，黃，藍，白色各25只，即 則 bit2.7 設信源為求，井解釋為什么，不滿足信源熵的極值性。解： bit/symbol不滿足極值性的原因是，不滿足概率的完備性。2.8 大量統計表明，男性紅綠色盲的發病率為7%，女性發病率為0.5%，如果你問一位男同志是否為紅綠色盲，他回答“是”或“否”。（1）這二個回答中各含多少信息量?（2）平均每個回答中含有多少信息量?（3）如果你問一位女同志，則答案中含有的平均信息量是多少?解：對于男性，是紅綠色盲的概率記作，不是紅綠色盲的概率記作，這兩種情況各含的信息量為 bit bit平均每個回答中含有的信息量

4、為 bit/回答對于女性，是紅綠色盲的概率記作，不是紅綠色盲的記作，則平均每個回答中含有的信息量為 bit/回答 聯合熵和條件熵2.9 任意三個離散隨機變量、和，求證：。證明：方法一：要證明不等式成立，等價證明下式成立： 根據熵函數的定義得證方法二：因為所以，求證不等式等價于因為條件多的熵不大于條件少的熵，上式成立，原式得證。2.11 設隨機變量和的聯合概率空間為定義一個新隨機變量（普通乘積）。 （1）計算熵、以及；（2）計算條件熵、以及；（3）計算互信息量、以及； 解 （1） bit/symbol bit/symbol可得的概率空間如下 由得由對稱性可得（2）H-H=H-H根據對稱性，H=H

5、H=H-HH=H-H根據對稱性，H=HH=HH=H-H根據對稱性，把X和Y互換得H=HH=H-H(3)根據對稱性，得根據對稱性得2.17 設信源發出二次擴展消息,其中第一個符號為A、B、C三種消息，第二個符號為D、E、F、G四種消息，概率和如下：ABC 1/2 1/3 1/6D 1/4 3/10 1/6E 1/4 1/5 1/2F 1/4 1/5 1/6G 1/4 3/10 1/6求二次擴展信源的聯合熵。解：聯合概率為可得X,Y的聯合概率分布如下：ABCD 1/8 1/10 1/36E 1/8 1/15 1/12F 1/8 1/15 1/36G 1/8 1/10 1/36所以2.19 設某離散

6、平穩信源，概率空間為并設信源發出的符號只與前一個相鄰符號有關，其聯合概率為如下表所示：0120 1/4 1/1801 1/18 1/3 1/1820 1/18 7/36求信源的信息熵、條件熵與聯合熵，并比較信息熵與條件熵的大小。解：邊緣分布為條件概率如下表：0120 9/11 1/801 2/11 3/4 2/920 1/8 7/9所以信源熵為 條件熵： 可知 因為無條件熵不小于條件熵，也可以得出如上結論。聯合熵： 說明：（1）符號之間的相互依賴性造成了信源的條件熵比信源熵少。（2）聯合熵表示平均每兩個信源符號所攜帶的信息量。平均每一個信源符號所攜帶的信息量近似為 原因在于考慮了符號間的統計相

7、關性，平均每個符號的不確定度就會小于不考慮符號相關性的不確定度。2.20 黑白氣象傳真圖的消息只有黑色（B）和白色（W）兩種，即信源，設黑色出現的概率為，白色的出現概率為。（1）假設圖上黑白消息出現前后沒有關聯，求熵（2）假設圖上黑白消息出現前后有關聯，其依賴關系為， ，求此一階馬爾可夫信源的熵。（3）分別求上述兩種信源的剩余度，并比較和的大小，試說明其物理意義。解：（1）假設傳真圖上黑白消息沒有關聯，則等效于一個DMS，則信源概率空間為信源熵為（2）該一階馬爾可夫信源的狀態空間集為根據題意可得狀態的一步轉移矩陣狀態極限概率滿足即可以解得，該一階馬爾可夫信源的熵為（3）黑白消息信源的剩余度為一

8、階馬爾可夫信源的剩余度為由前兩小題中計算的和比較可知該結果說明：當信源的消息（符號）之間有依賴時，信源輸出消息的不確定性降低。所以，信源消息之間有依賴時信源熵小于信源消息之間無依賴時信源熵。這表明信源熵反映了信源的平均不確定性的大小。而信源剩余度反映了信源消息依賴關系的強弱，剩余度越大，信源消息之間依賴關系就越大。2.23 設信源為試求：（1） 信源的熵、信息含量效率以及冗余度；（2） 求二次和三次擴展信源的概率空間和熵。解：（1） （2） 假設X為DMS，則可得二次擴展信源的概率空間2次擴展信源的熵為三次擴展信源的概率空間及熵為2.18 設有一個信源，它產生0，1符號的信息。它在任意時間而且

9、不論以前發生過什么符號，均按 的概率發出符號。（1）試問這個信源是否是平穩的？（2）試計算,及；（3）試計算并寫出信源中可能有的所有符號。解：（1） 該信源在任何時刻發出的符號概率都是相同的，即信源發出符號概率分布與時間起點無關，因此這個信源是平穩信源。又因為信源發出的符號之間彼此獨立。所以該信源也是離散無記憶信源。（2） （信源無記憶）（3） （信源無記憶）的所有符號：2.23 設信源為試求：（1） 信源的熵、信息含量效率以及冗余度；（2） 求二次和三次擴展信源的概率空間和熵。解：（1） （2） 假設X為DMS，則可得二次擴展信源的概率空間2次擴展信源的熵為三次擴展信源的概率空間及熵為2.2

10、5 設連續隨機變量X的概率密度函數為（1） 求X的熵；（2） 求的熵；（3） 求的熵。解：（1）因為所以故（2） 首先求得Y的分布函數Y的概率密度為Y的微分熵為 （令） 因為已知X，關于Y沒有不確定，常數A不會增加不確定度，所以從熵的概念上也可判斷此時（3）首先求得Y的分布函數Y的概率密度為Y的微分熵為 （令） 3.2 信道線圖如下，試確定該信道的轉移概率矩陣 解：按照轉移矩陣的排列原則：行對應輸入符號，列對應輸出符號3.3 的轉移矩陣如下（1）畫出信道線圖；（2）若輸入概率為，求聯合概率、輸出概率以及后驗概率。解：（1）（2）乘以的第1行，乘以的第2行，得聯合概率矩陣：的各列元素相加得對應的

11、輸出概率，寫成矩陣形式：的各列元素除以對應的輸出概率，得后驗概率矩陣：3.4 設離散無記憶信源通過離散無記憶信道傳送信息，設信源的概率分布和信道的線圖分別為 試求：（1）信源的符號和分別含有的自信息；（2）從輸出符號所獲得的關于輸入符號的信息量；（3）信源和信道輸出的熵；（4）信道疑義度和噪聲熵；（5）從信道輸出中獲得的平均互信息量。解：(1) /符號 /符號 (2) = /符號 = /符號 = /符號= /符號(3) /符號 /符號(4)、(5) /符號 /符號 /符號 /符號又根據 = /符號3.6 舉出下列信道的實例，給出線圖和轉移矩陣。（1）無損的，但不是確定的，也不是對稱的；（2）準

12、對稱且無損，但不是確定的；（3）無損的確定信道。解：(1) 滿足（無損），(不確定)，不具有行列排列性，線圖和轉移矩陣如下 (2) 無損要求；不確定要求，具有行排列性，線圖和轉移矩陣如下：(3) 無損、確定信道的線圖和轉移矩陣如下3.7 求下列兩個信道的信道容量和最佳輸入分布，并加以比較。其中。 解：(1) 方法一：利用一般DMC信道容量解的充要條件，計算各偏互信息，并使之均等于信道容量C，再結合輸出概率的完備性，可以解出信道容量，最后利用全概率公式得出最佳輸入分布。該方法通用，但過程繁瑣。方法二：觀察發現此信道是準對稱信道。信道矩陣中可劃分為二個互不相交的子集，如下：，而這兩個子矩陣滿足對稱

13、性，因此，可直接利用準對稱信道的信道容量公式進行計算。 其中n=2, ，, ，所以輸入等概率分布時達到信道容量。（2）此信道也是準對稱信道，現采用準對稱信道的信道容量公式進行計算。此信道矩陣中可劃分成兩個互不相交的子集為 ，這兩矩陣為對稱矩陣。其中 n=2， ， ，所以輸入等概率分布（）時達到此信道容量。兩個信道的噪聲熵相等但第二個信道的輸出符號個數較多，輸出熵較大，故信道容量也較大。3.8 求下列二個信道的信道容量及其最佳的輸入概率分布。 解：圖中2個信道的信道矩陣為 矩陣為行列排列陣，其滿足對稱性，所以這兩信道是對稱離散信道。由對稱離散信道的信道容量公式得 比特/符號特/符號最佳輸入分布是輸入為等概率分布。3.9 設信道轉移矩陣為（1）求信道容量和最佳輸入分布的一般表達式；（2）當和時，信道容量分別為多少？并針對計算結果作一些說明。解：（1）該信道屬一般信道，設最佳輸入分布為，三個輸入概率外加信道容量，共4個參數，需列4個方程。由定理3.6，有化簡得解得轉移概率已知，輸出分布已求出，根據可求出。解得（2） 當p=0,此信道為一一對應信道，得 bit/信道符號，最佳輸入分布為當時，=1 bit/信道符號，最佳輸入分布為，p=0時，信道為確定無損信道，可以從輸出端得到信源的全部信息量，信源的最大熵即為信道容量。但