第二章總結(1)單符號離散信源①信息量自信息、條件自信息概念、性質、計算互信息、條件互信息概念、性質、計算互信息的三種表達方式（輸入端、輸出端、系統總體）②熵信息熵的概念、性質、計算無條件熵、條件熵（信道疑義度、噪聲熵）平均互信息概念、性質、計算平均互信息的三種表達方式平均互信息的凸函數性I(X;Y)是p(ai)的上凸函數I(X;Y)是p(bj/ai)的上凸函數③數據處理定理概念④理解各種熵之間的關系2/5/20231(2)多符號離散信源①離散平穩無記憶信源概念、計算②離散平穩有記憶信源概念、簡單計算條件熵、極限熵概念、簡單計算③馬爾可夫信源概念、極限熵計算④信源冗余度概念、通信效率與可靠性的關系(3)連續信源①概念、與離散信源的比較和區別、簡單計算②理解最大連續熵定理③熵功率的概念(4)離散無失真信源編碼定理①定長編碼定理②變長編碼定理2/5/20232作業題12.1試問四進制、八進制脈沖所含信息量是二進制脈沖的多少倍？解：四進制脈沖可以表示4個不同的消息，例如：{0,1,2,3}八進制脈沖可以表示8個不同的消息，例如：{0,1,2,3,4,5,6,7}二進制脈沖可以表示2個不同的消息，例如：{0,1}假設每個消息的發出都是等概率的，則：四進制脈沖的平均信息量八進制脈沖的平均信息量二進制脈沖的平均信息量所以：四進制、八進制脈沖所含信息量分別是二進制脈沖信息量的2倍和3倍。

2/5/20233作業題22.2.一幅充分洗亂了的牌（含52張牌），試問(1)任一特定排列所給出的信息量是多少？(2)若從中抽取13張牌，所給出的點數都不相同能得到多少信息量？2/5/20234作業題2解答：(1)任意排列共有種，則任一排列的自信息量為：(2)應將點數相同花色不同的牌看作一類，則任意抽取的13張牌應在13類種分別進行。其概率為信息量為：2/5/20235作業題32.3.居住某地區的女孩子有25%是大學生，在女大學生中有75%是身高160厘米以上的，而女孩子中身高160厘米以上的占總數的一半。假如我們得知“身高160厘米以上的某女孩是大學生”的消息，問獲得多少信息量？

2/5/20236作業題3解答：設隨機變量X代表女孩子學歷:設隨機變量Y代表女孩子身高

Xx1（是大學生）x2（不是大學生）P(X)0.250.75Yy1（身高>160cm）y2（身高<160cm）P(Y)0.50.52/5/20237作業題3已知：在女大學生中有75%是身高160厘米以上的即：求：身高160厘米以上的某女孩是大學生的信息量即：2/5/20238作業題42.4.設離散無記憶信源為:其發出的信息為:(202120130213001203210110321010021032011223210)求:(1)此消息的自信息量是多少？(2)此消息中平均每符號攜帶的信息量是多少？2/5/20239作業題4解(1)此消息總共有14個0、13個1、12個2、6個3，因此此消息發出的概率是：此消息的信息量是：

(2)此消息中平均每符號攜帶的信息量是：

2/5/202310作業題52.5從大量統計資料知道，男性中紅綠色盲的發病率為7%，女性發病率為0.5%，如果你問一位男士：“你是否是色盲？”他的回答可能是“是”，可能是“否”，問這兩個回答中各含多少信息量，平均每個回答中含有多少信息量？如果問一位女士，則答案中含有的平均自信息量是多少？2/5/202311作業題5解：男士發病的分布：2/5/202312作業題5解：女士發病的分布：2/5/202313作業題62/5/202314作業題62/5/202315作業題72.7.同時擲兩個正常的骰子，也就是各面呈現的概率都為1/6，求：(1)“3和5同時出現”這事件的自信息量；(2)“兩個1同時出現”這事件的自信息量；(3)兩個點數的各種組合(無序對)的熵或平均信息量；(4)兩個點數之和(即構成的子集)的熵；(5)兩個點數中至少有一個是1的自信息量。2/5/202316作業題72/5/202317作業題72/5/202318作業題72/5/202319作業題82.8.證明：H(X1X2

…Xn)≤H(X1)+H(X2)+…+H(Xn)。證明：2/5/202320作業題92.9證明：H(X3/X1X2)≤H(X3/X1)，并說明等式成立的條件。證明：2/5/202321作業題91離散時間隨機過程。該過程中，在給定當前知識或信息的情況下，過去（即當期以前的歷史狀態）對于預測將來（即當期以后的未來狀態）是無關的2/5/202322作業題102.10對某城市進行交通忙閑的調查，并把天氣分成晴雨兩種狀態，氣溫分成冷暖兩個狀態，調查結果得聯合出現的相對頻度如下：

2/5/202323作業題10若把這些頻度看作概率測度，求:(1)忙閑的無條件熵；(2)天氣狀態和氣溫狀態已知時忙閑的條件熵；(3)從天氣狀態和氣溫狀態獲得的關于忙閑的信息。解：設X、Y、Z分別表示{忙閑}、{晴雨}和{冷暖}，(1)先求忙閑的概率分布2/5/202324作業題10(2)2/5/202325作業題10(3)=0.105比特/符號2/5/202326作業題112.11有兩個二元隨機變量，它們的聯合概率為并定義另一隨機變量Z=XY(一般乘積)。試計算：(1)(2)(3)YX

x1=0x2=1y1=0y2=11/83/83/81/8和

2/5/202327作業題112/5/202328作業題112/5/202329作業題112/5/202330作業題112/5/202331作業題112/5/202332作業題11(3)2/5/202333作業題122.12有兩個隨機變量X和Y，其和為Z=X+Y（一般加法），若X和Y相互獨立，求證：H(X)≤H(Z),H(Y)≤H(Z)。

由對離散型,值不同,但概率一樣.2/5/202334作業題132.13設有一個信源，它產生0，1序列的信息。它在任意時間而且不論以前發生過什么符號，均按P(0)=0.4，P(1)=0.6的概率發出符號。(1)試問這個信源是否是平穩的？(2)試計算H(X2),H(X3/X1X2)及H∞；(3)試計算H(X4)并寫出X4信源中可能有的所有符號。2/5/202335作業題13(3)2/5/202336作業題142.14設X=X1,X2,…,XN是平穩離散有記憶信源，試證明：P44略2/5/202337作業題152.15某一無記憶信源的符號集為{0,1}，已知P(0)=1/4，P(1)=3/4。(1)求符號的平均熵；(2)有100個符號構成的序列，求某一特定序列（例如有m個“0”和（100-m）個“1”）的自信息量的表達式；(3)計算(2)中序列的熵。2/5/202338作業題152/5/202339作業題162.162/5/202340作業題16(1)2/5/202341作業題162/5/202342作業題172.17.一黑白氣象傳真圖的消息只有黑色和白色兩種，即信源X={黑,白}。設黑色出現的概率為P(黑)=0.3，白色的出現概率P(白)=0.7。(1)假設圖上黑白消息出現前后沒有關聯，求熵H(X)；(2)假設消息前后有關聯，其依賴關系為P(白/白)=0.9，P(黑/白)=0.1，P(白/黑)=0.2，P(黑/黑)=0.8，求此一階馬爾可夫信源的熵H2(X)；(3)分別求上述兩種信源的剩余度，比較和的大小，并說明其物理意義。2/5/202343作業題172/5/202344作業題17(2)H2(X)2/5/202345作業題17(3)2/5/202346作業題182.18每幀電視圖像可以認為是由3105個像素組成的，所有像素均是獨立變化，且每像素又取128個不同的亮度電平，并設亮度電平是等概出現，問每幀圖像含有多少信息量？若有一個廣播員，在約10000個漢字中選出1000個漢字來口述此電視圖像，試問廣播員描述此圖像所廣播的信息量是多少（假設漢字字匯是等概率分布，并彼此無依賴）？若要恰當的描述此圖像，廣播員在口述中至少需要多少漢字？2/5/202347作業題182/5/202348作業題192.192/5/202349作業題19其中因為2/5/202350作業題19正態2/5/202351作業題202.202/5/202352作業題202/5/202353作業題202/5/202354作業題202/5/2023