第二章信息的度量第1頁(yè)，課件共90頁(yè)，創(chuàng)作于2023年2月2.1

自信息和互信息2.1.1自信息定義 一個(gè)事件（消息）本身所包含的信息，它是由事件的不確定性決定的。自信息量 一個(gè)事件（消息）本身所包含的信息量，記為。 自信息量為概率的函數(shù)。

第2頁(yè)，課件共90頁(yè)，創(chuàng)作于2023年2月2.1.1

自信息根據(jù)客觀事實(shí)和人們的習(xí)慣概念，自信息量應(yīng)滿(mǎn)足以下條件（公理化條件）：1.是的嚴(yán)格遞減函數(shù)。當(dāng)時(shí)，，概率越小，事件發(fā)生的不確定性越大，事件發(fā)生以后所包含的自信息量越大。2．極限情況下當(dāng)=0時(shí)，；當(dāng)=1時(shí)，=0。3．另外，從直觀概念上講，由兩個(gè)相對(duì)獨(dú)立的不同的消息所提供的信息量應(yīng)等于它們分別提供的信息量之和?？梢宰C明，滿(mǎn)足以上公理化條件的函數(shù)形式是對(duì)數(shù)形式。第3頁(yè)，課件共90頁(yè)，創(chuàng)作于2023年2月定義：

隨機(jī)事件的自信息量定義為該事件發(fā)生概率的對(duì)數(shù)的負(fù)值。設(shè)事件的概率為，則它的自信息定義為

由圖可見(jiàn)：上述信息量的定義正是滿(mǎn)足上述公理性條件的函數(shù)形式。含義： 1）當(dāng)事件發(fā)生以前，等于事件發(fā)生的不確定性的大小； 2）當(dāng)事件發(fā)生以后，表示事件所含有或所能提供的信息量。2.1.1自信息第4頁(yè)，課件共90頁(yè)，創(chuàng)作于2023年2月自信息量的單位：與所用對(duì)數(shù)的底a有關(guān)。單位換算關(guān)系：1奈特=比特=1.443比特1哈特萊=比特=3.322比特1r進(jìn)制單位=比特2.1.1自信息

a=2I=-log2P單位為比特（bit）I=-logP

a=e

I=-lnP單位為奈特（nat）

a=10I=-lgP單位為哈特萊（hartley）a=r

I=-logrP單位為r進(jìn)制信息單位第5頁(yè)，課件共90頁(yè)，創(chuàng)作于2023年2月[例1]

（1）英文字母中“a”出現(xiàn)的概率為0.064，“c”出現(xiàn)的概率為0.022，分別計(jì)算他們的自信息量。 （2）假定前后兩字母出現(xiàn)是互相獨(dú)立的，求“ac”的自信息量。 （3）假定前后字母出現(xiàn)不是獨(dú)立的，當(dāng)“a”出現(xiàn)后，“c“出現(xiàn)的概率為0.04，計(jì)算”a“出現(xiàn)后，”c”出現(xiàn)的自信息量。 （4）比較（3）中計(jì)算出的信息量，并與“c“的信息量進(jìn)行比較和分析。2.1.1自信息第6頁(yè)，課件共90頁(yè)，創(chuàng)作于2023年2月解： 字母出現(xiàn)相互獨(dú)立，

[例1]

（1）英文字母中“a”出現(xiàn)的概率為0.064，“c”出現(xiàn)的概率為0.022，分別計(jì)算他們的自信息量。

（2）假定前后兩字母出現(xiàn)是互相獨(dú)立的，求“ac”的自信息量。相互獨(dú)立事件積事件的信息量為各事件信息量的和。2.1.1自信息解：

第7頁(yè)，課件共90頁(yè)，創(chuàng)作于2023年2月（3）假定前后字母出現(xiàn)不是獨(dú)立的，當(dāng)“a”出現(xiàn)后，“c“出現(xiàn)的概率為0.04，計(jì)算“a”出現(xiàn)后，“c”出現(xiàn)的自信息量。（4）比較（3）中計(jì)算出的信息量，并與“c“的信息量進(jìn)行比較和分析。可見(jiàn)，“a”出現(xiàn)后，“c”出現(xiàn)的概率增大，其不確定性則變小。（前后字母出現(xiàn)不是獨(dú)立的，“a”出現(xiàn)給出了“c”的部分信息，故“a”出現(xiàn)后，“c”的不確定性則變小。）2.1.1自信息解：解：第8頁(yè)，課件共90頁(yè)，創(chuàng)作于2023年2月結(jié)論：

設(shè)有兩事件a和b： (1)若相互獨(dú)立，則I(ab)=I(a)+I(b); (2)若不為相互獨(dú)立，則I(ab)<I(a)+I(b).2.1.1自信息證明？第9頁(yè)，課件共90頁(yè)，創(chuàng)作于2023年2月[例2]8個(gè)串聯(lián)的燈泡x1，x2，…，x8，其損壞的可能性是等概率的，現(xiàn)假設(shè)其中有一個(gè)燈泡已損壞，問(wèn)總共需要多少次測(cè)量才能獲知和確定哪個(gè)燈泡已損壞。

2.1.1自信息第10頁(yè)，課件共90頁(yè)，創(chuàng)作于2023年2月[例2]8個(gè)串聯(lián)的燈泡x1，x2，…，x8，其損壞的可能性是等概率的，現(xiàn)假設(shè)其中有一個(gè)燈泡已損壞，問(wèn)每進(jìn)行一次測(cè)量可獲得多少信息量？總共需要多少次測(cè)量才能獲知和確定哪個(gè)燈泡已損壞。

解： 收到某消息獲得的信息量(即收到某消息后獲得關(guān)于某事件發(fā)生的信息量)＝不確定性減少的量＝(收到此消息前關(guān)于某事件發(fā)生的不確定性)-(收到此消息后關(guān)于某事件發(fā)生的不確定性)第11頁(yè)，課件共90頁(yè)，創(chuàng)作于2023年2月已知8個(gè)燈泡等概率損壞，所以先驗(yàn)概率P(x1)＝1/8，即第二次測(cè)量獲得的信息量=

I[P(x2)]-I[P(x3)]=1(bit)第三次測(cè)量獲得的信息量=

I[P(x3)]=1(bit)故：至少要獲得3個(gè)比特的信息量就可確切知道哪個(gè)燈泡已壞了。

第一次測(cè)量獲得的信息量=

I[P(x1)]-I[P(x2)]=1(bit)經(jīng)過(guò)二次測(cè)量后，剩2個(gè)燈泡，等概率損壞，P(x3)＝1/2一次測(cè)量后，剩4個(gè)燈泡，等概率損壞，P(x2)＝1/4第12頁(yè)，課件共90頁(yè)，創(chuàng)作于2023年2月2.1.1自信息聯(lián)合自信息量:二維聯(lián)合集XY上元素(xiyj)的自信息量定義為其中，xiyj

是積事件；

p(xiyj)是二維聯(lián)合概率。條件自信息量:若事件xi在事件yj給定條件下的概率為p(xi|yj)，則其條件自信息量定義為對(duì)于聯(lián)合事件（多維隨機(jī)變量）：第13頁(yè)，課件共90頁(yè)，創(chuàng)作于2023年2月定義：

一個(gè)事件所給出關(guān)于另一個(gè)事件的信息定義為互信息，用表示。

含義：互信息是已知事件后所消除的關(guān)于事件的不確定性，它等于事件本身的不確定性減去已知事件后對(duì)仍然存在的不確定性。

2.1.2互信息

第14頁(yè)，課件共90頁(yè)，創(chuàng)作于2023年2月理解：

因此，已知事件后所消除的關(guān)于事件的不確定性為： 即：2.1.2互信息

信道信宿信源干擾或噪聲消息第15頁(yè)，課件共90頁(yè)，創(chuàng)作于2023年2月特例（無(wú)干擾信道）：

因此，已知事件后所消除的關(guān)于事件的不確定性為： 即：2.1.2互信息

信道信宿信源消息=1=0第16頁(yè)，課件共90頁(yè)，創(chuàng)作于2023年2月2.1.2互信息[例3]

某地二月份天氣出現(xiàn)的概率分別為：晴1/2，陰1/4，雨1/8，雪1/8。某一天有人告訴你：今天不是晴天，把這句話作為接收的消息y1,求收到y(tǒng)1后，y1與各種天氣的互信息量。解： 記：x1（晴），x2（陰），x3（雨），x4（雪） 1）求收到y(tǒng)1后，各種天氣的后驗(yàn)概率。 則：第17頁(yè)，課件共90頁(yè)，創(chuàng)作于2023年2月2.1.2互信息 同理： 2）根據(jù)互信息量定義，計(jì)算收到y(tǒng)1與各種天氣的互信息。 則：第18頁(yè)，課件共90頁(yè)，創(chuàng)作于2023年2月設(shè)某班學(xué)生在一次考試中獲優(yōu)（A）、良（B）、中（C）、及格（D）和不及格（E）的人數(shù)相等。當(dāng)教師通知某甲：“你沒(méi)有不及格”，甲獲得了多少比特信息？為確定自己的成績(jī)，甲還需要多少信息？[例4]

解：令P(a)表示“得到老師通知前甲的成績(jī)的不確定性（概率）”P(pán)(a|b)表示“得到老師通知后甲的成績(jī)的不確定性（概率）”則P(a)=1/5，P(a|b)=1/4總的需要信息剩余信息獲得信息第19頁(yè)，課件共90頁(yè)，創(chuàng)作于2023年2月2.1.2互信息條件互信息量:在聯(lián)合集XYZ中，在給定zk的條件下，xi與yj之間的互信息量定義為條件互信息量。其定義式為:聯(lián)合互信息:聯(lián)合事件{Y＝y(tǒng)j,Z＝zk}與事件{X＝xi}之間的聯(lián)合互信息為:對(duì)于聯(lián)合事件（多維隨機(jī)變量）：第20頁(yè)，課件共90頁(yè)，創(chuàng)作于2023年2月回顧自信息自信息量條件自信息量聯(lián)合自信息量互信息第21頁(yè)，課件共90頁(yè)，創(chuàng)作于2023年2月自信息量與互信息量的聯(lián)系第22頁(yè)，課件共90頁(yè)，創(chuàng)作于2023年2月2.2平均自信息（信源熵，信息熵，熵）2.2.1平均自信息的概念引出： 信源不確定性的度量（信源信息的度量） 1）自信息量 2）平均自信息量 信源中每個(gè)消息信息量的統(tǒng)計(jì)平均值。平均自信息量又稱(chēng)為：信源熵、信息熵或熵。不可行第23頁(yè)，課件共90頁(yè)，創(chuàng)作于2023年2月2.2.1平均自信息的概念信源及其分布的表示形式（概率空間） 信源具有不確定性，所以我們把信源用隨機(jī)變量來(lái)表示。 相應(yīng)地，其可能取值和這些取值的概率就可以用概率空間

來(lái)表示。其中，X代表信源，代表其可能的各種取值，為各種取值的概率。第24頁(yè)，課件共90頁(yè)，創(chuàng)作于2023年2月平均自信息量的定義

隨機(jī)變量X的每一個(gè)可能取值的自信息的統(tǒng)計(jì)平均值這里q為所有X可能取值的個(gè)數(shù)。

信息熵是隨機(jī)變量X的概率分布的函數(shù)，所以又稱(chēng)為熵函數(shù)，且為（q-1）元函數(shù)。 把概率分布，記為，則熵函數(shù)又可以寫(xiě)成概率矢量的函數(shù)的形式，記為。2.2.1平均自信息的概念第25頁(yè)，課件共90頁(yè)，創(chuàng)作于2023年2月平均自信息量（熵）的含義

1）熵是從整個(gè)集合的統(tǒng)計(jì)特性來(lái)考慮的，它從平均意義上來(lái)表征信源的總體特征。 2）信息熵表征了信源的隨機(jī)性。 3）在信源輸出前，信息熵H(X)表示信源的平均不確定性； 4）在信源輸出后，信息熵H(X)表示每個(gè)消息提供的平均信息量。2.2.1平均自信息的概念第26頁(yè)，課件共90頁(yè)，創(chuàng)作于2023年2月幾點(diǎn)說(shuō)明

1）熵的單位與所取對(duì)數(shù)的底數(shù)有關(guān)。

根據(jù)所取的對(duì)數(shù)底不同，可以是比特/符號(hào)、奈特/符號(hào)、哈特萊/符號(hào)或者是r進(jìn)制單位/符號(hào)。通常用比特/符號(hào)為單位。 2）信息熵也成為負(fù)熱熵。 3）信源熵給出了對(duì)信源輸出的消息進(jìn)行無(wú)失真編碼時(shí)，平均每個(gè)信源符號(hào)至少要用的符號(hào)數(shù)。 4）信息熵并不等于收信者平均獲得的信息量。 傳輸系統(tǒng)往往有噪聲和干擾，因此收信者不能全部消除信源的平均不確定性，獲得的信息量往往小于信息熵。2.2.1平均自信息的概念第27頁(yè)，課件共90頁(yè)，創(chuàng)作于2023年2月熵的計(jì)算例：

有一布袋內(nèi)放l00個(gè)球，其中80個(gè)球是紅色的，20個(gè)球是白色的。隨便摸出一個(gè)球，求平均摸取一次所能獲得的信息量。如果被告知摸出的是紅球，那么獲得的信息量是：

I(a1)＝－logp(a1)

＝－log0.8=0.32（比特）如被告知摸出來(lái)的是白球，所獲得的信息量應(yīng)為： I(a2)

＝

－logp(a2)

＝－log0.2

=2.32（比特）平均摸取一次所能獲得的信息量為：H(X)=

p(a1)

I(a1)+p(a2)I(a2)

=0.72（比特/符號(hào)）解：概率空間為：第28頁(yè)，課件共90頁(yè)，創(chuàng)作于2023年2月[例1]

電視屏上約有500×600個(gè)柵格點(diǎn)，且每點(diǎn)可取10個(gè)不同的灰度等級(jí)，同時(shí)各電視畫(huà)面的出現(xiàn)概率為相等的，求平均每個(gè)電視畫(huà)面可提供的信息量。解： 由題得：電視畫(huà)面的個(gè)數(shù)為

2.2.1平均自信息的概念第29頁(yè)，課件共90頁(yè)，創(chuàng)作于2023年2月[例2]設(shè)甲地的天氣預(yù)報(bào)為：晴(占4／8)、陰(占2／8)、大雨(占1／8)、小雨(占1／8)。又設(shè)乙地的天氣預(yù)報(bào)為：晴(占7／8)，小雨(占1／8)。試求兩地天氣預(yù)報(bào)各自提供的平均信息量。若甲地天氣預(yù)報(bào)為兩極端情況，一種是晴出現(xiàn)概率為1而其余為0。另一種是晴、陰、小雨、大雨出現(xiàn)的概率都相等為1／4。試求這兩極端情況所提供的平均信息量。又試求乙地出現(xiàn)這兩極端情況所提供的平均信息量。兩個(gè)信源第30頁(yè)，課件共90頁(yè)，創(chuàng)作于2023年2月解：甲地天氣預(yù)報(bào)構(gòu)成的信源空間為:則其提供的平均信息量即信源的信息熵:乙地天氣預(yù)報(bào)的信源空間為:結(jié)論：甲地天氣預(yù)報(bào)提供的平均信息量大于乙地，因?yàn)橐业乇燃椎氐钠骄淮_定性小。第31頁(yè)，課件共90頁(yè)，創(chuàng)作于2023年2月甲地極端情況極端情況1：晴天概率＝1

結(jié)論：等概率分布時(shí)信源的不確定性最大，所以信息熵（平均信息量）最大。存在某消息的概率為1，則信息熵一定為0。極端情況2：各種天氣等概率分布第32頁(yè)，課件共90頁(yè)，創(chuàng)作于2023年2月乙地極端情況極端情況1：晴天概率＝1

結(jié)論：在極端情況2下，甲地比乙地提供更多的信息量。因?yàn)?，甲地可能出現(xiàn)的消息數(shù)比乙地可能出現(xiàn)的消息數(shù)多。極端情況2：各種天氣等概率分布對(duì)等概分布情況，消息數(shù)多的信息量大。第33頁(yè)，課件共90頁(yè)，創(chuàng)作于2023年2月

信息熵是隨機(jī)變量X的概率分布的函數(shù)，所以又稱(chēng)為熵函數(shù)，且為（q-1）元函數(shù)。 把概率分布，記為，則熵函數(shù)又可以寫(xiě)成概率矢量的函數(shù)的形式，記為。熵函數(shù)具有如下性質(zhì)：2.2.2熵函數(shù)的性質(zhì)第34頁(yè)，課件共90頁(yè)，創(chuàng)作于2023年2月1、對(duì)稱(chēng)性

H(p)的取值與概率矢量中各分量的順序無(wú)關(guān)。理解：

從數(shù)學(xué)角度：H(P)=

pi·logpi中的和式滿(mǎn)足交換率；含義：

熵函數(shù)只與信源的總體統(tǒng)計(jì)特性有關(guān)。

2.2.2熵函數(shù)的性質(zhì)——對(duì)稱(chēng)性第35頁(yè)，課件共90頁(yè)，創(chuàng)作于2023年2月2.2.2熵函數(shù)的性質(zhì)——對(duì)稱(chēng)性舉例：香農(nóng)信息只考慮了信源輸出的統(tǒng)計(jì)特性，而沒(méi)有考慮信息的含義和效用。第36頁(yè)，課件共90頁(yè)，創(chuàng)作于2023年2月2、確定性 在概率矢量中，只要有一個(gè)分量為1，其它分量必為0，它們對(duì)熵的貢獻(xiàn)均為0，因此熵等于0。也就是說(shuō)確定信源的不確定度為0。理解：

從數(shù)學(xué)角度：H(P)=

pi·logpi計(jì)算；含義：

信源中雖然有多種輸出符號(hào)，但只要一個(gè)符號(hào)是必然出現(xiàn)的，而其它符號(hào)都是不可能出現(xiàn)的，則相當(dāng)于信源為確知信源。2.2.2熵函數(shù)的性質(zhì)——確定性第37頁(yè)，課件共90頁(yè)，創(chuàng)作于2023年2月3、非負(fù)性 對(duì)確定信源，等式成立。理解：

隨機(jī)變量X的概率分布滿(mǎn)足0＜pi＜1，當(dāng)取對(duì)數(shù)的底大于1時(shí)，log(pi)

＜0，-pilog(pi)

＞0，即得到的熵為正值。只有當(dāng)隨機(jī)變量是一確知量時(shí)熵才等于零。說(shuō)明：

這種非負(fù)性只適合于離散信源的熵，對(duì)連續(xù)信源來(lái)說(shuō)這一性質(zhì)并不存在。以后可看到在相對(duì)熵的概念下，可能出現(xiàn)負(fù)值。2.2.2熵函數(shù)的性質(zhì)——非負(fù)性第38頁(yè)，課件共90頁(yè)，創(chuàng)作于2023年2月4、擴(kuò)展性理解：

含義：

信源輸出的消息數(shù)目增多時(shí)，若這些消息均為小概率事件(接近于零)，則信源的熵不變。2.2.2熵函數(shù)的性質(zhì)——擴(kuò)展性體現(xiàn)了熵的總體平均性性質(zhì)。第39頁(yè)，課件共90頁(yè)，創(chuàng)作于2023年2月5、連續(xù)性理解：

含義：

信源概率空間中概率分量的微小波動(dòng)，不會(huì)引起熵的變化。2.2.2熵函數(shù)的性質(zhì)——連續(xù)性第40頁(yè)，課件共90頁(yè)，創(chuàng)作于2023年2月6、遞推性（遞歸性，可分解性）含義：

若原信源中有一個(gè)符號(hào)分割成了m個(gè)元素(符號(hào))，這m個(gè)元素的概率之和等于原元素的概率，而其他符號(hào)的概率不變，則新信源的熵增加。

熵的增加量等于由分割而產(chǎn)生的不確定性量。應(yīng)用：

用于熵的計(jì)算。（便于編程實(shí)現(xiàn)。）2.2.2熵函數(shù)的性質(zhì)——遞推性第41頁(yè)，課件共90頁(yè)，創(chuàng)作于2023年2月解：

[例]：運(yùn)用熵函數(shù)的遞推性，計(jì)算熵函數(shù) H(1/2，1/8，1/8，1/8，1/8)的數(shù)值。2.2.2熵函數(shù)的性質(zhì)——遞推性第42頁(yè)，課件共90頁(yè)，創(chuàng)作于2023年2月遞推性的推廣含義： 它表示n個(gè)元素的信源熵可以遞推成(n-1)個(gè)二元信源的熵函數(shù)的加權(quán)和。這樣，可使多元信源的熵函數(shù)的計(jì)算簡(jiǎn)化成計(jì)算若干個(gè)二元信源的熵函數(shù)。2.2.2熵函數(shù)的性質(zhì)——遞推性第43頁(yè)，課件共90頁(yè)，創(chuàng)作于2023年2月[例]：運(yùn)用熵函數(shù)的遞增性（的推廣），計(jì)算熵函數(shù)H(1/3，1/3，1/6，1/6)的數(shù)值。第44頁(yè)，課件共90頁(yè)，創(chuàng)作于2023年2月7、極值性

式中n是隨機(jī)變量X的可能取值的個(gè)數(shù)（信源發(fā)出的符號(hào)個(gè)數(shù)）。含義：

離散信源中各消息等概率出現(xiàn)時(shí)熵最大，這就是最大離散熵定理。 連續(xù)信源的最大熵則與約束條件有關(guān)。2.2.2熵函數(shù)的性質(zhì)——極值性證明：（先給出補(bǔ)充內(nèi)容。）第45頁(yè)，課件共90頁(yè)，創(chuàng)作于2023年2月補(bǔ)充：1．凸集合定義:

是n維實(shí)矢量空間集合R中任意兩個(gè)n維矢量， 對(duì)實(shí)數(shù)θ，0

θ

1，有

θα+（1-θ）β∈R，則稱(chēng)R為凸集合。2.2.2熵函數(shù)的性質(zhì)——極值性第46頁(yè)，課件共90頁(yè)，創(chuàng)作于2023年2月一維和二維凸集合的例子凸集合非凸集合

從幾何上來(lái)看，若α，β是集合R中的任意兩點(diǎn)，θα+（1-θ）β表示這兩點(diǎn)間的連線，若該連線也在集合R中，則稱(chēng)為R凸集。下面給出了幾個(gè)凸集和非凸集合的例子。第47頁(yè)，課件共90頁(yè)，創(chuàng)作于2023年2月2.凸函數(shù)定義：設(shè)f(x)=f(x1,x2,…,xn)為一個(gè)n元函數(shù)，若對(duì)任意

f(x1),f(x2)∈f(x)，任意正數(shù)θ，0

θ

1，有：f[θx1+（1-θ）x2]≥θf(wàn)(x1)+（1-θ）f(x2)則稱(chēng)f(x)為定義域上的∩型凸函數(shù)（上凸函數(shù)）。2.2.2熵函數(shù)的性質(zhì)——極值性若：f[θx1+（1-θ）x2]≤θf(wàn)(x1)+（1-θ）f(x2)則稱(chēng)f(x)為定義域上的∪型凸函數(shù)（下凸函數(shù)）。第48頁(yè)，課件共90頁(yè)，創(chuàng)作于2023年2月x0x1

θx1+(1-θ)x2

x2

圖一元∩型凸函數(shù)f(x1)θf(wàn)(x1)+(1-θ)f(x2)

f[θx1+(1-θ)x2]f(x)f(x2)一元∩型凸函數(shù)可用右圖所示的幾何圖形表示。2.2.2熵函數(shù)的性質(zhì)——極值性第49頁(yè)，課件共90頁(yè)，創(chuàng)作于2023年2月3.Jensen不等式定義：設(shè)f(x)是定義在[a,b]上的實(shí)值連續(xù)上凸函數(shù)，則對(duì)任意x1,x2,……,xq∈[a,b]和任意一組非負(fù)實(shí)數(shù)λ1,λ2,……,λq，滿(mǎn)足，則有：2.2.2熵函數(shù)的性質(zhì)——極值性說(shuō)明：將λ1,λ2,……,λq看作概率，則Jensen不等式變換為：第50頁(yè)，課件共90頁(yè)，創(chuàng)作于2023年2月證明極值性：

式中n是隨機(jī)變量X的可能取值的個(gè)數(shù)（信源發(fā)出的符號(hào)個(gè)數(shù)）。證明：

法I：

因?yàn)閷?duì)數(shù)是上凸函數(shù)，滿(mǎn)足Jensen不等式，則有：2.2.2熵函數(shù)的性質(zhì)——極值性第51頁(yè)，課件共90頁(yè)，創(chuàng)作于2023年2月證明：

法II：

利用不等式logx

x–1，等號(hào)在x=1時(shí)成立。

2.2.2熵函數(shù)的性質(zhì)——極值性logx

x–1關(guān)系曲線x-1logx10x上面兩種證明方法是信息論中經(jīng)常用到的證明方法

第52頁(yè)，課件共90頁(yè)，創(chuàng)作于2023年2月

該信源符號(hào)只有二個(gè)，設(shè)為“0”和“1”，符號(hào)輸出的概率分別為“p”和“1-p”，即信源的概率空間為：則：二進(jìn)制信源的信息熵為：特別地：二進(jìn)制信源是離散信源的一個(gè)特例。2.2.2熵函數(shù)的性質(zhì)——極值性

當(dāng)p=1/2時(shí)，即為等概二進(jìn)制信源時(shí)，信源熵達(dá)到最大——1比特。計(jì)算機(jī)中的比特第53頁(yè)，課件共90頁(yè)，創(chuàng)作于2023年2月8、上凸性 是嚴(yán)格的上凸函數(shù)。設(shè):

則對(duì)于任意小于1的正數(shù)有以下不等式成立：

凸函數(shù)在定義域內(nèi)的極值必為極大值，可以利用熵函數(shù)的這個(gè)性質(zhì)可以證明熵函數(shù)的極值性。2.2.2熵函數(shù)的性質(zhì)——上凸性第54頁(yè)，課件共90頁(yè)，創(chuàng)作于2023年2月作業(yè)1P242.1，2.3，2.5-2.7第55頁(yè)，課件共90頁(yè)，創(chuàng)作于2023年2月2.2.3聯(lián)合熵與條件熵提出：

多維隨機(jī)變量不確定性的確定。多維隨機(jī)變量描述方法：

二維隨機(jī)變量的概率空間表示為其中滿(mǎn)足概率空間的非負(fù)性和完備性：第56頁(yè)，課件共90頁(yè)，創(chuàng)作于2023年2月2.2.3聯(lián)合熵與條件熵定義（聯(lián)合熵，共熵）：

二維隨機(jī)變量的聯(lián)合熵定義為聯(lián)合自信息的數(shù)學(xué)期望，它是二維隨機(jī)變量的不確定性的度量。定義（條件熵）：

給定時(shí)，的條件熵：其中，表示已知時(shí)，的平均不確定性。一維信源中的符號(hào)對(duì)第57頁(yè)，課件共90頁(yè)，創(chuàng)作于2023年2月2.2.3聯(lián)合熵與條件熵定義（條件熵）：

給定時(shí)，的條件熵：其中，表示已知時(shí)，的平均不確定性。 同理：第58頁(yè)，課件共90頁(yè)，創(chuàng)作于2023年2月2.2.3聯(lián)合熵與條件熵各類(lèi)熵之間的關(guān)系：1）聯(lián)合熵與信息熵、條件熵的關(guān)系

含義：聯(lián)合熵等于前一個(gè)集合X出現(xiàn)的熵加上前一個(gè)集合X出現(xiàn)的條件下，后一個(gè)集合Y出現(xiàn)的條件熵。

推廣：對(duì)N個(gè)隨機(jī)變量的情況：稱(chēng)為熵函數(shù)的鏈規(guī)則。第59頁(yè)，課件共90頁(yè)，創(chuàng)作于2023年2月2.2.3聯(lián)合熵與條件熵證明：第60頁(yè)，課件共90頁(yè)，創(chuàng)作于2023年2月2.2.3聯(lián)合熵與條件熵推論：

當(dāng)二維隨機(jī)變量X、Y相互獨(dú)立時(shí)，聯(lián)合熵等于X和Y各自熵之和。證明：第61頁(yè)，課件共90頁(yè)，創(chuàng)作于2023年2月2.2.3聯(lián)合熵與條件熵推論：

當(dāng)二維隨機(jī)變量X、Y相互獨(dú)立時(shí)，聯(lián)合熵等于X和Y各自熵之和。

同理，對(duì)N個(gè)獨(dú)立的隨機(jī)變量X1,X2,……,XN，則有：第62頁(yè)，課件共90頁(yè)，創(chuàng)作于2023年2月2.2.3聯(lián)合熵與條件熵2）條件熵與信息熵的關(guān)系當(dāng)且僅當(dāng)X、Y相互獨(dú)立時(shí)，等式成立。證明：備用式：

Jensen不等式:第63頁(yè)，課件共90頁(yè)，創(chuàng)作于2023年2月2.2.3聯(lián)合熵與條件熵證明：第64頁(yè)，課件共90頁(yè)，創(chuàng)作于2023年2月2.2.3聯(lián)合熵與條件熵證明：第65頁(yè)，課件共90頁(yè)，創(chuàng)作于2023年2月2.2.3聯(lián)合熵與條件熵3）聯(lián)合熵和信息熵的關(guān)系當(dāng)且僅當(dāng)X、Y相互獨(dú)立時(shí)，等式成立。證明：推廣：對(duì)N個(gè)隨機(jī)變量的情況：當(dāng)X1,X2,……,XN相互獨(dú)立時(shí)，等式成立。

第66頁(yè)，課件共90頁(yè)，創(chuàng)作于2023年2月[例]某一離散二維平穩(wěn)信源其發(fā)出的符號(hào)只與前一個(gè)符號(hào)有關(guān)，由其聯(lián)合概率P(aiaj)給出它們的關(guān)聯(lián)程度，如下表所示

求信源的熵H(X)、條件熵H(X2/X1)和聯(lián)合熵H(X1X2)。P(aiaj)ajai01201/41/18011/181/31/18201/187/36第67頁(yè)，課件共90頁(yè)，創(chuàng)作于2023年2月

解：根據(jù)概率關(guān)系可計(jì)算得條件概率P（aj/ai）,計(jì)算結(jié)果列表如下：ajai01209/111/8012/113/42/9201/87/9P(aiaj)ajai01201/41/18011/181/31/18201/187/36第68頁(yè)，課件共90頁(yè)，創(chuàng)作于2023年2月得：第69頁(yè)，課件共90頁(yè)，創(chuàng)作于2023年2月2.3平均互信息2.3.1平均互信息的概念引出：

互信息：一個(gè)事件所給出關(guān)于另一個(gè)事件的信息。

平均互信息：從整體上表示從一個(gè)隨機(jī)變量Y所給出關(guān)于另一個(gè)隨機(jī)變量X的信息量。定義：

互信息在XY的聯(lián)合概率空間中的統(tǒng)計(jì)平均值即為隨機(jī)變量X和Y間的平均互信息。第70頁(yè)，課件共90頁(yè)，創(chuàng)作于2023年2月2.3.1平均互信息的概念推導(dǎo)：給定隨機(jī)變量Y后，對(duì)隨機(jī)變量X仍然存在的不確定度。隨機(jī)變量X的不確定度。第71頁(yè)，課件共90頁(yè)，創(chuàng)作于2023年2月2.3.1平均互信息的概念推導(dǎo)：含義： 收到Y(jié)前后關(guān)于X的不確定度減少的量，即從Y所獲得的關(guān)于X的平均信息量。第72頁(yè)，課件共90頁(yè)，創(chuàng)作于2023年2月[例]

擲骰子，若結(jié)果是1、2、3或4，則拋一次硬幣；如果結(jié)果是5或6，則拋兩次硬幣，試計(jì)算從拋硬幣出現(xiàn)正反面的情況可以得到多少擲骰子的信息量。解： 1、假設(shè)變量，則所求為 2、分析已知： 1）X： 2）關(guān)于Y：2.3.1平均互信息的概念YX第73頁(yè)，課件共90頁(yè)，創(chuàng)作于2023年2月3、求所需量： 1）求H(X)： 2）求H(X|Y)： a)求 b)求2.3.1平均互信息的概念H(X)=0.918第74頁(yè)，課件共90頁(yè)，創(chuàng)作于2023年2月 則：4、求I(X;Y)答：從拋硬幣的結(jié)果可以得到多少擲骰子的信息量為0.159bit/符號(hào)。2.3.1平均互信息的概念第75頁(yè)，課件共90頁(yè)，創(chuàng)作于2023年2月1、非負(fù)性證明：

2.3.2平均互信息的性質(zhì)Jensen不等式:第76頁(yè)，課件共90頁(yè)，創(chuàng)作于2023年2月1、非負(fù)性證明：

2.3.2平均互信息的性質(zhì)第77頁(yè)，課件共90頁(yè)，創(chuàng)作于2023年2月1、非負(fù)性含義：

說(shuō)明給定隨機(jī)變量Y后，一般來(lái)說(shuō)總能消除一部分關(guān)于X的不確定性。特例（等式成立情況）： 隨機(jī)變量X和Y相互獨(dú)立。2.3.2平均互信息的性質(zhì)第78頁(yè)，課件共90頁(yè)，創(chuàng)作于2023年2月2、互易性（對(duì)稱(chēng)性）含義：

表示從Y中獲得的關(guān)于X的信息量等于從X中獲得的關(guān)于Y的信息量。證明：2.3.2平均互信息的性質(zhì)第79頁(yè)，課件共90頁(yè)，創(chuàng)作于2023年2月3、平均互信息和各類(lèi)熵的關(guān)系:

當(dāng)統(tǒng)計(jì)獨(dú)立時(shí)，

2.3.2平均互信息的性質(zhì)第80頁(yè)，課件共90頁(yè)，創(chuàng)作于2023年2月H