1、信息論信息的統計度量第1頁，共37頁，2022年，5月20日，1點19分，星期一主要內容 從概率的角度研究問題自信息量互信息量平均自信息量平均互信息量信息的大小多個信息之間關聯的密切程度第2頁，共37頁，2022年，5月20日，1點19分，星期一離散信號和連續信號連續信號：時間和幅度都是連續的離散信號：時間和幅度都是離散的，是我們的研究重點第3頁，共37頁，2022年，5月20日，1點19分，星期一離散信號和連續信號之間的轉換連續信號離散時間信號離散信號抽樣離散化插值第4頁，共37頁，2022年，5月20日，1點19分，星期一2.1 自信息量和條件自信息量定義 任意隨機事件的自信息量定義為該事

2、件發生概率的對數的負值。假設事件xi發生的概率為p(xi)，則其自信息定義式為自信息量一般以2為底，單位為比特。概率自信息量第5頁，共37頁，2022年，5月20日，1點19分，星期一自信息量的含義自信息量衡量的是隨機事件的不確定性。事件的不確定性越大，其自信息量也越大；反之亦然，兩者成正比。第6頁，共37頁，2022年，5月20日，1點19分，星期一自信息量的例子假設“人每天都要吃飯”這個事件發生的概率是99.99%，則該事件的自信息量為：這表明該事件的不確定性很小。假設“美國總統的專機發生空難”這個事件發生的概率是0.01%，則該事件的自信息量為：這表明該事件的不確定性很大。第7頁，共37

3、頁，2022年，5月20日，1點19分，星期一自信息量的例子例 設在甲袋中放入n個不同阻值的電阻， ，每個電阻被取出的概率是相等的， ，則事件“取出的電阻的阻值為i”的信息量為：第8頁，共37頁，2022年，5月20日，1點19分，星期一自信息量的例子例（續） 設在甲袋中放入 個不同阻值的電阻，其中1的1個，2的2個，n的n個，則那么，事件“取出的電阻的阻值為i”的信息量為：第9頁，共37頁，2022年，5月20日，1點19分，星期一條件自信息量定義 事件x在事件y給定的條件下的條件自信息量定義為：含義：知道y之后仍然保留的關于x的不確定性。第10頁，共37頁，2022年，5月20日，1點19

4、分，星期一自信息量事件本身的不確定性。條件自信息量知道了另一件事情之后，仍然保留的不確定性。衡量的都是不確定性第11頁，共37頁，2022年，5月20日，1點19分，星期一條件自信息量的例子事件：x=“美國總統的專機發生空難”y=“今天是9.11”概率：p(x)= 0.01%p(x|y)=1%事件x的自信息量為： 事件x在事件y發生的情況下的條件自信息量為：第12頁，共37頁，2022年，5月20日，1點19分，星期一條件自信息量的例子例 設xi表示棋子落入第i行； yj表示棋子落入第j列， i, j =1,2,8，則（1）（2）第13頁，共37頁，2022年，5月20日，1點19分，星期一2

5、.2 互信息量定義 隨機事件y的出現給出關于事件x的信息量，定義為互信息量。定義式：第14頁，共37頁，2022年，5月20日，1點19分，星期一互信息量的含義還可表示為：含義：本身的不確定性，減去知道了事件y之后仍然保留的不確定性，即由y所提供的關于x的信息量互信息量=自信息量-尚存在的不確定性第15頁，共37頁，2022年，5月20日，1點19分，星期一互信息量的例子事件：x=“美國總統的專機發生空難”y=“今天是9.11”概率：p(x)= 0.01% p(x|y)=1%前面已求出自信息量和條件自信息量為： 而x和y的互信息量為：第16頁，共37頁，2022年，5月20日，1點19分，星期

6、一互信息量的性質概率乘法公式全概率公式第17頁，共37頁，2022年，5月20日，1點19分，星期一互信息量的性質1. 互信息量的互易性含義：由y所提供的關于x的信息量等于由x 所提供的關于y的信息量第18頁，共37頁，2022年，5月20日，1點19分，星期一互信息量的性質2. 互信息量可為0何時為0： 這表明當x和y統計獨立時，也就是x和y沒有什么關系的時候，互信息量為0。含義：一個事件不能提供另一個事件的任何信息。即一個事件發生之后，對于確定另一個事件是否發生沒有任何幫助。第19頁，共37頁，2022年，5月20日，1點19分，星期一互信息量的性質3. 互信息量可正可負正：y的出現有助于

7、肯定x的出現 x：張三病了。 y：張三沒來上課。負：y的出現有助于否定x的出現 x：李四考了全班第一名。 y：李四沒有復習功課。無論正負，互信息量的絕對值越大，x和y的關系越密切。第20頁，共37頁，2022年，5月20日，1點19分，星期一互信息量的性質4.互信息量不可能大于其中任一事件的自信息量互信息量=自信息量-尚存在的不確定性第21頁，共37頁，2022年，5月20日，1點19分，星期一互信息量的例子例2.2.1 已知條件p(B)=p(C)=p(D)=1/3, p(D|E)=0, p(B|E)=p(C|E)=1/2p(C|EF)=p(D|EF)=0, p(B|EF)=1互信息量第22頁

8、，共37頁，2022年，5月20日，1點19分，星期一2.3 平均自信息量自信息量的均值定義 集X上，隨機變量I(xi)的數學期望定義為平均自信息量。又稱作集X的信息熵，簡稱熵。第23頁，共37頁，2022年，5月20日，1點19分，星期一平均自信息量含義0*log0=0自信息量：集合X中某一個元素xi的信息量平均自信息量：集合X中所有元素信息量的平均值 集合X的平均不確定性第24頁，共37頁，2022年，5月20日，1點19分，星期一平均自信息量的例子例平均每個畫面可提供的信息量：平均每篇千字文可提供的信息量：第25頁，共37頁，2022年，5月20日，1點19分，星期一平均自信息量的例子例

9、第26頁，共37頁，2022年，5月20日，1點19分，星期一凸函數一維和二維凸集合的例子凸集合非凸集合第27頁，共37頁，2022年，5月20日，1點19分，星期一熵函數的數學特性1.對稱性：集合中各分量的次序任意變更時，熵值（平均自信息量）不變從熵（平均自信息量）的公式上來看，該結論是明顯的深層含義：熵是有局限性的。它是平均不確定性的度量，抹煞了個體的特性。第28頁，共37頁，2022年，5月20日，1點19分，星期一熵函數的數學特性2.非負性：H(X) 0源于自信息量的非負性。什么時候為0：有且僅有一個pi=1，其余的pi=0，即確定信源。第29頁，共37頁，2022年，5月20日，1點

10、19分，星期一熵函數的數學特性3.擴展性含義：集合X中，一個事件發生的概率比其它事件發生的概率小得多時，這個事件對于集合的熵值的貢獻可以忽略。集合X有q個事件，集合Y比X僅僅是多了一個概率接近0的事件，則兩個集合的熵值一樣。第30頁，共37頁，2022年，5月20日，1點19分，星期一熵函數的數學特性4.極值性：各事件等概率發生時，熵最大。5.確定性：集合中只要有一個事件為必然事件，則其余事件為不可能事件，熵為0。H(1,0)=H(1,0,0)=H(1,0,0)=0第31頁，共37頁，2022年，5月20日，1點19分，星期一條件熵定義 條件自信息量I(yj|xi)的概率均值定義為條件熵。含義：仍然保留的平均不確定性。第32頁，共37頁，2022年，5月20日，1點19分，星期一為什么要用聯合概率進行平均第33頁，共37頁，2022年，5月20日，1點19分，星期一2.4 平均互信息量定義2.4.2 平均互信息量互信息量的均值第34頁，共37頁，2022年，5月20日，1點19分，星期一平均互信息量的性質1.非負性I(X;Y) 02.互易性（對稱性）I(X;Y)=I(Y;X) 對稱性表明：從集合Y中獲得的關于X的信息量