1、2 信源熵信源熵 本章重點：信源的統計特性和數學模型、各類本章重點：信源的統計特性和數學模型、各類信源的信息信源的信息 測度測度熵及其性質。熵及其性質。2.1 單符號離散信源單符號離散信源2.2 多符號離散信源多符號離散信源2.3 延續信源延續信源2.4 離散無失真信源編碼定理離散無失真信源編碼定理:2 信源熵信源熵n信息論的開展是以信息可以度量為根底的，度量信息論的開展是以信息可以度量為根底的，度量信息的量稱為信息量。信息的量稱為信息量。n對于隨機出現的事件，它的出現會給人們帶來多對于隨機出現的事件，它的出現會給人們帶來多大的信息量？大的信息量？n思索到通訊系統或很多實踐的信息傳輸系統，對思

2、索到通訊系統或很多實踐的信息傳輸系統，對于所傳輸的音訊如何用信息量的方法來描畫？于所傳輸的音訊如何用信息量的方法來描畫？n本章將圍繞這些問題展開討論。本章將圍繞這些問題展開討論。:2.1 單符號離散信源單符號離散信源2.1.1 單符號離散信源的數學模型單符號離散信源的數學模型2.1.2 信息量和信息熵信息量和信息熵2.1.3 熵的根本性質和定理熵的根本性質和定理2.1.4 平均互信息平均互信息2.1.5 各種熵之間的關系各種熵之間的關系:2.1.1 單符號離散信源的數學模型單符號離散信源的數學模型(1) 信源的描畫方法信源的描畫方法(2) 單符號離散信源單符號離散信源(3) 單符號離散信源數學

3、模型單符號離散信源數學模型:(1) 信源的描畫方法信源的描畫方法 在通訊系統中收信者在未收到音訊以前，對信在通訊系統中收信者在未收到音訊以前，對信源發出什么音訊是不確定的。源發出什么音訊是不確定的。 離散信源：輸出的音訊經常是以一個個符號方式出離散信源：輸出的音訊經常是以一個個符號方式出現，這些符號的取值是有限的或可數的?，F，這些符號的取值是有限的或可數的。單符號離散信源：只涉及一個隨機事件，可用隨機變單符號離散信源：只涉及一個隨機事件，可用隨機變量描畫。量描畫。多符號離散信源：每次輸出是一個符號序列，序列中多符號離散信源：每次輸出是一個符號序列，序列中每一位出現哪個符號都是隨機的，而且普通前

4、后符每一位出現哪個符號都是隨機的，而且普通前后符號之間是有依賴關系的。可用隨機矢量描畫。號之間是有依賴關系的。可用隨機矢量描畫。 延續信源：輸出延續音訊，可用隨機過程描畫。延續信源：輸出延續音訊，可用隨機過程描畫。:n從討論信源的特征入手，給出定量度量信從討論信源的特征入手，給出定量度量信息的方法。息的方法。n以天文學范疇的事件為例：以天文學范疇的事件為例：n小行星撞擊地球、月食、日食、流星雨、小行星撞擊地球、月食、日食、流星雨、星系的產生與消亡等等，都是天文學內一星系的產生與消亡等等，都是天文學內一個個離散的事件個個離散的事件n假設將一個事件用一個符號來表示，那么假設將一個事件用一個符號來表

5、示，那么一個符號代表一個完好的音訊一個符號代表一個完好的音訊n假設把都是天文學內的事件看作是天文學假設把都是天文學內的事件看作是天文學這個這個“信源輸出的符號，那么這個信源信源輸出的符號，那么這個信源可以看作是單符號離散信源?？梢钥醋魇菃畏栯x散信源。(2) (2) 單符號離散信源單符號離散信源:由此給出如下定義：由此給出如下定義：假設信源發出的音訊是離散的、有限或無假設信源發出的音訊是離散的、有限或無限可列的符號或數字，且一個符號代表一條限可列的符號或數字，且一個符號代表一條完好的音訊，那么稱這種信源為單符號離散完好的音訊，那么稱這種信源為單符號離散信源。信源。(2) (2) 單符號離散信源

6、單符號離散信源:(2) (2) 單符號離散信源單符號離散信源n單符號離散信源的實例單符號離散信源的實例n擲骰子每次只能是擲骰子每次只能是1,2,3,4,5,6中的某一個；中的某一個；n天氣預告能夠是晴、陰、雨、雪、風、冰雹天氣預告能夠是晴、陰、雨、雪、風、冰雹 中的一種或其組合以及溫度、污染等；中的一種或其組合以及溫度、污染等；n二進制通訊中傳輸的只是二進制通訊中傳輸的只是1、0兩個數字；等等。兩個數字；等等。n這種符號或數字都可以看作某一集合中的事件，這種符號或數字都可以看作某一集合中的事件，每個符號或數字事件都是信源中的元素，每個符號或數字事件都是信源中的元素，它們的出現往往具有一定的概率

7、。它們的出現往往具有一定的概率。n因此，信源又可以看作是具有一定概率分布的因此，信源又可以看作是具有一定概率分布的某一符號集合。某一符號集合。:(3) 單符號離散信源數學模型單符號離散信源數學模型 假設信源的輸出是隨機事件假設信源的輸出是隨機事件X，其出現概率，其出現概率為為P(X)，那么它們所構成的集合，稱為信源的概，那么它們所構成的集合，稱為信源的概率空間或簡稱為信源空間。率空間或簡稱為信源空間。:(3) 單符號離散信源數學模型單符號離散信源數學模型單符號離散信源的數學模型就是離散型的概率空間：單符號離散信源的數學模型就是離散型的概率空間：X代表隨機變量，指的是信源整體代表隨機變量，指的是

8、信源整體xi代表隨機事件的某一結果或信源的某個元素代表隨機事件的某一結果或信源的某個元素p(xi)=P(X=xi)，表示隨機事件，表示隨機事件X發生某一結果發生某一結果xi的概率。的概率。n是有限正整數或可數無限大是有限正整數或可數無限大)(,),(),(,)(2121nnxpxpxpxxxXPX，1)(1)(01niiixPxp，信源空間信源空間必定是一必定是一個完備集個完備集信源空信源空間的描間的描畫畫:2.1.2 信息量和信息熵信息量和信息熵(1) 自信息量和條件自信息量自信息量和條件自信息量(2) 互信息量和條件互信息量互信息量和條件互信息量(3) 信息熵信息熵:(1) 自信息量和條件

9、自信息量自信息量和條件自信息量 自信息量自信息量 結合自信息量結合自信息量 條件自信息量條件自信息量: 自信息量自信息量n度量信息的根本思緒度量信息的根本思緒n自信息公式確定自信息公式確定n自信息量計算舉例自信息量計算舉例n信息量與不確定性的關系信息量與不確定性的關系n自信息含義自信息含義:n 度量信息的根本思緒n思索一個單符號離散信源，它的輸出被傳送給對此思索一個單符號離散信源，它的輸出被傳送給對此感興趣的一方。感興趣的一方。n設設x1為最大能夠的輸出，為最大能夠的輸出， xn為最小能夠的輸出。為最小能夠的輸出。n例如，假設信源輸出代表天氣情況，例如，假設信源輸出代表天氣情況， x1為晴或多

10、云為晴或多云天氣，天氣， xn為冰雹或其它強對流天氣。為冰雹或其它強對流天氣。n哪個輸出包含更多的信息，哪個輸出包含更多的信息， x1還是還是xn？n直觀地，傳送直觀地，傳送xn 給出了更多的信息。給出了更多的信息。n由此可以合理地推算信源輸出的信息量應該是輸出由此可以合理地推算信源輸出的信息量應該是輸出事件的概率的減函數。事件的概率的減函數。n信息量的另一個直觀屬性是，某一輸出事件的概率信息量的另一個直觀屬性是，某一輸出事件的概率的微小變化不會很大地改動所傳送的信息量，即信的微小變化不會很大地改動所傳送的信息量，即信息量應該是信源輸出事件概率的延續減函數。息量應該是信源輸出事件概率的延續減函

11、數。:n 度量信息的根本思緒n假設與輸出假設與輸出xi相關的信息能被分成獨立的兩部相關的信息能被分成獨立的兩部分，比如分，比如xi1與與xi2 ，即，即xi = xi1 , xi2 。n例如，假設天氣預告中的天氣及溫度變化是例如，假設天氣預告中的天氣及溫度變化是與污染程度相關性很小甚至幾乎完全獨立的，與污染程度相關性很小甚至幾乎完全獨立的，那么信源的每一個輸出就能分成獨立的兩部那么信源的每一個輸出就能分成獨立的兩部分。分。n直觀地，傳送直觀地，傳送xi所包含的信息量是分別傳送所包含的信息量是分別傳送xi1和和xi2所得到的信息量的和。所得到的信息量的和。:n 度量信息的根本思緒假設信源中事件x

12、i的出現所帶來的信息量用I(xi)來表示并稱之為事件xi的自信息量，那么概率為p(xi)的信源輸出xi所包含的信息量I(xi)必需滿足以下幾個條件：:n 度量信息的根本思緒1. 信源輸出信源輸出xi所包含的信息量僅依賴于它的概率，而與所包含的信息量僅依賴于它的概率，而與它的取值無關。它的取值無關。2. I (xi)是是p(xi)的延續函數。的延續函數。3. I (xi )是是p(xi)的減函數，即：的減函數，即：假設假設p(xi) p(xj)，那么，那么I(xi) I(xj)。極限情況，假設極限情況，假設p(xi) = 0, 那么那么 I(xi) ；假設假設 p(xi) = 1, 那么那么I(

13、xi) = 0。4.假設兩個單符號離散信源符號集合假設兩個單符號離散信源符號集合X, Y 統計獨立統計獨立, 那么那么X中出現中出現xi 、Y中出現中出現yj的結合信息量的結合信息量I (xi , yj) = I (xi) + I (yj)問題：什么函數可以同時滿足以上條件呢？問題：什么函數可以同時滿足以上條件呢？:n 自信息公式確定舉例舉例設在甲布袋中，放入設在甲布袋中，放入p p個不同阻值的電阻。假設隨意選取出一個，并對取出個不同阻值的電阻。假設隨意選取出一個，并對取出的電阻值進展事先猜測，其猜測的困難程度相當于概率空間的不確定性。的電阻值進展事先猜測，其猜測的困難程度相當于概率空間的不確

14、定性。甲布袋的概率空間為甲布袋的概率空間為 xi xi：阻值為：阻值為i i的電阻的電阻 p(xi) p(xi)：選取出阻值為：選取出阻值為i i電阻的概率電阻的概率 假設電阻選取的概率是相等的，那么假設電阻選取的概率是相等的，那么 接納到接納到“選取出阻值為選取出阻值為i i的電阻所獲得的信息量為的電阻所獲得的信息量為 。pixppi, 2 , 1)(1)()(1piifxpfxI)(,),(),(,)(2121ppxpxpxpxxxXPX，:乙布袋中，放入按功率劃分的乙布袋中，放入按功率劃分的q q種不同功率的電阻。假設對種不同功率的電阻。假設對恣意選取出來的功率值進展事先猜測，那么，可看

15、成為另一恣意選取出來的功率值進展事先猜測，那么，可看成為另一概率空間概率空間 yj yj：功率為：功率為j j的電阻的電阻 p(yj) p(yj)：選取出功率為：選取出功率為j j的電阻的的電阻的概率概率 假設假設q q種不同功率的選擇也是等概率的，那么被告知種不同功率的選擇也是等概率的，那么被告知“選取出功率為選取出功率為j j的電阻所獲得的信息量為的電阻所獲得的信息量為 這兩個函數這兩個函數 應該是同一類函數應該是同一類函數)()(1qjjfypfyI11qpff和)(,),(),(,)(2121qqypypypyyyYPY，:再設在第三個布袋中，放入再設在第三個布袋中，放入p p種不同阻

16、值，而每一種阻值又有種不同阻值，而每一種阻值又有q q種不同種不同功率的電阻，即共有功率的電阻，即共有p qp q個電阻。個電阻。 設它們的選取也是等能夠性的，其概率空間為設它們的選取也是等能夠性的，其概率空間為 那么那么“選取出阻值為選取出阻值為i i，功率為，功率為j j的電阻的電阻這一事件提供的信息量這一事件提供的信息量應為應為 從第三個布袋中選出一電阻的效果相當于從甲布袋中選擇一電阻從第三個布袋中選出一電阻的效果相當于從甲布袋中選擇一電阻后再從乙布袋中選擇一電阻。后再從乙布袋中選擇一電阻。“選取出阻值為選取出阻值為i i，功率為，功率為j j 這件事這件事提供的信息量應該是提供的信息量

17、應該是“選取出阻值為選取出阻值為i i 和和“選取出功率為選取出功率為j j 這兩這兩件事提供的信息量之和，即件事提供的信息量之和，即 )(1pqkfzI)()()()()()(111qppqjikfffyIxIzIpqpqpqpqzzzZPZ11121,)(，:可以用泛函分析方法解得滿足條件的函數方式為可以用泛函分析方法解得滿足條件的函數方式為所以：所以：I(xi)=-logpI(xi)=-logp， I(yj)=-logq I(yj)=-logq， I(zk)=-logpq I(zk)=-logpq顯然滿足：顯然滿足： I(zk)= I(xi)+ I(yj) I(zk)= I(xi)+ I

18、(yj)用概率測度定義信息量：用概率測度定義信息量：設離散信源設離散信源X X，其概率空間為，其概率空間為假設知道事件假設知道事件xixi已發生，那么該事件所含有的自信息定義已發生，那么該事件所含有的自信息定義為為)()()(111qppqfff)(1log)(ixpixpf)(1log)(ixpixI)(,),(),(,)(2121nnxpxpxpxxxXPX，:n 自信息量計算舉例舉例舉例一個一個0, 1等概的二進制隨機序列，求任一碼等概的二進制隨機序列，求任一碼元的自信息量。元的自信息量。解：任一碼元不是為解：任一碼元不是為0就是為就是為1由于由于 p(0) = p(1) = 1/2所以

19、所以 I (0) = I (1) = log (1/2) = 1(bit):n 自信息量計算舉例舉例舉例對于2n進制的數字序列, 假設每一符號的出現完全隨機且概率相等，求任一符號的自信息量。解：設2n進制數字序列任一碼元xi的出現概率為p (xi)，根據題意， p(xi) = 1/2nI (xi ) = log(1/2n) = n (bit) 事件的自信息量只與其概率有關，而與它的取值無關。:n 信息量與不確定性的關系信源中某一音訊發生的不確定性越大，一旦它發信源中某一音訊發生的不確定性越大，一旦它發生，并為收信者收到后，消除的不確定性就越大，生，并為收信者收到后，消除的不確定性就越大，獲得的

20、信息也就越大。獲得的信息也就越大。由于種種緣由例如噪聲太大，收信者接納到由于種種緣由例如噪聲太大，收信者接納到受干擾的音訊后，對某信息發生的不確定性依然受干擾的音訊后，對某信息發生的不確定性依然存在或者一點也未消除時，那么收信者獲得較少存在或者一點也未消除時，那么收信者獲得較少的信息或者說一點也沒有獲得信息。的信息或者說一點也沒有獲得信息。:信息量的直觀定義：信息量的直觀定義：收到某音訊獲得的信息量不確定性減少的量收到某音訊獲得的信息量不確定性減少的量 (收到此音訊前關于某事件發生的不確定性收到此音訊前關于某事件發生的不確定性) (收到此音訊后關于某事件發生的不確定性收到此音訊后關于某事件發生

21、的不確定性)在無噪聲時，經過信道的傳輸，可以完全不失真在無噪聲時，經過信道的傳輸，可以完全不失真地收到所發的音訊，收到此音訊后關于某事件發地收到所發的音訊，收到此音訊后關于某事件發生的不確定性完全消除，此項為零。因此得生的不確定性完全消除，此項為零。因此得 收到某音訊獲得的信息量收到某音訊獲得的信息量 收到此音訊前關于某事件發生的不確定性收到此音訊前關于某事件發生的不確定性 信源輸出的某音訊中所含有的信息量信源輸出的某音訊中所含有的信息量n 信息量與不確定性的關系:n 信息量與不確定性的關系n信宿端收到某一音訊后所得到的信息量，可以等效為信宿端收到某一音訊后所得到的信息量，可以等效為接納者在通

22、訊前后接納者在通訊前后“不確定要素的減少或消除。不確定要素的減少或消除。n事件的不確定性可用不確定度描畫，它同樣是事件概事件的不確定性可用不確定度描畫，它同樣是事件概率的函數，在數值和量綱上和自信息量相等，因此都率的函數，在數值和量綱上和自信息量相等，因此都可以用右式來計算：可以用右式來計算：n某一隨機事件的出現所給出的信息量自信息量，某一隨機事件的出現所給出的信息量自信息量，在數值上與該隨機事件的不確定度不但相關而且相等，在數值上與該隨機事件的不確定度不但相關而且相等，即事件的出現等效成事件不確定集合的元素的減少，即事件的出現等效成事件不確定集合的元素的減少，或簡稱為事件不確定度的減少?；蚝?/p>

23、稱為事件不確定度的減少。)(1log)(ixpixI:n 信息量與不確定性n自信息量和該事件的不確定度的含義有本質自信息量和該事件的不確定度的含義有本質的區別。的區別。n不確定度只與事件的概率有關，是一個統計不確定度只與事件的概率有關，是一個統計量，在靜態形狀下也存在；量，在靜態形狀下也存在；n自信息量只需該隨機事件出現時才給出，不自信息量只需該隨機事件出現時才給出，不出現時不給出，因此它是一個動態的概念。出現時不給出，因此它是一個動態的概念。:n 自信息含義當事件當事件xixi發生以前：表示事件發生以前：表示事件xixi發生的不確定性。發生的不確定性。當事件當事件xixi發生以后：表示事件發

24、生以后：表示事件xixi所含有或所提供的信所含有或所提供的信息量。在無噪信道中，事件息量。在無噪信道中，事件xixi發生后，能正確無誤地傳輸發生后，能正確無誤地傳輸到收信者，所以到收信者，所以I(xi)I(xi)可代表接納到音訊可代表接納到音訊xixi后所獲得的信后所獲得的信息量。這是由于消除了息量。這是由于消除了I(xi)I(xi)大小的不確定性，才獲得這大小的不確定性，才獲得這么大小的信息量。么大小的信息量。自信息的測度單位及其換算關系自信息的測度單位及其換算關系信息論中信息論中“比特與計算機術語中比特與計算機術語中“比特區別比特區別)(1log)(ixpixI: 自信息的測度單位及其換算

25、關系l假設取以假設取以2 2為底，那么信息量單位稱為比特為底，那么信息量單位稱為比特(binary unit)(binary unit)l I(xi)=log2(1/p(xi) I(xi)=log2(1/p(xi) 比比特特l假設取以假設取以e e為底，那么信息量單位稱為奈特為底，那么信息量單位稱為奈特(nature unit)(nature unit)l I(xi)=ln(1/p(xi) I(xi)=ln(1/p(xi) 奈特奈特l假設取以假設取以1010為底，那么信息量單位稱為哈特為底，那么信息量單位稱為哈特(Hart unit,(Hart unit,以留念哈特萊首先提出用對數來度量音訊以

26、留念哈特萊首先提出用對數來度量音訊) )l I(xi)=lg(1/p(xi) I(xi)=lg(1/p(xi) 哈特哈特l1 1奈特奈特1.441.44比特比特 1 1哈特哈特3.323.32比特比特l在通訊及目前的絕大多數信息傳輸系統中，都是以二進制在通訊及目前的絕大多數信息傳輸系統中，都是以二進制為根底的，因此信息量單位以比特最為常用。因此普通都為根底的，因此信息量單位以比特最為常用。因此普通都采用以采用以“2“2為底的對數，為了書寫簡約，有時把底數為底的對數，為了書寫簡約，有時把底數2 2略略去不寫。去不寫。: 信息論中信息論中“比特與比特與 計算機術語中計算機術語中“比特區別比特區別l

27、假設假設p(xi)=1/2p(xi)=1/2，那么，那么I(xi)=1I(xi)=1比特。所以比特。所以1 1比特信息量就比特信息量就是兩個互不相容的等能夠事件之一發生時所提供的信息量。是兩個互不相容的等能夠事件之一發生時所提供的信息量。l信息論中信息論中“比特是指籠統的信息量單位；比特是指籠統的信息量單位；l計算機術語中計算機術語中“比特是代表二元數字；比特是代表二元數字；l這兩種定義之間的關系是：每個二元數字所能提供的最大這兩種定義之間的關系是：每個二元數字所能提供的最大平均信息量為平均信息量為1 1比特。比特。: 結合自信息量結合自信息量n信源模型為信源模型為n其中其中0p(xiyj)1

28、 (i=1,2,n; j=1,2, ,m)n那么結合自信息量為那么結合自信息量為n當當X和和Y相互獨立時，相互獨立時，p(xiyj)=p(xi)p(yj)n兩個隨機事件相互獨立時，同時發生得到的信息量，等于各自自信息兩個隨機事件相互獨立時，同時發生得到的信息量，等于各自自信息量之和。量之和。)(,),(,),(,),(),(,),(,)(12121111212111mnnmmmnnmmyxpyxpyxpyxpyxpyxpyxyxyxyxyxyxXYPXYnimjjiyxp111)()()(logloglog)()(12)(12)()(12jiypxpypxpjiyIxIyxIjiji12()(

29、)logijijp x yI x y: 條件自信息量條件自信息量n設設yj條件下，發生條件下，發生xi的條件概率為的條件概率為p(xi /yj)，那么它的條件自信息量，那么它的條件自信息量I(xi/yj)定義為定義為n表示在特定條件下表示在特定條件下yj已定隨機事件已定隨機事件xi 所帶來的信息量所帶來的信息量n同理，同理，xi知時發生知時發生yj的條件自信息量為的條件自信息量為n自信息量、條件自信息量和結合自信息量之間的關系自信息量、條件自信息量和結合自信息量之間的關系)/(12log)/(jiyxpjiyxI)/(12log)/(ijxypijxyI)/()(log)/()(log)()/

30、()(12)/()(12jijyxpypijixypxpjiyxIyIxyIxIyxIjijiji:(2) 互信息量和條件互信息量互信息量和條件互信息量 互信息量互信息量 互信息的性質互信息的性質 條件互信息量條件互信息量: 互信息量互信息量n互信息量定義互信息量定義n舉例舉例n互信息量的三種不同表達式互信息量的三種不同表達式:n 互信息量定義X信源發出的離散音訊集合；信源發出的離散音訊集合； Y信宿收到的離散音訊集合；信宿收到的離散音訊集合；信源經過有干擾的信道發出音訊傳送給信宿；信源經過有干擾的信道發出音訊傳送給信宿；信宿事先不知道某一時辰發出的是哪一個音訊，所以每個音訊是隨機事件的一信宿

31、事先不知道某一時辰發出的是哪一個音訊，所以每個音訊是隨機事件的一個結果；個結果；最簡單的通訊系統模型：最簡單的通訊系統模型：信源信源X、信宿、信宿Y的數學模型為的數學模型為niiininixpxpxpxpxpxpxxxxXPX121211)(, 1)(0)(,)(,),(),(,)(，njjinjnjypypypypypypyyyyYPY121211)(, 1)(0)(,)(,),(),(,)(，:先驗概率：信源發出音訊先驗概率：信源發出音訊xi的概率的概率p(xi )。后驗概率：信宿收到后驗概率：信宿收到yj后推測信源發出后推測信源發出xi的概率的概率p(xi / yj )?；バ畔⒘浚夯バ畔?/p>

32、量： yj對對xi的互信息量定義為后驗概率與先的互信息量定義為后驗概率與先驗概驗概 率比值的對數。率比值的對數。)/()(loglog), 2 , 1;, 2 , 1(log);()/(12)(12)()/(2jiiyxpxpxpyxpjiyxIxImjniyxIjiiiii:n 舉舉 例例某地二月份天氣構成的信源為某地二月份天氣構成的信源為收到音訊收到音訊y1：“今天不是晴天今天不是晴天收到收到y1后：后：p(x1/y1)=0， p(x2/y1)=1/2， p(x3/y1)=1/4，p(x4/y1)=1/4818141214321)()()()()(，雪，雨，陰，晴xxxxXPX:計算計算y

33、1與各種天氣之間的互信息量與各種天氣之間的互信息量對天氣對天氣x1，不用再思索，不用再思索對天氣對天氣x2，對天氣對天氣x3,對天氣對天氣x4結果闡明從結果闡明從y1分別得到了各分別得到了各1比特的信息量；比特的信息量；或者說或者說y1 使使x2，x3，x4的不確定度各減少量的不確定度各減少量1比特。比特。)( 1loglog);(8/14/12)()/(213313比特xpyxpyxI)( 1loglog);(4/12/12)()/(212212比特xpyxpyxI)( 1loglog);(8/14/12)()/(214414比特xpyxpyxI:n 互信息量的三種不同表達式互信息量的三種不

34、同表達式察看者站在輸出端察看者站在輸出端自信息量：對自信息量：對yj一無所知的情況下一無所知的情況下xi存在的不確定度；存在的不確定度；條件自信息量：知條件自信息量：知yj 的條件下的條件下xi 依然存在的不確定度；依然存在的不確定度；互信息量：兩個不確定度之差是不確定度被消除的部分，互信息量：兩個不確定度之差是不確定度被消除的部分， 即等于自信息量減去條件自信息量。實踐是即等于自信息量減去條件自信息量。實踐是 從從yj得到的關于得到的關于xi的信息量。的信息量。)/()(loglog);()/(12)(12jiiyxpxpjiyxIxIyxIjii:察看者站在輸入端察看者站在輸入端 站在輸入

35、端察看，察看者在輸入端出現站在輸入端察看，察看者在輸入端出現xi前、后對輸出前、后對輸出端出現端出現yj的不確定度有變化，即從的不確定度有變化，即從xi中也可提取關于中也可提取關于yj的的信息量。察看者得知輸入端發出信息量。察看者得知輸入端發出xi前、后對輸出端出現前、后對輸出端出現yj的不確定度的差。的不確定度的差。)/()(loglog);()/(12)(12ijjxypypijxyIyIxyIijj:察看者站在通訊系統總體立場上察看者站在通訊系統總體立場上通訊前：輸入隨機變量通訊前：輸入隨機變量X和輸出隨機變量和輸出隨機變量Y之間沒有任何關之間沒有任何關聯關系，即聯關系，即X，Y統計獨立

36、：統計獨立：p(xi yj)=p(xi)p(yj) 先驗不確定度先驗不確定度通訊后：輸入隨機變量通訊后：輸入隨機變量X和輸出隨機變量和輸出隨機變量Y之間由信道的統之間由信道的統計特性相聯絡，其結合概率密度：計特性相聯絡，其結合概率密度： p(xi yj)=p(xi)p(yj /xi )= p(yj)p(xi / yj) 后驗不確定度后驗不確定度通訊后的互信息量，等于前后不確定度的差通訊后的互信息量，等于前后不確定度的差這三種表達式實踐上是等效的，在實踐運用中可根據詳細這三種表達式實踐上是等效的，在實踐運用中可根據詳細情況選用一種較為方便的表達式。情況選用一種較為方便的表達式。)()(12log

37、)(jiypxpjiyxI)(12 log)(jiyxpjiyxI1122() ()()( ;)loglog()()( )()()ijijijijijijijp xp yp x yI x yI x yI x yI xI yI x y:互信息的引出，使信息流通問題進入了定量分互信息的引出，使信息流通問題進入了定量分析的范疇，為信息流通的定量丈量打下了堅實析的范疇，為信息流通的定量丈量打下了堅實的根底，把信息實際開展到了一個更深的層次，的根底，把信息實際開展到了一個更深的層次，可以以為是信息論開展的又一個里程碑?？梢砸詾槭切畔⒄撻_展的又一個里程碑。=log后驗概率先驗概率互信息量: 互信息的性質互

38、信息的性質n對稱性對稱性n相互獨立時的相互獨立時的X和和Yn互信息量可為正值或負值互信息量可為正值或負值n不大于其中任一事件的自信息量不大于其中任一事件的自信息量:n 對稱性對稱性I(xi;yj)=I(yj; xi)推導過程推導過程互信息量的對稱性闡明：互信息量的對稱性闡明：兩個隨機事件的能夠結果兩個隨機事件的能夠結果xi和和yj之間的統計約束程之間的統計約束程度；度；從從yj得到的關于得到的關于xi的信息量的信息量I(xi;yj)與從與從xi得到的關于得到的關于yj的信息量的信息量I(yj; xi)是一樣的，只是察看的角度不是一樣的，只是察看的角度不同而已。同而已。(/)(/) ()()lo

39、glog( )( ) ()()/( )(/) log log() ()()ijijjijiijijijijijjp xyp xyp yI xyp xp x p yp x yp xp yxI yxp yp y；:n 相互獨立時的相互獨立時的X和和Y這時這時 p(xi yj)=p(xi)p(yj)互信息量為互信息量為闡明闡明xi和和yj之間不存在統計約束關系，從之間不存在統計約束關系，從yj得不到關于得不到關于xi的的任何信息，反之亦然。任何信息，反之亦然。1122() ()()( ;)loglog0(1,2,1,2,)ijijijp xp yp x yI x yinjm:n 互信息量可為正值或負

40、值互信息量可為正值或負值當后驗概率大于先驗概率時，互信息量為正。當后驗概率大于先驗概率時，互信息量為正。當后驗概率小于先驗概率時，互信息量為負。當后驗概率小于先驗概率時，互信息量為負。 闡明收信者未收到闡明收信者未收到yj以前，對音訊以前，對音訊xi的能否出的能否出現的猜測難疑程度較小，但由于噪聲的存在，接現的猜測難疑程度較小，但由于噪聲的存在，接納到音訊納到音訊yj后對后對xi能否出現的猜測的難疑程度添能否出現的猜測的難疑程度添加了，也就是收信者接納到音訊加了，也就是收信者接納到音訊yj后對后對xi出現的出現的不確定性反而添加，所以獲得的信息量為負值。不確定性反而添加，所以獲得的信息量為負值

41、。當后驗概率與先驗概率相等時，互信息量為零。當后驗概率與先驗概率相等時，互信息量為零。這就是兩個隨機事件相互獨立的情況。這就是兩個隨機事件相互獨立的情況。:n 互信息量可為正值或負值互信息量可為正值或負值值域為實數值域為實數互信息量的值可為正數、負數或者互信息量的值可為正數、負數或者0，取決，取決于后驗概率和先驗概率的比值。于后驗概率和先驗概率的比值。思索以下幾種情況。思索以下幾種情況。1p(xi /yj )=1，I (xi； yj ) = I(xi)。后驗概率為后驗概率為1，闡明收到，闡明收到yj后即可以完全消除后即可以完全消除對信源能否發對信源能否發xi的不確定度。的不確定度。其物理含義是

42、信宿獲取了信源發出的全部信其物理含義是信宿獲取了信源發出的全部信息量，這等效為信道沒有干擾。息量，這等效為信道沒有干擾。:n 互信息量可為正值或負值互信息量可為正值或負值2p(xi) p(xi/yj ) I(xi/yj)， I(xi；yj) 0。后驗概率大于先驗概率，闡明收到后驗概率大于先驗概率，闡明收到yj后對信源能否后對信源能否發發xi所進展判別的正確程度，要大于所進展判別的正確程度，要大于xi在信源集在信源集合中的概率合中的概率.或者說收到或者說收到yj后多少還能消除一些對信源能否發后多少還能消除一些對信源能否發xi的不確定度，因此的不確定度，因此yj獲取了關于獲取了關于xi的信息量。的

43、信息量。I(xi；yj) 越大，這種獲取就越多。越大，這種獲取就越多。這正是實踐通訊時遇到的大多數情況，它對應著信這正是實踐通訊時遇到的大多數情況，它對應著信道存在干擾，但信宿仍能從信源中獲取信息量。道存在干擾，但信宿仍能從信源中獲取信息量。從這里隱約可以看到，只需從這里隱約可以看到，只需I(xi；yj) 0，就存在著，就存在著可以通訊的能夠性，在后面的章節將會進一步討可以通訊的能夠性，在后面的章節將會進一步討論進展可靠通訊的極限條件。論進展可靠通訊的極限條件。:n 互信息量可為正值或負值互信息量可為正值或負值3p(xi /yj)=p(xi )，即，即 I(xi ) = I(xi / yj)，

44、I(xi ; yj) = 0后驗概率與先驗概率相等，闡明收到后驗概率與先驗概率相等，闡明收到yj后對后對信源能否發信源能否發xi所進展判別的正確程度，和所進展判別的正確程度，和xi在信源集合中的概率是一樣的；在信源集合中的概率是一樣的；因此，它一點也不能消除對信源能否發因此，它一點也不能消除對信源能否發xi的的不確定度，也就是說從不確定度，也就是說從yj中獲取不到關于中獲取不到關于xi的信息量；的信息量；現實上，假假設現實上，假假設xi 和和yj 統計無關，即統計無關，即p(xi , yj)=p(xi ) p(yj)，由貝葉斯公式容易推得，由貝葉斯公式容易推得I(xi ； yj) = 0；這種

45、情況實踐上是事件這種情況實踐上是事件xi和事件和事件yj統計無關，統計無關，或者說信道使得事件或者說信道使得事件xi和事件和事件yj變成了兩變成了兩碼事，信宿得到的信息僅僅是由信道特性碼事，信宿得到的信息僅僅是由信道特性給出的，與信源實踐發出什么符號無關，給出的，與信源實踐發出什么符號無關，因此完全沒有信息的流通。因此完全沒有信息的流通。:n 互信息量可為正值或負值互信息量可為正值或負值40p(xi /yj) p(xi)，即，即 I(xi)I(xi/ yj)，I(xi; yj)H(X)n本例結論本例結論n信源信源Y的二個輸出音訊是等能夠性的，所以在信源沒有輸出音訊的二個輸出音訊是等能夠性的，所

46、以在信源沒有輸出音訊以前，事先猜測哪一個音訊出現的不確定性要大；以前，事先猜測哪一個音訊出現的不確定性要大；n信源信源Y比信源比信源X的平均不確定性大；的平均不確定性大；n信源信源X的二個輸出音訊不是等概率的，事先猜測的二個輸出音訊不是等概率的，事先猜測x1和和x2哪一個出哪一個出現，雖然具有不確定性，但大致可以猜出現，雖然具有不確定性，但大致可以猜出x1會出現，由于會出現，由于x1出出現的概率大。所以信源現的概率大。所以信源X的不確定性要??；的不確定性要小；n信息熵反映的就是信源輸出前平均不確定程度的大小。信息熵反映的就是信源輸出前平均不確定程度的大小。5 . 0 , 5 . 0,)(21y

47、yYPY01. 0 ,99. 0,)(21xxXPX:n 信源熵與平均獲得的信息量 信源熵是信源的平均不確定性的描畫。在普信源熵是信源的平均不確定性的描畫。在普通情況下它并不等于平均獲得的信息量。只需在通情況下它并不等于平均獲得的信息量。只需在無噪情況下，接納者才干正確無誤地接納到信源無噪情況下，接納者才干正確無誤地接納到信源所發出的音訊，消除了所發出的音訊，消除了H(X)H(X)大小的平均不確定性，大小的平均不確定性，所以獲得的平均信息量就等于所以獲得的平均信息量就等于H(X)H(X)。在普通情況。在普通情況下獲得的信息量是兩熵之差，并不是信源熵本身。下獲得的信息量是兩熵之差，并不是信源熵本

48、身。: 條件熵條件熵n定義：條件熵是在結合符號集合定義：條件熵是在結合符號集合XY上的條件自信息的數學期望。上的條件自信息的數學期望。n在知在知Y時，時，X的條件熵為的條件熵為n知知X時，時，Y的條件熵為的條件熵為n條件熵是一個確定的值條件熵是一個確定的值mjniyxpjimjnijijijijiyxpyxIyxpyxIEYXH11)/(1211log)()/()()/()/(nimjxypjiijijyxpxyIEXYH11)/(12log)()/()/(為什么要為什么要用結合概用結合概率？率？:問題問題1 1？:問題問題1 1？:2.1.3 熵的根本性質和定理熵的根本性質和定理熵函數熵函數

49、H(X)：熵：熵H是是p(x1),p(x2),p(xn)的的n元函數實踐上，元函數實踐上，因因p(xi)=1，獨立變量只需，獨立變量只需n-1個，個，H是是(n-1)元函數元函數:(1) 非負性非負性(2) 對稱性對稱性(3) 最大離散熵定理最大離散熵定理(4) 擴展性擴展性(5) 確定性確定性(6) 可加性可加性(7) 極值性極值性(8) 上凸性上凸性niiinixpinnixpxpxpxpxpxpHXHi11)(121), 2 , 1( 1)(01)(log)()(,),(),()(和:(1) 非負性非負性H(X)0由于隨機變量由于隨機變量X的一切取值的概率分布滿足的一切取值的概率分布滿足

50、0p(xi)1；當取對數的底大于當取對數的底大于1時時log p(xi)0，而，而- p(xi) log p(xi)0，所以熵，所以熵H(X)0；只需當隨機變量是一確知量時，熵只需當隨機變量是一確知量時，熵H(X)=0。這種非負性對于離散信源的熵是適宜的，但對延這種非負性對于離散信源的熵是適宜的，但對延續信源來說這一性質并不存在。續信源來說這一性質并不存在。:(2) 對稱性對稱性 定義：當變量定義：當變量p(x1),p(x2),p(xn) 的順序恣意互的順序恣意互換時，熵函數的值不變，即換時，熵函數的值不變，即 含義：該性質闡明熵只與隨機變量的總體構造有含義：該性質闡明熵只與隨機變量的總體構造

51、有關，與信源的總體統計特性有關。假設某些信源關，與信源的總體統計特性有關。假設某些信源的統計特性一樣含有的符號數和概率分布一的統計特性一樣含有的符號數和概率分布一樣，那么這些信源的熵就一樣。樣，那么這些信源的熵就一樣。 舉例舉例niiixpxpxpHxpxpxpHniiinn, 2 , 1,)(,),(),()(,),(),(212121，其中: 舉舉 例例 下面三個信源的概率空間為下面三個信源的概率空間為 x1 x1紅紅 x2 x2 黃黃 x3 x3 藍藍 y1 y1晴晴 y2 y2 霧霧 y3 y3 雨雨 X X與與Z Z信源的差別：它們所選擇的詳細音訊信源的差別：它們所選擇的詳細音訊/

52、/符號其含義不符號其含義不同；同； X X與與Y Y信源的差別：它們選擇的某同一音訊的概率不同；信源的差別：它們選擇的某同一音訊的概率不同； 但它們的信息熵是一樣的。這三個信源總的統計特性是一但它們的信息熵是一樣的。這三個信源總的統計特性是一樣的。所以熵表征信源總的統計特性，總體的平均不確定樣的。所以熵表征信源總的統計特性，總體的平均不確定性。性。216131321,)(xxxXPX312161321,)(xxxYPY216131321,)(yyyZPZ:(3) 最大離散熵定理最大離散熵定理(極值性極值性)定理：定理： 離散無記憶信源輸出離散無記憶信源輸出n個不同的信息個不同的信息符號，當且僅

53、當各個符號出現概率相等時符號，當且僅當各個符號出現概率相等時(即即p(xi)=1/n)，熵最大。，熵最大。Hp(x1),p(x2),p(xn) H(1/n,1/n,1/n)=log2n 出現任何符號的能夠性相等時，不確定性出現任何符號的能夠性相等時，不確定性最大。最大。:問題問題1 1？:問題問題1 1？:問題問題1 1？:問題問題2 2？:舉 例n二進制信源是離散信源的一個特例。二進制信源是離散信源的一個特例。n設該信源符號只需二個：設該信源符號只需二個：0和和1n設符號輸出的概率分別為設符號輸出的概率分別為p和和1-pn信源的概率空間為信源的概率空間為n二進制信源的信息熵為二進制信源的信息

54、熵為n這時信息熵這時信息熵H(X)是是p的函數。的函數。p取值于取值于0,1區間，我們可以區間，我們可以畫出熵函數畫出熵函數H(p)的曲線。的曲線。ppXPX110)()1 (log)1 (log)(22ppppXH:從圖中可以得出熵函數的一些性質：從圖中可以得出熵函數的一些性質：假設二進制信源的輸出是確定的假設二進制信源的輸出是確定的(p=1(p=1或或/p=1)/p=1)，那么該信源不提供任何信息；那么該信源不提供任何信息；當二進制信源符號當二進制信源符號0 0和和1 1等概率發生時，信源的等概率發生時，信源的熵到達最大值，等于熵到達最大值，等于1 1比特信息比特信息二元數字是二進制信源的

55、輸出。在具有等概率二元數字是二進制信源的輸出。在具有等概率的二進制信源輸出的二進制數字序列中，每的二進制信源輸出的二進制數字序列中，每一個二元數字提供一個二元數字提供1 1比特的信息量。假設符比特的信息量。假設符號不是等概率分布，那么每一個二元數字所號不是等概率分布，那么每一個二元數字所提供的平均信息量總是小于提供的平均信息量總是小于1 1比特。這也進比特。這也進一步闡明了一步闡明了“二元數字二元數字計算機術語稱計算機術語稱“比特比特與信息量單位與信息量單位“比特比特的關系。的關系。:1234562,()0.20.190.180.170.160.17()log 6XxxxxxxP XH X設信

56、源求這信源的熵，并比較與的大小，看其是否滿足最大離散熵定理？:6212222222()( )log( )0.2log 0.20.19log 0.190.18log 0.182(0.17log 0.17)0.16log 0.162.66(/)log 62.58?()log 6?iiiH Xp xp xbit symbolH X 解答：1234562,()0.20.190.180.170.160.17()log 6XxxxxxxP XH X設信源求這信源的熵，比較與的大小，看其是否滿足最大離散熵定理？:61( )0.20.190.180.170.160.171.071iip x概率空間不滿足歸一化

57、不滿足最大離散熵定理)(,),(),(,)(2121nnxpxpxpxxxXPX，1)(1)(01niiixPxp，信源空信源空間必定間必定是一個是一個完備集完備集信源空信源空間的描間的描畫畫:(4) 擴展性擴展性n 由于 所以上式成立。n本性質闡明，信源的取值增多時，假設這些取值對應的概率很小接近于零，那么信源的熵不變。n雖然概率很小的事件出現后，給予收信者較多的信息。但從總體來思索時，由于這種概率很小的事件幾乎不會出現，所以它在熵的計算中占的比重很小。這也是熵的總體平均性的一種表達。)(,),(),()(,)(,),(),(lim2101211nnnnnxpxpxpHxpxpxpxpH02

58、0loglim:(5) 確定性確定性H(1,0)=H(1,0,0)=H(1,0,0,0)=H(1,0, ,0)=0 在概率矢量在概率矢量P(X)=p(x1),p(x2),p(xn)中中 當當p(xi)=1時，時，-p(xi)log2p(xi)=0； 其他變量其他變量p(xj)=0(ji)， 只需信源符號表中有一個符號出現概率為只需信源符號表中有一個符號出現概率為1，信源熵，信源熵就等于就等于0。在概率空間中，假設有兩個根身手實，其中一。在概率空間中，假設有兩個根身手實，其中一個是必然事件，另一個那么是不能夠事件，因此沒有不個是必然事件，另一個那么是不能夠事件，因此沒有不確定性，熵必為確定性，熵

59、必為0。當然可以類推到。當然可以類推到n個根身手件構成的個根身手件構成的概率空間。概率空間。0)(log)(lim20)(jjxpxpxpj:(6) 可加性可加性H(XY)=H(X)+H(Y/X) H(XY)=H(Y)+H(X/Y)證明第一個式子：證明第一個式子： 可加性可加性 是熵函數的一個重要特性，正由于具有可加性，所以可以證是熵函數的一個重要特性，正由于具有可加性，所以可以證明熵函數的方式是獨一的，不能夠有其它方式存在。明熵函數的方式是獨一的，不能夠有其它方式存在。 jijijijijijxpiixypijjixpijijiijxypxpjiijyxpjixypxypxpyxpXYHXHXYHxypxpyxpxypxpyxpyxpXYHiijiijiji1)/()/()()()/()()/()/(log)(log)(log)/()(log)(log)()()(12)/(12)(12)/()(12)(12其中:(7) 極值性極值性/香農輔助定理香農輔助定理n對恣意兩個音訊數一樣的信源對恣意兩個音訊數一樣的信源 有有n上式含義：任一概率分布上式含義：任一概率分布p(xi)，它對其它概率