1、信息論實驗課（一）框架自信息熵（平均自信息）聯合熵條件熵互信息平均互信息下面都是針對離散信源來進行實驗幾個概念樣本空間-所有可能選擇的消息的集合概率測度-對于離散消息的集合，概率測度就是對每一個可能選擇的消息指定一個概率。概率空間-一個樣本空間和它的概率測度，用X, P表示。自信息信源可以用概率空間來描述；信源的概率空間必須是個完備集輸出的消息只能是樣本空間的一個，而且每次必定選一個離散無記憶信源若信源輸出的消息是取值離散的隨機序列，并且序列中各隨機變量之間彼此統計獨立自信息定義-某事件ai（消息）發生所含有的信息量熵（平均自信息）離散隨機變量X的信息熵就是其概率空間中每個事件所含有的自信息量

2、的數學期望，即：含義表示信源輸出前，信源的平均不確定性熵就是混亂度的量度表示信源輸出后，每個消息或者符號所提供的平均信息量反映了隨機變量X的隨機性例1設信源a1=C, a2=G,a3=A, a4=T 。1）求各個符號的自信息是多少？2）設該信源是離散無記憶的，若其發出的消息為tgaggtagtaggttgtatagtt ，求此消息的自信息是多少？解：1）基于公式得各個符號的自信息 問題2）若該信源發出的消息為tgaggtagtaggttgtatagtt,求此消息的自信息是多少？在此消息中平均每個符號攜帶的信息量是多少？解：因為信源是無記憶的，所以其發出的消息序列中個符號是無依賴的、統計獨立的。

3、因此，此消息的自信息就等于消息中各個字符的自信息只和。此消息中共有0個C，8個G，5個A，9個T，則得到的自信息是平均每個符號攜帶的信息量為例13）信源的熵是多少？解：根據熵的公式可得信源的平均互信息為前面消息中平均每個字符攜帶的信息量（I2），并不完全等于這個離散無記憶信源平均每個符號攜帶的信息量（H(X)）。I2是在特定消息中求得的，在此消息中各符號C，G，A，T出現的概率不完全等于信源X中各符號出現的概率，所以存在差異。信源的信息熵是一個統計量，是表征信源的總體信息測度。例2、從大量的資料統計獲得，男性中紅綠色盲的發病率為7%，女性發病率為0.5%；問題1）如果你問一位男士：“你是否是色

4、盲？”他的回答可能是“是”，也可能是“否”，問這兩個回答中各含有多少信息量？平均信息量是多少？問題2）如果你問一位女士：“你是否是色盲？”她的回答可能是“是”，也可能是“否”，問這兩個回答中各含有多少信息量？問這兩個回答中各含有多少信息量？平均信息量是多少？例2、從大量的資料統計獲得，男性中紅綠色盲的發病率為7%，女性發病率為0.5%；問題1）如果你問一位男士：“你是否是色盲？”他的回答可能是“是”，也可能是“否”，問這兩個回答中各含有多少信息量？平均信息量是多少？解：設a1是男性紅綠色盲，a2為男性不是紅綠色盲。由題意可得男性紅綠色盲發病率的概率空間為男士回答“是”中含有的信息量男士回答“否

5、”中含有的信息量平均每個回答中含義信息量為信源X的信息熵，即女士回答“是”中含有的信息量女士回答“否”中含有的信息量平均每個回答中含義信息量為信源X的信息熵，即綜上，女性對色盲發病率很小，因此對女性是否是色盲的平均不確定性比男性是否是色盲的平均不確定性要小聯合熵隨機序列XY聯合離散符號集上每個符號對aibj的聯合自信息量的數學期望, 記作H（XY）考慮聯合隨機變量例3：兩個隨機試驗 X 和 Y 袋子里裝3個黑球，2個白球，X從中隨機取出一個球，看顏色，不放回；Y再從中隨機取出一球，看顏色。 現研究聯合試驗（XY）的不確定性。 分析：兩個試驗不獨立，試驗Y的結果依賴于試驗X的結果。 X： Y：

6、由聯合熵的定義知條件熵隨機序列XY的聯合符號集上的條件自信息量的數學期望。它表示已知前面一個符號（X發出）時，信源將要輸出下一個符號（Y發出）的平均不確定性貝葉斯公式例3：兩個隨機試驗 X 和 Y 袋子里裝3個黑球，2個白球，X從中隨機取出一個球，看顏色，不放回；Y再從中隨機取出一球，看顏色。 現研究給定X時，Y的條件熵。 X：由條件熵的定義知 XY： 例3：兩個隨機試驗 X 和 Y 袋子里裝3個黑球，2個白球，X從中隨機取出一個球，看顏色，不放回；Y再從中隨機取出一球，看顏色。 現研究給定X時，Y的條件熵。 X： XY： 總結熵條件熵聯合熵互信息一個事件yj所給出關于另一個事件xi的信息，即

7、：已知事件bj后所消除的關于事件ai的不確定性平均互信息互信息在其概率空間中的數學期望熵只是平均不確定性的描述，而不確定性的消除（兩熵只差）才等于接收端所獲得的信息量因此，獲得的信息量不應該和不確定性混為一談例4有一信源設計兩個獨立試驗去觀察它，其結果分別為已知條件概率求 ，并判斷哪個試驗好些 0101010121/21/201010110201解：根據貝葉斯公式，我們可以獲得xy1的聯合概率分布p(xy1)，以及y1的概率分布對于試驗1，貝葉斯公式0101010121/21/20101/40101/421/41/41/21/2解：根據貝葉斯公式，我們可以獲得xy2的聯合概率分布p(xy2)，

8、以及y2的概率分布對于試驗2，貝葉斯公式010101102010101/4011/40201/21/21/2根據平均互信息的公式可得I(X,Y1)=1.5+1-1 =0.5I(X,Y2)=1.5+1-0.5=1所以從Y2中獲得關于X的信息量多于Y1中獲得的關于X的信息量，所以第二個實驗好些。例五、表達譜數據分析檢測了hsa-let-7f和hsa-miR-151-5p在156個樣本中的表達值，利用互信息衡量這兩個miRNA表達的相關程度。計算互信息解：主要通過以下五步來完成將每個miRNA的表達值分區間計算每個miRNA先驗概率計算聯合概率計算每個miRNA的信息熵，及聯合熵計算互信息習題一、人類中密碼子的偏向性求人類中密碼子的自信息是多少？哪些密碼子攜帶的信息量高？密碼子的熵是多少？分別計算