有大享通信工程本科專(zhuān)業(yè)課程信息論與編碼原理InformationTheoryandEncoding主講:肖竹老師第二講Part‖■互信息■信息熵X的自信息量I(x)=f[P(x)]=log=log.P(x,-P(x:)非負(fù)單調(diào)減可加不確定性(提供的信息量)收到某消息獲得的信息量(即收到某消息后獲得關(guān)于某事件發(fā)生的信息量)=不確定性減少的量=(收到此消息前關(guān)于某事件發(fā)生的不確定性(收到此消息后關(guān)于某事件發(fā)生的不確定性)條件自信息量1(x/y)=-og2p(x/y)聯(lián)合自信量(xy)==logP(xy)Ixiy)=-log2p(x)p(y/x)=1(x)+(y/x)=-log2p(y)(x;y)=(31)+1(x;/yi))1「(x)(x)(x)Px)」[P(x)P(x)P(x)P(x人季率空間(xP)上的一個(gè)隨機(jī)變量互信息量和條件互信息量互信息量:結(jié)合圖示講解通信模型,信源發(fā)出消息x1的概率p(x)稱(chēng)為先驗(yàn)概率,信宿收到y(tǒng)1,利用收到y(tǒng)推測(cè)信源發(fā)出x的概率稱(chēng)為后驗(yàn)概率,有時(shí)也稱(chēng)條件概率。劇考:事件x是否發(fā)生具有不確定性,可用自信息I(x)度量在收到符號(hào)后,事件是否仍具有一定的不確定性,用條件信息量(yixi)度量。相當(dāng)于進(jìn)行了通信。問(wèn)題:觀察事件(通信)前后,通信過(guò)程中所獲得的信息量是什么?定義:后驗(yàn)概率與先驗(yàn)概率比值的對(duì)數(shù)為y對(duì)xi的互信息量:信息量I(x;y)=1(x)-1(x1y)=bx1y)互信息量等于條件概率自信息量減去q(x)條件自信息量。[先驗(yàn)概率」互信息量「概率互換公式D(xy=p(y,Ix)q(xi)=p(x;Iy)0(;)互信息其他表達(dá)方式發(fā)送符號(hào)信源發(fā)送之前xi,信宿信道轉(zhuǎn)移概率信宿收到y(tǒng)的是否收到概率y仍具有I(x;y,)loop(y,x)(y)-/(y1x)不確定性,0(y)條件信息倌宿收到Ⅵ的概率從信源的角度來(lái)觀察,上述兩個(gè)事件之差就是觀察者獲得的信息量一互信息P(x,yI(x;yi)=logq(x)0(y)1(x)+/(y)-1(xy)通信之前X和Y統(tǒng)計(jì)獨(dú)立,有p(xy)=q(x)oy),不確定性-kg4x)o(y)=lx)+fy)但通信過(guò)程中存在信道轉(zhuǎn)移概率P(y1x),符號(hào)xi與y有了某種關(guān)聯(lián),此時(shí)聯(lián)合概率pP(xy,)=P(yx(x),發(fā)x收yi的不確定性l(xy)=-logP(x,))條件互信息量三維XYZ聯(lián)合集:給定條件xk下,x與y之間的互信息量,其定義式I(x;y,/x)=2(x/yizp(r湖有大享互信息的性質(zhì)對(duì)稱(chēng)性一互易性當(dāng)X和Y相互獨(dú)立時(shí),互信息為0互信息量可為正值或負(fù)值,反映兩個(gè)事件之間的肯定作用若為正值,通過(guò)接收yj判斷是否發(fā)送xi的不確定性變小能夠正常通信若互信息為負(fù)值,意味著傳輸中的問(wèn)題,如信道噪聲、干擾等,收到y(tǒng)j判斷是否發(fā)送xi的不確定性更大p(x,Iy,I(x;y)=(x)-I(x1y2)=則90(4)<0+I(x)</(x;ly),p(x;Iy,)<q(x,)兩個(gè)事件的互信息量不大于單個(gè)事件的自信息量≤I(x)I(xy)1≤1(y)[例]BC,D三人必有一人晚上去A家A事件E:上午D打電話(huà)說(shuō)晚上不來(lái)事件F:下午C打電話(huà)說(shuō)晚上不來(lái)求互信息量I(B;E),IC;E,I(D;E)和I(B;EFI(B;E),I(C;E)=0.585(bitIB;EF=1.585(bit)高散信丸源的信丸熵對(duì)一個(gè)信源發(fā)出不同的消息所含有的信息量也不同。所以自信息I(x是一個(gè)隨機(jī)變量,不能用它來(lái)作為整個(gè)信源的信息測(cè)度定義自信息的數(shù)學(xué)期望為平均自信息量H2(1,稱(chēng)為信源的信息熵,也叫信源熵或香農(nóng)熵,簡(jiǎn)稱(chēng)熵H,(X)=E((x)=log,p(x:)log,p(ri)P(x)當(dāng)r=2時(shí):H(X)=Elog∑p(x)ogp(x)H(X)=H(X)/logr熵函數(shù)的自變量是X表示信源整體,實(shí)質(zhì)上是離散無(wú)記憶信源平均不確定度的度量:各消息自信息量的概率加權(quán)平均(統(tǒng)計(jì)平均)值有大字由于這個(gè)表達(dá)式和統(tǒng)計(jì)物理學(xué)中熱熵的表