第4章信息率失真函數§4.1信息率失真函數§4.2離散信源的信息率失真函數§4.3連續信源的信息率失真函數§4.4保真度準則下的信源編碼定理§4.1.1失真函數和平均失真度

§4.1.2率失真函數定義§4.1.3率失真函數性質實際通信系統允許一定的失真存在。1打電話；2放電影，視覺暫留性。允許壓縮信源輸出的信息率。研究內容：信息率

允許失真對每一對指定一個非負數失真度（函數）失真矩陣a1

b1a2b2anbn1漢明失真2平方誤差失真函數由于ai和bj都是隨機變量，所以失真函數d(ai,bj)也是隨機變量，限失真時的失真值，只能用它的數學期望或統計平均值，因此將失真函數的數學期望稱為平均失真度。在平均的意義上表示信道每傳遞一個符號所引起的失真的大小

。允許失真的上界保真度準則N次擴展信道的平均失真度：由信源和信道的無記憶性§4.1.2率失真函數定義信源編碼器XY假想信道將信源編碼器看作信道信源編碼器的目的是使編碼后所需的信息傳輸率R盡量小，然而R越小，引起的平均失真就越大。給出一個失真的限制值D，在滿足平均失真

D的條件下，選擇一種編碼方法使信息率R盡可能小。信息率R就是所需輸出的有關信源X的信息量。將此問題對應到信道，即為接收端Y需要獲得的有關X的信息量，也就是互信息I(X;Y)。這樣，選擇信源編碼方法的問題就變成了選擇假想信道的問題，符號轉移概率p(yj/xi)就對應信道轉移概率。

D失真許可的試驗信道平均失真由信源分布p(ai)、假想信道的轉移概率p(bj/ai)和失真函數d(ai，bj)決定，若p(ai)和d(ai，bj)已定，則調整p(bj/ai)使1、D允許試驗信道

2、信息率失真函數R(D)

由于互信息取決于信源分布和信道轉移概率分布，當p(xi)一定時，互信息I(X；Y)是關于p(yj/xi)的下凸函數，存在極小值。因而在上述允許信道PD中，可以尋找一種信道pij，使給定的信源p(xi)經過此信道傳輸后，互信息I(X；Y)達到最小。該最小的互信息就稱為信息率失真函數R(D)，即

N次無記憶擴展信源和信道：

§4.1.3率失真函數性質定義域：1D=0R(D)=H(X)連續：令線性分配a1a2假定所有Dj中，Ds最小，令下凸性2定義新試驗信道：滿足保真度準則由

對

的下凸性：連續和單調遞減性3DH(X)R(D)§4.1信息率失真函數§4.2離散信源的信息率失真函數§4.3連續信源的信息率失真函數§4.4保真度準則下的信源編碼定理§4.2.1離散信源信息率失真函數的參量表達式§4.2.2二元信源的率失真函數令令12332145

負值在公式

兩邊對S取導數2兩邊乘以對求和D§4.2.1離散信源信息率失真函數的參量表達式§4.2.2二元信源的率失真函數1S(D)D0.50.25P=0.25P=0.5§4.3連續信源的信息率失真函數§4.3.1連續信源失真函數的參量表達式

§4.3.2高斯信源的率失真函數§4.3.3信息價值

定義定義PD為滿足保真度準則的試驗信道集合下確界§4.3.2高斯信源的率失真函數(條件方差)根據詹森不等式：YXN反向加性高斯實驗信道12高斯信源的率失真函數§4.3連續信源的信息率失真函數§4.3.1連續率失真函數的參量表達式

§4.3.2高斯信源的率失真函數§4.3.3信息價值

合格品x1，廢品x2，生產過程抽象成信源：例

把檢驗過程看作信道，檢驗結果即為信道輸出。合格品出廠：b1：檢驗合格b2：檢驗不合格廢品報廢：合格品報廢：廢品出廠：不經檢驗全部出廠：1不經檢驗全部報廢：2檢驗完全正確：3檢驗不十分可靠：4比最大損失減少了：0.99-0.199=0.791元信息率R的價值價值率CR(D)

的上凸函數

的下凸函數

的極大值

的條件極小值

的函數

的函數僅與信道特性有關僅與信源特性有關解決可靠性問題解決有效性問題信