限失真信源編碼第六章限失真信源編碼限失真信源編碼的概念失真測度信息率失真函數及其性質信息率失真函數的意義第2頁,共35頁，2024年2月25日，星期天限失真信源編碼第3頁,共35頁，2024年2月25日，星期天限失真信源編碼的概念問題的引入：根據信道編碼定理，信道不可能實現對消息的完全無失真傳輸。

例：連續信源

信息絕對熵無窮大第4頁,共35頁，2024年2月25日，星期天限失真信源編碼的概念問題的引入：在實際生活中，人們并不要求獲得完全無失真的消息，通常只要求近似地再現原消息，也就是允許一定的失真存在。例：語音信息：實際20kHz----8kHz，去掉低端和高端的頻率，變為人耳接收的300－3400Hz

例：圖像信息：每個像素的黑白灰度只需要256級，畫面就足夠清晰了。第5頁,共35頁，2024年2月25日，星期天限失真信源編碼的概念既然允許一定的失真存在，那么對信息率的要求便可降低。換句話說，就是允許壓縮信源輸出的信息率。信息率與允許失真之間的關系，就是信息率失真理論所要研究的內容。第6頁,共35頁，2024年2月25日，星期天限失真信源編碼的概念

例：電報：

1：母親患癌癥，情況危急，請速歸。

3：病危歸

2：母病危速歸無失真有失真第7頁,共35頁，2024年2月25日，星期天限失真信源編碼的概念

例：圖像無失真有失真原始圖像壓縮后圖像第8頁,共35頁，2024年2月25日，星期天限失真信源編碼的概念

香農定義了信息率失真函數R(D)，還論述了關于這個函數的基本定理，定理指出：在允許一定失真度D的情況下，信源輸出的信息率可壓縮到R(D)值。第9頁,共35頁，2024年2月25日，星期天信源符號經過信道傳輸到接收端Y失真測度設離散無記憶信源為信道的傳遞概率矩陣第10頁,共35頁，2024年2月25日，星期天對每一對，指定一個非負函數失真測度

稱為單個符號的失真度/失真函數。表示信源發出一個符號，在接收端再現所引起的誤差或失真。第11頁,共35頁，2024年2月25日，星期天失真度還可表示成矩陣的形式:失真測度這個矩陣[D]完整地表示了信道的各種可能的失真函數，故稱矩陣[D]為信道的失真矩陣

第12頁,共35頁，2024年2月25日，星期天例：設信源符號集信道輸出符號集失真測度在這樣的規定下，定義的失真函數為相應的失真矩陣為第13頁,共35頁，2024年2月25日，星期天失真測度在這樣的規定下，定義的失真函數為相應的失真矩陣為這種失真函數稱為漢明失真函數第14頁,共35頁，2024年2月25日，星期天失真測度相應的失真矩陣為對于二進制對稱信道來說第15頁,共35頁，2024年2月25日，星期天例2：設信源符號集信道輸出符號集失真測度在這樣的規定下，定義的失真函數為相應的失真矩陣為第16頁,共35頁，2024年2月25日，星期天失真測度如:信源X的符號集{0，1}，信道輸出符號集{0，？，1}相應的失真矩陣為第17頁,共35頁，2024年2月25日，星期天例3：設信源符號集信道輸出符號集失真測度相應的失真矩陣為在這樣的規定下，定義的失真函數為第18頁,共35頁，2024年2月25日，星期天失真測度如信源X的符號集{0，1，2}，信道輸出符號集{0，1，2}相應的失真矩陣為在這樣的規定下，定義的失真函數為第19頁,共35頁，2024年2月25日，星期天失真測度由此得出：失真函數是根據實際需要，以及失真所引起的損失、風險、主觀感覺上的差別大小等因素人為地來規定的。第20頁,共35頁，2024年2月25日，星期天只能表示兩個特定的具體符號和之間的失真。平均失真度平均失真度：平均失真度為失真度的數學期望。第21頁,共35頁，2024年2月25日，星期天

是在平均意義上，從總體上對整個系統失真情況的描述。它是信源統計特性、信道統計特性和失真度的函數。當，

和

給定后，平均失真度就不是一個隨機變量了，而是一個確定的量。平均失真度

如果信源和失真度一定，就只是信道統計特性的函數。信道傳遞概率不同，平均失真度隨之改變。第22頁,共35頁，2024年2月25日，星期天

保真度準則:平均失真不能超過人們允許的某一限定值對于給定信源和失真函數信息率失真函數第23頁,共35頁，2024年2月25日，星期天凡是滿足保真度準則的信道，稱為失真許可的實驗信道。所有失真許可實驗信道組成的一個集合用表示，即有在滿足保真度準則的所有試驗信道組成的集合中，總可以找到某一試驗信道，使平均互信息量達到極小值（最小值），這個最小值就是信息率失真函數，或簡稱率失真函數。信息率失真函數第24頁,共35頁，2024年2月25日，星期天信息率失真函數在信源給定以后，總希望在允許一定失真的情況下，傳送信源所必須的信息率越小越好。從接收端來看，就是在滿足保真度準則的條件下，尋找再現信源消息必須的最低平均信息量，即平均互信息的最小值。第25頁,共35頁，2024年2月25日，星期天

信息率失真函數R(D)是假定信源給定的情況下，在用戶可以容忍的失真度內再現信源消息所必須獲得的最小平均信息量。它反映的是信源可壓縮程度。率失真函數一旦找到，就與求極值過程中選擇的試驗信道不再有關，而只是信源特性的參量。不同的信源，其R(D)是不同的。信息率失真函數第26頁,共35頁，2024年2月25日，星期天平均互信息I(X;Y)是信源概率分布p(xi)的上凸函數，信道容量就是在固定信道情況下，求平均互信息極大值的問題，即信道容量和信息率失真函數I(X;Y)又是信道轉移概率分布p(yj/xi)

的下凸函數，信息率失真函數就是在試驗信道（滿足保真度準則的信道）中尋找平均互信息極小值的問題，即第27頁,共35頁，2024年2月25日，星期天信道容量C一旦求出后，就只與信道轉移概率p(yj/xi)有關，反映信道特性，與信源特性無關；信息率失真函數R(D)一旦求出后，就只與信源概率分布p(xi)有關，反映信源特性，與信道特性無關。信道容量和信息率失真函數第28頁,共35頁，2024年2月25日，星期天解決的問題信道容量是為了解決通信的可靠性問題，是信息傳輸的理論基礎，通過信道編碼增加信息的冗余度來實現；信息率失真函數是為了解決通信的有效性問題，是信源壓縮的理論基礎，通過信源編碼減少信息的冗余度來實現。信道容量和信息率失真函數第29頁,共35頁，2024年2月25日，星期天R（D）的定義域Dmin和R(Dmin）信息率失真函數的性質當失真矩陣的每一行至少有一個零元素時，信源的平均失真度達到下限值零。當Dmin=0，也就是說信源不允許任何失真存在時，信息率至少應等于信源輸出的平均信息量——信源熵。即第30頁,共35頁，2024年2月25日，星期天Dmax和R(Dmax）不允許任何失真時，平均傳送一個信源符號所需的信息率最大，即必須等于信源熵，這也是平均互信息的上限值。當允許一定失真存在時，傳送信源符號所需的信息率就可小些。反過來說，必須的信息率越小，容忍的失真就越大。當R(D)等于零時，對應的平均失真最大，也就是R(D)函數定義域的上界值Dmax

信息率失真函數的性質第31頁,共35頁，2024年2月25日，星期天Dmax和R(Dmax）定義：對于給定信源X，其信源的概率分布：p(xi)

，在選定的失真函數d(xi,yj)下，能使平均互信息量I(X;Y)=0的最小平均失真度為允許平均失真度的上界值。信息率失真函數的性質第32頁,共35頁，2024年2月25日，星期天信息率失真函數是D的下凹型函數信息率失真函數是定義域的單調遞減函數信息率失真函數是D的連續函數信息率失真函數的性質第33頁,共35頁，2024年2月25日，星期天

設一離散平穩無記憶信源的輸出隨機變量序列為X=(X1,X2,…,XL)，若該信源的信息率失真函數是R(D)，并選定有限的失真函數。對于任意允許平均失真度D≥0，和任意小的ε>0，當信息率R>R(D)，只要信源序列長度L足夠長，一定存在一種編碼方式C，使譯碼后的平均失真度；反之，若