1、信息論與編碼-限失真信源編碼 限失真信源編碼定理（香農第三定理）限失真信源編碼定理（香農第三定理） 設R(D)為一離散無記憶平穩信源的信息率失真函數，并且有有限的失真測度。則對于任意的 和 ，當信息率RR(D)時，一定存在一種編碼方法，其譯碼失真小于或等于 ，條件是編碼的信源序列長度L足夠長。 反之，如果RR(D)，則無論采用什么編碼方法，其譯碼失真必大于D。0D0D信息論與編碼-限失真信源編碼 定理說明，在允許失真為D的條件下，信源最小可達的信息傳輸率是信源的R(D)。 保真度準則下的信源編碼定理（限失真信源編碼定理）是有失真信源壓縮的理論基礎。定理說明了在允許失真D確定后，總存在一種編碼方

2、法，使編碼的信息傳輸率大于R(D)且可以任意接近R(D)，而平均失真度小于允許失真D。而當信息傳輸率小于R(D)時，編碼的平均失真將大于D?？梢?，R(D)是允許失真度為D的情況下信源信息壓縮的下限值。信息論與編碼-限失真信源編碼比較香農第一定理和香農第三定理可知，當信源給定后，無失真信源壓縮的極限值是信源熵H(X)，而有失真信源壓縮的極限值是信息率失真函數R(D)。在給定D后，一般R(D)p(s)p(0)，譯出一個“1”；第二步：此時，F(s)=p(0)=0.01，p(s)=p(1)=0.11， C-F(s)=0.1001010，p(s)p(0)=0.0011，又 譯出一個“1”；”；，則譯出

3、符號為“若”；，則譯出符號為“若1)0()()(0)0()()(pspsFCpspsFC信息論與編碼-限失真信源編碼第三步：此時，F(s)=p(0)+p(10)=0.01+0.0011=0.0111，p(s)=0.1001，p(s)p(0)=0.001001，C-F(s)=0.011001，又譯出一個“1”；第四步：此時，F(s)=0.0111+p(110)=0.10011，p(s)=0.011011，p(s)p(0)=0.00011011， C-F(s)=0.001111，又譯出一個“1”；第五步：此時，F(s)=0.10011+p(1110)=0.10110011，p(s)=0.01010

4、001，p(s)p(0)=0.0001010001，信息論與編碼-限失真信源編碼 C-F(s)=0.00100001，又譯出一個“1”；第六步：此時，F(s)=0.10110011+p(111110)=0.110000100011， p(s)=0.0011110011，p(s)p(0)=0.000011110011， C-F(s)=0.000100011101，又譯出一個“1”；第七步：此時，F(s)=0.110000100011+p(1111110)=0.11010001011, p(s)=0.001011011001，p(s)p(0)=0.00001011011001，信息論與編碼-限失真

5、信源編碼 C-F(s)=0.00000010101，譯出一個“0”；第八步：此時，F(s)=0.11010001011，p(s)=0.00001011011001，p(s)p(0)=0.0000001011011001， C-F(s)=0.00000010101，又譯出一個“0”；第九步：此時，F(s)=0.11010001011，p(s)=0.0000001011011001， p(s)p(0)=0.000000001011011001，此時子區間的寬度已經小于C的最高分辨率，所信息論與編碼-限失真信源編碼以繼續細分已無意義，譯碼停止。最后得到的碼序列是“11111100”。由上面的分析可知，算術編碼效率高，編譯碼速度比較快。另外，在算術編碼中，所使用的概率p(0)、p(1)甚至可以不一定是真實的信源分布概率。可以證明，當信源的概率分布不確切知道時，可用其最佳估計值來進行編碼，其平均碼長仍近似以信源熵為界。信息論與編碼-限失真信源編碼因此，在某些情況下，例如圖像壓縮，要確切地得到信源的實際概率分布是很困難的，這是仍可以用上述的算術編碼方法，只要設想的信源數學模型逼近信源的實際概率分布，編碼方法仍很有效。算術編碼有很多優點，例如：編碼時所需的參數很少，不象哈夫曼編碼那樣需要一個很大的碼表。常用來針對一些信源概率未知或非平穩情況。信息論與編碼-限失真