1、信息率失真理論及其應用 1第1頁，共14頁，2022年，5月20日，0點56分，星期一選擇失真函數為 d(好，好)=0 d(廢，廢)=0 d(好，廢)=100 d(廢，好)=10 000將產品檢驗分成4種情況：全部產品都當合格品，全部產品都當廢品，完美的檢驗和允許出錯的檢驗。情況1全部產品不經檢驗而出廠都當合格品把這一過程看作是一個“信道”，其“傳遞概率”為 P(好/好)=1 P(廢/好)=0P(好/廢)=1P(廢/廢)=0 信道矩陣為 信息率失真函數與信息價值2第2頁，共14頁，2022年，5月20日，0點56分，星期一這種情況的平均損失，即平均失真度，為 =P(好)P(好/好) d(好,好

2、)+ P(好)P(廢/好) d(好,廢) +P(廢)P(好/廢話) d(廢,好)+ P(廢)P(廢/廢) d(廢, 廢) =0.02110 000=200元/塊即這種情況每銷售出去一塊PCB板，加工廠將要另外承擔可能損失200元的風險。考慮到每塊銷售100元，實際上是每賣出一塊可能要實際凈損失100元。情況2全部產品不經檢驗全部報廢都當廢品 信道傳輸概率為P(好/好)=0 P(廢/好)=1 P (好/廢)=0 P (廢/廢)=1 信道矩陣為信息率失真函數與信息價值3第3頁，共14頁，2022年，5月20日，0點56分，星期一平均失真度為 =P(好)P(好/好) d(好,好)+ P(好)P(廢/

3、好) d(好,廢) +P(廢)P(好/廢) d(廢,好)+ P(廢)P(廢/廢) d(廢, 廢) =0.98110 0=98元/塊即每生產一塊PCB板，加工廠將有損失98元的風險。因為把98本來可以賣100元一塊的板子也報廢了。比較情況1、2可知，做出全部報廢決定造成的損失，要小于做出全部出廠決定所造成的損失。不做任何檢驗，在全部出廠和全部報廢兩者之間抉擇，選擇后者的損失反而小。因此，有 ；產品未進行質量管理，相當于信源沒有輸出任何信息量。信息率失真函數與信息價值4第4頁，共14頁，2022年，5月20日，0點56分，星期一情況3正確無誤地判斷合格品和廢品完美的檢驗相當于無噪信道情況，信道矩陣

4、 平均失真度為即這種情況不會另外造成損失。 下面探討每一比特信息量的價值。為此先求該信源的熵，有：H(X)=R(0)=0.98lb20.980.02lb20.02=0.142 比特/塊該式說明，如果從每塊PCB板上獲取0.142比特的信息量，就可以避免一切細小的損失。 可能造成的最大損失為 98元/塊，所以0.142比特信息量的最大價值為98元，則每一比特信息的最大價值為 信息率失真函數與信息價值5第5頁，共14頁，2022年，5月20日，0點56分，星期一情況4 檢測時允許有一定的錯誤非完美的檢驗依題意檢驗的正確率約為95%，則信道的傳輸概率為 P(好/好)=0.95 P(廢/好)=0.05

5、 P(好/廢)=0.05 P(廢/廢)=0.95信道矩陣為平均失真度 =P(好)P(廢/好) d(好, 廢)+P(廢)P(好/廢) d(廢,好) =0.980.0510 0+0.020.0510 000 = 14.9元/塊即這種情況每銷售出去一塊PCB板，加工廠將要另外承擔可能損失14.9元的風險。考慮到每塊銷售100元，實際上是每賣出一塊實際收益至少是85.1元。 信息率失真函數與信息價值6第6頁，共14頁，2022年，5月20日，0點56分，星期一從可能帶來的另外損失角度考慮，這種情況和最大損失（98元）相比，其減少量為98 14.9 = 83.1 (元)減少的原因是由于從檢驗的過程中獲取

6、了信息量，如前所述，檢驗的過程好比“信道”，獲取的信息量也就是平均互信息量I(X;Y)，可用I(X;Y)=H(X) H(Y|X)求得。現在來求H(Y/X)，為此先求H(Y)。設出廠產品為信宿Y，則有 PY(好)=P(好) P(好/好)+ P(廢) P(好/廢) =0.980.95+0.020.05=0.932 PY(廢)=0.068則信宿熵為 H(Y)=H0.932, 0.068=0.358 比特/每一出廠產品 信息率失真函數與信息價值7第7頁，共14頁，2022年，5月20日，0點56分，星期一每生產一個產品，對應于是廢品還是合格品的平均不確定度為 =0.287 比特/每一出廠產品 I(X;

7、Y)=0.358 0.287=0.071比特/每一出廠產品通過允許有錯的檢驗，平均而言從對每塊PCB板的檢驗中只獲取了0.071比特的信息量，但是其損失比不檢驗時減少了83.1元，也就是說 0.071比特信息量價值為83.1元，故每比特價值為 而情況3每比特信息量的價值為690.14元。比較而言，第4種情況的信息價格最高，是最合算的檢驗準則。 信息率失真函數與信息價值8第8頁，共14頁，2022年，5月20日，0點56分，星期一把上述概念一般化，有：（1）信息率R的價值在保真度準則下，信息速率R是設計時允許失真D的函數，R(D)與D的一般關系如圖8.8所示。但也可以求出R(D)的反函數D =D

8、(R)，同樣，給出一個R值，就有一個D與之對應。 定義8.6 信息率R的價值用V表示，定義為 V = Dmax D(R) （8.164） 它的含義是當獲取關于信源X某一信息率R(D)時，平均損失從Dmax降低到D所具有的差值。例如，圖8.8中對應于R1，V1=DmaxD1；對應于R2， V2=DmaxD2。信息率失真函數與信息價值9第9頁，共14頁，2022年，5月20日，0點56分，星期一圖8.8信息率失真函數圖10第10頁，共14頁，2022年，5月20日，0點56分，星期一 （2）信息率R的價值率定義8.7 信息率R的價值率用v表示，定義為每比特信息量的價值，即信息率R的價值率為（8.1

9、65）例8.7 設某地區的天氣狀況可簡單地用好天氣和壞天氣來表示，據長期統計，它們的概率分別為P(好) = 4/5和P(壞) = 1/5。假如對某種生產，把次日是好天氣當壞天氣來準備和把壞天氣當好天氣來準備都會損失a元，否則無損失。（1）試求完全正確預報的信息率價值V及信息價值率v；（2）若氣象臺的誤報概率為10%，再求V及v。 信息率失真函數與信息價值11第11頁，共14頁，2022年，5月20日，0點56分，星期一解（1） V=Dmax 0 = a /5 元 R(D1) = -0.8 lb0.8 0.2 lb0.2 0.722 （2） =P(好)P(壞/好) d(好, 壞)+P(壞)P(好

10、/壞) d(壞,好) =0.80.05a+0.20.05a = a /20元/比特 信息率失真函數與信息價值12第12頁，共14頁，2022年，5月20日，0點56分，星期一(續) V = Dmax D2 = a /10 a /20 = a /20 P2 (好)=P(好)P(好/好) +P(壞)P(壞) =0.80.95+0.20.05=0.77 P2 (壞)=0.23 H(Y) = 0.77lb0.77+0.23lb0.23 0.778 I(X;Y) = 0.778 0.286 = 0.492信息率失真函數與信息價值13第13頁，共14頁，2022年，5月20日，0點56分，星期一本章小結本章討論了離散消息的失真函數和信息率失真函數，同時對連續消息也做了相應的討論。限失真信源編碼定理是本章的重點，由此引出了信息價值這一具有實際意義的概念。但該定理只是一個存在性定理。在實際應用中，該理論主要存在著兩大類問題。第一類問題是符合實際信源的R(D)函數的計算相當困難。首先，需要對實際信源的統計特性有確切的數學描述；其次，需要