1、4/1p4/ 1p4/3p4/3p0011信源信源（信源編碼，信道編碼）（信源編碼，信道編碼）譯碼譯碼（信源譯碼，信道譯碼）（信源譯碼，信道譯碼）信道信道信宿信宿sjAabFjj,.,2 , 1,*)( 注意注意: : 譯碼規則是人為定的譯碼規則是人為定的, ,對于同一個信道可有多個對于同一個信道可有多個不同的譯碼規則不同的譯碼規則0.80.20.10.9a1a2b1b2對于二元信道就可制定若干不同譯碼規則，如對于二元信道就可制定若干不同譯碼規則，如圖所示圖所示。1242144223113322221221211111)abFabFFabFabFFabFabFFabFabFF（：（：（：（：“

2、好好”的譯碼規則的標準是的譯碼規則的標準是：譯碼正確譯碼正確-如果接收到如果接收到bj，按，按 譯成譯成aj* ， 而輸入的剛好是而輸入的剛好是aj*()*jjF baAbj的譯碼正確概率為：的譯碼正確概率為： | )()|(*jjjjbbFPbYaXPbj的譯碼錯誤概率為：的譯碼錯誤概率為：| )(1| )()b|(jjjjjbbFPbYbFXPeP 譯碼錯誤概率的統計平均稱為譯碼錯誤概率的統計平均稱為記為記為PesjjjjsjjjebbFPbPbePbPP11| )(1)()|()(Pe 使使PePe式式1()1() |sejjjjPP bP F bb*) (|)eijijiYX aYX

3、aPP abP a P b a（當輸入等概當輸入等概: : raPbFPjj/1)(*1(|)ejiYX aPP bar上式可化為：上式可化為：11() () |sjjjjP bP F bb*111()1()ssjjjjjjP b F bP b a 參見下圖，假設參見下圖，假設P(a1)=0.4, ,分別求出分別求出4 4種譯碼規種譯碼規則所對應的平均差錯率。則所對應的平均差錯率。 0.80.20.10.9a1a2b1b21242144223113322221221211111)abFabFFabFabFFabFabFFabFabFF（：（：（：（： 9 . 01 . 02 . 08 . 06

4、 . 04 . 0|XYXPP 54.006.008.032.0XYP6.0)08.032.0(1)()(1),(1)(2111111baPbaPbbFPFPsjjje 11( ) ( |)( )1 ( )|ssejjjjjjjPP b P e bP bP F bb要減小要減小 ，必須減小各個接收符號的譯碼，必須減小各個接收符號的譯碼錯誤概率，或者增大各個接收符號的譯碼正確概錯誤概率，或者增大各個接收符號的譯碼正確概率。率。( | )jPe b ( )|jjP F bbAabaPbaPBbAabFFijijjjjj, )|()|()(*，：)()()|()()|()()|()|(*jijjji

5、jjjjjijjbaPbaPbaPbPbaPbPbaPbaPAabaPbaPBbAabFFijijjjjj, )()()(*，： 0.80.20.10.9a1a2b1b254.006.008.032.02121bbaaPXY2211)()(:abFabFF 14. 0)54. 032. 0(1)(11sjjjebbFPPAaabPabPBbAabFFiijjjjjj, )|()|()(*，：4 .03 .03 .05 .03 .02 .02 .03 .05 .0|XYP解：按轉移概率最大原則確定極大似然譯碼規則如下：解：按轉移概率最大原則確定極大似然譯碼規則如下： ),(,)()()(:322

6、31211aaabFabFabFF)|()|(*ijjjabPabP如果輸入等概，則如果輸入等概，則 )()(*ijaPaP)()()|()()|()(*jijjijijjjbaPbaPabPaPabPaP DMCXa1,a2Yb1,b2a1=0a2=1b1=0b2=11-p1-pp=0.01p=0.01DMSUu1,u25 . 05 . 01021uuPUU為：為：H H（U U）=logM=1=logM=1比特比特/ /符號符號：C=log2-H(0.99,0.01)=0.92C=log2-H(0.99,0.01)=0.92比特比特/ /符號符號99.001.001.099.02121|b

7、baaPXY信源與信道之間不加信道編碼，則由于信道輸入等概分布，則信源與信道之間不加信道編碼，則由于信道輸入等概分布，則極大似然譯碼規則就是最佳譯碼規則，根據信道轉移矩陣極大似然譯碼規則就是最佳譯碼規則，根據信道轉移矩陣確定極大似然譯碼規則為：確定極大似然譯碼規則為：2211)()(:abFabFF平均差錯率為：平均差錯率為：01. 02/ )01. 001. 0()|(1 )(|11*,1aXYijsjjjeabPrbFbPrP對信源符號進行對信源符號進行“重復重復2 2次次”編碼編碼: :,21uuU,.,8213X,.,8213Y,813X33|XYP111000111110101100

8、0110100010001111110101100011010001000081876543218276543211Fffuu11110000：fppppppppppppppppppppppppppppppPXY132222223322222238765432181|33，8887868415131211(）FFFFFFFF即：即： 1111111101010110001000100010008876415321FF42381103)62(211 )(|11pppFPrPiiie：信道編碼信道編碼平均錯誤率平均錯誤率 結論結論：碼元比特/3/1/ )(NUHR 碼元比特/1/ )(NUHR11

9、1,110,101,100011,010,001,00087654321 11011100100100100000:75311fppppppppppppppppppppppppppppppppppppppppppppppppppppppppppPXY123222232222332222232232232222223876543217531|33，7877565534331211(）FFFFFFFF 223811099. 1)44(411 )(|11pppFPMPiiie 兩個等長符號序列兩個等長符號序列x和和y之間的漢明距離，記為之間的漢明距離，記為D(x,y)，是是x與與y之間對應位置上不同

10、符號的個數。之間對應位置上不同符號的個數。 求漢明距離：求漢明距離：D(x,z)=z)=2;D(y,z)=3因此，因此，z與與x的相似程度的相似程度與與y的相似程度的相似程度 x=100111,=100111,y=111000,=111000,z=111111,=111111,比較比較z與與x和和y的相的相似程度。似程度。和”運算符。表示為“模式中為：之間的漢明距離可表示與則2),(1 , 0,.1 , 0,.12121NkkkkNkNyxYXDYXyyyyYxxxxX,.,21qcccC CccccccDjijiji,),(CccccccDdjijiji,),(minmin ,.,21Mss

11、s,.,.,221221NNNNBA個消息長二進制碼字傳送用次擴展信道MNccccccsssMFNMfMN,.,.,.,.,212212121NiijjjNjjjACccPcPBCcFF, )|()|()(*，：NNjjjjiiiibbbaaac. .2121)|().|()|().|.()|(22112121NNNNijijijiiijjjijabpabpabpaaabbbpcp碼元錯誤概率為碼元錯誤概率為p，正確概率為，正確概率為 pp1則有：則有：),(),(),()1()1 ()|(jijijicDNcDNcDijpppppcP極大似然譯碼規則極大似然譯碼規則為最小漢明距離譯碼規則為最

12、小漢明距離譯碼規則NijjjjNjjjACccDcDBCcFF,),(min),()(*，： 最小距離譯碼規則可在一般信道中采用，但不一定與極最小距離譯碼規則可在一般信道中采用，但不一定與極大似然譯碼規則等價，只有大似然譯碼規則等價，只有對于二元對稱信道，它對于二元對稱信道，它才與極大似然譯碼規則等價才與極大似然譯碼規則等價，并且當并且當輸入等概輸入等概時是最佳的時是最佳的。 對于二元對稱信道，若對于二元對稱信道，若輸入等概輸入等概，無論用什么規則確定，無論用什么規則確定譯碼函數，與之對應的平均差錯率都可用譯碼函數，與之對應的平均差錯率都可用漢明距離漢明距離表示：表示： jcDNcDjjjej

13、jjjppMcPMP),(),(*11 |11若信道是離散、無記憶、平穩的，且信道容量為若信道是離散、無記憶、平穩的，且信道容量為C C，只要待傳，只要待傳送的信息率送的信息率RCRCRC，就一定找不到一種信道編碼方法，使得碼長足，就一定找不到一種信道編碼方法，使得碼長足夠大時，平均差錯率任意接近于零。夠大時，平均差錯率任意接近于零。 信道編碼定理告訴我們：信道編碼定理告訴我們：RCRCRC時，無論如何編碼，都不時，無論如何編碼，都不可能使平均差錯綠逼近零。因此，信道容量可能使平均差錯綠逼近零。因此，信道容量C C是確保可靠性傳是確保可靠性傳輸的信息傳輸率的上限。輸的信息傳輸率的上限。 CC

14、54321cccccc21,cc543,ccc21514213 cccccccc 01001101001001110 005432152114321ccccccccccccc100110100100111H00TTCHHC或 I)()(knknQkkn )( IQH 100110100100111H215142132211 cccccccccccc),(21ccm1011011101GGmCnkCmGnk G PIG IkkP)(knk 00TTGHHG或GQPPQPQPIIQHGTTTT或0) (101110011100100111001G可知信息位有可知信息位有3 3位，則線性分組碼為位，

15、則線性分組碼為（7，3）分組碼，生成矩陣生成的碼字為：分組碼，生成矩陣生成的碼字為：11101001101001101001110011100111010010011100111010000000111110101100011010001000Cm PIG 101111100111PTPQ 110011111101Q1000110010001100101110001101) (IQH，; 1tminddtd個錯誤的充要條件是一個碼能夠檢測出; 12tmincctd個錯誤的充要條件是一個碼能夠糾正1ttdmindccctdtt充要條件是個錯誤的出個錯誤，同時又能檢測一個碼能夠糾正1011011101Ge),.,(0121cccccnn),.,(0121yyyyynn),.,(),.,(001122110121cycycycycyeeeeennnnnncyecey。，否則位發生錯誤時，當碼字第01iieei，則進行校驗，校驗結果為對接收序列用一致性校驗矩陣syH，則有錯誤存在。如果0sTTTeHHecyHs)(eyeycyc 得