1、信息論與編碼實(shí)驗(yàn)指導(dǎo)書任課教師：劉亞榮 桂林理工大學(xué)電計(jì)系Matlab基礎(chǔ)：1、 變量不需指定類型，拿來就用；變量區(qū)分大小寫2、 向量定義： x=1/2, 1/4, 1/4(行向量); y=(0:360)*pi/180; 向量的轉(zhuǎn)置x（列向量）3、 .* ./ .運(yùn)算，逐個(gè)元素進(jìn)行運(yùn)算。例x1=1/2, 1/4, 1/4, x2=2, 4, 4， 則x1*x2沒定義；x1*x2有定義（=3）；x1.*x2有定義（逐元素相乘=1,1,1）4、變量值顯示：如果一行的后面沒有分號，則顯示出該行的變量結(jié)果。如a=3 顯示出a=3。5、畫圖命令plot(x,y); x（向量）是一系列坐標(biāo)， y（向量）是

2、一系列值。6、求和：sum(), 求積分：求微分：符號微分diff(f)求f對自由變量的一階微分diff(f,v) 求f對符號變量v的一階微分diff(f,v,n)求f對符號變量v求n階微分符號積分int(f,v) 求表達(dá)式f的對符號變量v的不定積分int(f,v,a,b) 求表達(dá)式f的對符號變量v的在(a,b)范圍內(nèi)定積分7 M函數(shù)文件的基本結(jié)構(gòu)函數(shù)文件由function語句引導(dǎo)，其基本結(jié)構(gòu)為：function 輸出形參表=函數(shù)名(輸入形參表)注釋說明部分函數(shù)體語句說明：(1)關(guān)于函數(shù)文件名: 函數(shù)文件名與函數(shù)名也可以不相同。當(dāng)兩者不同時(shí)，MATLAB將忽略函數(shù)名而確認(rèn)函數(shù)文件名，因此調(diào)用時(shí)

3、使用函數(shù)文件名。(2)關(guān)于注釋說明部分。 注釋說明包括三部分內(nèi)容：緊隨函數(shù)文件引導(dǎo)行之后以%開頭的第一注釋行。第一注釋行及之后連續(xù)的注釋行。與在線幫助文本相隔一空行的注釋行。 (3)關(guān)于return語句。 執(zhí)行到該語句就結(jié)束函數(shù)的執(zhí)行，程序流程轉(zhuǎn)至調(diào)用該函數(shù)的位置。通常，在函數(shù)文件中也可不使用return語句，這時(shí)在被調(diào)函數(shù)執(zhí)行完成后自動(dòng)返回。8顯示圖形1、%plot函數(shù)繪制結(jié)果t= 0:pi/100:2*pi; %定義數(shù)據(jù)點(diǎn)y = sin(t);plot(t,y) %顯示圖形grid on %顯示網(wǎng)格xlabel('t'); %顯示x軸的變量ylabel('sin(t

4、)'); %顯示y軸的變量2、%plot函數(shù)中x-y副的使用t = 0:pi/100:2*pi;y = sin(t);plot(t,y)grid ony2 = sin(t-0.25);y3 = sin(t-0.5);plot(t,y,t,y2,t,y3)實(shí)驗(yàn)一：計(jì)算離散信源的熵一、實(shí)驗(yàn)設(shè)備:1、計(jì)算機(jī)2、軟件：Matlab二、實(shí)驗(yàn)?zāi)康? 1、熟悉離散信源的特點(diǎn)； 2、學(xué)習(xí)仿真離散信源的方法 3、學(xué)習(xí)離散信源平均信息量的計(jì)算方法 4、熟悉 Matlab 編程；三、實(shí)驗(yàn)內(nèi)容: 1、寫出計(jì)算自信息量的Matlab 程序 2、寫出計(jì)算離散信源平均信息量的Matlab 程序。 3、掌握二元離散信

5、源的最大信息量與概率的關(guān)系。 4、將程序在計(jì)算機(jī)上仿真實(shí)現(xiàn)，驗(yàn)證程序的正確性并完成習(xí)題。四、實(shí)驗(yàn)報(bào)告要求簡要總結(jié)離散信源的特點(diǎn)及離散信源平均信息量的計(jì)算,寫出習(xí)題的MATLAB實(shí)現(xiàn)語句。信息論基礎(chǔ)：自信息的計(jì)算公式 Matlab實(shí)現(xiàn)：I=log2(1/p) 或I=-log2(p)熵（平均自信息）的計(jì)算公式 Matlab實(shí)現(xiàn)：HX=sum(-x.*log2(x)；或者h(yuǎn)=h-x(i)*log2(x(i);習(xí)題：1. 甲地天氣預(yù)報(bào)構(gòu)成的信源空間為：乙地信源空間為：求此兩個(gè)信源的熵。求各種天氣的自信息量。案：2、 某信息源的符號集由A、B、C、D、E組成，設(shè)每一符號獨(dú)立出現(xiàn)，其出現(xiàn)的概率分別為，1/

6、4，1/8，1/8，3/16，5/16，試求該信源符號的平均信息量。（答案：H(X) = 2.2272bit/符號）3、設(shè)有四個(gè)消息分別以概率1/4，1/8，1/8，1/2傳送，每一消息的出現(xiàn)是相互獨(dú)立的。試計(jì)算其平均信息量。（答案：H(X) =1.75bit/符號）4. 設(shè)一個(gè)二元信源（只有0和1兩種符號）其概率空間為：編程畫出H與p的關(guān)系，并說明當(dāng)P呈什么分布時(shí)，平均信息量達(dá)到最大值。（說明：H=-p.*log2(p)-(1-p).log2(1-p);）實(shí)驗(yàn)二：驗(yàn)證熵的可加性與強(qiáng)可加性1. 【例2.6】有一離散無記憶信源驗(yàn)證二次擴(kuò)展信源的熵等于離散信源的熵的2倍，即答案：2. 驗(yàn)證兩個(gè)統(tǒng)計(jì)

7、獨(dú)立的信源，驗(yàn)證：其中： 3、條件熵的計(jì)算與熵的強(qiáng)可加性驗(yàn)證離散二維平穩(wěn)信源，滿足：某一離散二維平穩(wěn)信源其聯(lián)合概率分布為：XjX2012012編程計(jì)算：1) 聯(lián)合熵2) 條件熵 3) 驗(yàn)證：答案： %聯(lián)合熵的計(jì)算HXY=0;for i=1:size(b,1)for j=1:size(b,2)if b(i,j)>0HXY=HXY-b(i,j).*log2(b(i,j); end endendHXY實(shí)驗(yàn)三：離散信道的平均互信息的計(jì)算1. 【習(xí)題3.1】設(shè)信源通過一干擾信道，接收到符號為，其信道矩陣為：1) 求信源X中事件和分別含有的自信息；2) 收到消息后，獲得的關(guān)于的信息量；3) 求信源X

8、和輸出變量Y的信息熵；4) 信道疑義度和噪聲熵；5) 接收到消息Y后獲得的平均互信息；答案：2. 二元信道的互信息與信源分布的關(guān)系有二元信源：有二元信道，其傳遞矩陣為：， 其中，即傳遞矩陣 編程實(shí)現(xiàn)下面題目：1) 畫出平均互信息隨信源分布的關(guān)系曲線，并求出最大平均互信息。驗(yàn)證：信道容量C（最大平均互信息）滿足：2）驗(yàn)證：信道容量C（最大平均互信息）滿足：實(shí)驗(yàn)四：離散信道及其信道容量一、實(shí)驗(yàn)設(shè)備:1、計(jì)算機(jī)2、軟件：Matlab二、實(shí)驗(yàn)?zāi)康? 1、了解信道傳輸概率的狀態(tài)圖和信道轉(zhuǎn)移概率矩陣特點(diǎn)； 2、了解什么是信道容量和最佳輸入概率分布； 3、列出計(jì)算信道容量和平均互信息的計(jì)算步驟； 4、熟悉

9、Matlab 編程；三、實(shí)驗(yàn)內(nèi)容: 1、寫出幾種特殊離散信道的信道容量計(jì)算的 Matlab 程序。 2、將程序在計(jì)算機(jī)上仿真實(shí)現(xiàn)，驗(yàn)證程序的正確性。 3、完成習(xí)題四、實(shí)驗(yàn)報(bào)告要求 簡要總結(jié)離散信道的特點(diǎn)及信道容量的計(jì)算，并寫出具體仿真步驟。習(xí)題：計(jì)算下面幾類信道的信道容量C：1 無損信道 答案：c=1.5852 無噪有損信道 答案：c=13 對稱離散信道【例3.6】 答案：c=0.08174 一般信道，其信道矩陣為：求1）其信道容量，2）最佳輸入分布答案：4. beta = -1.9732 -1.1610 -0.8927pb = 0.2053 0.3605 0.4342pa = 0.1702

10、0.3955 0.4343解：一般信道信道容量計(jì)算步驟：（1）（2）（3）（4）實(shí)驗(yàn)五：連續(xù)信源的差熵與波形信道的信道容量一、實(shí)驗(yàn)設(shè)備:1、計(jì)算機(jī)2、軟件：Matlab二、實(shí)驗(yàn)?zāi)康? 1、熟悉連續(xù)信源的特點(diǎn)； 2、學(xué)習(xí)仿真連續(xù)信源的方法 3、學(xué)習(xí)連續(xù)信源平均信息量的計(jì)算方法 4、熟悉 Matlab 編程；三、實(shí)驗(yàn)內(nèi)容: 1、寫出計(jì)算連續(xù)信源平均信息量的Matlab 程序。 2、將程序在計(jì)算機(jī)上仿真實(shí)現(xiàn)，驗(yàn)證程序的正確性。3、完成習(xí)題并寫出具體實(shí)現(xiàn)步驟。四、實(shí)驗(yàn)報(bào)告要求簡要總結(jié)連續(xù)信源的特點(diǎn)及連續(xù)信源平均信息量的計(jì)算。知識點(diǎn)：Matlab符號運(yùn)算1、定義符號： syms x 定義表達(dá)式里面的變量

11、2、定義函數(shù)：p=1/sqrt(2*pi*u2)*exp(-(x-m)2/(2*u2);3、積分： int(f, x, -inf, inf); 求表達(dá)式f的對符號變量x的在負(fù)無窮到正無窮范圍內(nèi)定積分int(f,v,a,b) 求表達(dá)式f的對符號變量v的在(a,b)范圍內(nèi)定積分例題：求syms xf=(x2+1)/(x2-2*x+2)2;I=int(f)4、符號運(yùn)算中的運(yùn)算符（1）基本運(yùn)算符u 符號矩陣：“+”，“-”，“*”，“”，“/”，“” “ ”u 符號數(shù)組：“.*”，“./”，“.”，“.”分別實(shí)現(xiàn)符號數(shù)組的乘、除、求冪，即數(shù)組間元素與元素的運(yùn)算。u 沒有l(wèi)og2和log10，其余與數(shù)值

12、運(yùn)算相同（2）關(guān)系運(yùn)算符u 運(yùn)算符“=”，“=”。5、連續(xù)信源的差熵與波形信道的信道容量：練習(xí)：一、計(jì)算下面幾類信源的差熵：1 均勻分布連續(xù)信源其中syms x,a=4;b=8;p=1/(b-a);f=p*(log (p)/log(2); hx=-int(f,x,a,b);hx=double(hx);hx 2高斯信源 其中3指數(shù)分布信源【習(xí)題4.2】其中4拉普拉斯概率分布信源【習(xí)題4.2】其中解答： 均勻分布信源的差熵為：高斯分布信源的差熵為：指數(shù)分布信源的差熵為：拉普拉斯分布信源的差熵為：二、波形信道的信道容量實(shí)驗(yàn)?zāi)康模赫莆障戕r(nóng)公式，即信息傳輸率、帶寬、信噪比的關(guān)系【習(xí)題 4.18】設(shè)在平均

13、功率受限高斯加性波形信道中，信道帶寬為3kHz, 又設(shè)(信號功率+噪聲功率)/噪聲功率=10dB。（即，其中是以10為底的對數(shù)）。1) 試計(jì)算該信道傳送的最大信息率（單位時(shí)間）；2) 若信噪比降為5dB，要達(dá)到相同的最大信息傳輸率，信道帶寬應(yīng)是多少？答案：1. 最大信息傳輸率2. 帶寬應(yīng)為： W = 4.8439e+003 實(shí)驗(yàn)六：無失真信源編碼與保真度準(zhǔn)則下的信源編碼一、實(shí)驗(yàn)設(shè)備:1、計(jì)算機(jī)2、軟件：Matlab二、實(shí)驗(yàn)?zāi)康? 1、理解無失真信源編碼與保真度準(zhǔn)則下的信源編碼的物理意義； 2、理解無失真信源編碼與保真度準(zhǔn)則下的信源編碼的區(qū)別； 3、熟悉 Matlab 編程；三、實(shí)驗(yàn)內(nèi)容: 1、

14、學(xué)習(xí)應(yīng)用信源編碼定理解決實(shí)際問題。 2、將程序在計(jì)算機(jī)上仿真實(shí)現(xiàn)，驗(yàn)證程序的正確性。3、完成習(xí)題并寫出具體實(shí)現(xiàn)步驟。四、實(shí)驗(yàn)報(bào)告要求寫出習(xí)題實(shí)現(xiàn)的具體步驟。習(xí)題：1、（習(xí)題5.4）若有一信源，每秒鐘發(fā)出2.66個(gè)信源符號。將此信源的輸出符號送入某一個(gè)二元信道中進(jìn)行傳輸（假設(shè)信道是無噪無損的），而信道每秒鐘只傳遞兩個(gè)二元符號。試問信源不通過編碼能否直接與信道連接？若通過適當(dāng)編碼能否在此信道中進(jìn)行無失真?zhèn)鬏敚咳裟苓B接，試說明如何編碼并說明原因。2、（習(xí)題7.1）一個(gè)四元對稱信源,接收符號為，其失真矩陣為，求和。 實(shí)驗(yàn)七：有噪信道編碼定理一、實(shí)驗(yàn)設(shè)備:1、計(jì)算機(jī)2、軟件：Matlab二、實(shí)驗(yàn)?zāi)康?

15、1、理解有噪信道編碼定理的物理意義； 2、熟悉 Matlab 編程；三、實(shí)驗(yàn)內(nèi)容: 1、學(xué)習(xí)應(yīng)用有噪信道編碼定理解決實(shí)際問題。 2、將程序在計(jì)算機(jī)上仿真實(shí)現(xiàn)，驗(yàn)證程序的正確性。3、完成習(xí)題并寫出具體實(shí)現(xiàn)步驟。四、實(shí)驗(yàn)報(bào)告要求寫出習(xí)題實(shí)現(xiàn)的具體步驟。習(xí)題：1、（習(xí)題6.1）設(shè)有一離散信道，其信道傳遞矩陣為：，并設(shè)試分別按最小錯(cuò)誤概率準(zhǔn)則與最大似然譯碼準(zhǔn)則確定譯碼規(guī)則，并計(jì)算相應(yīng)的平均錯(cuò)誤概率。實(shí)驗(yàn)八、九：無失真的信源編碼（Huffman 、香農(nóng)-費(fèi)諾-埃利斯編碼編碼）一、實(shí)驗(yàn)設(shè)備:1、計(jì)算機(jī)2、軟件：Matlab二、實(shí)驗(yàn)?zāi)康?1、掌握無失真的信源編碼的基本原理；2、熟練掌握Huffman以及香農(nóng)

16、-費(fèi)諾-埃利斯編碼的方法步驟；三、實(shí)驗(yàn)內(nèi)容:1、根據(jù) Huffman 編碼的方法步驟，用 Matlab 編寫二元 Huffman 編碼的程序；2、用習(xí)題 1 驗(yàn)證程序的正確性。3、編寫程序?qū)崿F(xiàn)香農(nóng)-費(fèi)諾-埃利斯編碼，并完成習(xí)題。四、實(shí)驗(yàn)報(bào)告要求1、分析給出的二元 Huffman編碼的 Matlab 源程序的局限性，考慮如何改進(jìn)。2、寫出習(xí)題實(shí)現(xiàn)具體步驟。源程序：function h,l=huffman(p) if length(find(p<0)=0, error('Not a prob.vector,negative component(s)')endif abs (s

17、um(p)-1)>10e-10, error('Not a prob.vector,components do not add up to 1')endn=length(p); q=p; m=zeros(n-1,n); for i=1:n-1 q,l=sort(q); m(i,:)=l(1:n-i+1),zeros(1,i-1); q=q(1)+q(2),q(3:n),1; end for i=1:n-1 c(i,:)=blanks(n*n); end c(n-1,n)='0' c(n-1,2*n)='1' for i=2:n-1 c(n-

18、i,1:n-1)=c(n-i+1,n*(find(m(n-i+1,:)=1). -(n-2):n*(find(m(n-i+1,:)=1); c(n-i,n)='0' c(n-i,n+1:2*n-1)=c(n-i,1:n-1); c(n-i,2*n)='1' for j=1:i-1 c(n-i,(j+1)*n+1:(j+2)*n)=c(n-i+1,. n*(find(m(n-i+1,:)=j+1)-1)+1:n*find(m(n-i+1,:)=j+1); end end for i=1:n h(i,1:n)=c(1,n*(find(m(1,:)=i)-1)+1:f

19、ind(m(1,:)=i)*n); l1(i)=length(find(abs(h(i,:)=32); end l=sum(p.*l1); 習(xí)題：1、某一離散信源概率分布：p=1/2,1/4,1/8,1/16,1/16 求信源的熵，并對該信源進(jìn)行二元哈夫曼編碼，得到碼字和平均碼長以及編碼效率。2、設(shè)一離散無記憶信源，對其進(jìn)行香農(nóng)-費(fèi)諾-埃利斯編碼，并求平均碼長及編碼效率。答案： 香農(nóng)-費(fèi)諾-埃利斯編碼步驟：1）2）3）%求碼字，編碼過程實(shí)驗(yàn)十 信道的糾錯(cuò)編碼（線性分組碼）一、實(shí)驗(yàn)設(shè)備:1、計(jì)算機(jī)2、軟件：Matlab二、實(shí)驗(yàn)?zāi)康? 通過線性分組碼的實(shí)驗(yàn)，進(jìn)一步加深對線性分組碼編碼理論的理解。三

20、、實(shí)驗(yàn)內(nèi)容: 1、對線性分組碼編碼規(guī)則進(jìn)行驗(yàn)證。 2、對譯碼數(shù)據(jù)輸出進(jìn)行驗(yàn)證。 四、實(shí)驗(yàn)報(bào)告要求 1、完成例題，并寫出具體實(shí)現(xiàn)步驟。 2、分析整理實(shí)驗(yàn)數(shù)據(jù)。例題：已知（7，3）碼的生成矩陣為G=1 0 0 1 1 1 0；0 1 0 0 1 1 1；0 0 1 1 1 0 1，列出所有許用碼組，并求監(jiān)督矩陣，檢驗(yàn)該碼的糾錯(cuò)能力。源程序：% 線性分組碼編碼器及譯碼器 % 可實(shí)現(xiàn)循環(huán)碼編譯 % Purpose: % Liner encoding and decoding function linearcoding % Define variables: % G 生成矩陣 % u 編碼輸出 % in

21、put_nk 輸入序列 % input_C 糾錯(cuò)輸出碼序列 % R 信道輸出碼 % H 校驗(yàn)矩陣 % e 差錯(cuò)圖案 % s 伴隨式 %信道編碼 input_nk=input('enter the symbol:'); % input_nk 輸入序列（輸入信息位） G=input('input G:'); % G 生成矩陣 c,d=size(G); %求矩陣的行、列數(shù)O=G(:,1:c); Q=inv(O); %生成o的逆矩陣G=Q*G; G=abs(rem(G,2); % abs函數(shù)可以求實(shí)數(shù)的絕對值P=G(:,c+1:d); a=d; b=c; if(rem(

22、length(input_nk),b)=0) input_nk=input_nk,zeros(1,b-rem(length(input_nk),b); end n=length(input_nk)/b; u=zeros(1,n); j=1; for i=1:b:n*b for p=1:1:a sum=0; for q=1:1:b sum=input_nk(1,q+i-1)*G(q,p)+sum; end u(j)=rem(sum,2); j=j+1; end end %信道糾錯(cuò)譯碼 R=input('input R:'); % R 信道輸出碼 即接收碼字 H=P',eye(a-b) ;F=