1、語(yǔ)音信號(hào)處理 實(shí)驗(yàn)報(bào)告實(shí)驗(yàn)三 基于 MATLAB 分析語(yǔ)音信號(hào)頻域特征所在院系： 工學(xué)院專(zhuān) 業(yè): 電子信息工程班 級(jí)： 電信112姓 名： 學(xué) 號(hào)： 指導(dǎo)教師： 湯永清 2014年05月06日實(shí)驗(yàn)三 基于 MATLAB 分析語(yǔ)音信號(hào)頻域特征一、 實(shí)驗(yàn)?zāi)康男盘?hào)的傅立葉表示在信號(hào)的分析與處理中起著重要的作用。因?yàn)閷?duì)于線性系統(tǒng)來(lái)說(shuō)，可以很方便地確定其對(duì)正弦或復(fù)指數(shù)和的響應(yīng)，所以傅立葉分析方法能完善地解決許多信號(hào)分 析和處理問(wèn)題。另外，傅立葉表示使信號(hào)的某些特性變得更明顯，因此，它能更深入地說(shuō)明 信號(hào)的各項(xiàng)紅物理現(xiàn)象。由于語(yǔ)音信號(hào)是隨著時(shí)間變化的，通常認(rèn)為，語(yǔ)音是一個(gè)受準(zhǔn)周期脈沖或隨機(jī)噪聲源激 勵(lì)的線

2、性系統(tǒng)的輸出。輸出頻譜是聲道系統(tǒng)頻率響應(yīng)與激勵(lì)源頻譜的乘積。聲道系統(tǒng)的頻率 響應(yīng)及激勵(lì)源都是隨時(shí)間變化的，因此一般標(biāo)準(zhǔn)的傅立葉表示雖然適用于周期及平穩(wěn)隨機(jī)信 號(hào)的表示，但不能直接用于語(yǔ)音信號(hào)。由于語(yǔ)音信號(hào)可以認(rèn)為在短時(shí)間內(nèi)，近似不變，因而 可以采用短時(shí)分析法。本實(shí)驗(yàn)要求掌握傅里葉分析原理，會(huì)利用已學(xué)的知識(shí)，編寫(xiě)程序估計(jì)短時(shí)譜、倒譜，畫(huà) 出語(yǔ)譜圖，并分析實(shí)驗(yàn)結(jié)果，在此基礎(chǔ)上，借助頻域分析方法所求得的參數(shù)分析語(yǔ)音信號(hào)的 基音周期或共振峰。二、實(shí)驗(yàn)原理 1、 短時(shí)傅立葉變換由于語(yǔ)音信號(hào)是短時(shí)平穩(wěn)的隨機(jī)信號(hào)，某一語(yǔ)音信號(hào)幀的短時(shí)傅立葉變換的定義為： 其中 w(n-m)是實(shí)窗口函數(shù)序列，n 表示某一語(yǔ)音

3、信號(hào)幀。令 n-m=k'，則得到同樣，不同的窗口函數(shù)，將得到不同的傅立葉變換式的結(jié)果。由上式可見(jiàn)，短時(shí)傅立葉變換有兩個(gè)變量：n 和 ，所以它既是時(shí)序 n 的離散函數(shù)，又是角頻率 的連續(xù)函數(shù)。與離 散傅立葉變換逼近傅立葉變換一樣，如令 =2k/N，則得離散的短時(shí)傅立葉吧如下：2、 語(yǔ)譜圖水平方向是時(shí)間軸，垂直方向是頻率軸，圖上的灰度條紋代表各個(gè)時(shí)刻的語(yǔ)音短譜。 語(yǔ)譜圖反映了語(yǔ)音信號(hào)的動(dòng)態(tài)頻率特性，在語(yǔ)音分析中具有重要的實(shí)用價(jià)值。被成為可視語(yǔ) 言。語(yǔ)譜圖的時(shí)間分辨率和頻率分辨率是由窗函數(shù)的特性決定的。時(shí)間分辨率高，可以看出 時(shí)間波形的每個(gè)周期及共振峰隨時(shí)間的變化，但頻率分辨率低，不足以分辨

4、由于激勵(lì)所形成 的細(xì)微結(jié)構(gòu)，稱(chēng)為寬帶語(yǔ)譜圖；而窄帶語(yǔ)譜圖正好與之相反。寬帶語(yǔ)譜圖可以獲得較高的時(shí)間分辨率，反映頻譜的快速時(shí)變過(guò)程；窄帶語(yǔ)譜圖可以獲 得較高的頻率分辨率，反映頻譜的精細(xì)結(jié)構(gòu)。兩者相結(jié)合，可以提供帶兩與語(yǔ)音特性相關(guān)的 信息。語(yǔ)譜圖上因其不同的灰度，形成不同的紋路，稱(chēng)之為“聲紋”。聲紋因人而異，因此可 以在司法、安全等場(chǎng)合得到應(yīng)用。3、 復(fù)倒譜和倒譜在時(shí)域上，語(yǔ)音產(chǎn)生模型實(shí)際上是一個(gè)激勵(lì)信號(hào)與聲道沖激響應(yīng)的卷積。對(duì)于濁音，激 勵(lì)信號(hào)可以由周期脈沖序列表示；對(duì)于清音，激勵(lì)信號(hào)可以由隨機(jī)噪聲序列表示。聲道系統(tǒng) 相當(dāng)于參數(shù)緩慢變化的零極點(diǎn)線性濾波器。這樣經(jīng)過(guò)同態(tài)處理后，語(yǔ)音信號(hào)的復(fù)倒譜，激

5、勵(lì) 信號(hào)的復(fù)倒譜，聲道系統(tǒng)的復(fù)倒譜之間滿足下面的關(guān)系：由于倒譜對(duì)應(yīng)于復(fù)倒譜的偶部，因此倒譜與復(fù)倒譜具有同樣的特點(diǎn)，很容易知道語(yǔ)音信號(hào)的倒譜，激勵(lì)信號(hào)的倒譜以及聲道系統(tǒng)的倒譜之間滿足下面關(guān)系：濁音信號(hào)的倒譜中存在著峰值，它的出現(xiàn)位置等于該語(yǔ)音段的基音周期，而清音的倒譜中則不存在峰值。利用這個(gè)特點(diǎn)我們可以進(jìn)行清濁音的判斷，并且可以估計(jì)濁音的基音周期。4、 基因周期估計(jì)濁音信號(hào)的倒譜中存在峰值，它的出現(xiàn)位置等于該語(yǔ)音段的基音周期，而清音的倒譜中 則不存在峰值。利用倒譜的這個(gè)特點(diǎn)，我們可以進(jìn)行語(yǔ)音的清濁音判決，并且可以估計(jì)濁音 的基音周期。首先計(jì)算語(yǔ)音的倒譜，然后在可能出現(xiàn)的基因周期附近尋找峰值。如果

6、倒譜峰 值超過(guò)了預(yù)先設(shè)置的門(mén)限，則輸入語(yǔ)音判斷為濁音，其峰值位置就是基因周期的估計(jì)值；反 之，如果沒(méi)有超出門(mén)限的峰值的話，則輸入語(yǔ)音為清音。5、 共振峰估計(jì)對(duì)倒譜進(jìn)行濾波，取出低時(shí)間部分進(jìn)行進(jìn)行逆特征系統(tǒng)處理，可以得到一個(gè)平滑的對(duì)數(shù) 譜函數(shù)，這個(gè)對(duì)數(shù)譜函數(shù)顯示了輸入語(yǔ)音段的共振峰結(jié)構(gòu)，同時(shí)譜的峰值對(duì)應(yīng)于共振峰頻率。 通過(guò)此對(duì)數(shù)譜進(jìn)行峰值檢測(cè)，就可以估計(jì)出前幾個(gè)共振峰的頻率和強(qiáng)度。對(duì)于濁音的聲道特 性，可以采用前三個(gè)共振峰來(lái)描述；清音不具備共振峰特點(diǎn)。二、 實(shí)驗(yàn)結(jié)果1 短時(shí)譜 2 語(yǔ)譜圖3 倒譜和復(fù)倒譜圖 3、4 是加矩形窗和漢明窗的倒譜圖和復(fù)倒譜圖,圖中橫軸的單位是Hz，縱軸的單位是 dB。4

7、 基因周期和共振峰估計(jì)四、參考程序clear a=wavread('beijing.wav'); subplot(2,1,1), plot(a); title('original signal'); grid N=256; h=hamming(N); for m=1:N b(m)=a(m)*h(m) end y=20*log(abs(fft(b) subplot(2,1,2) plot(y);title('¶ÌʱÆ×'); grid x,fs,nbits=wavread('be

8、ijing.wav') specgram(x,512,fs,100); xlabel('ʱ¼ä(s)'); ylabel('ƵÂÊ(Hz)'); title('ÓïÆ×ͼ');clear a=wavread('beijing.wav',4000,4350); N=300; h=linspace(1,1,N); for m=1:N b(m)=a(m)*h(m); end c=cce

9、ps(b); c=fftshift(c); d=rceps(b); d=fftshift(d); subplot(2,1,1) plot(d);title('¼Ó¾ØÐδ°Ê±µÄµ¹Æ×') subplot(2,1,2) plot(c);title('¼Ó¾ØÐδ°Ê±µÄ¸&#

10、180;µ¹Æ×') clear a=wavread('beijing.wav',4000,4350); N=300; h=hamming(N); for m=1:N b(m)=a(m)*h(m); end c=cceps(b); c=fftshift(c); d=rceps(b); d=fftshift(d); subplot(2,1,1) plot(d);title('¼ÓººÃ÷´°Ê±µÄ

11、1;¹Æ×') subplot(2,1,2) plot(c);title('¼ÓººÃ÷´°Ê±µÄ¸´µ¹Æ×') 語(yǔ)音信號(hào)處理 實(shí)驗(yàn)報(bào)告實(shí)驗(yàn)四 基于 MATLAB 的 LPC 分析所在院系： 工學(xué)院專(zhuān) 業(yè): 電子信息工程班 級(jí)： 電信112姓 名： 學(xué) 號(hào)： 指導(dǎo)教師： 湯永清 2014年05月06日實(shí)驗(yàn)四 基于 MATLAB 的 LPC 分析一、 實(shí)驗(yàn)?zāi)康木€

12、性預(yù)測(cè)分析是有效的語(yǔ)音分析技術(shù)之一，在語(yǔ)音編碼、語(yǔ)音合成、語(yǔ)音識(shí)別和說(shuō)話 人識(shí)別等語(yǔ)音處理領(lǐng)域中得到了廣泛的應(yīng)用。語(yǔ)音線性預(yù)測(cè)的基本思想是：一個(gè)語(yǔ)音信號(hào)的 抽樣值可以用過(guò)去若干個(gè)取樣值的線性組合來(lái)逼近。通過(guò)使實(shí)際語(yǔ)音抽樣值與線性預(yù)測(cè)抽樣 值的均方誤差達(dá)到小，可以確定唯一的一組線性預(yù)測(cè)系數(shù)。采用線性預(yù)測(cè)分析不僅能夠得到語(yǔ)音信號(hào)的預(yù)測(cè)波形，而且能夠提供一個(gè)非常好的聲道 模型。如果將語(yǔ)音模型看作激勵(lì)源通過(guò)一個(gè)線性時(shí)不變系統(tǒng)產(chǎn)生的輸出，那么可以利用 LP 分析對(duì)聲道參數(shù)進(jìn)行估值，以少量低信息率的時(shí)變參數(shù)精確地描述語(yǔ)音波形及其頻譜的性 質(zhì)。此外，LP 分析還能夠?qū)舱穹濉⒐β首V等語(yǔ)音參數(shù)進(jìn)行精確估計(jì)，L

13、P 分析得到的參數(shù) 可以作為語(yǔ)音識(shí)別的重要參數(shù)之一。由于語(yǔ)音是一種短時(shí)平穩(wěn)信號(hào)，因此只能利用一段語(yǔ)音來(lái)估計(jì)模型參數(shù)。此時(shí)有兩種方 案：一種是將長(zhǎng)的語(yǔ)音序列加窗，然后對(duì)加窗語(yǔ)音進(jìn)行 LP 分析，只要限定窗的長(zhǎng)度就可以 保證分析的短時(shí)性，這種方案稱(chēng)為自相關(guān)法；另一種方案不對(duì)語(yǔ)音加窗，而是在計(jì)算均方預(yù) 測(cè)誤差時(shí)限制其取和區(qū)間，這樣可以導(dǎo)出 LP 分析的自協(xié)方差法。本實(shí)驗(yàn)要求掌握 LPC 原理，會(huì)利用已學(xué)的知識(shí)，編寫(xiě)程序估計(jì)線性預(yù)測(cè)系數(shù)以及 LPC 的推演參數(shù)，并能利用所求的相關(guān)參數(shù)估計(jì)語(yǔ)音的端點(diǎn)、清濁音判斷、基因周期、共振峰等。二、 實(shí)驗(yàn)原理1 LP 分析基本原理LP 分析為線性時(shí)不變因果穩(wěn)定系統(tǒng)

14、V（z）建立一個(gè)全極點(diǎn)模型，并利用均方誤差準(zhǔn)則， 對(duì)已知的語(yǔ)音信號(hào) s(n)進(jìn)行模型參數(shù)估計(jì)。如果利用 P 個(gè)取樣值來(lái)進(jìn)行預(yù)測(cè)，則稱(chēng)為 P 階線性預(yù)測(cè)。 假設(shè)用過(guò)去 P 個(gè)取樣值顯然，誤差越接近于零，線性預(yù)測(cè)的準(zhǔn)確度在均方誤差小的意義上為佳，由此可以計(jì)算出預(yù)測(cè)系數(shù)。通過(guò) LPC 分析，由若干幀語(yǔ)音可以得到若干組 LPC 參數(shù)，每組參數(shù)形成一個(gè)描繪該幀 語(yǔ)音特征的矢量，即 LPC 特征矢量。由 LPC 特征矢量可以進(jìn)一步得到很多種派生特征矢量， 例如線性預(yù)測(cè)倒譜系數(shù)、線譜對(duì)特征、部分相關(guān)系數(shù)、對(duì)數(shù)面積比等等。不同的特征矢量具 有不同的特點(diǎn)，它們?cè)谡Z(yǔ)音編碼和識(shí)別領(lǐng)域有著不同的應(yīng)用價(jià)值。2 自相關(guān)法

15、 值得注意的是，自相關(guān)法在計(jì)算預(yù)測(cè)誤差時(shí)，數(shù)據(jù)段的兩端都需要加 P 個(gè)零取樣值，因而可造成譜估計(jì)失真。特別是在短數(shù)據(jù)段的情況下，這一現(xiàn)實(shí)更為 嚴(yán)重。另外，當(dāng)預(yù)測(cè)系數(shù)量化時(shí)，有可能造成實(shí)際系統(tǒng)的不穩(wěn)定。3 協(xié)方差法可以看出，這里的數(shù)據(jù)段兩端不需要添加零取樣值。在理論上，協(xié)方差法計(jì)算出來(lái)的預(yù)測(cè)系數(shù)有可能造成預(yù)測(cè)誤差濾波器的不穩(wěn)定，但在實(shí)際上當(dāng)每幀信號(hào)取樣足夠多時(shí)，其計(jì)算 結(jié)果將與自相關(guān)法的結(jié)果很接近，因而穩(wěn)定性一般是能夠保證的 (當(dāng)然這種方法也有量化效 應(yīng)可能引起不穩(wěn)定的缺點(diǎn))。協(xié)方差解法的大優(yōu)點(diǎn)在于不存在自相關(guān)法中兩端出現(xiàn)很大預(yù)測(cè)誤差的情況，在 N 和 P 相差不大時(shí)，其參數(shù)估值比自相關(guān)法要精確

16、的多。但是在語(yǔ)音信號(hào)處理時(shí)，往往取 N 在 200 左右。此時(shí)，自相關(guān)法具有較大誤差的段落在整個(gè)語(yǔ)音段中所占的比例很小，參數(shù)估值也是 比較準(zhǔn)確的。在這種情況下，協(xié)方差法誤差較小的優(yōu)點(diǎn)就不再突出，其缺乏高效遞推算法的 缺點(diǎn)成為了制約因素。所以，在語(yǔ)音信號(hào)處理中往往使用高效的自相關(guān)法。4 全極點(diǎn)聲道模型 將線性預(yù)測(cè)分析應(yīng)用于語(yǔ)音信號(hào)處理，不僅是為了利用其預(yù)測(cè)功能，更因?yàn)樗峁┝艘?個(gè)非常好的聲道模型。將式(2)所示的方程看成是濾波器在語(yǔ)音信號(hào)激勵(lì)下的輸入輸出方程，則該濾波器稱(chēng)為 預(yù)測(cè)誤差濾波器，其 e(n)是輸出誤差。變換到 z 域，P 階預(yù)測(cè)誤差濾波器的系統(tǒng)函數(shù)為因?yàn)轭A(yù)測(cè)誤差含有語(yǔ)音信號(hào)的基音信

17、息，所以對(duì)于濁音，模型的激勵(lì)信號(hào)源是以基音周 期重復(fù)的單位脈沖；對(duì)于清音，激勵(lì)信號(hào)源 e(n)是自噪聲。語(yǔ)音信號(hào)的全極點(diǎn)模型是一種很 重要的聲道模型，是許多應(yīng)用和研究的基礎(chǔ)。6 結(jié)合語(yǔ)音幀能量構(gòu)成LPC組合參數(shù) 由于人能從聲音的音色、頻高等各種信息中感知說(shuō)話人的個(gè)性，因此可以想象，利用特 征的有效組合可以得到比較穩(wěn)定的識(shí)別性能。一般來(lái)說(shuō)，如果組合的各參量之間相關(guān)性不大， 則會(huì)更有效一些，因?yàn)樗鼈兎謩e反映了語(yǔ)音信號(hào)中的不同特征。多年來(lái)，人們對(duì)組合參數(shù)在 說(shuō)話人識(shí)別中的應(yīng)用進(jìn)行了大量研究 。實(shí)驗(yàn)證明，組合參數(shù)可以提高系統(tǒng)的識(shí)別性能。組合參數(shù)雖然可以提高系統(tǒng)的性能，但很顯然，無(wú)論是在特征參數(shù)提取環(huán)節(jié)

18、，還是在模型訓(xùn)練和模型匹配環(huán)節(jié)都使運(yùn)算量有所增加。在特征參數(shù)提取環(huán)節(jié)，要計(jì)算一種以上的特征 參數(shù)。在模型訓(xùn)練和模型匹配環(huán)節(jié)，由于組合參數(shù)特征矢量的維數(shù)較多，使運(yùn)算復(fù)雜度有所 增加。運(yùn)算量的增加會(huì)使系統(tǒng)的識(shí)別速度受到影響。語(yǔ)音幀能量是指一幀語(yǔ)音信號(hào)的能量，它等于該幀語(yǔ)音樣值的平方和。選取與語(yǔ)音幀能量構(gòu)成組合參數(shù)主要有以下考慮：1）語(yǔ)音幀能量是語(yǔ)音信號(hào)基本的短時(shí)參數(shù)之一，它表 幀能量是一個(gè)標(biāo)量值，與其它參量構(gòu)成組合參數(shù)不會(huì)使原特征矢量的維數(shù)明顯增加，特征矢 征一幀語(yǔ)音信號(hào)能量的大小，是語(yǔ)音信號(hào)一個(gè)重要的時(shí)域特征；2）由一幀語(yǔ)音求出的語(yǔ)音量的維數(shù)越少，則需要的運(yùn)算復(fù)雜度越小，另外，獲取語(yǔ)音幀能量的運(yùn)

19、算并不復(fù)雜；3）語(yǔ)音幀能量與 LPC 參數(shù)之間的相關(guān)性不大，它們反映的是語(yǔ)音信號(hào)的不同特征，應(yīng)該有較好的效果。7 模型增益G三、 實(shí)驗(yàn)結(jié)果(參考)我們使用的原始語(yǔ)音為“北風(fēng)”，采樣頻率為 11000Hz,運(yùn)行程序見(jiàn)附錄。在這里我們?nèi)〉?30 幀進(jìn)行觀察，線性預(yù)測(cè)階數(shù)為 12，看到圖 3.1 所示的原始語(yǔ)音幀的 波形，預(yù)測(cè)語(yǔ)音幀波形和它們之間預(yù)測(cè)誤差的波形。圖 3.2 為原始語(yǔ)音幀和預(yù)測(cè)語(yǔ)音幀的短 時(shí)譜和 LPC 譜的波形這里我們可以改變線性誤差的階數(shù)來(lái)觀察語(yǔ)音幀的短時(shí)譜和LP譜的變化情況，如圖3.3。圖3.3 預(yù)測(cè)階數(shù)對(duì)語(yǔ)音幀短時(shí)譜和LPC譜的影響圖 3.5 給出了原始語(yǔ)音的語(yǔ)譜圖和預(yù)測(cè)語(yǔ)音的

20、語(yǔ)譜圖，通過(guò)比較發(fā)現(xiàn)，預(yù)測(cè)語(yǔ)音的預(yù)測(cè) 效果還可以，基音頻率相差無(wú)幾。 三、附錄（LPC 分析參考程序）MusicSource = wavread('beijing.wav'); Music_source = MusicSource' N = 256; Hamm = hamming(N); frame = input('請(qǐng)鍵入想要處理的幀位置 = '); origin = Music_source(frame - 1) * (N / 2) + 1):(frame - 1) * (N / 2) + N); Frame = origin .* Hamm'

21、; s1,f1,t1 = specgram(MusicSource,N,N/2,N); Xs1,Ys1 = size(s1); for i = 1:Xs1 FTframe1(i) = s1(i,frame); end N1 = input('請(qǐng)鍵入預(yù)測(cè)器階數(shù) = '); coef,gain = lpc(Frame,N1); est_Frame = filter(0 -coef(2:end),1,Frame); FFT_est = fft(est_Frame); err = Frame - est_Frame; subplot(2,1,1),plot(1:N,Frame,1:N,

22、est_Frame,'-r');grid;title('原始語(yǔ)音幀vs.預(yù)測(cè)后語(yǔ)音幀') subplot(2,1,2),plot(err);grid;title('誤差'); pause fLength(1 : 2 * N) = origin,zeros(1,N); Xm = fft(fLength,2 * N); X = Xm .* conj(Xm); Y = fft(X , 2 * N); Rk = Y(1 : N); PART = sum(coef(2 : N1 + 1) .* Rk(1 : N1); G = sqrt(sum(Frame.2) - PART); A = (FTframe1 - FFT_est(1 : length(f1') ./ FTframe1 ;subplot(2,1,1),plot(f1',20*log(abs(FTframe1),f