1、主講教師主講教師: 何松華何松華 教授教授聯系方式聯系方式:(0731) 82687718 現代數字信號處理/自適應濾波第五章第五章 自適應濾波器自適應濾波器教學內容教學內容最小均方自適應橫向型濾波器最小均方自適應橫向型濾波器(LMS) 正則方程、梯度法、正則方程、梯度法、LMS算法算法遞歸最小二乘自適應濾波器遞歸最小二乘自適應濾波器(RLS) 原理、迭代算法原理、迭代算法自適應濾波器應用自適應濾波器應用 自適應對消器自適應對消器 前言前言一一、自適應濾波器的提出自適應濾波器的提出Weiner濾波器：輸入濾波器：輸入x(n)，期望輸出，期望輸出yd(n) 輸入輸入期望

2、輸出信號是廣義平穩的；輸入期望輸出信號是廣義平穩的；輸入期望輸出信號的期望輸出信號的相關及互相關特性是已知的。相關及互相關特性是已知的。自適應濾波器自適應濾波器( 兩層兩層)的含義：的含義： 輸入信號統計特性是未知的或知道甚少，或者其統計特性是時輸入信號統計特性是未知的或知道甚少，或者其統計特性是時變的，變的，自動適應輸入信號的統計特性自動適應輸入信號的統計特性,能夠根據輸入信號統計特性能夠根據輸入信號統計特性的變化自動調整其結構參數的變化自動調整其結構參數，以滿足某種最佳準則的要求。，以滿足某種最佳準則的要求。 ( )( )( )Doptz F zHzG z( )( )( )optF zHz

3、G z( )( )( )optF zHzG z平滑濾波D步預測1( )( )()xydRzF zG z1( )( ) ()xR zG z G z前言前言二、二、自適應濾波器的組成自適應濾波器的組成參數可調數字濾波器自適應算法x(n)d(n)y(n)e(n)_+濾波結構濾波結構 IIR、FIR、橫截型、格型、橫截型、格型 自適應算法自適應算法 LMS、RLS實際輸出期望輸出前言前言三、自適應濾波器的典型應用三、自適應濾波器的典型應用自適應系統建模自適應系統建模 回波抵消模型、控制模型、信道模型回波抵消模型、控制模型、信道模型自適應逆濾波自適應逆濾波 自適應均衡、盲解卷積自適應均衡、盲解卷積自適應

4、信號預測自適應信號預測 自適應預測編碼、變化檢測自適應預測編碼、變化檢測多傳感器干擾抵消多傳感器干擾抵消 陣列信號處理陣列信號處理(角分辨角分辨)與自適應波束形成與自適應波束形成始終保證誤差信號的方差或動態范圍為最小,降低編碼比特數移動通信:信道模型空間位置的變化而變化干擾信號的方向是未知的變化的電視現場直播信號前言前言四、自適應濾波器的典型應用舉例四、自適應濾波器的典型應用舉例通信中的回波抵消通信中的回波抵消 (電話交換機電話交換機)由于阻抗不匹配造成能量泄漏前言前言濾波器的參數自動適應C-混合器B-D的回波路徑僅剩B的話音,回音被對消前言前言自適應預測誤差編碼1( )()Niix na x

5、 ni 第一節第一節 LMS自適應濾波器自適應濾波器Widrow B，Hoff M E Jr. Adaptive switching circuits. 1960線性線性(L)最小均方誤差最小均方誤差(MS)濾波器、最陡下降法濾波器、最陡下降法一、一、最佳濾波器的正則方程最佳濾波器的正則方程d(n)自適應算法x(n)y(n)+_e(n)z-1z-1z-1w1(n)w1(n)wM (n)濾波器的參數 不再是常數,而是與n有關的變量iw第一節第一節 LMS自適應濾波器自適應濾波器 為平穩信號情況下的線性為平穩信號情況下的線性FIR濾波濾波10( )( ) ()Miy nh i x ni最優濾波器的

6、參數最優濾波器的參數 與時間與時間n無關無關 ( )|0,1,.,1h iiM( )x n 為非平穩信號情況下的線性為非平穩信號情況下的線性FIR濾波濾波10( )( , ) ()Miy nh n i x ni最優濾波器的參數最優濾波器的參數 與時間與時間n有關有關 ( , )|0,1,.,1h n iiM( )x n記( )( ,1)iw nh n i(1,2,.,)iMM-1階線性濾波器第一節第一節 LMS自適應濾波器自適應濾波器1( )( )( )( )( ) (1)Miie nd ny nd nw n x ni 定義：定義：12( )( )( )( )TMnw nw nwnW( ) (

7、 )(1)(1)Tnx nx nx nMX( )( )( )( )( )( )( )TTe nd nnnd nnnWXXW均方誤差性能函數均方誤差性能函數2()( )( )fE e nnW則：則：1( )( ) (1)Miiy nw n x ni 對于非平穩過程,數學期望不再是常數矢量函數的含義?第一節第一節 LMS自適應濾波器自適應濾波器2()( )( )( )TfEd nnnWXW2( )2( )( )( )TE dnE d nnnXW( )( )( )( )TTEnnnnWXXW定義：定義： ( )( )E d nnPX( )( )TxEnnRXX 矢量 標量W()f W行矢量 矩陣 列

8、矢量 =標量(列矢量,互相關矢量)自相關矩陣(列矢量行矢量)第一節第一節 LMS自適應濾波器自適應濾波器222( ) ( ) (1) ( ) (1) (1) ( )(1) (1) (1) (1) ( ) (1) (1)(1)xE x nE x n x nE x n x nME x nx nE x nE x nx nME x nMx nE x nMx nE x nMR2( )( )2( )( )( )TTxnE dnnnnP WWR WxoptR WP1optxWR P22minmin( )( )ToptE e nE dnP W ( ) ( ), ( ) (1),., ( ) (1)TE d n

9、 x nE d n x nE d n x nMP( )22( )0( )xnnn PR WW標量對矢量的導數為矢量根據矩陣論中的二次型求導原理，當TxxR = R則：則：第一節第一節 LMS自適應濾波器自適應濾波器平穩平穩Rx , P 已知情況下正則方程的求解已知情況下正則方程的求解1optxWR PxR滿秩滿秩直接矩陣求逆算法直接矩陣求逆算法最陡下降法最陡下降法(牛頓梯度法牛頓梯度法)LevinsonDurbin算法算法LMS算法、算法、RLS算法算法運算量大，且在非平穩情況下對每個運算量大，且在非平穩情況下對每個n都要求逆都要求逆格形自適應濾波器格形自適應濾波器LMS算法的基礎,同樣可以避

10、免矩陣求逆運算Rx , P 未知情況下以及非平穩正則方程的求解未知情況下以及非平穩正則方程的求解二、梯度法二、梯度法(Gradient-Method) 最陡下降法最陡下降法(The method of Steepest Descent)第一節第一節 LMS自適應濾波器自適應濾波器1 算法算法 (牛頓梯度法牛頓梯度法) (一維情況一維情況)optW1W2W2( )( )nE e n( )W nmin( )( )0( )EnnW n(1)( )( )W nW nn ( )0( )EnW n(1)( )( )W nW nn LMS算法的基礎，必須先進行介紹W(n)=W1 時W(n)=W2 時向左搜索

11、向右搜索第一節第一節 LMS自適應濾波器自適應濾波器( )(1)( ) ( )( )( )nnnnnnWWWW梯度梯度 的極性約束方向，的極性約束方向， 控制步長控制步長收斂速度收斂速度精度。精度。 ( )n22212( )( )( )( )( ),( )( )( )( )ME e nE e nE e nnnnw nw nwnW1optxW(n)WRP22( )n xPR W當當算法收斂算法收斂(1)( )nnWW(1)( )2 ( )0,1,2nnnnxWWPR W統計特性P、Rx已知的情況下,一旦給定初始權值W(0),則收斂路徑確定見前面的推導第一節第一節 LMS自適應濾波器自適應濾波器2

12、. W的的收斂條件收斂條件自相關矩陣Rx的本征分解理論120.00.0.000 xMR QQQTTxQ RQ 11()TTTxRQQQ QQ Q由Rx的特征根構成的對角矩陣由Rx的特征向量構成的矩陣根據特征向量矩陣的正交性QTQ=I本征分解對推導分析的好處:轉化為對角矩陣運算處理一定能收斂到最優解嗎?上式兩邊取轉置并利用性質1TxRQ QQ Q證:第一節第一節 LMS自適應濾波器自適應濾波器2. W的的收斂條件收斂條件(1)( )2 ( )nnnoptoptxxoptWWWWR WR W定義誤差矢量定義誤差矢量 (1)(1)nnoptVWW(1)( )2( )2 ( )nnnnxxVVR VI

13、R VT-1xRQQQQ12(,)Mdiag xR非負定、對稱，存在正交矩陣非負定、對稱，存在正交矩陣 ，即，即 (1)2( )nn-1VQ I Q V非負定的含義：根據矩陣理論，自相關矩陣是非負定的0m-1TQQQ滿足滿足 (1)( )2 ( )nnnxWWPR W根據1optxWRP則有則有: 則則: 第一節第一節 LMS自適應濾波器自適應濾波器定義定義 ( )( )( )nnn-1TVQ VQ V11(1)(1)(2)(0)nnQnVVIV(0)(0)ToptVQ WW(0)(0)optVWW1(1)2(0)VQ I Q V121(2)2(1)2(0)VQ I Q VQ I Q V11(

14、1)2(0)nnVQ IQ V則則 Q的正交性對角矩陣第一節第一節 LMS自適應濾波器自適應濾波器11112(12),(12)nnnMIdiag|12| 11,2,kkMmax10lim(2)0nnIlim( )lim( )0nnV nQV nlim( )optnnWW或或 時，時， 當當 滿足條件滿足條件 1(1)(12)(0)nkkkv nvmax12maxM 的第k個元素(1)nV 的第k個元素(0)Vlim( )0knvnlim( )0nV n第一節第一節 LMS自適應濾波器自適應濾波器( )(12)(0)1nkkkv nvkM( )( )optW nWV n,1( )(0)(12)M

15、nkkoptk iiiiw nwq v,1(0)1inMkoptk iiiwq vekM( )optWQV n共M個指數過程，收斂取決于最慢的指數過程(i最小的)1ln(1 2)ii指數收斂因子收斂路徑分析第一節第一節 LMS自適應濾波器自適應濾波器3. 均方誤差序列的收斂性以及收斂精度均方誤差序列的收斂性以及收斂精度2( )( )2( )( )( )nE dnnnnTTxP WWR Wmin2( )( )( )nnnTTToptxP WP WWR Wmin( )( )TnnoptxoptWWRWW2( )( )2( )( )( )nE dnnnnTTxP WWR WxoptR WP22min

16、min( )( )E e nE dnToptP Wmin2( )( )( )nnnTTToptxoptoptxxWR WWR WWR W第一節第一節 LMS自適應濾波器自適應濾波器min( )( )( )nnnTxVR Vmin( )( )nnTTVQQ Vmin( )( )TV n V nmin(0)(2)(2)(0)TnnVIIV2min(0)(2)(0)TnVIV22min1(12)(0)Mnkkkkvnmin( )n根據定義根據對角矩陣乘積交換律|12| 1k選擇收斂步長u滿足：( )( )nnTVQ V根據權值收斂特性性能曲面函數第一節第一節 LMS自適應濾波器自適應濾波器4. 二維

17、情況下誤差性能曲面舉例二維情況下誤差性能曲面舉例minmin( )( )( )( )( )TnnnV nV nTxVR Vw2minw1w1optv2v1w2opt12TWww112212, ,TToptoptoptVWWwwwwv v(0)(1)(1)(0)xxxxxrrRrr12ToptoptoptWwwmin2min121 22(0)2 (1)(0)TxxxxV R Vrvrv vrv關于的橢圓椎面函數12,v v第一節第一節 LMS自適應濾波器自適應濾波器令令minCC 為常數為常數等高線等高線min22min1 122TVVvv221 122vvC2212121/vvCC1v2v2v

18、1w2w1v大特征值對應短軸，收斂 (逼近最優點) 快第一節第一節 LMS自適應濾波器自適應濾波器牛頓梯度法牛頓梯度法舉例舉例: 預測預測12( )(1)( )(1)y nx na x na x n ( )(1)d nx n估計估計12,a ax(n)z-1z-1w1w2( )y n2min (1)(1) Ex nx n第一節第一節 LMS自適應濾波器自適應濾波器a1a2121/2min1-0.19500.920.09652-0.97500.951.50.530.07313-1.59550.951.8180.182100.03224-1.91140.951.9570.019

19、81000.0038情況2的說明 ( ) ( ) ( ) (1)10.5 (1) ( ) (1) (1)0.51xE x n x nE x n x nRE x nx nE x nx n已知: (1) ( ) (1) (1)0.50.4625TTPE x nx nE x nx n第一節第一節 LMS自適應濾波器自適應濾波器 的兩個特征根分別為11.5xR20.51120.9750.95optxaWRPa 2min0.975( )10.50.46250.07310.95ToptE dn P W練習5.1：根據表中的其他情況的1、 2以及Rx性質(對稱，且對角元素值相等)反推矩陣Rx，根據a1、 a

20、2以及Rx反推P并計算min第一節第一節 LMS自適應濾波器自適應濾波器取max00.31/(0)0,0TW則(1)(0)2 ( )625 0.3, 0.2775TTnxWWPR W0.30.510.50.3(2)0.60.27750.46250.510.2775 0.50325, 0.6635TW0.503250.510.50.50325(3)0.60.66350.46250.510.6635 0.70035, 0.693875TW當n足夠大時,( )0.975, 0.95TW n 統計特性已知時,只有在大矩陣情況下才體現運算上的優勢第一節第一節 LMS自適應濾波器自適應濾

21、波器三、三、LMS算法算法 (Least Mean Square) 1. B.Widrow和M.E.Hoff 1960年 權值遞推算法(0)(0)(0)(0)TedXW給定任意的初始權值矢量給定任意的初始權值矢量 以及合適的步長 ，從n=0開始(0)W1( )( ) (1)( )( )MTiiy nw n x niWn X n ( )( )y nd n12( )( ),( ),.,( )TMW nw n w nwn( ) ( ), (1),., (1)TX nx n x nx nM一般采用全零的矢量第一節第一節 LMS自適應濾波器自適應濾波器( )( )( )( )Te nd nXn W n1

22、2W nW nn()( )( )2( )( )( )2( ) ( )ne nnn e n W WXW( )2( ) ( )nn e n=WX單個誤差樣本的平方單個誤差樣本的平方 隨機梯度隨機梯度隨機變量隨機變量隨機路徑隨機路徑無須事先知道P、Rx等統計特性,自動適應其統計特性,并收斂到最優權值2(0)(0)(0)2(0) (0)ee W WXW00210200eWW( )( )( )( )( ) ( )WX然后由 、 、 計算 、 ；依此類推1W( )1e( )1d( )1X( )2W( )標量矢量第一節第一節 LMS自適應濾波器自適應濾波器LMS算法流程算法流程 假設輸入數據從n0=0開始，

23、在n=0的邊界附近構造矢量時， 的值可以用零代替( 1), ( 2)., (1)xxxMH:共軛轉置*:共軛復數據情況同樣適用矢量LMS算法流程第一節第一節 LMS自適應濾波器自適應濾波器LMS算法框圖算法框圖jjjjXeWW21Xjyjdjw1jw2jw3jwNjZ-1Z-2xjxj-1xj-2xj-N+1ej2. 權矢量收斂性權矢量收斂性第一節第一節 LMS自適應濾波器自適應濾波器幾點假設幾點假設)(),(ndnX聯合平穩聯合平穩( )( )( )nnnr梯度矢量的隨機估計誤差梯度矢量的隨機估計誤差( )( )nn optV=WW權值估計誤差矢量權值估計誤差矢量X(n)和和 不相關不相關(

24、 )nW雖然 只與矢量X(n-1)有關,該假設比較牽強,X(n)與X(n-1)之間有重疊,以下證明為不嚴格的證明,但在應用上尚未出現明顯的問題( )nW 處的理論梯度與實際梯度的誤差( )nW第一節第一節 LMS自適應濾波器自適應濾波器 ( )( )( )EnEnEnr ( )Enn 梯度估計矢量是無偏的梯度估計矢量是無偏的(含義含義)22( )2 ( ) ( )( )( )TxPR E W nE X n d nXn W n 22( )22( )0 xxPR E W nPR E W n 22( )( )( )( )( ) ( )( )( )( )( )( )2 ( ) ( )( )( )|TW

25、 W nW W nTW nW nE enEd nXn W nnW nW nE X n d nXn W n 22( )xPR W n ( )2( ) ( )nn e n X( )( )( )( )Te nd nXn W n不相關假設第一節第一節 LMS自適應濾波器自適應濾波器(1)( )( )( )V nV nnr n (2) ( )xIR E V n(1)(1)optnnVWW(1)( )( )( )( )( )nnnnnn WWWr(1)( )( )( )E V nE V nEnE r n( )22( )xoptxE V nR WR E W n( )2( )xE V nR E V n定義則前

26、面已證明為0P( )22( )xnPR W n 第一節第一節 LMS自適應濾波器自適應濾波器令令( )( )nn-1Q VV(1)(2) ( )EnEnVIV1(2)(0)nEIV(0)(0)(0)-1ToptVQ VQ WW (1)(2) ( )EnEnxVIRV1TxRQ QQ Q2( )En-1Q I QV原式兩邊同乘Q-1根據遞推原理第一節第一節 LMS自適應濾波器自適應濾波器( )(1 2)(0)1nkkkE v nE vkM ( )( )optE W nWE V n,1 ( ) ( )Mkkoptk ikiE v nE w nwq ( )optWQE V n,1 (0)(12) 1

27、Mnkoptk iiiikwq E vM要求: ;收斂速度取決于 最大的項或 最小的項,特征值的散度 越大，則收斂時間愈長。|1 2| 1i|1 2|iiminmax第一節第一節 LMS自適應濾波器自適應濾波器max01/收斂條件收斂條件n( )optE W nW( )0E V n211(1)MMxiiitr RE xni maxxtr R可取可取2110( )xtr RME xn根據矩陣理論更嚴格地滿足收斂條件期望意義上收斂12201( )( )NnE xnxnNN足夠大時3. 估計誤差能量的收斂性估計誤差能量的收斂性第一節第一節 LMS自適應濾波器自適應濾波器( )( )( )( )Te

28、nd nnnWX( )( )( )( )TToptoptd nnnnWXWWX22( )( ( )( )( ) ( )( )( )( )ToptTToptoptE e nEd nnnEnnnnWXWWXXWWmin( )( )( ) ( )TTEnnnnVXXVmin ( )( )( )( )TTtr EnnnnVVXX根據最佳估計時的誤差 與X(n)不相關的原理( )( )Toptd nnWX練習5.3:該矩陣對角線元素值的和為( )( )( ) ( )TTnnnnVXXV第一節第一節 LMS自適應濾波器自適應濾波器2min1( ) MiiiE v nmin ( )( ) Ttr E V n

29、 Vn tr ABtr BA2min( ) ( )( )TxE e ntr Enn RVVmin ( )( )TTtr E V n Vn Q Q將QT移到前面去相乘w與x無關,則v與x無關2min1( ( )var ( )MiiiiE v nv n第一節第一節 LMS自適應濾波器自適應濾波器 均方誤差收斂條件均方誤差收斂條件max10 ( )0iE v n2min1( )var ( )MiiiE e nv n超量均方誤差 結論結論: LMS算法使用隨機梯度算法使用隨機梯度, 權值收斂為均值意權值收斂為均值意 義上的收斂義上的收斂(在最優權矢量附近左右擺動在最優權矢量附近左右擺動), 平平 均誤

30、差能量大于牛頓梯度法的最小誤差能量均誤差能量大于牛頓梯度法的最小誤差能量4. 超量均方誤差超量均方誤差第一節第一節 LMS自適應濾波器自適應濾波器2min1( )limvar ( )MexiiniVE ev n根據根據(1)( )( )( )V nV nnr n ( )22( )xnPR W n 可以得到可以得到 (1)(2) ( )( )xV nIR V nr n練習5.41(1)(2)( )( )V nI V nQ r n221 (1) (1)(2) ( ) ( ) ( )( ) TTTE V nVnI E V n VnE Q r n rn Q假設r(n)與v(n)不相關xoptPR W對

31、角矩陣相乘的位置可交換性,假設權系數誤差之間互不相關如何求方差?第一節第一節 LMS自適應濾波器自適應濾波器n 當時(1) (1)( ) ( )TTE V nVnE V n Vn( )( )( )( )2( ) ( )nnnnX n e n r理想穩態情況下誤差矢量( )0n121min( )( ) 4 ( )4TxE Q r n rn QE en Q R Q22min ( ) ( )(2) ( ) ( )4TTE VVI E VV 在maxmax121.M時的近似解為min( ) ( )TE VVI練習第一節第一節 LMS自適應濾波器自適應濾波器min1exxVtr R定義：失調量定義：失調

32、量值越大，失調量大值越大，失調量大2min1( )limvar ( )MexiiniVE ev n1var ( )Miiivminmin1limMixnitr R 10 xtr Rvar ( )iv 為矩陣 對角線元素上的值( ) ( )TE VV22(2)4442III注:第一節第一節 LMS自適應濾波器自適應濾波器lim( )kkoptnE w nw 當當n足夠大時足夠大時, 權值在最優點附近擾動權值在最優點附近擾動;并非依概率并非依概率1收收斂于最優權值斂于最優權值擾動所帶來的超量均方誤差為擾動所帶來的超量均方誤差為minminxtr R因此因此,當當n足夠大時足夠大時, 權值在最優點附

33、近擾動是比較小的權值在最優點附近擾動是比較小的,1( )(0)(12)Mnkkoptk iiiiE w nwq v ,1( )(0)(1 2)( )Mnkkoptk iiikiw nwq vn收斂路徑中的噪聲第一節第一節 LMS自適應濾波器自適應濾波器5. 應用：自適應均衡應用：自適應均衡碼間干擾現代通信中一般設置訓練比特反射波個數延遲幅度未知重構的部分數據y(n)第一節第一節 LMS自適應濾波器自適應濾波器+x(n)y(n)d(n)e(n)通信信號數據發生器信道hn高斯白噪聲發生器自適應均衡器+I(n)v(n)收發同步后接收端根據已知的訓練比特重構的I(n)訓練比特是位置固定的0,1取值已知

34、比特當自適應均衡器為信道hn的逆濾波器時，y(n)=I(N)；均衡器達到理想效果第一節第一節 LMS自適應濾波器自適應濾波器121cos0,1,220nnnhWothersW3.5r(0)1.09631.15681.22641.3022r(1)0.43880.55960.67290.7774r(2)0.04810.07830.11320.1511min0.33390.21360.12560.0656max2.02952.37612.72633.0707實際信道012( )( )(1)(2)x nh y nh y nh y n直射波兩個反射波第一節第一節 LMS自適應濾波器自適

35、應濾波器W=3.5W=3.3W=3.1W=2.9u = 0.075W越大, 反射波越強，則收斂精度越低第一節第一節 LMS自適應濾波器自適應濾波器W=2.9u=0.075u=0.025u=0.0075u越小,則收斂速度越慢,但收斂精度越高第一節第一節 LMS自適應濾波器自適應濾波器0100200300400500-2-1012origan signa0100200300400500-2-1012signa through channal corrupted by noise0100200300400500-2-1012output of ALE0100200300400500-2-1012er

36、ror of ALE第一節第一節 LMS自適應濾波器自適應濾波器梯度法與梯度法與LMS算法：算法： 統計梯度與隨機梯度統計梯度與隨機梯度 梯度法在梯度法在n趨于無窮時能收斂到最小均方誤趨于無窮時能收斂到最小均方誤差差 ，這是，這是因為每次迭代都使用了精確的梯因為每次迭代都使用了精確的梯度向量。度向量。LMS算法在算法在n趨于無窮時，最小均方誤趨于無窮時，最小均方誤差大于差大于 。這是因為存在梯度估計誤差。這是因為存在梯度估計誤差。 梯度法定義了明確的學習曲線梯度法定義了明確的學習曲線( (收斂路徑收斂路徑) )，該曲，該曲線反映了均方誤差對迭代次數的變化情況。線反映了均方誤差對迭代次數的變化情

37、況。LMS算法學習曲線由噪聲和衰減指數和組成，算法學習曲線由噪聲和衰減指數和組成，噪聲的幅度通常隨步長參數噪聲的幅度通常隨步長參數u u的減小而減小。的減小而減小。 minmin第一節第一節 LMS自適應濾波器自適應濾波器課程上機實驗6：線性信道均衡中的LMS梯度算法實現采用Matlab或VB語言編程 (1) 參照實驗3的方法產生均值為0，根方差為0.01的、正態白噪聲序列 ( )|1,2,.,200v nn ( )|1,2,.,100,0,1,0,0,1,0,1,1,1b ii (2) 假設信源發送的前10個比特為訓練比特,為 假設信源發送的后10個比特為信息比特,為 ( )|11,12,.

38、,201,0,0,0,1,1,0,0,0,1b ii 收發雙方按通信協議約定的,收方已知收方未知第一節第一節 LMS自適應濾波器自適應濾波器 (3) 假設在接收端的采樣率為每個調制脈沖采集10點,采樣后數字基帶信號的數字角頻率為0.21,A=1,則接收到的直射波采樣信號(經同步后)可以表示為 (10)2( ) 1cos0.21(1)|1,2,.,10;1,2,.,20aijb iAjji ( )0.3 (2)0.2 (4)5,6,.,2001( )( )0.3 (2)3,4( )1,2a na na nnx na na nna nn (4) 假設有兩個反射波,相對于直射波的延時分別為2,4;幅

39、度系數分別為0.3,0.2;則合成的信號為 ( )1( )( )|1,2,.,200 x nx nv nn (5) 加上信道噪聲后的信號為 ASK調制第一節第一節 LMS自適應濾波器自適應濾波器 (6) 畫出直射回波a(n)以及帶有信道噪聲以及碼間干擾的信號x(n)的波形圖,計算平均誤差 2002111 ( )( )200nex na n1002160.5 1/( )100nuxn (7) 設置自適應濾波器的抽頭數M=6,搜索步長取為 初始權值設置為 ( )0|1,2,.,6w ii利用訓練比特對應的前100點數據計算權值,偽代碼為可以改變抽頭數以及步長,比較收斂效果假設數組的下標只能從1開始

40、的修正第一節第一節 LMS自適應濾波器自適應濾波器 6 to 100( )( )( )0 1 to 6( )( )(1)( ) ( )( )( ) 1 to 6( )( )2(1)( ) forid ia iy iforjy iy ix ijw jnext je id iy iforjw jw jux ije inext jnext i 期望值觀察最終得到的權值 ( )|1,2,.,6w ii (8) 用得到的權值對信息比特對應的后100點數據進行濾波處理 前100點的期望輸出是已知的可以多次運行上述過程,以前一次的運行結果為初值;觀察是否可以改善均衡效果第一節第一節 LMS自適應濾波器自適應

41、濾波器 1 to 100( )0 1 to 6( )( )(1001)( ) 1 to 100( )(100)( ) foriy iforjy iy ix ijw jnext jnext iforied iaiy inext i畫出誤差序列ed(n)的波形圖;畫出均衡后的序列y(n)的波形圖,觀察其與a(n)波形圖的后半部分的差異性遠小于x(n)與a(n)的差異性偽代碼,需要根據具體的語言進行修正第一節第一節 LMS自適應濾波器自適應濾波器 (9) 計算信道均衡后的平均誤差 1002112 ( )(100)100ney na n比較其與e1的差異性(遠小于e1)觀察ed(n)的波形圖中的個別毛

42、刺點(誤差絕對值較大的點),思考:為什么個別毛刺點對誤碼率影響不大?思考:如果信號幅度A不為1且未知,是否對信道均衡產生影響? 按A=2重復實驗(期望輸出保持不變,則濾波輸出下降到1/A,輸出波形的調制方式形狀不變)第一節第一節 LMS自適應濾波器自適應濾波器 在期望輸出不變的情況下,為了將不同A情況下的均衡結果進行有意義的比較,必須對誤差能量進行功率歸一化. 200221111 ( )( )200nex na nA信道均衡前,功率歸一化后的平均誤差能量1002112 ( )(100)/100ney na nA信道均衡后,功率歸一化后的平均誤差能量比較e1,e2,觀察信道均衡效果第二節第二節

43、最小二乘自適應濾波器最小二乘自適應濾波器一、一、RLS算法與算法與LMS算法算法 (RLS: Recursive Least Square)LMS算法偽最小均方誤差準則，一類數據的最佳濾波器算法偽最小均方誤差準則，一類數據的最佳濾波器 RLS算法最小二乘準則，一組數據的最佳濾波器算法最小二乘準則，一組數據的最佳濾波器 二、最小二乘原理二、最小二乘原理 e(n) d(n) y(n) x(n) w(0) w(1) w(M-1) z-1 z-1 z-1 有限長度輸入信號為 (0),1xx ix N M(MN)階線性濾波器 1,),0(Mwiww期望輸出信號為 (0),1 , (2)dd id Nd

44、NM遞歸的實際上對同類的不同數據有不同的解第二節第二節 最小二乘自適應濾波器最小二乘自適應濾波器( )( )( )e id iy i代價函數代價函數2()| ( )|miniWe i2、數據窗范圍、數據窗范圍 1、輸入輸出方程、代價函數、輸入輸出方程、代價函數 (0): (1) 0(1): 0 1(1): 1(2):12yMy MMy NNMNy NMNNM當已知的輸入數據為x(n)(n=0,1,N-1),則其中輸出y(0), y(1), , y(M-2)牽涉到nN-1的輸入數據x(n);必須對邊界外的數據進行假定為什么不考慮nN+M-2?10( )( ) () Mmy iw m x im輸入

45、數據范圍第二節第二節 最小二乘自適應濾波器最小二乘自適應濾波器(1) 協方差法：使得協方差法：使得n=M-1到到N-1范圍內的誤差能量最小，范圍內的誤差能量最小，不牽涉到不牽涉到0，N-1之外的輸入數據，無須任何假定之外的輸入數據，無須任何假定121,1iMiN12( )( ), (1), (1) ( , )Tnx nx nx nMni iX(1),(),(1)XMXMXNA(1)()(1)(2)(1)(2)(0)(1)()x Mx Mx Nx Mx Mx Nxxx NM定義數據矢量定義數據矩陣n時刻進入濾波器的數據第二節第二節 最小二乘自適應濾波器最小二乘自適應濾波器(2) 自相關法：使得自

46、相關法：使得n=0到到N+M-2全部范圍內的誤差能全部范圍內的誤差能量最小，假設量最小，假設 0，N-1之外的輸入數據都為零之外的輸入數據都為零120,2iiNM(0)(1)(2)AXXXNM(0)(1)(1)(1)000(0)(2)(2)(1)000(0)()(1)(1)xxx Mx Nxx Mx Nx Nxx N Mx N Mx N12( )( ), (1), (1) ( , )Tnx nx nx nMni iX第二節第二節 最小二乘自適應濾波器最小二乘自適應濾波器(3) 前加窗法：使得前加窗法：使得n=0到到N-1范圍內的誤差能量最小，范圍內的誤差能量最小，不牽涉大于不牽涉大于nN-1時

47、刻的輸入數據，對其不做任何假定；時刻的輸入數據，對其不做任何假定；但假設但假設n0的輸入數據為零的輸入數據為零120,1iiN(0)(1)(1)(1)0(0)(2)(2)00(0)()xxx Mx Nxx Mx Nxx NM(0)(1)(1)AXXXN12( )( ), (1), (1) ( , )Tnx nx nx nMni iX第二節第二節 最小二乘自適應濾波器最小二乘自適應濾波器(4) 后加窗法：使得后加窗法：使得n=M-1到到N+M-2范圍內的誤差能量范圍內的誤差能量最小最小,不牽涉不牽涉nN-1的輸入數據為零的輸入數據為零121,2iMiNM(1)(1)00(2)(2)(1)0(0)

48、()(1)(1)x Mx Nx Mx Nx Nxx NMx NMx N(1)()(2)AX MX MXNM12( )( ), (1), (1) ( , )Tnx nx nx nMni iX第二節第二節 最小二乘自適應濾波器最小二乘自適應濾波器3、正則方程、正則方程 (0)(1)(1)()(1)0(0)(2)(1)(2)00(0)(1)()xxx Mx Mx Nxx Mx Mx NAxxx NM01nN(前加窗前加窗)其他加窗情況作為練習,自己推導.為什么以前加窗作為重點?期望輸出都有定義定義濾波器輸出信號矢量定義濾波器輸出信號矢量: (0), (1),., (1)TYyyy N定義權矢量定義權

49、矢量: (0),(1),.,(1)TWwww MMN維M維N維第二節第二節 最小二乘自適應濾波器最小二乘自適應濾波器則有則有: TYA W定義誤差信號矢量定義誤差信號矢量: (0), (1),., (1)TEeee N定義期望信號矢量定義期望信號矢量: (0), (1),., (1)Tddd Nb( )( )( )e nd ny n則有則有: TEYA Wbb誤差信號能量誤差信號能量: 120()( )() () NTTTTnTTTTTTWe nE EA WA Wb bb A WW Ab W AA WbbN維N維標量第二節第二節 最小二乘自適應濾波器最小二乘自適應濾波器min ()W()0WW

50、根據標量對矢量的二次型的求導公式得到根據標量對矢量的二次型的求導公式得到: 220TAbAA WM維1() ()TWAAAbM維MN, NMM MMN, N1M 1定義樣本自相關矩陣定義樣本自相關矩陣: TxRAA第二節第二節 最小二乘自適應濾波器最小二乘自適應濾波器0 00 1011 011111 01111( , )( , )( ,)( , )( , )( ,)(, )(, )(,)xxxxxxxxxxrrrMrrrMr Mr Mr MMR對稱；但對角線元素值不同,不滿足Toepliz的兩個條件其中其中: 10( ,)() ()0,1Nxnr l mx nm x nll mM定義定義: 0

51、11Tqqq M ( )( )()qAb其中其中: 10( )( ) ()01Nnq ld n x nllM 第二節第二節 最小二乘自適應濾波器最小二乘自適應濾波器xR Wq則得到正則方程則得到正則方程11()TxWRqAAAbminTTTTTTTE Eb bb A WW AbW AA W1()TTTTb bb AAAAb最小誤差能量為：最小誤差能量為： 一般不滿足Toepliz性質，有沒有遞歸算法避免大矩陣的直接求逆運算？是要解決的主要問題,后面介紹將解代入TTb bq W第二節第二節 最小二乘自適應濾波器最小二乘自適應濾波器20( )( )01nn iine i三、三、(遞歸最小二乘遞歸最

52、小二乘)RLS自適應自適應 橫向濾波器橫向濾波器( )(0)(1)( )nXXX nA( )( ), (1), (1)0Tix ix ix iMin X(0)(1)( )0(0)(1)00(1)xxx nxx nx nM( ) (0),(1),( )Tnddd nb當前誤差能量積累(離當前時刻越遠，加權越小)定義只討論前加窗情況A(n)是矩陣A的前n+1列當前輸入數據矩陣當前輸出數據矢量第二節第二節 最小二乘自適應濾波器最小二乘自適應濾波器10002000( )0000000nnn ( ) (0)(1)( )Tneee ne( )( )( )nnnTbAW120,nndiag則有定義TEbA

53、W將輸入數據段為0到N-1情況下的矩陣形式表示形式推廣到輸入數據段為0到n情況下的矩陣形式表示形式,目的? 中n的含義?( )nW當前誤差數據矢量當前最優權值矢量第二節第二節 最小二乘自適應濾波器最小二乘自適應濾波器( )( ) ( ) ( )nnnnTee( )( )( )( )nnnnTebAW1122( ) ( )( ) ( )Tnnnn ee111222( ) ( )( ) ( )( )( )( )nnnnnnnTebAW( )b n( )A n則有 的定義？適用?12( )n根據最小二乘原理， 參照 情況的解，得到該線性方程組解為( )|0W WnW( )e n矢量E TbA W第二

54、節第二節 最小二乘自適應濾波器最小二乘自適應濾波器1( ) ( ) ( )( )TTW nAn A nAb n1( ) ( )xRn q n111122221( )( ) ( )( )( )( )( ) ( )TTnnnnnnnnTTTAAAb1( ) ( )( )( ) ( ) ( )nnnnnnTAAAb此處， 、 的定義為( )xR n( )q n第二節第二節 最小二乘自適應濾波器最小二乘自適應濾波器20( ) ( ) ( )( )( )( )( )( )nTTn iTibnn b nqn W nd iqn W n0( )( ) ( )( )( )( )Txnn iTiR nA nn A

55、 nX i Xi0( )( ) ( ) ( ) ( )nn iiq nA nnnX i d ibmin( )( ) ( )( )( )TTnbn b nqn W n矢量標量( )n將 解代入 表達式( )W n練習：根據上述矩陣的定義以及對角矩陣相乘的性質第二節第二節 最小二乘自適應濾波器最小二乘自適應濾波器0110( )( ) ( )( )( )( )( )(1)( )( ) nn iTixnniTTiTxR nX i XiX n XnR nX iXnXniX 如何遞推求解，避免矩陣求逆如何遞推求解，避免矩陣求逆?1101( )( ) ( )( ) ( )( ) ( )(1)( ) ( )n

56、nn iniiiq nX i d iX i d iX n d nq nX n d n 、 都是MM的矩陣( )xR n(1)xR n1( )( ) ( )xW nRn q n 、 的遞推關系？則可求出權的遞推( )xR n(1)xR n第二節第二節 最小二乘自適應濾波器最小二乘自適應濾波器11TEFCD C矩陣求逆定理：如果矩陣求逆定理：如果E、F為正定矩陣，且滿足為正定矩陣，且滿足下面推導下面推導 與與 的關系的關系1( )xRn1(1)xRn11()TTEFFC D C FCC F則有則有觀察觀察( )(1)( )( )TxxR nR nX n Xn E1FCTC1D C為列矢量時，D只能

57、為標量，CTFC也為標量設設第二節第二節 最小二乘自適應濾波器最小二乘自適應濾波器1( ),(1),( ),1xxER nFR nCX nD令令111( )(1)xxRnRn1( )( )xP nRn21111(1)( )( )(1)1( )(1)( )TxxTxRnX n Xn RnXn RnX n令令11(1)( )( )1( ) (1)( )TP nX nK nXn P nX n增益系數增益系數11( )(1)( )( ) (1)TP nP nK n Xn P n有有有有第二節第二節 最小二乘自適應濾波器最小二乘自適應濾波器11( )(1)( )( )( ) (1)( )TK nP nX

58、 nK n Xn P nX n1( )( ) ( )( ) ( )xW nRn q nP n q n( ) (1)( )( ) ( )P n q nP n X n d n (1) (1)( )( ) (1) (1)( ) ( )TP nq nK n Xn P nq nK n d n11(1)( )( ) (1)( )TP nK n Xn P nX n ( )( )P n X n將K(n)表達式的分母移到左邊相乘，再移位根據q(n)的遞推式根據p(n)的遞推式第二節第二節 最小二乘自適應濾波器最小二乘自適應濾波器(1)( )( )(1)( ) ( )TW nK n Xn W nK n d n11

59、(1) (1)( )( )(1) (1)( ) ( )TxxRnq nK n Xn Rnq nK n d n(1)( )(1) ( )TK n d nW nXn W n(1)( ) ( )KnnnW( )( )(1)(Td nXn W nn先驗估計誤差先驗估計誤差;要求要求 與與具有最小誤差，在未獲具有最小誤差，在未獲得得 之前，以之前，以 作為作為d(n)先驗估計先驗估計()()TXn Wn( )d n( )W n( )(1)TXn Wn 第二節第二節 最小二乘自適應濾波器最小二乘自適應濾波器( )( )(1)(Td nXn W nn小節小節( 1)PI初始條件初始條件：( 1)0W 遞推算

60、法遞推算法：( )(1)( ) ( )KW nW nnn11( )(1)( )( ) (1)TP nP nK n Xn P n11(1)( )( )1( ) (1)( )TP nX nK nXn P nX n(M維矢量)對n=0, 1, , N-1,執行上述遞歸迭代運算，則最終的為所求(1)W N MM維對角矩陣，為任意較小的正數沒有出現任何的矩陣求逆運算(M維矢量)(標量)第二節第二節 最小二乘自適應濾波器最小二乘自適應濾波器前向加窗法前向加窗法:( 1)0W ( 1)PI從從 n=0 迭代到迭代到 n=N-1協方差法協方差法:(2)0W M (2)P MI從從 n=M-1 迭代到迭代到 n