.,4.3Kalman濾波器,狀態(tài)空間方程：,狀態(tài)(轉(zhuǎn)移)方程,觀測(cè)方程,.,已知:,假設(shè):,.,Kalman濾波問題(一步預(yù)報(bào))：,已知含噪數(shù)據(jù)，求無噪聲的估計(jì)值:,.,新息方法：,新息(innovation),稱為的新息過程向量。,性質(zhì)1:(正交),是不同于的新過程,性質(zhì)2:，是個(gè)白噪聲過程,性質(zhì)3:（一一對(duì)應(yīng)關(guān)系)保留有的所有信息,.,估計(jì),狀態(tài)向量估計(jì)誤差：,相關(guān)矩陣：,：Kalman增益矩陣,校正項(xiàng),：Kalman增益矩陣,：Kalman新息,.,例：是一個(gè)時(shí)不變的標(biāo)量隨機(jī)變量，為觀測(cè)數(shù)據(jù),其中為白噪聲。若用Kalman濾波器自適應(yīng)估計(jì)，設(shè)計(jì)Kalman濾波器。,設(shè)計(jì)過程：構(gòu)造狀態(tài)空間方程；設(shè)計(jì)x(n)的更新公式,狀態(tài)方程,觀測(cè)方程,.,.,4.4LMS自適應(yīng)算法,隨機(jī)優(yōu)化問題,LMS:LeastMeanSquares,Wiener濾波器:,最陡下降法,真實(shí)梯度,.,最陡下降法的改進(jìn):,牛頓法:,.,確定性優(yōu)化也稱隨機(jī)逼近最優(yōu)化。求解的方法稱為隨機(jī)逼近方法。,后驗(yàn)估計(jì)誤差：,先驗(yàn)估計(jì)誤差：,.,梯度向量,維納濾波器：,.,缺點(diǎn)：真實(shí)梯度含數(shù)學(xué)期望，不易求得。,梯度下降算法：,真實(shí)梯度,步長參數(shù),學(xué)習(xí)速率,改進(jìn)：,梯度估計(jì),瞬時(shí)梯度：,先驗(yàn)估計(jì)誤差,.,基本的LMS算法：,最陡下降法LMS算法,漸近無偏估計(jì),瞬時(shí)梯度分析：,.,均值收斂：,均方收斂：,梯度下降法要求不同時(shí)間的梯度向量(搜索方向)線性獨(dú)立。,LMS算法的獨(dú)立性要求：,.,.,代入上式，可得,其中,若的所有對(duì)角元素絕對(duì)值1，即,則極限(等比級(jí)數(shù)求和),.,結(jié)論：,(均值收斂條件),均方收斂條件：,收斂為維納濾波器，且收斂與初始值w(0)選擇無關(guān),由于跡，故兩條件可合并為,和極限,.,均方收斂均值收斂,.,偏小收斂慢跟蹤性能好,缺點(diǎn)：偏大收斂快跟蹤性能差,固定學(xué)習(xí)速率：(常數(shù)),自適應(yīng)學(xué)習(xí)速率參數(shù),時(shí)變學(xué)習(xí)速率：(遞減)，模擬退火法則,“換檔變速”方法：固定+時(shí)變,.,例1.(先搜索，后收斂),自適應(yīng)學(xué)習(xí)速率：“學(xué)習(xí)規(guī)則的學(xué)習(xí)”,例2.(先固定，后指數(shù)衰減),和正的常數(shù),.,LMS算法的改進(jìn),歸一化LMS(NLMS)算法解相關(guān)LMS算法,.,時(shí)，比合理,4.5RLS算法,.,.,矩陣求逆引理：,增益向量,.,即,.,RLS算法：,.,非平穩(wěn)，,R(0),越小越好,.,統(tǒng)計(jì)性能分析：,權(quán)誤差向量,權(quán)誤差向量的相關(guān)函數(shù)矩陣,均方誤差,最小均方誤差,剩余均方誤差,當(dāng)時(shí)，稱為穩(wěn)態(tài)剩余均方誤差,算法的收斂速率,算法的跟蹤性能,.,LMS、RLS、Kalman濾波算法的統(tǒng)計(jì)性能比較：,均方誤差曲線,跟蹤能力越好，曲線穩(wěn)態(tài)越接近橫軸,均值、離差,多次實(shí)驗(yàn)統(tǒng)計(jì)結(jié)果,均方誤差,樣本個(gè)數(shù),收斂點(diǎn),穩(wěn)態(tài)剩余誤差,.,三種濾波算法的比較:(LMS,RLS,Kalman),計(jì)算復(fù)雜度：LMSRLSKalman相差不大,下的Kalman濾波算法,RLS算法是“無激勵(lì)”狀態(tài)空間模型,收斂速率比較,LMS:越大，學(xué)習(xí)步長越大，收斂越快,RLS:遺忘因子越大，遺忘作用越弱，收斂越慢,時(shí)變學(xué)習(xí)速率、時(shí)變遺忘因子,Kalman無收斂問題，無收斂參數(shù),.,跟蹤性能,希望LMS算法的越小越好,跟蹤好壞：LMSR