最小二乘法在系統(tǒng)辨識中的應用本文通過對文獻的閱讀，對文獻中所涉及的最優(yōu)化算法應用過程進行了概括。文獻中將水壓仿真器作為研究對象，在考察水壓仿真器性質(zhì)時，采用系統(tǒng)辨識的方法對系統(tǒng)進行分析與處理，并采用最小二乘算法作為系統(tǒng)辨識的方法，將辨識結(jié)果與實際結(jié)果的差值平方和作為最小二乘算法的損失函數(shù)，最終得到關于水壓仿真器的較為理想的辨識模型。在對參考文獻進行概述之后，具有針對性的介紹了最小二乘算法中線性最小二乘問題以及非線性最小二乘問題，詳細介紹了線性最小二乘問題的算法的理論基礎及實現(xiàn)過程。一、 背景說明在實際工程應用中，很多領域都會涉及到利用最優(yōu)化算法來獲得問題的最優(yōu)解，實現(xiàn)對所研究問題的優(yōu)化處理。控制領域中，經(jīng)常需要對系統(tǒng)進行辨識操作，而系統(tǒng)辨識中常用的方法即為最小二乘算法。文獻中將水壓仿真器作為研究對象，水壓仿真器是一個電液壓力伺服系統(tǒng)，由計算機控制運行，根據(jù)設定指令產(chǎn)生期望的壓力輸出。利用遞推最小二乘算法對種特殊的電液壓力伺服系統(tǒng)進行辨識。文獻中設計了能使系統(tǒng)穩(wěn)定的簡單閉環(huán)，對系統(tǒng)施加合適的輸入信號，記錄系統(tǒng)的輸出并建模，通過一系列的辨識步驟推導出被控對象的數(shù)學模型。文獻中所研究的水壓仿真器通過控制伺服閥的開口實現(xiàn)高壓油進入工作腔或油液流出該腔，從而控制工作腔的壓力變化。由于測量難度，采用理論推導方法建立被控對象的數(shù)學模型很困難。故而采用系統(tǒng)辨識的方法對水壓仿真器進行建模并分析，通過試驗測試，驗證了所使用方法的正確性。二、 問題解決過程水壓仿真器通過控制伺服閥的開度實現(xiàn)工作腔壓力變化，通常都采用閉環(huán)控制，如下圖所示。圖中，r表示輸入信號，y為輸出信號，均可以由測量得到。根據(jù)測量出的輸入輸出數(shù)據(jù)，對系統(tǒng)的模型進行辨識，得到辨識模型錯誤！未找到引用源。，辨識出閉環(huán)模型錯誤！未找到引用源。以后，由于控制器增益以及反饋通道增益已知，所以，可以得出被控對象的開環(huán)傳遞函數(shù)G。文獻中給出了水壓仿真器的具體參數(shù)以及控制壓力值，選擇適當?shù)膫坞S機序列作為輸入信號，對特定壓力值下的系統(tǒng)進行辨識。將辨識出的對象模型代入閉環(huán)系統(tǒng)進行仿真，得到其階躍響應曲線，把它與實際閉環(huán)系統(tǒng)的階躍響應進行比較。/通過比較，驗證出，辨識結(jié)果較為理想，能夠較好的逼近實際系統(tǒng)。因此得出了該種方法可行的結(jié)論。三、辨識方法描述文獻中采用最小二乘法對水壓仿真器的模型進行辨識。辨識結(jié)果不可能與原系統(tǒng)完全吻合，只能按照某種特定的準則，使所估計的模型在該準則下最好地辨識出所研究的系統(tǒng)。最小二乘法則是在最小方差意義下提供與實驗數(shù)據(jù)最好擬合的模型。模型結(jié)構如下：A(z-1)y(t)=其中，錯誤！未找到引用源。和錯誤！未找到引用源。分別為系統(tǒng)的輸出和輸入；錯誤！未找到引用源。，錯誤！未找到引用源。為遲延算子多項式；錯誤！未找到引用源。是一個均值為0、服從正態(tài)分布，并且與錯誤！未找到引用源。相互獨立的隨機噪聲。假設系統(tǒng)待辨識的參數(shù)向量為：假定已經(jīng)獲得一組輸入輸出數(shù)據(jù)(t=1?N)，假設t時刻由輸入輸出數(shù)據(jù)構成的一個向量為：q?(t)=[―y(t—1), —n)fu(t—lc)f k—m)]r,t>1令錯誤！未找到引用源。，實際輸出數(shù)據(jù)向量錯誤！未找到引用源。。經(jīng)過系統(tǒng)辨識方法所得到的估計的系統(tǒng)輸出數(shù)據(jù)向量為其中，錯誤！未找到引用源。為辨識所得到的參數(shù)估計值向量。系統(tǒng)辨識誤差：e(1)=Yn-Yn=Yn-^§損失函數(shù)定義為：J1N)=￡知)[=11=帝％—機如隊—輒機對損失函數(shù)取一階導數(shù)，并令損失函數(shù)的一階導數(shù)等于0，即而=°經(jīng)過計算，得到使損失函數(shù)達到最小值時的參數(shù)估計值為：得到參數(shù)估計值以后，便能夠得出閉環(huán)系統(tǒng)的數(shù)學模型。四、最小二乘算法4.1算法的概括一般地，最小二乘問題的目標函數(shù)錯誤！未找到引用源。具有下面的特殊形式：錯誤！未找到引用源。 (2.1)其中，錯誤！未找到引用源。表示殘余量，為從錯誤！未找到引用源。到錯誤！未找到引用源。上的平滑函數(shù)，假設錯誤！未找到引用源。。最小二乘問題可以認為是無約束優(yōu)化問題的最大來源，可以廣泛地應用于多個領域。利用公式(2.1)描述辨識模型與實際系統(tǒng)的誤差值。通過最小化該函數(shù)，能夠選擇出與模型最好匹配的參數(shù)值。定義向量錯誤！未找到引用源。為：TOC\o"1-5"\h\z錯誤！未找到引用源。 (2.2)因此，可以將f修改為：0)=；11曠("信對f(x)求一階導數(shù)：錯誤！未找到引用源。 (2.3)用錯誤！未找到引用源。表示錯誤！未找到引用源。的梯度，這樣，f的梯度可以表示為：錯誤！未找到引用源。 (2.4)在很多應用場合中，計算出一階偏導數(shù)組成Jacobian矩陣J(x)是可以實現(xiàn)的。因此可以求出公式(2.4)中的梯度錯誤！未找到引用源。。目標函數(shù)f(x)的二階導數(shù)形式為：m m\o"CurrentDocument"V2f(x)=了力嚀「(X)+) (y);=i ;=imj=l利用錯誤！未找到引用源。，我們可以計算出上式中的第一項錯誤！未找到引用源。，無需考慮錯誤！未找到引用源。的二階導數(shù)項。通常情況下，上式中的錯誤！未找到引用源。比公式中的第二項更重要。4.2線性最小二乘問題在錯誤！未找到引用源。為線性的特殊情況下，錯誤！未找到引用源。為一個常數(shù)，錯誤！未找到引用源。可記為：錯誤！未找到引用源。 (2.5)其中，錯誤！未找到引用源。。另外錯誤！未找到引用源。。注意到，由于錯誤！未找到引用源。對任意的錯誤！未找到引用源。都成立，使得錯誤！未找到引用源。中的第二項消失。函數(shù)錯誤！未找到引用源。是一個凸函數(shù)。通過令錯誤！未找到引用源。可得，公式(2.5沖的解錯誤！未找到引用源。一定滿足：錯誤！未找到引用源。 (2.6)式(2.6)被稱為是(2.5)的正則方程(normalequations)。在錯誤！未找到引用源。，并且錯誤!未找到引用源。為列滿秩的條件下，對于線性最小二乘問題，可以簡單地概況為三種主要算法。http://190210.com/方法一即為最直觀的算法，就是通過下面的三個步驟構造并求解系統(tǒng)(2.6)：.計算系數(shù)矩陣錯誤！未找到引用源。以及右邊項錯誤！未找到引用源。；.計算對稱矩陣錯誤！未找到引用源。的Cholesky因子；.用所計算出的Cholesky因子進行兩次三角替換，以重新獲得解錯誤!未找到引用源。。方法二基于矩陣錯誤！未找到引用源。的QR因子。由于對于任意錯誤！未找到引用源。維正交矩陣Q,都有：TOC\o"1-5"\h\z錯誤！未找到引用源。 (2.7)通過QR因子對矩陣錯誤！未找到引用源。進行列變換，得到：錯誤！未找到引用源。 (2.8)其中錯誤！未找到引用源。為錯誤！未找到引用源。維變換矩陣，錯誤！未找到引用源。為矩陣錯誤！未找到引用源。的前n歹U，R為錯誤！未找到引用源。維上三角矩陣。綜合(2.7)與(2.8)，可以得到I■r] IMLy2J 2=略)+[，=||J?(TTx)+err||i+||Qlr||i任何關于錯誤！未找到引用源。的選擇對于上面表達式的第二項都沒有影響，但我們可以通過令第一項為0，使得錯誤！未找到引用源。達到最小值，即=-VR-1Q[r實際應用中，利用三角替換求解錯誤！未找到引用源。，然后通過對錯誤！未找到引用源。的分量進行序列變換而得到錯誤！未找到引用源。。方法三基于矩陣錯誤！未找到引用源。的單值分解(SVD)得到，敘述如下：矩陣錯誤！未找到引用源。的SVD為：錯誤！未找到引用源。 (2.9)其中，錯誤！未找到引用源。為錯誤！未找到引用源。維正交矩陣，錯誤！未找到引用源。為錯誤！未找到引用源。的前n歹U；錯誤！未找到引用源。為錯誤！未找到引用源。維對角陣，對角元為錯誤！未找到引用源。。最后，我們可以得到：上式給出了關于錯誤！未找到引用源。敏感度的重要信息。當錯誤！未找到引用源。很小時，錯誤！未找到引用源。對錯誤！未找到引用源。的微小變動十分敏感，這一信息對當錯誤！未找到引用源。接近非滿秩時十分重要。以上三種算法均有各自的應用場合?；贑holesky的方法適于錯誤！未找到引用源。時，并且算法中實際存儲的是錯誤！未找到引用源。而非矩陣錯誤！未找到引用源。本身；QR方法避免了條件數(shù)的平方項，因此在數(shù)值魯棒性方面更具優(yōu)越性；SVD方法具有最好的魯棒性和可信性，然而算法的代價最大。可根據(jù)實際問題對最小二乘算法進行選擇，當問題規(guī)模很大時，通常需要使用迭代才能有較高的效率。4.3非線性最小二乘問題非線性最小二乘問題的最簡單的方法是Gauss-Newton算法，可以認為是線搜索算法中Newton法的改進。此外，還有Levenberg-Marquardt方法。這兩種方法都能夠解決非線性的最小二乘問題，但由于控制系統(tǒng)中研究的大部分系統(tǒng)都為線性時不變系統(tǒng)，在較為簡單的非線性系統(tǒng)中，通常將系統(tǒng)進行線性化處理，將非線性系統(tǒng)轉(zhuǎn)變成分段線性的系統(tǒng)，這樣就可以利用線性系統(tǒng)的方法進行求解計算。所以對于非線性最小二乘問題4/6的算法，不做詳細介紹。五、結(jié)束語最小二乘問題廣泛地存在于工業(yè)領域、經(jīng)濟領域、醫(yī)學領域等多個領域中，最小二乘算法在實際中具有很好的應用。本文通過對文獻中優(yōu)化問題的描述，概括了文獻中對水壓仿真器模型的構建過程及辨識過程，對最小二乘問題進行了較為詳細的介紹。控制系統(tǒng)中大多數(shù)問題會轉(zhuǎn)換為線性系統(tǒng)進行分析，所涉及的非線性問題在簡單系統(tǒng)中并不常見，所以，本文中針對非線性最小二乘問題并沒有做出過多的介紹?？刂葡到y(tǒng)中的優(yōu)化問題十分常見，所采用的優(yōu)化方法也多種多樣，除了最小二乘算法外，還會涉及到許多最優(yōu)化算法對系統(tǒng)的最優(yōu)解進行求解和尋找。優(yōu)化問題廣泛地存在于控制領域，并且優(yōu)化算法具有十分重要的實用性。參考文獻.WanYamin.ApplicationofSystemIdentificationintheExperimentalMode