1、精品文檔精品文檔最小二乘法及其應(yīng)用1 引言最小二乘法在 19世紀(jì)初發(fā)明后 , 很快得到歐洲一些國家的天文學(xué)家和測 地學(xué)家的廣泛關(guān)注。據(jù)不完全統(tǒng)計 ,自1805年至 1864年的 60年間,有關(guān)最 小二乘法的研究論文達(dá) 256篇, 一些百科全書包括 1837年出版的大不列顛百 科全書第 7 版, 亦收入有關(guān)方法的介紹。同時 ,誤差的分布是“正態(tài)”的 ,也 立刻得到天文學(xué)家的關(guān)注及大量經(jīng)驗(yàn)的支持。 如貝塞爾 ( F. W. Bessel, 1784 1846)對幾百顆星球作了三組觀測 , 并比較了按照正態(tài)規(guī)律在給定范圍內(nèi) 的理論誤差值和實(shí)際值 , 對比表明它們非常接近一致。 拉普拉斯在 1810年

2、也 給出了正態(tài)規(guī)律的一個新的理論推導(dǎo)并寫入其分析概論中。正態(tài)分布作 為一種統(tǒng)計模型 ,在 19世紀(jì)極為流行 ,一些學(xué)者甚至把 19世紀(jì)的數(shù)理統(tǒng)計學(xué) 稱為正態(tài)分布的統(tǒng)治時代。在其影響下 , 最小二乘法也脫出測量數(shù)據(jù)意義之 外而發(fā)展成為一個包羅極大 ,應(yīng)用及其廣泛的統(tǒng)計模型。 到 20世紀(jì)正態(tài)小樣 本理論充分發(fā)展后 , 高斯研究成果的影響更加顯著。 最小二乘法不僅是 19 世 紀(jì)最重要的統(tǒng)計方法 , 而且還可以稱為數(shù)理統(tǒng)計學(xué)之靈魂。相關(guān)回歸分析、 方差分析和線性模型理論等數(shù)理統(tǒng)計學(xué)的幾大分支都以最小二乘法為理論 基礎(chǔ)。正如美國統(tǒng)計學(xué)家斯蒂格勒 ( S. M. Stigler) 所說, “最小二乘法

3、之 于數(shù)理統(tǒng)計學(xué)猶如微積分之于數(shù)學(xué)”。最小二乘法是參數(shù)回歸的最基本得方 法所以研究最小二乘法原理及其應(yīng)用對于統(tǒng)計的學(xué)習(xí)有很重要的意義。2. 最小二乘法所謂最小二乘法就是：選擇參數(shù) b0,b1, 使得全部觀測的殘差平方和最小 . 用數(shù)學(xué)公式表示為：2 2 2 min ei 2(Yi Yi )2(Yi b0 b1xi )2為了說明這個方法， 先解釋一下最小二乘原理， 以一元線性回歸方程為 例.Yi B0 B1xi一元線性回歸方程)由于總體回歸方程不能進(jìn)行參數(shù)估計，我們只能對樣本回歸函數(shù)來估計即：Yi b0 b1xi ei (i 1,2.n)從上面的公式可以看出：殘差ei是Y的真實(shí)值與估計值之差，估

4、計總體回歸函數(shù)最優(yōu)方法是，選擇Bo,Bi的估計量bo,bi，使得殘差ei盡可能的小.總之，最小二乘原理就是選擇樣本回歸函數(shù)使得所有 丫的估計值與真實(shí) 值差的平方和為最小，這種確定bo,bi的方法叫做最小二乘法。最小二乘法是回歸分析中的最基本的方法。 回歸方程一般分為 2 類，線 性回歸方程和非線性回歸方程。2.1 線性回歸最小二乘法最小二乘法是由實(shí)驗(yàn)或調(diào)查的數(shù)據(jù)，建立線性型公式的一種常用方法 . 在建立線性型公式中， 雖然有很多種不同的方法來求樣本回歸函數(shù) (即真實(shí) 總體回歸函數(shù)的估計值) ，但是在回歸分析中最廣泛應(yīng)用的方法是最小二乘 法.如果變量x和y有精確的線性關(guān)系比如說 y ax b ,

5、那么yi y即觀測 值與回歸值是相等的 . 事實(shí)上現(xiàn)實(shí)世界中的諸多變量的關(guān)系未必都是如此， 由于受諸多隨機(jī)因數(shù)的干擾使得物與物之間沒有那種很明確的對應(yīng)關(guān)系 . 比 如說人的身高和體重就是一個對應(yīng)， 我們都知道長的高的人不一定就重， 同 理長的矮的人也不一定就輕 . 但身高和體重的確存在著一定的關(guān)系 , 而這種 關(guān)系并非是y ax b所能確定的.那么我們要尋求身高和體重之間的關(guān)系 就需要通過數(shù)學(xué)的方法 .首先調(diào)查統(tǒng)計得出數(shù)據(jù) ;其次把數(shù)據(jù)描繪出來； 然后 擬合一條跟已有的圖象最接近的曲線 , 這樣就可以相對地將身高和體重之間 的關(guān)系表示出來.在處理類似的事情中常常用到最小二乘法.2.2 非線性回

6、歸最小二乘法非線性回歸的種類很多，常用的有拋物線方程( Y a bX cX 2 )、指 數(shù)方程( Y abx )等。設(shè)已知列表函數(shù) yi f (xi)(i 0,1,., m) ，并且我們想用一個通常的 n( m) 次多項(xiàng)式pn x a0 a1x . anxn(1)去近似它。問題是應(yīng)該如何選擇 a0，a1，.，an 使 pn x 能較好地近似列表函數(shù)f x。按最小二乘法，應(yīng)該選擇a。，ai,，an使得mi02xipn xi2)取最小。注意到S是非負(fù)的，且是a。，印,，an的2次多項(xiàng)式，它必有最小值。求S對a。，ai，.，an的偏導(dǎo)數(shù)，并令其等于零，得到mn yia。aixi.anxii。xik

7、。 (k0,1,., n)進(jìn)一步，可以將它們寫成mm kk yi xia。xii o i omkiaixi.iomknanxiio(k0,1,., n)引進(jìn)記號mSkXik 和 Ukiomk yi xiio則上述方程組為S0302LSn3nS130S2曰LSn 1 anL LL L LLLL L LSn3°Sn 131LS2n3nUi,Un和（每個i可以取值X0.X1丄，Xm,并且當(dāng)i j時i j。由（4）式及Van dermo nde行列式的性質(zhì)可知，當(dāng)X0,X1,L,xnn互異時，11L101LnW 0, 1 丄，n2021L2n0MMMn0n1Ln n從而，Xn 1 0 0方程

8、組有唯一解30,31丄，務(wù),且它們使取極小值如此，我們應(yīng)用最小二乘法找到了 f x的近似多項(xiàng)式pn X .在利用最小二乘法組成和式 時，所有點(diǎn)Xi都起到了同樣的作用，但它的系數(shù)行列式是S）SnXnlS2Sn 1SnSn 1S2n由S（i0,1,L ,2n）的定義及行列式性質(zhì)，可以斷言Xn11(n 1)!W 0, 1,L此處符號W表Van derm on de亍列式，而是對所有可能的i（i0,1,L , n)求是有時依據(jù)某種理由認(rèn)為中的某些項(xiàng)的作用大些，而另外一些作用小些精品文檔5)例如，一些 yi 是由精度較高的儀器或操作上比較熟練的人員獲得的，自然應(yīng)該予以較大的信任)，這在數(shù)學(xué)上表現(xiàn)為用和i

9、0i f xipn2xi替代和(2) 取最小值.n且i11,i 通常稱之為權(quán)；而 (5) 為加權(quán)和 .用多項(xiàng)式 pn xa0 a1xnanx去近似一個給定的列表函數(shù) (即給出精品文檔的一組觀測值 yiXi時。需要確定的參數(shù)是a°,ai,L ,an；而Pn x可以看成是a。, ai,L , an的線性函數(shù)但是有時在利用觀測或?qū)嶒?yàn)數(shù)據(jù)去確定一個經(jīng) 驗(yàn)公式時，往往要確定的函數(shù)和待定參數(shù)之間不具有線性形式的關(guān)系 . 這樣 問題就變得有些復(fù)雜 . 然而，常常可以通過變量替換使其線性化 .最小二乘法原理是用來求解線性方程組的 , 非線性方程經(jīng)線性化后方可 應(yīng)用該原理 . 通常在測量中遇到的問題不

10、一定都是線性問題 , 必須先把非 線性問題線性化 , 然后求解 . 例如：(i )有時，我們希望用如下類型的函數(shù)：s pt q(6)去近似一個由一組觀測數(shù)據(jù)(列表)所描繪的函數(shù)，其中 P和q是待定的兩 個參數(shù).顯然s已非p和q的線性函數(shù).怎樣線性化呢？為此，我們在 式兩端 取對數(shù)，得到Ins Inp qInt記Ins y, I np a。,印q,x Int,則 式變成ya0a1x這是一個一次多項(xiàng)式，它的系數(shù)a。和ai可以用最小二乘法求得精品文檔(ii)我們經(jīng)常希望用函數(shù)SAeCt去近似一個以給定的列表函數(shù)，其中 的兩端取對數(shù)：InSA、C是待定的參數(shù).這時，我們可以InA Ct精品文檔記 In

11、S y, InA a°Q ax t，則(1.7)式變成yaoaix這樣仍可用最小二乘法定出a。® (從而也就定出了 A, C )，得到近似函數(shù)S AeCt下面列出幾種常用的線性處理方法，利用最小二乘法的原理對直線型、 拋物線型和指數(shù)曲線型的方程的參數(shù)估計方法，介紹如下：(1) 直線型直線方程的一般形式為Y a bX令 (Y C)2 (a bX C)2為最小值，分別為a和b求偏導(dǎo)數(shù)，并 令導(dǎo)數(shù)等于0,得到聯(lián)立方程組。解方程組，即可得到參數(shù)的計算公式a Y bXn X Y X Yn X2 ( X)2(2) 拋物線型拋物線方程的一般形式為a bXcX令 (Y C)2 (a bX

12、C)2為最小值，分別為a、b、c求偏導(dǎo)數(shù),并令導(dǎo)數(shù)等于0,得到聯(lián)立方程組解方程組，即可得到參數(shù)的計算公式Y(jié) na bXcX202Y X aXbX2cX302YX2 aX2bX3cX40(3) 指數(shù)曲線型指數(shù)曲線的一般形式為Y abX取對數(shù)，將指數(shù)曲線轉(zhuǎn)化成對數(shù)直線形式IgY Iga X lg b用最小二乘法估計參數(shù)a,b,可有如下方程組IgY n Iga lg b X(X IgY) Iga X Igb X2解此方程組，可得參數(shù)的對數(shù)值，查其反對數(shù)，即可得參數(shù)值。3. 最小二乘法原理的應(yīng)用3.1最小二乘法原理在線性回歸中應(yīng)用例1.已知2009年3月到2010年4月居民收入與物價信心的滿意指數(shù)如下

13、 圖，求出當(dāng)期物價滿意指數(shù)x與時間t的曲線擬合。T123456X29.5028.2025.9021.7021.9013.80解：t=1 2 3 4 5 6;x=29.50 28.2025.90 21.70 21.90 13.80;plot(t,x,'o');精品文檔30 !,(1!r28-26-24-22-20-18-16-14-12 j11j11.522.533.544.555.56polyfit(t,x,1) ans =-2.9029 33.6600則所得到的近似方程為y=-2.9029+33.6600x.3.2最小二乘法原理在非線性回歸中的應(yīng)用例2設(shè)已知函數(shù)f (x)的表

14、列值為X0.20.50.70.851Y1.2211.6492.0142.3402.718試按最小二乘法構(gòu)造f (x)的二次近似多項(xiàng)式.解：下面用Matlab程序來求參數(shù)a0,a1和a2.程序如下:精品文檔精品文檔x=0.2 0.5 0.7 0.851;y=1.2211.6492.0142.3402.718;plot(x,y,'o');2.8LLLL.LLL12.6-2.4一-2.2一-2一-1.8一-1.6-Qr1.4=曰1.20.20.30.40.50.60.70.80.91polyfit(x,y,2)ans =0.92480.75531.0346即所求 a0=0.9248

15、, a1 =0.7553 , a2=1.0346.所求的近似多項(xiàng)式為f(x) 0.9248 0.7553x 1.0346x2 .例3、在某冶煉過程中，根據(jù)統(tǒng)計數(shù)據(jù)的含碳量與時間關(guān)系，試求含碳4.543.532.521.510.50102030405060量y與時間t的擬合曲線t0510152025303540455055y01.272.162.863.443.874.154.374.514.584.024.64解：實(shí)驗(yàn)程序如下:t=05 1015 20 25 30 35 40 45 50 55;y=01.272.162.863.443.874.154.374.514.584.024.64;pl

16、ot(t,y,'o');精品文檔p=polyfit(t,y,2)P =0.2305-0.00240.2037綜上，y與t的擬合曲線是y=-0.0024+0.2037t+0.0.2305 t2。例2設(shè)已知如下一組實(shí)驗(yàn)數(shù)據(jù)：t =2.2 2.7 3.5 4.1S =65 60 53 50 試求一個S AeCt型的函數(shù)去近似它.解：計算以緊湊的形式表示如下:Xox Intx2y Insxy10.34240.11721.81290.620710.43140.18611.77820.767110.54410.29601.72430.938210.61280.37551.69901.041

17、141.93070.97487.01443.3671SSS2UoU1由此得方程組4a0 1.9307a,7.0144,1.9307a) 0.9748a,3.3671.解之得 a0 Inp 1.963, p 91.9,q a10.434 從而91.9t0.43404. 小結(jié)應(yīng)用最小二乘法的幾個問題：最小二乘法雖然在數(shù)據(jù)處理方面具有顯著的效果，但如果使用不當(dāng)會導(dǎo) 致很大的誤差，甚至錯誤的結(jié)果。因此，在應(yīng)用時必須注意以下幾個問題：精品文檔(1) 慎重選擇擬合關(guān)系式。在實(shí)際問題中，適當(dāng)選擇擬合關(guān)系式是一項(xiàng) 十分謹(jǐn)慎的工作，它將直接影響計算的工作量和結(jié)論。(2) 自變量的選擇。在實(shí)際工作中，對一組實(shí)驗(yàn),

18、 %數(shù)據(jù)按不同的擬 合形式,結(jié)果會不一樣。特別注意當(dāng)兩個變量都有一定誤差時，應(yīng)當(dāng)使用雙變 量最小二乘法進(jìn)行處理，否則可以使用單變量最小二乘法。(3) 加權(quán)最小二乘法。此法是應(yīng)用于實(shí)驗(yàn)測量值yi非等精度的情況下的擬合方法。它不同程度的消除誤差因素，結(jié)果更準(zhǔn)確可靠。設(shè)擬合函數(shù)為y f x ,當(dāng)x值取禺時丫的實(shí)測值為y!,取！ f為。mm加權(quán)偏差平方和sw1 i2wi yi 1i 12Xi,式中Wi為第i個實(shí)驗(yàn)點(diǎn)的權(quán)重因子。選取合適的權(quán)重因子 Wi可獲得高精度的擬合參數(shù)。(4) 最小二乘原理在很多領(lǐng)域有著廣泛應(yīng)用，利用MATLAB解非常方便， 但一定要組要問題的類型，尤其是數(shù)據(jù)大且復(fù)雜時，來更好的突出 Matlab計 算出線性參數(shù)的最佳估計值，提高了效率和精度。(5) 非線性參數(shù)的最小二乘法處理程序可歸結(jié)為：首先根據(jù)具體問題將