1、最小二乘法在解決實際問題中的應(yīng)用摘 要最小二乘法是從擬合方面入手，多用于參數(shù)估計系統(tǒng)檢測等多個地方。 然而，最小二乘法通常由于其抽象而無法準確理解。 在本文中，討論了最小二乘法的基本原理及其各種擬合方法，這其 中 有 ： 一 元 線 性的 最 小 二 乘 法 擬 合，多 元的 線 性 擬 合， 多項 式的擬 合， 非 線 性的擬 合 和 可 轉(zhuǎn) 化 成為 線 性 擬 合 的 非 線 性 擬 合。關(guān)鍵詞：數(shù)據(jù)擬合；數(shù)學(xué)工具；分析應(yīng)用；誤差項；層次分析法AbstractThe least squares method is used to estimate or identify the regr

2、ession model from the perspective of error fitting. It is widely used in many fields such as parameter estimation, system identification and forecasting and forecasting. However, the least squares method is usually not easily understood due to its abstraction. In this paper, the basic principle of l

3、east squares method and its various fitting methods are discussed. There are one linear linear least squares fitting, multiple linear fitting, polynomial fitting, nonlinear fitting and Can be transformed into linear fitting of linear fitting, and the application of least squares method in practice i

4、s shown by examples. On this basis, the design principle of several least squares procedures is given.Keywords: Least square method; Weighted least square method; Linear fitting; Curve fitting ;Application example1引言最小二乘法第一次出現(xiàn)的時間是1805年，天文學(xué)家勒讓德是出書的人，而且附錄里邊是計算彗星的軌道的新方法，并且它作為計算方法，它也處于應(yīng)用數(shù)學(xué)的初級階段。現(xiàn)如今，最小二乘

5、法的理論研究變得很成熟了，慢慢分為多種專業(yè)方向。而且最小二乘法所應(yīng)用的地方非常多，這就是為什么要研究最小二乘法的原因。1.1研究意義與現(xiàn)狀：最小二乘法最早是在十九世紀初創(chuàng)立的，是最重要的統(tǒng)計方法。他延伸出了許多知識，例如：加權(quán)最小二乘法，一元線性擬合等等。所以研究最小二乘法是有必要的。朱賽普皮亞齊發(fā)現(xiàn)了被命名為“谷神星”的小行星，這個科學(xué)家進行了長達40多天的觀察研究，但是因為這顆小行星運轉(zhuǎn)到了太陽的背面，皮亞齊找不到它的位置了。 HYPERLINK javascript:; 然后有非常多的科學(xué)家來找尋這顆小行星，結(jié)果沒有一個人能根據(jù)計算找到，最后海因里希奧爾伯斯利用高斯的方法找到了。經(jīng)過二百

6、多年的發(fā)展，最小二乘法在科學(xué)的實驗中還有工程技術(shù)里面得到了非常廣泛的應(yīng)用，隨著現(xiàn)代電子計算機的應(yīng)用和發(fā)展，這種方法就顯得非常強大。利用最小二乘法所得到的觀測值在各領(lǐng)域的應(yīng)用還不完善，觀測的精確度從始至終都是極限值，假如超過了這個極限的值，那么就會引起失效，或者數(shù)學(xué)模型的表達和測量儀器的分辨力都失效。超過這個精度極限，反復(fù)觀察的結(jié)果將不會相互重合。例如，如果我們用眼睛去看和用米尺去測量工作臺的長度，那么極限的精確度可能就是毫米了。如果我們把結(jié)果記錄到最接近0的0.1，那么它們就會不一致。我們想要的精度通常超過我們觀察到的精度極限值。在這種情況下，我們無法知道我們觀察到的物理量的真實數(shù)值。 我們只

7、能估計真實數(shù)值是多少。我們希望這個估值是獨一無二的（即使用一種標準方法來確定估值，當(dāng)給出相同的觀察值時，這種方法得到的是相同的估值），我們想知道估值的優(yōu)度怎么樣。處理不一致數(shù)據(jù)的科學(xué)方法稱為統(tǒng)計學(xué)，我們除了用最小二乘法讓不符合的值的平方之和最小這個方法，還可以用別的方法來確定唯一的估計值。1.2最小二乘法的定義：定義1.1(殘差)：。要使盡可能的小，我們比較常見的方法有：（1）有，偏差最大絕對值最小，（2）有，偏差絕對值之和最小，（3）有，偏差平方和最小，則稱（3）為最小二乘法原則。1.3主要性質(zhì)和定理y與變量之間的關(guān)系式為:。其中個待定參數(shù)是 ,記， 是測量值, 是由已經(jīng)求解得到的和實驗點集

8、而得到的函數(shù)值。 HYPERLINK javascript:; 用最小二乘法轉(zhuǎn)換過的方程組叫做正規(guī)方程組，其中方程式數(shù)等于待定參數(shù)的數(shù)目。我們可以通過正規(guī)方程組得到。1.4最小二乘法的優(yōu)點和缺點優(yōu)點：最小二乘法可以有效處理大量數(shù)據(jù)，提高運算的效率，將混亂的數(shù)據(jù)你合成一條直線來反映出數(shù)據(jù)的趨勢。 HYPERLINK javascript:; 缺點：在使用過程中應(yīng)需注意下面幾個問題：在解決實際問題中一定要非常謹慎的選擇擬合關(guān)系，我們一定要借助現(xiàn)有的知識以及經(jīng)驗，選擇最合適的擬合關(guān)系。2運用2.1 曲線性擬合2.1.1一元線性擬合假設(shè)變量與之間是有線性關(guān)系的,就是：.現(xiàn)在已知個實驗點 ,求解兩個未知

9、的參數(shù).方法一 從最小二乘法原理得到,參數(shù)應(yīng)該使得取得極小值.根據(jù)極小值的求解方法,和必須滿足,解得,即(1)其中,線性的相關(guān)系數(shù),該式中,方法二 把代入中得矛盾方程組(2)令,則（2）式可寫成,則有,所以.稱為結(jié)構(gòu)矩陣,稱為數(shù)據(jù)矩陣, 稱為常數(shù)矩陣. 稱為信息矩陣,為了量化實驗數(shù)據(jù)與線性關(guān)系的一致程度，我們可以使用相關(guān)系數(shù)進行測量。 它被定義為. HYPERLINK javascript:; 時，越接近1，之間的線性關(guān)系就很好。為正數(shù)，直線的斜率就是正的，就叫做正相關(guān);對于是負數(shù)時，直線的斜率就是負的，就叫做負相關(guān);當(dāng)接近0時，測量的數(shù)學(xué)點分散就稱作為非線性。稱之為最小值的相關(guān)系數(shù)和測量次數(shù)

10、，如圖所示：3 1.000 9 0.798 15 0.6414 0.990 10 0.765 16 0.6235 0.959 11 0.735 17 0.6066 0.917 12 0.708 18 0.5907 0.874 13 0.684 19 0.5758 0.834 14 0.661 20 0.561應(yīng)該先求出的值，再來進行一元線性的擬合,最后與相比較,如果,那么和則具有線性的關(guān)系,就可以求回歸直線；否則則不行。2.1.2多元線性擬合個變量與有線性關(guān)系，,假如第個是,對應(yīng)的是，偏差平方和是：為了讓得到極小的值,那么正規(guī)方程組為:,即,.將實驗數(shù)據(jù)轉(zhuǎn)化為上述形式的方程里,我們可以得到未知

11、參數(shù).2.1.3指數(shù)函數(shù)擬合此時的擬合函數(shù)具有以下形式：（是未確定的系數(shù)）。式子的兩端取自然對數(shù)有令則（*）式化成線性形式為則可以求出。從而有。所以2.1.4 非線性最小二乘法擬合 HYPERLINK javascript:; 把非線性關(guān)系代入偏差平方和表達式中，然后展開成泰勒級數(shù)，忽略高次項，化成線性形式后按線性擬合的方法求出參數(shù),經(jīng)多次逼近可得到滿足精度要求的結(jié)果。計算步驟:(1) 假設(shè)我們需要求得的參數(shù)的真值是,然后另外取一個初值,它的差值就是,那么.(2) 將函數(shù)在處展開成為泰勒級數(shù)。由于初始值和真值應(yīng)該非常接近,所以可以省略高階項的泰勒展開式,以獲得一階近似展開式:,式中(3) 令,

12、那么展開式可以寫成:,這是線性關(guān)系式的特殊形式。 HYPERLINK javascript:; (4)將擬合的多元線性最小二乘法的正規(guī)方程應(yīng)用于上述式子以獲得其正規(guī)方程組2：令,那么上式成為:。(5)利用高斯消元法或其他方法來求解出正規(guī)方程，我們可以得出結(jié)論就是,然后求解出,該式是一個近似式, 也是近似的值。將第一次獲得的值分配給作為新的初始值，重復(fù)該過程，并獲得新的值，并且獲得新的初始值直到得到的精度足夠準確為止。 HYPERLINK javascript:; 2.1.5 可化為線性擬合的非線性擬合對于實際的曲線擬合問題，我們通常根據(jù)觀察值繪制笛卡爾坐標平面上的散點圖，看看哪一類曲線類型與散

13、點圖近似。 HYPERLINK javascript:; 下表列出了幾種經(jīng)過適當(dāng)轉(zhuǎn)換為線性擬合求解的擬合方程和變換關(guān)系： HYPERLINK javascript:; 曲線擬合方程 變換關(guān)系 變換后線性擬合方程 HYPERLINK javascript:; 圖3-1顯示了幾種常見的數(shù)據(jù)擬合。 圖，數(shù)據(jù)接近于直線，適合使用線擬合；圖接近拋物線的數(shù)據(jù)分布，適合使用擬合; HYPERLINK javascript:; 圖數(shù)據(jù)分布的特點是曲線開始上升迅速上升然后逐漸的減速，適合使用或；圖數(shù)據(jù)分布的特點是曲線開始迅速下降，然后逐漸減速，適合使用或或其他函數(shù)擬合。2.2 加權(quán)最小二乘法2.2.1加權(quán)最小二

14、乘法定義 HYPERLINK javascript:; 該方法適用的擬合方法是在實驗測量值不等精度的情況下，誤差因素消除程度的不同，結(jié)果會趨向于準確。 HYPERLINK javascript:; 令擬合函數(shù)為,當(dāng)值取時的實測值為,取，加權(quán)偏差平方之和：, HYPERLINK javascript:; 是個實驗點的權(quán)重因子.選取合適的權(quán)重因子可以獲得高精度的擬合參數(shù)22。2.2.2加權(quán)最小二乘法原理根據(jù)實際需要，經(jīng)常對于更高的精確度或更重要的數(shù)據(jù)，應(yīng)給予更大的權(quán)利。對于給定的一組測試數(shù)據(jù)，需要在中，查找一個函數(shù)使是中的任一函數(shù)是正數(shù)，稱作為權(quán)，大小反映的地位強弱，顯然：求可歸結(jié)為求多元函數(shù)的極

15、小點同理可求。但其中：特例：如果選用的擬合曲線為則，相應(yīng)的方法方程組為=。2.3一元線性擬合實例例如：銅導(dǎo)體在溫度（）下的電阻如表6-1所示，求解電阻R與溫度T之間的近似函數(shù)關(guān)系。表4-1i 0 1 2 3 4 5 6() 19.1 25.0 30.1 36.0 40.0 45.1 50.076.30 77.80 79.25 80.80 82.35 83.90 85.10解：畫出散點圖，數(shù)據(jù)接近一條直線，讓n=1，擬合函數(shù)就為列表如下表4-2i0 19.1 76.30 364.81 1457.3301 25.0 77.80 625.00 1945.0002 30.1 79.25 906.01

16、2385.4253 36.0 80.80 1296.00 2908.8004 40.0 82.35 1600.00 3294.0005 45.1 83.90 2034.01 3783.8906 50.0 85.10 2500.00 4255.000245.3 565.5 9325.83 20029.445正規(guī)方程組為解方程組得故得R與T的擬合直線為例如，當(dāng)R = 0時T = -242.5，就是預(yù)測溫度T = -224.5的時候，銅線沒有電阻。 HYPERLINK javascript:; 2.4用最小二乘法分析國民經(jīng)濟的增長趨勢2.4.1.問題背景通過GDP的發(fā)展我們可以大致分析近幾年我國的經(jīng)

17、濟發(fā)展趨勢，估計國內(nèi)的經(jīng)濟發(fā)展趨勢以及 GDP 的增長速率。2.4.2大致數(shù)據(jù)大致下面是我國的近十年的 GDP 數(shù)據(jù)：表中單位：億元2012 2011 2010 2009 2008 2007 2006 2005 2004 200378，894.0 78，579.0 78，388.0 77，510.0 77，046.0 76，531.0 76，315.0 76，120.0 75，290.0 74，911.02.4.3問題求解橫軸代表年份縱軸代表 GDP，單位：億元擬合曲線如下：我們可以得到方程：y = 450.36x 827147作為問題的回歸大約為 450.36 億元。2.5武器裝備批量生產(chǎn)成

18、本費用研究引用了武器系統(tǒng)的實際生產(chǎn)相關(guān)數(shù)據(jù)7。 見表1。 HYPERLINK javascript:; 生產(chǎn)序號 材料1的耗費 材料2的耗費 生產(chǎn)工時 總成本1 1435 426 421 19752 1295 339 289 16153 1162 277 248 14214 1212 301 237 14625 1233 300 236 15406 1111 310 239 13667 1072 289 209 12908 1020 301 220 12889 995 268 188 119310 1001 264 167 1212從表1可以看出，材料1，材料2的消耗或生產(chǎn)時間都隨著批量增加而

19、減少和趨向于穩(wěn)定，并且它們在數(shù)量之間呈現(xiàn)負的指數(shù)關(guān)系。我們以材料1為例，運用批量生產(chǎn)公式擬合，將非線性問題轉(zhuǎn)化成為線性問題。將變量設(shè)置為生產(chǎn)序列號，變量設(shè)為相應(yīng)的材料消耗。 可以通過函數(shù)變換得到回歸方程，并對材料1消耗曲線方程的參數(shù)和顯著性檢驗。這里使用 檢驗，分別記作 、，在給定顯著性水平的情況下，通過了變量的顯著性檢驗6。同樣地，我們將材料2的耗費和生產(chǎn)時間做了類似的處理，就得到了表2科目 回歸公式 下次預(yù)測材料1耗費 89.3% 370.80 -25.7889 998材料2耗費 72.7% 184.32 -14.6048 264生產(chǎn)工時 90.7% 179.59 -28.0087 178

20、用OLS方法和WLS方法來分別求解。預(yù)測模型有：加權(quán)最小二乘法：一般最小二乘法： HYPERLINK javascript:; 是材料1的耗費，是材料2的耗費，是生產(chǎn)工時，是總成本。比較二者擬合結(jié)果所得到的差異如表3所示：OLS OLS OLS WLS WLS WLS HYPERLINK javascript:; 擬合值 絕對誤差 相對誤差/% 擬合值 絕對誤差 相對誤差/%1959.8 -15.2 -0.77 1976.2 1.2 0.061639.9 24.9 1.54 1599.2 -15.8 -0.9781420 -1 -0.07 1421 0 01482.7 20.7 1.42 14

21、55.5 -6.5 -0.4451502.2 -37.8 -2.46 1594.8 54.8 3.561309.6 -56.4 4.12 1344.3 -21.7 -1.591390.5 100.5 7.79 1277.5 -12.5 -0.971276.3 -11.7 0.91 1298 10 0.781197.4 4.4 0.37 1191.4 -1.6 -0.131183.5 -28.5 -2.35 1252.2 40.2 3.32從表3可以看出，跟實際的值更接近并且得到的結(jié)果更加精確的是WLS方法它的最大誤差是356，然而OLS方法的最大誤差為779，所以WLS方法的擬合性更好。與此同

22、時，可知1170為下一次的總成本預(yù)測值，跟這個實際值更加接近，然而OLS 方法預(yù)測結(jié)果為11734，所以WLS方法的外推性也比OLS要更好。圖1更清晰的表明了這一點。總 結(jié) HYPERLINK javascript:; 從我拿到論文題目開始，我就開始準備完成論文的前期工作了，直到現(xiàn)在，我的論文已經(jīng)基本完成。剛開始拿到論文題目的時候，完全沒有一丁點兒的頭緒，不知道該從何下手。關(guān)于最小二乘法的資料實在太多，又寫不出來大綱，完全不知道該怎么辦，也不知道該查哪方面關(guān)于最小二乘法的資料。大部分人都有這樣的問題，所以齊成輝老師給我們開了一個小會，來指導(dǎo)每個人的論文該如何去寫，我們每一個人該從哪方面下手，查

23、哪方面的資料，還將學(xué)姐學(xué)長的終稿論文給我們讓我們研究，我這才慢慢理清我應(yīng)該怎么寫論文，通過查看相關(guān)文獻以及資料，構(gòu)建一個大致的框架，也就是大綱，然后慢慢補添東西，最后完成了論文。在完成論文的這一段時間里，我深刻的意識到只要你付出了就會得到回報，學(xué)到了很多知識，盡管還研究的不是那么透徹，但是讓我受益匪淺。十二月的中旬，我拿到了我的論文題目，最小二乘法與高等代數(shù)相關(guān)聯(lián)，最小二乘法的核心就是曲線擬合，所以我翻閱了大量的關(guān)于最小二乘法曲線擬合方面相關(guān)資料，首先明白了曲線擬合是什么東西，才能和最小二乘法相關(guān)聯(lián)。從一月份查資料開始，我先是去了學(xué)校圖書館，在知網(wǎng)上下了大量的論文參考資料，通過整理資料查閱資料

24、，我對我的論文有了一個更深刻的理解，了解到最小二乘法的廣泛應(yīng)用，雖然沒有在本文中研究，但是也學(xué)習(xí)到了很多。 HYPERLINK javascript:; 本文先是介紹了最小二乘法的研究現(xiàn)狀以及意義，其次開題是從最小二乘法的定義以及基本原理入手的，分別介紹加權(quán)最小二乘法和最小二乘法的擬合問題，最后通過幾個例子說明實踐中應(yīng)用最小二乘法的方法。在實際應(yīng)用中，利用擬合曲線研究了在物理關(guān)系中銅絲和導(dǎo)線之間的關(guān)系的應(yīng)用，又從經(jīng)濟問題中，研究了國民經(jīng)濟的增長趨勢，最后基于加權(quán)最小二乘法研究了武器裝備批量生產(chǎn)成本費用。通過研究這些讓我對最小二乘法有了更深刻的認識，盡管研究的不是非常透徹，但是對我以后的學(xué)習(xí)也非常的有幫助，雖然寫論文的過程中遇見了很多困難，但是一一克服之后非常開心，非常有成就感。最小二乘法相對來說比較古老，有非常多的人研究它，最令人著迷的是在大量的混亂的數(shù)據(jù)中找到一定的規(guī)律，并擬合成一條反映總體趨勢的曲線，這是一個非常有效的數(shù)據(jù)處理方法，雖然存在著數(shù)據(jù)量大容易出錯的弊端，但是隨著現(xiàn)代電子技術(shù)的發(fā)展，它更展現(xiàn)出它強大的生命力以及實效性。參考文獻1北京大學(xué)數(shù)學(xué)系，高等代數(shù)M,北京：高等教育出版社，2003:178-2982錢吉