第1頁(yè)，共29頁(yè)，2023年，2月20日，星期六一、最小二乘法的定義1.“曲線擬合”問(wèn)題已知：一組實(shí)驗(yàn)數(shù)據(jù)（xi，yi）(i=0,1,…,m)，且觀測(cè)數(shù)據(jù)有誤差求：自變量x與因變量y之間的函數(shù)關(guān)系y=F(x)

，不要求y=F(x)經(jīng)過(guò)所有點(diǎn)，而只要求在給定點(diǎn)上誤差按某種標(biāo)準(zhǔn)最小。第2頁(yè)，共29頁(yè)，2023年，2月20日，星期六(1)使殘差的最大絕對(duì)值為最小(2)使殘差的絕對(duì)值之和為最小(3)使殘差的平方和為最小最小二乘法度量標(biāo)準(zhǔn)不同，將導(dǎo)致不同的擬合結(jié)果，常用的準(zhǔn)則有如下三種：第3頁(yè)，共29頁(yè)，2023年，2月20日，星期六2.多項(xiàng)式擬合的一般定義一組數(shù)據(jù)（xi，yi）(i=0,1,…,m)，已知：求：在函數(shù)類中找一個(gè)函數(shù)，使誤差平方和最小，即這里第4頁(yè)，共29頁(yè)，2023年，2月20日，星期六3.一般定義一組數(shù)據(jù)（xi，yi）(i=0,1,…,m)，已知：求：在函數(shù)類中找一個(gè)函數(shù)，使誤差平方和最小，即這里第5頁(yè)，共29頁(yè)，2023年，2月20日，星期六4.廣義定義通常把最小二乘法都考慮為加權(quán)平方和即其中注：權(quán)函數(shù)在實(shí)際問(wèn)題中有重要作用！第6頁(yè)，共29頁(yè)，2023年，2月20日，星期六二、求解方法求S*(x)求如下多元函數(shù)的最小值由多元函數(shù)求極值的必要條件第7頁(yè)，共29頁(yè)，2023年，2月20日，星期六展開(kāi)法方程第8頁(yè)，共29頁(yè)，2023年，2月20日，星期六解方程組第9頁(yè)，共29頁(yè)，2023年，2月20日，星期六三、求解步驟確定擬合曲線的形式確定變量對(duì)應(yīng)的數(shù)據(jù)確定法方程求解法方程最困難！第10頁(yè)，共29頁(yè)，2023年，2月20日，星期六四、舉例例1.

已知一組實(shí)驗(yàn)數(shù)據(jù)如下，求它的擬合曲線.xi12345fi44.5688.5ωi21311解根據(jù)所給數(shù)據(jù)，在坐標(biāo)紙上標(biāo)出，從圖中看到各點(diǎn)在一條直線附近，故可選擇線性函數(shù)作擬合曲線，即令第11頁(yè)，共29頁(yè)，2023年，2月20日，星期六得法方程為解得于是所求擬合曲線為第12頁(yè)，共29頁(yè)，2023年，2月20日，星期六例2.

在某化學(xué)反應(yīng)里，根據(jù)實(shí)驗(yàn)所得生成物的濃度與時(shí)間關(guān)系如下表，求濃度y與時(shí)間t的擬合曲線y=F(t).t12345678Y4.006.408.008.809.229.509.709.86t910111213141516y10.0010.2010.3210.4210.5010.5510.5810.60第13頁(yè)，共29頁(yè)，2023年，2月20日，星期六解根據(jù)所給數(shù)據(jù)，在坐標(biāo)紙上標(biāo)出，得下圖ty從圖中可以看出開(kāi)始時(shí)濃度增加較快，后來(lái)逐漸減弱，到一定時(shí)間就基本穩(wěn)定在一個(gè)數(shù)值上，即當(dāng)t→∞時(shí)，y趨于某個(gè)常數(shù)，故有一水平漸近線。另外t=0時(shí)，反應(yīng)未開(kāi)始，濃度為0。概括起來(lái)為第14頁(yè)，共29頁(yè)，2023年，2月20日，星期六根據(jù)這些條件，可設(shè)想兩種形式的函數(shù)關(guān)系：y=F(t)是雙曲線型y=F(t)是指數(shù)形式b<0第15頁(yè)，共29頁(yè)，2023年，2月20日，星期六y=F(t)是雙曲線型為了確定a、b，令于是可用x的線性函數(shù)擬合數(shù)據(jù)。可由原始數(shù)據(jù)計(jì)算出來(lái)。第16頁(yè)，共29頁(yè)，2023年，2月20日，星期六可求得代入法方程得解得從而得到第17頁(yè)，共29頁(yè)，2023年，2月20日，星期六于是由計(jì)算出，擬合數(shù)據(jù)的曲線仍設(shè)為y=F(t)是指數(shù)形式為了確定a與b，對(duì)上式兩邊取對(duì)數(shù)得令第18頁(yè)，共29頁(yè)，2023年，2月20日，星期六得法方程解得從而得到第19頁(yè)，共29頁(yè)，2023年，2月20日，星期六???請(qǐng)回答:怎樣比較這兩個(gè)數(shù)學(xué)模型的好壞呢？答：只要分別計(jì)算這兩個(gè)數(shù)學(xué)模型的誤差，從中挑選誤差較小的模型即可。第20頁(yè)，共29頁(yè)，2023年，2月20日，星期六本例經(jīng)過(guò)計(jì)算可得而均方誤差為由此可知第二個(gè)模型較好。第21頁(yè)，共29頁(yè)，2023年，2月20日，星期六結(jié)論：

選擇擬合曲線的數(shù)學(xué)模型，并不一定開(kāi)始就能選好，往往需要通過(guò)分析若干模型后，經(jīng)過(guò)實(shí)際計(jì)算才能選到較好的模型，如本例的指數(shù)模型就比雙曲線模型好得多。第22頁(yè)，共29頁(yè)，2023年，2月20日，星期六例3.

用最小二乘法解超定方程組解欲求（x,y）使得其盡可能使四個(gè)等式成立，即使達(dá)到最小第23頁(yè)，共29頁(yè)，2023年，2月20日，星期六則（x,y）應(yīng)滿足即解得所以用最小二乘法解得的超定線性方程組的解為第24頁(yè)，共29頁(yè)，2023年，2月20日，星期六第三章補(bǔ)充逼近問(wèn)題的發(fā)展第25頁(yè)，共29頁(yè)，2023年，2月20日，星期六對(duì)基于經(jīng)驗(yàn)數(shù)據(jù)估計(jì)函數(shù)依賴關(guān)系的方法的研究（從實(shí)例學(xué)習(xí)的研究）已經(jīng)有很長(zhǎng)的歷史了。這些研究是由兩個(gè)偉大的數(shù)學(xué)家開(kāi)始的：他們是高斯（Gauss,1777-1855）和拉普拉斯（Laplace,1749-1827），他們提出了從天文學(xué)和物理學(xué)中的觀測(cè)結(jié)果估計(jì)依賴關(guān)系的兩種不同方法。逼近問(wèn)題的發(fā)展第26頁(yè)，共29頁(yè)，2023年，2月20日，星期六高斯提出了最小二乘法，而拉普拉斯提出了最小模方法。從那時(shí)起就有了下面的問(wèn)題：那種方法更好呢？在19世紀(jì)和20世紀(jì)初，人們更趨向于最小二乘法。在1953年，L.LeCam定義了ML方法一致收斂的一些充分條件后，人們發(fā)現(xiàn)：如果離散數(shù)據(jù)點(diǎn)的噪聲是服從高斯（正態(tài)）規(guī)律的，則最小二乘法給出最好的結(jié)果；若噪聲是服從拉普拉斯規(guī)律的，則最小模法給出最好的結(jié)果。第27頁(yè)，共29頁(yè)，2023年，2月20日，星期六但遺憾的是，在實(shí)際中噪聲的