3.5

曲線擬合的最小二乘法

3.5.1

最小二乘法及其計(jì)算

在函數(shù)的最佳平方逼近中如果只在一組離散點(diǎn)集上給定，這就是科學(xué)實(shí)驗(yàn)中經(jīng)常見(jiàn)到的實(shí)驗(yàn)數(shù)據(jù)的曲線擬合.1第3章5-7節(jié)3.5曲線擬合的最小二乘法

記誤差則的各分量分別為個(gè)數(shù)據(jù)點(diǎn)上的誤差.

問(wèn)題為利用求出一個(gè)函數(shù)與所給數(shù)據(jù)擬合.2第3章5-7節(jié)3.5曲線擬合的最小二乘法

設(shè)是上線性無(wú)關(guān)函數(shù)族，在中找一函數(shù)，使誤差平方和（5.1）這里（5.2）3第3章5-7節(jié)3.5曲線擬合的最小二乘法

這個(gè)問(wèn)題稱為最小二乘逼近，幾何上稱為曲線擬合的最小二乘法.

用最小二乘求擬合曲線時(shí),首先要確定的形式.

確定的形式問(wèn)題不僅是數(shù)學(xué)問(wèn)題,還與問(wèn)題的實(shí)際背景有關(guān).

通常要用問(wèn)題的運(yùn)動(dòng)規(guī)律及給定的數(shù)據(jù)進(jìn)行數(shù)據(jù)描圖,確定的形式,然后通過(guò)實(shí)際計(jì)算選出較好的結(jié)果.4第3章5-7節(jié)3.5曲線擬合的最小二乘法

為了使問(wèn)題的提法更有一般性，通常在最小二乘法中考慮加權(quán)平方和（5.2）（5.3）這里是上的權(quán)函數(shù)，它表示不同點(diǎn)處的數(shù)據(jù)比重不同.就是次多項(xiàng)式.

若是次多項(xiàng)式，

的一般表達(dá)式為（5.2）表示的線性形式.5第3章5-7節(jié)3.5曲線擬合的最小二乘法

這樣，最小二乘問(wèn)題就轉(zhuǎn)化為求多元函數(shù)（5.4）的極小點(diǎn)問(wèn)題.

用最小二乘法求擬合曲線的問(wèn)題，就是在形如(5.2)的中求一函數(shù)，

由求多元函數(shù)極值的必要條件，有使（5.3）取得最小.（5.2）（5.3）6第3章5-7節(jié)3.5曲線擬合的最小二乘法若記（5.5）上式可改寫(xiě)為（5.6）這個(gè)方程稱為法方程，可寫(xiě)成矩陣形式7第3章5-7節(jié)3.5曲線擬合的最小二乘法其中（5.7）

要使法方程(5.6)有惟一解，就要求矩陣非奇異，而在上線性無(wú)關(guān)不能推出矩陣非奇異，必須加上另外的條件.（5.6）8第3章5-7節(jié)3.5曲線擬合的最小二乘法

顯然在任意個(gè)點(diǎn)上滿足哈爾條件.哈爾條件，則法方程(5.6)

的系數(shù)矩陣(5.7)

非奇異，

如果在上滿足函數(shù)的最小二乘解為

定義10設(shè)的任意線性組合在點(diǎn)集上至多只有個(gè)不同的零點(diǎn)，則稱在點(diǎn)集上滿足哈爾(Haar)條件.方程(5.6)存在惟一的解從而得到于是（5.6）9第3章5-7節(jié)3.5曲線擬合的最小二乘法這樣得到的，對(duì)任何形如(5.2)的，都有故確是所求最小二乘解.（5.2）10第3章5-7節(jié)3.5曲線擬合的最小二乘法一般可取，但這樣做當(dāng)時(shí)，通常對(duì)的簡(jiǎn)單情形都可通過(guò)求法方程（5.6）得到

給定的離散數(shù)據(jù)，

例如，，求解法方程（5.6）將出現(xiàn)系數(shù)矩陣為病態(tài)的問(wèn)題，

有時(shí)根據(jù)給定數(shù)據(jù)圖形，其擬合函數(shù)表面上不是（5.2）的形式，但通過(guò)變換仍可化為線性模型.若兩邊取對(duì)數(shù)得（5.6）（5.2）11第3章5-7節(jié)3.5曲線擬合的最小二乘法

例7這樣就變成了形如（5.2）的線性模型.此時(shí)，若令則已知一組實(shí)驗(yàn)數(shù)據(jù)如下，求它的擬合曲線.12第3章5-7節(jié)3.5曲線擬合的最小二乘法

解

從圖中看到各點(diǎn)在一條直線附近，故可選擇線性函數(shù)作擬合曲線，將所給數(shù)據(jù)在坐標(biāo)紙上標(biāo)出，見(jiàn)圖3-4.圖3-413第3章5-7節(jié)3.5曲線擬合的最小二乘法

令這里故14第3章5-7節(jié)3.5曲線擬合的最小二乘法解得由（5.6）得方程組于是所求擬合曲線為（5.6）15第3章5-7節(jié)3.5曲線擬合的最小二乘法

關(guān)于多項(xiàng)式擬合，Matlab中有現(xiàn)成的程序其中輸入?yún)?shù)為要擬合的數(shù)據(jù)，為擬合多項(xiàng)式的次數(shù)，輸出參數(shù)為擬合多項(xiàng)式的系數(shù).

利用下面的程序，可在Matlab中完成上例的多項(xiàng)式擬合.16第3章5-7節(jié)3.5曲線擬合的最小二乘法x=[11233345];f=[444.566688.5];aa=poly(x,f,1);y=polyval(aa,x);plot(x,f,’r+’,x,y,’k’)xlabel(‘x’);ylabel(‘y’);gtext(‘y=s1(x)’）17第3章5-7節(jié)3.5曲線擬合的最小二乘法結(jié)果如下：18第3章5-7節(jié)3.5曲線擬合的最小二乘法

例8設(shè)數(shù)據(jù)由表3-1給出，用最小二乘法確定及.

解表中第4行為通過(guò)描點(diǎn)可以看出數(shù)學(xué)模型為它不是線性形式.用給定數(shù)據(jù)描圖可確定擬合曲線方程為兩邊取對(duì)數(shù)得19第3章5-7節(jié)3.5曲線擬合的最小二乘法

若令先將轉(zhuǎn)化為為確定，

根據(jù)最小二乘法，取則得數(shù)據(jù)表見(jiàn)表3-1.得20第3章5-7節(jié)3.5曲線擬合的最小二乘法故有法方程解得

于是得最小二乘擬合曲線為21第3章5-7節(jié)3.5曲線擬合的最小二乘法

利用下面的程序，可在Matlab中完成曲線擬合.x=[1.001.251.501.752.00];y=[5.105.796.537.458.46];y1=log(y);aa=poly(x,y1,1);a=aa(1);b=exp(aa(2));y2=b*exp(a*x);plot(x,y,’r+’,x,y2,’k’)xlabel(‘x’);ylabel(‘y’);gtext(‘y=a*exp(bx))’;22第3章5-7節(jié)3.5曲線擬合的最小二乘法結(jié)果如下：23第3章5-7節(jié)3.5曲線擬合的最小二乘法

3.5.2

用正交多項(xiàng)式做最小二乘擬合

如果是關(guān)于點(diǎn)集（5.8）

用最小二乘法得到的法方程組（5.6），其系數(shù)矩陣是病態(tài)的.帶權(quán)正交的函數(shù)族，即（5.6）24第3章5-7節(jié)3.5曲線擬合的最小二乘法（5.9）則方程（5.6）的解為且平方誤差為（5.6）25第3章5-7節(jié)3.5曲線擬合的最小二乘法

接下來(lái)根據(jù)給定節(jié)點(diǎn)及權(quán)函數(shù)構(gòu)造帶權(quán)正交的多項(xiàng)式.

注意，用遞推公式表示，即（5.10）這里是首項(xiàng)系數(shù)為1的次多項(xiàng)式，根據(jù)的正交性，得26第3章5-7節(jié)3.5曲線擬合的最小二乘法（5.11）

下面用歸納法證明這樣給出的是正交的.27第3章5-7節(jié)3.5曲線擬合的最小二乘法

假定對(duì)及要證對(duì)均成立.由（5.10）有

由（5.10）第二式及（5.11）中的表達(dá)式，有均成立，（5.12）（5.10）（5.10）28第3章5-7節(jié)3.5曲線擬合的最小二乘法

而，于是由（5.12），當(dāng)時(shí)，

另外，是首項(xiàng)系數(shù)為1的次多項(xiàng)式，它可由由歸納法假定，當(dāng)時(shí)的線性組合表示.由歸納法假定又有（5.12）29第3章5-7節(jié)3.5曲線擬合的最小二乘法由假定有

再考慮（5.13）利用（5.11）中表達(dá)式及以上結(jié)果，得30第3章5-7節(jié)3.5曲線擬合的最小二乘法至此已證明了由（5.10）及（5.11）確定的多項(xiàng)式組成一個(gè)關(guān)于點(diǎn)集的正交系.

用正交多項(xiàng)式的線性組合作最小二乘曲線擬合，只要根據(jù)公式（5.10）及（5.11）逐步求的同時(shí)，相應(yīng)計(jì)算出系數(shù)最后，由和的表達(dá)式（5.11）有31第3章5-7節(jié)3.5曲線擬合的最小二乘法并逐步把累加到中去，最后就可得到所求的

用這種方法編程序不用解方程組，只用遞推公式，并且當(dāng)逼近次數(shù)增加一次時(shí)，只要把程序中循環(huán)數(shù)加1，其余不用改變.這里可事先給定或在計(jì)算過(guò)程中根據(jù)誤差確定.擬合曲線32第3章5-7節(jié)3.5曲線擬合的最小二乘法3.6

最佳平方三角逼近與快速傅里葉變換

當(dāng)是周期函數(shù)時(shí)，顯然用三角多項(xiàng)式逼近比用代數(shù)多項(xiàng)式更合適，本節(jié)主要討論用三角多項(xiàng)式做最小平方逼近及快速傅里葉變換，簡(jiǎn)稱FFT算法.33第3章5-7節(jié)3.5曲線擬合的最小二乘法

3.6.1

最佳平方三角逼近與三角插值

設(shè)是以為周期的平方可積函數(shù)，用三角多項(xiàng)式（6.1）作為最佳平方逼近函數(shù).由于三角函數(shù)族在上是正交函數(shù)族，于是在上的最小平方三角逼近多項(xiàng)式的系數(shù)是34第3章5-7節(jié)3.5曲線擬合的最小二乘法

稱為傅里葉系數(shù).

函數(shù)按傅里葉系數(shù)展開(kāi)得到的級(jí)數(shù)（6.3）就稱為傅里葉級(jí)數(shù).（6.2）35第3章5-7節(jié)3.5曲線擬合的最小二乘法

只要在上分段連續(xù)，則級(jí)數(shù)（6.3）一致收斂到.

對(duì)于最佳平方逼近多項(xiàng)式（6.1）有由此可以得到相應(yīng)于（4.11）的貝塞爾不等式因?yàn)橛疫叢灰蕾囉冢筮厗握{(diào)有界，所以級(jí)數(shù)（6.3）（6.1）（4.11）36第3章5-7節(jié)3.5曲線擬合的最小二乘法

當(dāng)只在給定的離散點(diǎn)集上已知時(shí)，則可類似得到離散點(diǎn)集正交性與相應(yīng)的離散傅里葉系數(shù).

下面只給出奇數(shù)個(gè)點(diǎn)的情形.收斂，并有37第3章5-7節(jié)3.5曲線擬合的最小二乘法可以證明對(duì)任何成立令38第3章5-7節(jié)3.5曲線擬合的最小二乘法這表明函數(shù)族在點(diǎn)集上正交.

若令其中則的最小二乘三角逼近為39第3章5-7節(jié)3.5曲線擬合的最小二乘法當(dāng)時(shí)于是（6.4）就是三角插值多項(xiàng)式，系數(shù)仍由（6.4）表示.40第3章5-7節(jié)3.5曲線擬合的最小二乘法由于所以函數(shù)族在區(qū)間上是正交的.

一般情形，假定是以為周期的復(fù)函數(shù)，給定在個(gè)等分點(diǎn)上的值函數(shù)在等距點(diǎn)集上的值組成的向量記作41第3章5-7節(jié)3.5曲線擬合的最小二乘法當(dāng)時(shí)，個(gè)復(fù)向量具有如下正交性：（6.5）42第3章5-7節(jié)3.5曲線擬合的最小二乘法事實(shí)上，令于是即若若則有則從而43第3章5-7節(jié)3.5曲線擬合的最小二乘法于是若這就證明了（6.5）成立.即是正交的.則于是

因此，在個(gè)點(diǎn)上的最小二乘傅里葉逼近為（6.5）44第3章5-7節(jié)3.5曲線擬合的最小二乘法（6.6）其中（6.7）在（6.6）中，若，則為在點(diǎn)上的插值函數(shù)，于是由（6.6）得即（6.8）45第3章5-7節(jié)3.5曲線擬合的最小二乘法

而（6.8）是由求的過(guò)程，稱為反變換.（6.7）是由求的過(guò)程，稱為的離散傅里葉變換.簡(jiǎn)稱DFT，（6.7）（6.8）46第3章5-7節(jié)3.5曲線擬合的最小二乘法

3.6.2

快速傅氏變換（FFT）

不論是按（6.7）式由求，由求，（6.9）其中(正變換)或(反變換)，還是由（6.4）計(jì)算傅里葉逼近系數(shù)都可歸結(jié)為計(jì)算是已知復(fù)數(shù)序列.或是按（6.8）（6.4）47第3章5-7節(jié)3.5曲線擬合的最小二乘法

當(dāng)較大且處理數(shù)據(jù)很多時(shí)，就是用高速的電子計(jì)算機(jī)，很多實(shí)際問(wèn)題仍然無(wú)法計(jì)算，

如直接用（6.9）計(jì)算，需要次復(fù)數(shù)乘法和次復(fù)數(shù)加法，稱為個(gè)操作，計(jì)算全部共要個(gè)操作.

直到20世紀(jì)60年代中期產(chǎn)生了FFT算法，大大提高了運(yùn)算速度，從而使傅氏變換得以廣泛應(yīng)用.FFT算法的基本思想就是盡量減少乘法次數(shù).（6.9）48第3章5-7節(jié)3.5曲線擬合的最小二乘法用（6.9）計(jì)算全部，表面看要做個(gè)乘法，實(shí)際上所有中，只有個(gè)不同的值特別當(dāng)時(shí)，只有個(gè)不同的值.

因此可把同一個(gè)對(duì)應(yīng)的相加后再乘，這就能大量減少乘法次數(shù).（6.9）49第3章5-7節(jié)3.5曲線擬合的最小二乘法

設(shè)正整數(shù)除以后得商及余數(shù)，則，稱為的同余數(shù)，以表示.

由于

因此計(jì)算時(shí)可用的同余數(shù)代替，從而推出FFT算法.

以為例.說(shuō)明FFT的計(jì)算方法.

由于則（6.9）的和是（6.10）故有50第3章5-7節(jié)3.5曲線擬合的最小二乘法將用二進(jìn)制表示為其中只能取0或1.

例如根據(jù)表示法，有公式（6.10）可表示為（6.10）51第3章5-7節(jié)3.5曲線擬合的最小二乘法（6.11）若引入記號(hào)（6.12）52第3章5-7節(jié)3.5曲線擬合的最小二乘法則（6.11）變成

它說(shuō)明利用同余數(shù)可把計(jì)算分為步，用公式（6.12）計(jì)算.

每計(jì)算一個(gè)只用2次復(fù)數(shù)乘法，計(jì)算一個(gè)用次復(fù)數(shù)乘法，計(jì)算全部共用次復(fù)數(shù)乘法.

若注意公式（6.12）還可進(jìn)一步簡(jiǎn)化為53第3章5-7節(jié)3.5曲線擬合的最小二乘法將這表達(dá)式中二進(jìn)制表示還原為十進(jìn)制表示：54第3章5-7節(jié)3.5曲線擬合的最小二乘法（6.13）同樣（6.12）中的也可簡(jiǎn)化為即即得55第3章5-7節(jié)3.5曲線擬合的最小二乘法把二進(jìn)制表示還原為十進(jìn)制表示，得（6.14）同理（6.12）中可簡(jiǎn)化為即56第3章5-7節(jié)3.5曲線擬合的最小二乘法表示為十進(jìn)制，有（6.15）57第3章5-7節(jié)3.5曲線擬合的最小二乘法

根據(jù)公式(6.13)，(6.14)，(6.15)，由逐次計(jì)算到見(jiàn)表3-2(略）.

上面推導(dǎo)的的計(jì)算公式可類似地推廣到的情形.

根據(jù)公式(6.13)，(6.14)，(6.15)，一般情況的FFT計(jì)算公式如下：58第3章5-7節(jié)3.5曲線擬合的最小二乘法（6.16）其中從出發(fā)，由到算到

一組占用個(gè)復(fù)數(shù)單元，計(jì)算時(shí)需給出兩組單元，括號(hào)內(nèi)的數(shù)代表它的位置，在計(jì)算機(jī)中代表存放數(shù)的地址.即為所求.59第3章5-7節(jié)3.5曲線擬合的最小二乘法

這個(gè)計(jì)算公式除了具有不倒地址的優(yōu)點(diǎn)外，計(jì)算只有兩重循環(huán)，

計(jì)算過(guò)程中只要按地址號(hào)存放則最后得到的就是所求離散頻譜的次序.外循環(huán)由計(jì)算到，內(nèi)循環(huán)由計(jì)算到由計(jì)算到更重要的是整個(gè)計(jì)算過(guò)程省計(jì)算量.由公式看到算一個(gè)共做次復(fù)數(shù)乘法，而最后一步計(jì)算時(shí)，由于60第3章5-7節(jié)3.5曲線擬合的最小二乘法

當(dāng)時(shí)比值是它比一般FFT的計(jì)算量（次乘法）也快一倍.（注意時(shí)故），因此，總共要算次復(fù)數(shù)乘法，它比直接用（6.9）需次乘法快得多，計(jì)算量比值是

我們稱（6.16）的計(jì)算公式為改進(jìn)的FFT算法

.61第3章5-7節(jié)3.5曲線擬合的最小二乘法3.7

有理逼近

3.7.1

有理逼近與連分式

有理函數(shù)逼近是指用形如的函數(shù)逼近

與前面討論一樣，如果最小就可得到最佳有理一致逼近.

（7.1）62第3章5-7節(jié)3.5曲線擬合的最小二乘法

如果最小則可得到最佳有理平方逼近函數(shù).

本節(jié)主要討論利用函數(shù)的泰勒展開(kāi)獲得有理逼近函數(shù)的方法.

對(duì)函數(shù)用泰勒展開(kāi)得（7.2）取部分和63第3章5-7節(jié)3.5曲線擬合的最小二乘法

另一方面,若對(duì)（7.2）式用輾轉(zhuǎn)相除可得到的一種連分式展開(kāi)（7.3）（7.2）64第3章5-7節(jié)3.5曲線擬合的最小二乘法（7.4）（7.3）右端為的無(wú)窮連分式的前5項(xiàng)，最后式子

若取（7.3）的前2，4，6，8項(xiàng)，則可分別得到的以下有理逼近:是它的緊湊形式.65第3章5-7節(jié)3.5曲線擬合的最小二乘法

若用同樣多項(xiàng)的泰勒展開(kāi)部分和逼近并計(jì)算處的值及，計(jì)算結(jié)果見(jiàn)表3-2.的準(zhǔn)確值為從表3-1可以看出，66第3章5-7節(jié)3.5曲線擬合的最小二乘法

但它們的計(jì)算量是相當(dāng)?shù)模@說(shuō)明用有理逼近比多項(xiàng)式逼近好得多.由此看出的精度比高出近10萬(wàn)倍，

例9用輾轉(zhuǎn)相除法將它化為連分式并寫(xiě)成緊湊形式.

解給出有理函數(shù)用輾轉(zhuǎn)相除可逐步得到67第3章5-7節(jié)3.5曲線擬合的最小二乘法

本例中用連分式計(jì)算的值只需3次除法，1次乘法和7次加法.68第3章5-7節(jié)3.5曲線擬合的最小二乘法

若直接用多項(xiàng)式計(jì)算的秦九韶算法則需6次乘法和1次除法及7次加法.可見(jiàn)將化成連分式可節(jié)省計(jì)算乘除法次數(shù).

對(duì)一般的有理函數(shù),（7.1）可轉(zhuǎn)化為一個(gè)連分式它的乘除法運(yùn)算只需次.而直接用有理函數(shù)（7.1）計(jì)算乘除法次數(shù)為次.69第3章5-7節(jié)3.5曲線擬合的最小二乘法

3.7.2

帕德逼近

利用函數(shù)的泰勒展開(kāi)可以得到它的有理逼近.

設(shè)在的泰勒展開(kāi)為（7.5）它的部分和記作（7.6）70第3章5-7節(jié)3.5曲線擬合的最小二乘法

定義11設(shè)其中無(wú)公因式，且滿足條件（7.8）則稱為函數(shù)在處的階帕德逼近，記作,簡(jiǎn)稱的帕德逼近.如果有理函數(shù)（7.7）71第3章5-7節(jié)3.5曲線擬合的最小二乘法

根據(jù)定義，若令則滿足條件（7.8）等價(jià)于即由于應(yīng)用萊布尼茨求導(dǎo)公式得（7.8）72第3章5-7節(jié)3.5曲線擬合的最小二乘法這里