函數(shù)逼近和快速傅里葉變換在數(shù)值計(jì)算中經(jīng)常要計(jì)算函數(shù)值，如計(jì)算機(jī)中計(jì)算基本初等函數(shù)及其他特殊函數(shù)；當(dāng)函數(shù)只在有限點(diǎn)集上給定函數(shù)值，要在包含該點(diǎn)集的區(qū)間上用公式給出函數(shù)的簡單表達(dá)式，這些都涉及在區(qū)間[a,b]上用簡單函數(shù)逼近已知復(fù)雜函數(shù)的問題，這就是函數(shù)逼近問題.第2章討論的插值法就是函數(shù)逼近的一種.3.1

函數(shù)逼近的基本概念3.1.1函數(shù)逼近與函數(shù)空間

本章討論的函數(shù)逼近，是指“對函數(shù)類A中給定的函數(shù)f(x)，記作f(x)∈A，要求在另一類簡單的便于計(jì)算的函數(shù)類B中求函數(shù)p(x)∈B，使p(x)與f(x)的誤差在某種度量意義下最小”.函數(shù)類A通常是區(qū)間[a,b]上的連續(xù)函數(shù)，記作C[a,b]，稱為函數(shù)逼近空間;而函數(shù)B通常為n次多項(xiàng)式,有理函數(shù)或分段低次多項(xiàng)式等.為了在數(shù)學(xué)上描述更精確，先要介紹代數(shù)和分析中一些基本概念及預(yù)備知識.

數(shù)學(xué)上常把在各種集合中引入某一些不同的確定關(guān)系稱為賦予集合以某種空間結(jié)構(gòu)，并將這樣的集合稱為空間。例1

所有實(shí)n維向量集合，按向量的加法和數(shù)乘構(gòu)成實(shí)數(shù)域R上的線性空間---Rn,稱為n維向量空間.例2

對次數(shù)不超過n的（n為正整數(shù)）實(shí)系數(shù)多項(xiàng)式全體，按多項(xiàng)式加法和數(shù)乘構(gòu)成數(shù)域R上的多項(xiàng)式線性空間--Hn,稱為多項(xiàng)式空間.例3所有定義在[a,b]集合上的連續(xù)函數(shù)全體，按函數(shù)的加法和數(shù)乘構(gòu)成數(shù)域R上的連續(xù)函數(shù)線性空間–

C[a,b],稱為連續(xù)函數(shù)空間.類似地記Cp[a,b]為具有p階連續(xù)導(dǎo)數(shù)的函數(shù)空間.則稱x1,x2,…,xn

線性相關(guān)，否則稱x1,x2,…,xn

線性無關(guān)，即只有當(dāng)a1=a2=…=an=0時等式(1.1)才成立.

定義1設(shè)集合S是數(shù)域P上的線性空間，元素x1,x2,…,xn∈S，如果存在不全為零的數(shù)a1,a2,…,an∈P，使得(1.1)則x1,…,xn稱為空間S的一組基,記為S=span{x1,…,xn},并稱空間S為n維空間，系數(shù)a1,…,an為x在基x1,…,xn下的坐標(biāo)，記作(a1,…,an)，如果S中有無限多個線性無關(guān)元素x1,…,xn,…，則稱S為無限維線性空間.

若線性空間S是由n個線性無關(guān)元素x1,…,xn生成的，即對任意x∈S，都有它由n+1個系數(shù)(a0,a1,…,an)唯一確定.1,x,…,xn

線性無關(guān)，它是Hn的一組基，故集合

Hn=span{1,

x,…,xn}，且(a0,a1,…,an)是p(x)的坐標(biāo)向量，Hn是n+1維的.

下面考慮次數(shù)不超過n實(shí)系數(shù)多項(xiàng)式集合Hn，其元素p(x)∈Hn表示為其中ε為任意給的小正數(shù)，即精度要求.這就是下面著名的魏爾斯特拉斯（Weierstrass）定理.

對連續(xù)函數(shù)f(x)∈C[a,b]，它不能用有限個線性無關(guān)的函數(shù)表示，故C[a,b]是無限維的，但它的任一元素f(x)∈C[a,b]均可用有限維的p(x)∈Hn逼近，使誤差在[a,b]上一致成立.（證明略，見書p52有說明.）

定理1設(shè)f(x)∈C[a,b]，則對任何ε>0，總存在一個代數(shù)多項(xiàng)式p(x)

，使由(1.3)式給出的Bn(f,x)也是f(x)在[0,1]上的一個逼近多項(xiàng)式，但它收斂太慢，實(shí)際中很少使用.

更一般地，可用一組在C[a,b]上線性無關(guān)的函數(shù)集合來逼近f(x)∈C[a,b]，元素表示為

函數(shù)逼近問題就是對任何f(x)∈C[a,b]，在子空間中找一個元素*(x)∈，使f(x)-*(x)在某種意義下最小.3.1.2

范數(shù)與賦范線性空間

為了對線性空間中元素大小進(jìn)行衡量，需要引進(jìn)范數(shù)定義，它是Rn空間中向量長度概念的直接推廣.

定義2設(shè)S為線性空間，xS，若存在唯一實(shí)數(shù)·，滿足條件：

(1)

x0;當(dāng)且僅當(dāng)x＝0時,x=0;(正定性) (2)x=||x,R;(齊次性) (3)x+yx+y,x,yS.(三角不等式)

則稱·為線性空間S上的范數(shù)，S與·一起稱為賦范線性空間，記為X.對Rn上的向量

x＝(x1,x2,…,xn)T,

三種常用范數(shù)為：

類似的對連續(xù)函數(shù)空間C[a,b],若f∈C[a,b]可定義以下三種常用函數(shù)的范數(shù)可以驗(yàn)證這樣定義的范數(shù)均滿足定義2中的三個條件.3.1.3

內(nèi)積與內(nèi)積空間

在線性代數(shù)中，Rn上的兩個向量

x＝(x1,x2,…,xn)T與y＝(y1,y2,…,yn)T的內(nèi)積定義為

(x,y)=x1y1+x2y2+…+xnyn.

(1.5)若將它推廣到一般的線性空間X，則有下面的定義.

定義3設(shè)X是數(shù)域K(R或C)上的線性空間，對任意u,v∈X，有K中一個數(shù)與之對應(yīng)，記為(u,v)，它滿足以下條件：則稱(u,v)為X上u與v的內(nèi)積，對應(yīng)了內(nèi)積的線性空間稱為內(nèi)積空間.定義中(1)當(dāng)K為實(shí)數(shù)域R時為

(u,v)＝(v,u).

如果(u,v)=0，則稱u與v正交(記為u⊥v)，這是向量相互垂直概念的推廣.關(guān)于內(nèi)積空間有以下重要定理.

定理2

設(shè)X為一個內(nèi)積空間,對任意u,v∈X有如下不等式成立

它稱為柯西－施瓦茨(Cauchy-Schwarz)不等式.

證明當(dāng)v=0時,顯然成立.設(shè)v≠0，則(v,v)>0,且對任何數(shù)t

有(這里設(shè)為實(shí)空間)取t=-(u,v)/(v,v),代入上式右端，得即得v≠0時有定理3設(shè)X為一個內(nèi)積空間，u1,u2,…,un∈X，矩陣稱為格拉姆(Gram)矩陣,則G非奇異的充分必要條件是u1,u2,…,un線性無關(guān).證明G非奇異等價于detG≠0，其充分必要條件是下面齊次線性方程組只有零解而從以上的等價關(guān)系可知道，detG≠0等價于從方程(1.8)推出a1=a2=…=an=0，而后者等價于從方程(1.9)推出a1=a2=…=an=0，即u1,u2,…,un線性無關(guān).證畢

在內(nèi)積空間X上可以由內(nèi)積導(dǎo)出一種范數(shù)，即對于u∈X

，記容易驗(yàn)證它滿足范數(shù)定義的三條性質(zhì),其中三角不等式可由定理2直接得出，即兩端開方即得(1.11).

例1Rn的內(nèi)積，設(shè)x,y∈Rn，x＝(x1,x2,…,xn)T，y＝(y1,y2,…,yn)T，則其內(nèi)積定義為由此導(dǎo)出的向量2-范數(shù)為若給定實(shí)數(shù)i>0(i=1,…,n)，{i}稱為權(quán)函數(shù)，則在Rn上可定義加權(quán)內(nèi)積為相應(yīng)的向量2-范數(shù)為不難驗(yàn)證(1.13)給出的(x,y)滿足內(nèi)積定義的四條性質(zhì).當(dāng)i=1(i=1,…,n)時，(1.13)就是(1.12).

如果x,y∈Cn，帶權(quán)內(nèi)積定義為這里{i}仍為正實(shí)數(shù)序列.

在C[a,b]上也可以類是定義帶權(quán)內(nèi)積，為此先給出權(quán)函數(shù)定義.

定義4設(shè)[a,b]是有限或無限區(qū)間，在[a,b]上的非負(fù)函數(shù)(x)滿足條件：則稱(x)為[a,b]上的一個權(quán)函數(shù).它的物理意義可以解釋為密度函數(shù).

例2C[a,b]上的內(nèi)積，設(shè)f(x),g(x)∈C[a,b]，ρ(x)是上給定的權(quán)函數(shù)，則可內(nèi)積定義為容易驗(yàn)證它滿足內(nèi)積定義的4條，由此內(nèi)積導(dǎo)出的范數(shù)稱(15)和(16)為帶權(quán)(x)的內(nèi)積和范數(shù)，特別常用的是(x)≡1的情形，即

若0,1,…,n是C[a,b]中的線性無關(guān)函數(shù)族，記=span{0,1,…,n}，它的拉姆(Gram)矩陣為根據(jù)定理3知0,1,…,n

線性無關(guān)的充分必要條件是

detG(0,1,…,n)≠0.3.1.4

最佳逼近則稱P*(x)是f(x)在[a,b]上的最佳逼近多項(xiàng)式.如果P(x)∈=span{0,1,…,n}，則稱相應(yīng)的P*(x)為最佳逼近函數(shù).通常范數(shù)·取為·∞或·2.若取·∞,即函數(shù)逼近主要討論給定f(x)∈C[a,b]，求它的最佳逼近多項(xiàng)式.若P*(x)∈Hn=span{1,x,…,xn}，使誤差則稱P*(x)是f(x)在[a,b]上的最佳一致逼近多項(xiàng)式.這時求P*(x)就是求[a,b]上使得最大誤差最小的多項(xiàng)式.

如果范數(shù)·取為·2，即則稱P*(x)為f(x)在[a,b]上的最佳平方逼近多項(xiàng)式.

若f(x)是[a,b]上的一個列表函數(shù)，在區(qū)間節(jié)點(diǎn)a≤x0<

x1<…<xm≤b上給出(xi)(i=0,1,…,m)，要求P*(x)∈使本章將著重討論實(shí)際應(yīng)用多便于計(jì)算的最佳平方逼近與最小二乘擬合.則稱P*(x)為f(x)在[a,b]上的最小二乘擬合.

正交函數(shù)族與正交多項(xiàng)式3.2

正交多項(xiàng)式則稱{k(x)}是區(qū)間[a,b]上帶權(quán)(x)的正交函數(shù)族.若Ak≡1，則稱為標(biāo)準(zhǔn)正交函數(shù)族.定義5

如果函數(shù)f(x),g(x)在[a,b]上連續(xù),滿足上的連續(xù)函數(shù)族則稱f(x)與g(x)在[a,b]上帶權(quán)正交,如果[a,b]滿足正交多項(xiàng)式是函數(shù)逼近的重要工具，啊數(shù)值積分中也有重要應(yīng)用.

例如,三角函數(shù)族1,cosx,sinx,cos2x,sin2x,…是在區(qū)間[-π,π]上的正交函數(shù)系，因?yàn)閷=1,2,…有實(shí)際上，這就是付里葉(Fourier)逼近的基函數(shù).而對k,j=1,2,…，當(dāng)k≠j時有則稱多項(xiàng)式序列{n(x)}為在[a,b]上帶權(quán)(x)的正交，稱n(x)為[a,b]上帶權(quán)(x)的n次正交多項(xiàng)式.

定義6設(shè)n(x)是[a,b]上首項(xiàng)系數(shù)an≠0的n次多項(xiàng)式，(x)為[a,b]上權(quán)函數(shù)，如果多項(xiàng)式序列{n(x)}滿足關(guān)系式如何構(gòu)造正交多項(xiàng)式？

只要給定區(qū)間[a,b]及權(quán)函數(shù),均可由一族線性無關(guān)的冪函數(shù){1,x,…,xn,…},利用逐個正交化手續(xù)構(gòu)造出正交多項(xiàng)式序列

此即Smith正交化方法.

這樣得到的正交多項(xiàng)式n(x)，其最高次項(xiàng)系數(shù)為1.反之，若{n(x)}是正交多項(xiàng)式，則0,1,…,n在區(qū)間[a,b]上是線性無關(guān)的.事實(shí)上，若用(x)j(x)(j=0,1,…,n)乘上式并積分得利用正交性有由于故cj=0對j=0,1,…,n成立.由此得0,1,…,n線性無關(guān)，于是可直接得到正交多項(xiàng)式的以下性質(zhì).

(1)對任何多項(xiàng)式P(x)∈Hn均可表示為函數(shù)族0(x),1(x),…,n(x)的線性組合，即

(2)n(x)與任何次數(shù)小于n的多項(xiàng)式P(x)∈Hn-1都正交，即關(guān)于正交多項(xiàng)式還有一些重要性質(zhì).定理4設(shè){n(x)}是[a,b]上帶權(quán)(x)的正交多項(xiàng)式，對n≥0成立遞推關(guān)系這里定理5設(shè){n(x)}是[a,b]上帶權(quán)(x)的正交多項(xiàng)式，則n(x)(n≥1)在區(qū)間(a,b)內(nèi)有n個不同的零點(diǎn).證明假定n(x)在(a,b)內(nèi)的零點(diǎn)都是偶數(shù)重的，則n(x)在[a,b]上符號保持不變，這與.矛盾.故n(x)在(a,b)內(nèi)的零點(diǎn)不可能全是偶重的，現(xiàn)設(shè)xi(i=1,2,…,l)為n(x)在(a,b)內(nèi)的奇數(shù)重零點(diǎn)，不妨設(shè)則n(x)在xi(i=1,2,…,l)為處變號.令于是假定n(x)q(x)在[a,b]上符號保持不變，則得與(n,q)≠0矛盾，故l≥n.而n(x)只有n個零點(diǎn)，故l=n，即n個零點(diǎn)都是單重的.證畢.若l>n，由{n(x)}的正交性可知例題：利用Gram-schmidt方法構(gòu)造[0,1]上帶權(quán)的前3個正交多項(xiàng)式

解：利用正交化公式來求

于是于是3.2.2

勒讓德多項(xiàng)式

當(dāng)區(qū)間[-1,1],權(quán)函數(shù)(x)≡1時,由{1,x,…,xn,…}正交化得到的多項(xiàng)式就稱為勒讓德(Legendre)多項(xiàng)式,并用P0(x),P1(x),…,Pn(x),…表示.這是勒讓德于1785年引進(jìn)的.1814年羅德利克(Rodrigul)給出了簡單的表達(dá)式為由于(x2-1)n是2n次多項(xiàng)式，求n階導(dǎo)數(shù)后得顯然得到最高項(xiàng)系數(shù)為1的勒讓德多項(xiàng)式為于是得Pn(x)的首項(xiàng)xn的系數(shù)為勒讓德多項(xiàng)式有下述幾個重要性質(zhì)：性質(zhì)1(正交性)令，則設(shè)Q(x)是在區(qū)間[-1,1]上有連續(xù)n階可微的函數(shù)，有分部積分法知(用(2.5)式)下面分兩種情況討論

(1)若Q(x)的次數(shù)小于n，則Q(n)(x)≡0，得

(2)若則于是由于故于是(2.7)式得證.性質(zhì)2(奇偶性)由于(x)=(x2-1)n是偶次多項(xiàng)式，經(jīng)過偶次求導(dǎo)仍為偶次多項(xiàng)式，經(jīng)過奇次求導(dǎo)仍為奇次多項(xiàng)式，故n為偶數(shù)時Pn(x)為偶函數(shù)，n為奇數(shù)時Pn(x)為奇函數(shù)，于是(2.8)式成立.性質(zhì)3(遞推關(guān)系)考慮n+1次多項(xiàng)式xPn(x)，它可表示為兩邊乘Pk(x)，并從-1到1積分，利用正交性得當(dāng)k≤n-2時，xPk(x)次數(shù)小于等于n-1，上式左端積分為0，故得ak=0.當(dāng)k=n時，xP2n(x)為奇函數(shù)，左端積分仍為0，故得an=0.于是其中代入上式整理即得遞推公式(2.9).由P0(x)=0,P1(x)=x，利用(2.9)式就可推出性質(zhì)4Pn(x)在區(qū)間[-1,1]內(nèi)有n個不同的實(shí)零點(diǎn).3.2.3

切比雪夫多項(xiàng)式區(qū)間為[-1,1]時,取權(quán)函數(shù)由序列{1,x,…,xn,…}正交化得到的多項(xiàng)式就是切比雪夫多項(xiàng)式，它可表示為若令x=cos，則Tn(x)=cosn，0≤≤π.Tn(x)=cos(narccosx),|x|

≤1.

(2.10)切比雪夫多項(xiàng)式有很多重要性質(zhì)：性質(zhì)1(遞推關(guān)系)這只要由三角恒等式令x=cos即得，由(2.11)式就可以推出于是得Tn(x)的首項(xiàng)系數(shù)為

an=2n-1(n1).性質(zhì)2切比雪夫多項(xiàng)式{Tk(x)}在區(qū)間[-1,1]上帶權(quán)正交且事實(shí)上，令x=cos，則dx=-sind

，于是得性質(zhì)3T2k(x)只含x的偶次冪,T2k+1(x)只含x的奇次冪.此性質(zhì)可由遞推關(guān)系直接得到.性質(zhì)4Tn(x)在區(qū)間[-1,1]上有n個零點(diǎn).性質(zhì)5Tn(x)的首項(xiàng)xn的系數(shù)為2n-1(n=1,2,….).若將xn用T0(x),T1(x),…,Tn(x)的線性組合表示，則其公式為這里規(guī)定T0(x)=1.n=1,2,…,6時的結(jié)果如下若令，則多項(xiàng)式是首項(xiàng)系數(shù)為1的切比雪夫多項(xiàng)式.若記為所有次數(shù)小于等于n的首項(xiàng)系數(shù)為1的多項(xiàng)式集合，對有以下性質(zhì).定理6設(shè)是首項(xiàng)系數(shù)為1的切比雪夫多項(xiàng)式，則且定理的證明可參看文獻(xiàn)[22].定理6表明在所有首項(xiàng)系數(shù)為1的n次多項(xiàng)式集合中所以是中最大值最小的多項(xiàng)式，即利用這一結(jié)論，可求P(x)Hn在Hn-1中的最佳(一致)逼近多項(xiàng)式.

例3求f(x)=2x3+x2+2x-1在[-1,1]上的最佳2次逼近多項(xiàng)式.

解由題意，所求最佳逼近多項(xiàng)式P2*(x)應(yīng)滿足由定理6可知，當(dāng)時，多項(xiàng)式f(x)－P2*(x)與零偏差最小，故就是f(x)在[-1,1]上的最佳2次逼近多項(xiàng)式.則當(dāng)x在[0,1]變化時，此時函數(shù)為解：作變量變換，令t=2x-1，t∈[-1,1]，設(shè)P3*(x)為f(x)在[0,1]上的三次最佳一致逼近多項(xiàng)式,由于

例求f(x)=x4+3x3-1在[0,1]上的三次最佳逼近多項(xiàng)式.由于切比雪夫多項(xiàng)式是在區(qū)間[-1,1]上定義的，對于一般區(qū)間[a,b]，要通過變量替換變換到[-1,1],可令則可將x[a,b]變換到t[-1,1].

即

從而

的首相系數(shù)為，

故有3.2.4

切比雪夫多項(xiàng)式零點(diǎn)插值切比雪夫多項(xiàng)式Tn(x)在區(qū)間[-1,1]上有n個零點(diǎn).和n+1個極值點(diǎn)(包括端點(diǎn)).這兩組點(diǎn)稱為切比雪夫點(diǎn)，它們在插值中有重要作用.(幾何意義見書p63)

利用切比雪夫點(diǎn)做插值，可使插值區(qū)間最大誤差最小化.下面設(shè)插值點(diǎn)x0,x1,…,xn[-1,1],fCn+1[-1,1],Ln(x)為相應(yīng)的n次拉格朗日插值多項(xiàng)式,那么插值余項(xiàng)于是其中是由被插值函數(shù)確定的.如果插值節(jié)點(diǎn)為Tn+1(x)的零點(diǎn)則由(2.13)式可得由此可導(dǎo)出插值誤差最小化的結(jié)論.

定理7設(shè)插值節(jié)點(diǎn)x0,x1,…,xn

為切比雪夫多項(xiàng)式Tn+1(x)的零點(diǎn)，被插函數(shù)fCn+1[-1,1]，Ln(x)為相應(yīng)的插值多項(xiàng)式，則

對于一般區(qū)間[a,b]上的插值只要利用變換(2.14)式則可得到相應(yīng)結(jié)果，此時插值節(jié)點(diǎn)為

解利用T5(x)的零點(diǎn)和區(qū)間變換可知節(jié)點(diǎn)

例4求f(x)=ex在[0,1]上的4次拉格朗日插值多項(xiàng)式L4(x)，插值節(jié)點(diǎn)用T5(x)的零點(diǎn)，并估計(jì)誤差即對應(yīng)的拉格朗日插值多項(xiàng)式為利用(2.15)式可得誤差估計(jì)而于是有在第2章中已經(jīng)知道，由于高次插值出現(xiàn)龍格現(xiàn)象，一般Ln(x)不收斂于f(x)，因此它并不適用.但若用切比雪夫多項(xiàng)式零點(diǎn)插值卻可避免龍格現(xiàn)象，可保證整個區(qū)間上收斂.見書p65例5.3.2.5

其他常用的正交多項(xiàng)式

一般說，如果區(qū)間[a,b]及權(quán)函數(shù)(x)不同,則由{1,x,…,xn,…}正交化得到的多項(xiàng)式也不同.除上述兩種最重要的正交多項(xiàng)式外，下面再給出三種較常用的正交多項(xiàng)式.1.第二類切比雪夫多項(xiàng)式區(qū)間為[-1,1]時,取權(quán)函數(shù)由序列{1,x,…,xn,…}正交化得到的多項(xiàng)式就稱為第二類切比雪夫多項(xiàng)式，其表達(dá)式為令x=cosθ，可得即{Un(x)}為[-1,1]上正交多項(xiàng)式族，且有遞推關(guān)系式為2.拉蓋爾多項(xiàng)式區(qū)間為[0,+∞)時,取權(quán)函數(shù)由序列{1,x,…,xn,…}正交化得到的多項(xiàng)式就稱為拉蓋爾(Laguerre)多項(xiàng)式，其表達(dá)式為它也具有正交性質(zhì)和遞推關(guān)系式3.埃爾米特多項(xiàng)式區(qū)間為(-∞,+∞)時,取權(quán)函數(shù)由序列{1,x,…,xn,…}正交化得到的多項(xiàng)式就稱為埃爾米特(Hermite)多項(xiàng)式，其表達(dá)式為它也具有正交性質(zhì)和遞推關(guān)系式3.3

最佳平方逼近3.3.1

最佳平方逼近及其計(jì)算現(xiàn)在我們研究區(qū)間[a,b]上一般的最佳平方逼近問題.對函數(shù)f(x)∈C[a,b]及集合C[a,b]中的一個子集=span{0(x),1(x),…,n(x)},若存在S*(x)∈,使則稱S*(x)是f(x)在子集

中的最佳平方逼近函數(shù).為了求S*(x),由(3.1)式可知該問題等價于求多元函數(shù)的最小值.由于I(a0,a1,…,an)是關(guān)于a0,a1,…,an的二次函數(shù)，利用多元函數(shù)求極值的必要條件有即于是有是關(guān)于a0,a1,…,an的線性方程組，稱為法方程，即由于函數(shù)組線性無關(guān)，故系數(shù)矩陣的行列式非零，即從而得到最佳平方逼近函數(shù)于是方程組有唯一解

下面證明S*(x)必定滿足最佳平方逼近的定義，即但我們只需證明對任意的S(x)∈有為此我們只要考慮由于S*(x)的系數(shù)ak*是法方程(3.3)的解，故從而上式第二項(xiàng)積分為0.于是可得即得S*(x)必定是所求函數(shù)f(x)的最佳平方逼近函數(shù).

根據(jù)以上推論，也可得出最佳函數(shù)逼近的求法。

另外，由證明第二項(xiàng)積分為0.我們可得

推論：C[a,b]是內(nèi)積空間，∈C[a,b]是其有限維子空間，f(x)∈C[a,b]，中S*(x)是f(x)的的最佳平方逼近函數(shù)的充要條件是f-S*與中任一函數(shù)正交.

設(shè)則對任意函數(shù)S∈，有由推論得也得法方程為

若記余項(xiàng)δ(x)=f(x)-S*(x)，則平方誤差為

若取則要在Hn中求n次最佳平方逼近多項(xiàng)式此時若用H表示對應(yīng)的矩陣，即則稱H為希爾伯特(Hilbert)矩陣，若記向量則法方程為其解ak=

ak*(k=0,1,…,n),即得所求最佳平方多項(xiàng)式為的系數(shù).

解由公式有得法方程組

例6求

在[0,1]上的一次最佳平方逼近多項(xiàng)式(注意與例4的區(qū)別).解出故得所求的一次最佳平方逼近多項(xiàng)式為平方誤差為最大誤差為

若用{1,x,…,xn}做基，求最佳平方多項(xiàng)式，計(jì)算簡單，但當(dāng)n較大時,系數(shù)矩陣H是高度病態(tài)的(見第5章),因此直接求解法方程是相當(dāng)困難的，故通常是采用正交多項(xiàng)式做基底構(gòu)造最佳平方多項(xiàng)式.解：法方程組為：于是

例設(shè)求2次最佳平方逼近多項(xiàng)式解得3.3.2

用正交函數(shù)族作最佳平方逼近

設(shè)f(x)∈C[a,b]，若是正交函數(shù)族，即滿足故法方程(3.3)的系數(shù)矩陣為非奇異對角陣，即立刻得到法方程的解為于是f(x)∈C[a,b]在中的最佳平方逼近函數(shù)為可得均方誤差為由此可得貝塞爾(Bessel)不等式若f(x)∈C[a,b],按正交函數(shù)族展開，而系數(shù)按下式計(jì)算得到得級數(shù)稱為f(x)的廣義傅立葉(Foureir)級數(shù),系數(shù)稱為廣義傅立葉系數(shù).它是傅立葉級數(shù)的直接推廣.

證明略，可見文獻(xiàn)[23].

下面討論特殊情況，設(shè)是正交多項(xiàng)式

可由正交化得到，則有下面的收斂定理.

定理8

設(shè)f(x)∈C[a,b]，S*(x)是f(x)的最佳平方逼近多項(xiàng)式，其中是正交多項(xiàng)式族，則有

下面考慮函數(shù)f(x)∈C[-1,1]，按勒讓得多項(xiàng)式{P0(x),P1(x),…,Pn(x)}展開，由公式可得其中根據(jù)(3.10)式，平方逼近的誤差為由定理8可得

證明略，可見文獻(xiàn)[23].

定理9

設(shè)f(x)∈C2[-1,1]，Sn*(x)由(3.13)式給出,則對任意x∈[-1,1]和任意>0，當(dāng)n充分大時有

如果f(x)滿足光滑性條件還可得到S*(x)一致收斂于f(x)的結(jié)論.

對首項(xiàng)系數(shù)為1的勒讓德多項(xiàng)式有以下性質(zhì)

定理10

在所有最高次項(xiàng)系數(shù)為1的n次多項(xiàng)式中,勒讓德多項(xiàng)式在[-1,1]上與零的平方誤差最小.

即可以理解為最小等價于與零的平方誤差最小.

證明設(shè)Qn(x)是任意一個最高次項(xiàng)系數(shù)為1的n次多項(xiàng)式，它可表示為于是因此當(dāng)且僅當(dāng)時等號才成立，即當(dāng)時平方誤差最小.

解先計(jì)算(f(x),Pk(x))(k=0,1,2,3)

例7求f(x)=ex在[-1,1]上的三次最佳平方逼近多項(xiàng)式.由公式解得得三次最佳平方逼近多項(xiàng)式為可得均方誤差為可得最大誤差為

如果f(x)∈C[a,b]，求[a,b]上的最佳平方逼近多項(xiàng)式，做變換于是在[-1,1]上可用勒讓德多項(xiàng)式做最佳平方逼近多項(xiàng)式S*(t)，從而可得到區(qū)間[a,b]上的最佳平方逼近多項(xiàng)式

由于勒讓德多項(xiàng)式{Pk(x)}是在[-1,1]上由多項(xiàng)式基{1,x,…,xn,…}正交化得到的，因此利用函數(shù)的勒讓德展開部分和得到最佳平方逼近多項(xiàng)式與由直接通過解法方程得到Hn中的最佳平方逼近多項(xiàng)式是一致的，只有當(dāng)n較大時法方程出現(xiàn)病態(tài)，計(jì)算誤差較大，不能使用，而用勒讓德展開不用解線性方程組，不存在病態(tài)問題，計(jì)算公式比較方便，因此通常都用這種方法求最佳平方逼近多項(xiàng)式.3.3.3

切比雪夫級數(shù)其中系數(shù)根據(jù)(3.8)式，由(2.12)式得到如果設(shè)f(x)∈C[-1,1]，按{Tk(x)}展成廣義傅里葉級數(shù)，由(3.12)式可得級數(shù)這里Tk(x)=cos(karccosx),|x|1.級數(shù)(2.16)稱為f(x)在[-1,1]上的切比雪夫級數(shù).若令x=cos,

0π，則(3.16)式就是f(cos)的傅里葉級數(shù)，其中取它的部分和于是根據(jù)傅里葉級數(shù)理論知，只要(x)在[-1,1]上分段連續(xù)，則f(x)在[-1,1]上的切比雪夫(3.16)一致收斂于f(x).從而可表示為其誤差為在[-1,1]上Tn+1(x)是均勻分布的,它的最大值最小，因此可作為f(x)在[-1,1]上的近似最佳一致逼近多項(xiàng)式.

解由(3.18)式得

例8求f(x)=ex在[-1,1]上的切比雪夫級數(shù)部分和它可用數(shù)值積分(見第4章)求得由(3.20)式及Tk(x)的表達(dá)式可求得及誤差3.4

曲線擬合的最小二乘法最小二乘法的基本原理具體的做法是求p(x)使

幾何意義:求在給定點(diǎn)x0,x1,…,xm處與點(diǎn)(x0,y0),(x1,y1),…,(xm,ym)的距離平方和最小的曲線y=p(x),這就是最小二乘曲線擬合問題.3.4.1

最小二乘法及其計(jì)算中找一函數(shù)y=S*(x)使誤差平方和

在函數(shù)的最佳平方逼近中f(x)∈C[a,b]，如果f(x)只在一組離散點(diǎn)集{xi,i=0,1,…,m}上給定，這就是科學(xué)實(shí)驗(yàn)中經(jīng)常見到的實(shí)驗(yàn)數(shù)據(jù){(xi,yi),i=0,1,…,m}的曲線擬合，這里yi=f(xi),i=0,1,…,m，要求一個函數(shù)y=S*(x)與所給數(shù)據(jù){(xi,yi),i=0,1,…,m}擬合,若記擬合誤差δi=S*(xi)-yi,i=0,1,…,m,δ=(δ0,δ1,…,δm)T,設(shè)

是[a,b]上線性無關(guān)函數(shù)族，在

這就是一般的最小二乘逼近，用幾何語言說，就稱為曲線擬合的最小二乘法.這里

用最小二乘法求擬合曲線時，首先要確定S(x)的形式.這不是單純的數(shù)學(xué)問題，還要與所研究問題的運(yùn)動規(guī)律及所得觀測數(shù)據(jù)(xi,yi)有關(guān)；通常要從問題的運(yùn)動規(guī)律及所給定數(shù)據(jù)描圖，確定S(x)的形式并通過實(shí)際計(jì)算選出較好的結(jié)果，這點(diǎn)將從下面的例題得到說明.

S(x)的一般表達(dá)式為(4.2)式表示的線性形式.若

k(x)是k次多項(xiàng)式，S(x)就是n次多項(xiàng)式.為了使問題的提法更有一般性，通常在最小二乘法中誤差平方和都考慮加權(quán)平方和，即這里(x)0是[a,b]上的權(quán)函數(shù),它表示不同點(diǎn)(xi,f(xi))處的數(shù)據(jù)比重不同，例如，(xi)可表示在點(diǎn)(xi,f(xi))處重復(fù)觀測的數(shù)據(jù).用最小二乘法求擬合曲線的問題,就是在形如(4.2)的S(x)中求一函數(shù)y=S*(x)，使加權(quán)平方和(4.3)式取得最小.它轉(zhuǎn)化為求多元函數(shù)的極小點(diǎn)問題.這與第4節(jié)討論的問題完全類似.由求多元函數(shù)極值的必要條件,有若記上式可改寫為這方程稱為法方程,可寫成矩陣形式其中

要使法方程(6)有唯一解，就要求矩陣G非奇異.

必須指出，在[a,b]上線性無關(guān)不能推出矩陣G非奇異.

例如，令

顯然在[0,2π]上線性無關(guān)，但若取點(diǎn)xk=kπ,k=0,1,2(n=1,m=2)，那么有由此得出

為保證(4.6)的系數(shù)矩陣G非奇異,必須加上另外的條件.

定義7

設(shè)的任意線性組合在點(diǎn)集上至多只有n個不同的零點(diǎn),則稱在點(diǎn)集上滿足哈爾(Haar)條件

.

顯然1,x,…,xn在任意m(mn)個點(diǎn)上滿足哈爾條件.

可以證明，如果在點(diǎn)集上滿足哈爾(Haar)條件，則法方程(4.6)的系數(shù)矩陣(4.7)非奇異，于是法方程(4.6)存在唯一的解從而得到函數(shù)f(x)的最小二乘解為可以證明這樣得到的S*(x),對任何形如(4.2)式的S(x),都有即S*(x)必為所求的最小二乘解.

它的證明與證明(3.4)式相似，自己做練習(xí).

給定f(x)的離散數(shù)據(jù){(xi,yi),i=0,1,…,m}，要確定集合是困難的，所以一般取=span{1,x,…,xn}.但這樣做當(dāng)n3時，與連續(xù)情形一樣求解方程(4.6)時將出現(xiàn)系數(shù)矩陣G為病態(tài)的問題，通常對n=3的簡單情形都可通過求解方程(4.6)得到S*(x).有時根據(jù)給定數(shù)據(jù)圖形，其擬合函數(shù)y=S(x)表面上不是(4.2)式的形式，但通過變換仍可化為線性模型.