1、-/數據點基本落在一條直線附近。這告訴我們，變量X與丫的關系大致可看作是線性關系，即它們之間的相互關系可以用線性關系來描述。但是由于并非所有的數據點完全落在一條直線上，因此X與丫的關系并沒有確切到可以唯一地由一個 X值確定一個丫值的程度。其它因素，諸如其它微量元素的含量以及測 試誤差等都會影響 丫的測試結果。如果我們要研究 X與丫的關系，可以作線性擬合(2-1-1 )我們稱(2-1-1 )式為回歸方程，a與b是待定常數，稱為 回歸系數。從理論上講，(2-1-1 )式有無窮 多組解，回歸分析的任務是求出其最佳的線性擬合。二、最小二乘法原理如果把用回歸方程 夕加計算得到的同 i值(i=1,2,n)

2、稱為回歸值，那么實際測量值yi與回歸值了 i之間存在著偏差，我們把這種偏差稱為殘差，記為ei(i=1,2,3,n)。這樣，我們就可以用殘差平方和來度量測量值與回歸直線的接近或偏差程度。殘差平方和定義為：Q三Q(")=» 匕(片-必尸=；旳-&-旳F(2-1-2)所謂最小二乘法，就是選擇a和b使Q(a,b)最小，即用最小二乘法得到的回歸直線P I bx 是在所有直線中與測量值殘差平方和值總是存在的。下面討論的三、正規方程組根據微分中求極值的方法可知,Q最小的一條。由(2-1-2)式可知Q是關于a,b的二次函數，所以它的最小a和b的求法。Q(a,b)取得最小值應滿足1

3、*4(2-1-6)(2-1-3)da1由(2-1-2)式，并考慮上述條件，則2-1(2-1-4)警T士A -釦-如兩=0(2-1-4)式稱為正規方程組。解這一方程組可得(2-1-5)其中-/擰21'式中，Lxy稱為xy的協方差之和，Lxx稱為X的平方差之和。如果改寫(2-1-1)式，可得i-1(2-1-7)J)-A對+處(2-1-8)y-y-h(x-x)(2-1-9)由此可見，回歸直線是通過點(更的，即通過由所有實驗測量值的平均值組成的點。從力學觀點看,(心刃 即是N個散點(“J的重心位置。現在我們來建立關于例1的回歸關系式。將表2-1-1的結果代入(2-1-5)式至(2-1-7)式，

4、得出a=1231.65b=-2236.63因此，在例1中灰鑄鐵初生奧氏體析出溫度(y)與氮含量(X)的回歸關系式為y=1231.65-2236.63x四、一元線性回歸的統計學原理如果X和丫都是相關的隨機變量，在確定x的條件下，對應的y值并不確定，而是形成一個分布。當X取確定的值時，丫的數學期望值也就確定了，因此丫的數學期望是x的函數，即E(Y| x=x)=f(x)(2-1-10)這里方程f(x)稱為丫對X的回歸方程。如果回歸方程是線性的，則E(Y| x=x)= a + 3 x(2-1-11)Y=a + 3 X+ £(2-1-12)其中£隨機誤差從樣本中我們只能得到關于特征數

5、的估計，并不能精確地求出特征數。因此只能用f(x)的估計來取代(2-1-11 )式，用參數 a和b分別作為a和B的估計量。那么，這兩個估計量是否能夠滿足要求呢?1.無偏性把(x,y)的n組觀測值作為一個樣本，由樣本只能得到總體參數a和3的估計值?？梢宰C明，當滿足下 列條件：(1) (x i,y i)是n個相互獨立的觀測值(2) £i是服從)分布的隨機變量則由最小二乘法得到的a與b分別是總體參數a和3的無偏估計，即E(a)= aE(b)= 3由此可推知-/(2-2-6 )E(少)=E(y)即y是回歸值 在某點的數學期望值。2. a和b的方差D（yi）= d '時，a和b的方差為

6、可以證明，當n組觀測值（X i, yi）相互獨立，并且nQQ=(2-1-£（兀-刃3-113)3-1（2-1-14）Xi分布越寬，貝y a和b的方差越小。另外 a的方差還與Xi的分布應盡量寬，觀測以上兩式表明，a和b的方差均與Xi的變動有關，觀測點的數量有關，數據越多，a的方差越小。因此，為提高估計量的準確性，點數量應盡量多。建立多元線性回歸方程，實際上是對多元線性模型（2-2-4 ）進行估計，尋求估計式（2-2-3 ）的過程。與一元線性回歸分析相同，其基本思想是根據最小二乘原理，求解6"1八"=心 使全部觀測值K 與回歸值步的殘差平方和達到最小值。由于殘差平方和

7、H0 =工® 克尸=工3+去E知+十嗨)F3-12-J.(2-2-5 )2-1是嘰0"4的非負二次式，所以它的最小值一定存在。根據極值原理，當Q取得極值時,%嘰4 應滿足等丸 0 =卽2由（2-2-5 ）式，即滿足工丹（A +占1切斗2刼1.1工片-為+毎石產婦衍!-1工e -仏D十占1心十爲電十十耳列） =0（2-2-6 ）式稱為正規方程組。它可以化為以下形式-/如果用A表示上述方程組的系數矩陣可以看出A是對稱矩陣。則有j-1i-Lt-L!-lj-1j-11兀巴31毛i- 一1331;"""1%耳2 "j-i11211 31* *

8、*1心1V牡10帀箏f(2-2-8式中X是多元線性回歸模型中數據的結構矩陣,是結構矩陣X的轉置矩陣。（2-2-7）式右端常數項也可用矩陣D來表示即aDj-L3-1Itj-11I r1片刊1衍1帀1西1旳i不22屯a耳2丹111 rV*心彈* X呼J=XYms因止匕（2-2-7）式可寫成H*HN叭+ (T陽加1 + (工X J爲+十工心臚廠 piUa1E J.I+4(工可丙禺!-l!-l（咅1陰斗（工/訓+（工帀知隔 彳 j-1i-1!-1HaBKJP(2-2-7 )（工知）十（工計1）占1十（工計仙十十（V）=工計 iMZjl伺i.l(2-2-11)Ab=D(2-2-10)-/如果A滿秩（即A

9、的行列式 山卜° ）那么A的逆矩陣A1存在，則由（2-10）式和（2-11）式得力的最小二乘估計為(2-2-12 )b -右憶-(XX)-xr也就是多元線性回歸方程的回歸系數。-1為了計算方便往往并不先求，再求b,而是通過解線性方程組（2-2-7）來求b。 (2-2-7)是一個有P+1個未知量的線性方程組，它的第一個方程可化為b。-歹-對百-鳥鬲哄(2-2-13式中(2-2-14將（2-2-13 ）式代入（2-2-7 ）式中的其余各方程，得厶禹+厶抽2十+厶護尹=斥 6A. + 4玄+耳冉=54 +54 +十匸為=£即(2-2-15)(2-2-16)將方程組（2-2-15

10、）式用矩陣表示，則有Lb=F其中Al £丘"厶尸ij=厶1 厶2厶總 : :：b=1F=1S S Sfj1 H丿(2-2-17)于是b=L-1 F因此求解多元線性回歸方程的系數可由（求b時，可用克萊姆法則求解，也可通過高斯變換求解。如果把 出L的逆矩陣，因而相對復雜一些。例2-2-1 表2-2-1為某地區土壤內含植物可給態磷 （y） 冷CG溶液并受溴化物水解的有機磷濃度 （X 2）以及土壤內溶于 察數據。求y對X1, X2, X3的線性回歸方程。表2-2-1土壤含磷情況觀察數據2-2-16)（2-2-18）式先求出L,然后將其代回（2-2-17b直接代入（2-2-18 ）式

11、，由于要先求）式中求解。與土壤內所含無機磷濃度（X1）、土壤內溶于K2CG溶液但不溶于溴化物的有機磷（X 3）的觀其中'HN1-9(心-敢)遼莎(工虧X工心)1-1j-1丼 1-11-1HW KH4=工品鬲)5 -刃=工3訂ili.l嗎 j-li.IR本序三丄壤中瞿磷呈ppeif 蟲 0- 0遲-0土集申植?？山o;蚩庫y10.452158642CU2216360飛* 11Qn?140.634'615r2459?4百:產1茁7779.4444681G10131ir'9391162?173 w1U立&北112:ll1:1093711：?G1J23 A4114她1J2

12、d?11J4,/1-21.G44r；'3152? 1址168'(iiSIt;.y3t143j41 -iO.u丿匚20215GIE29.95112499計算如下:1 ”牙 1 =-S知= 11.9441 N石=一工心=42.11用;-1由(2-2-16)式島-工顯-動仙-無1) - 1752.96L1耳厶廠工仏-鬲）見-3） 10阪61 - 5J-1厶工-工fed -毛）見-石）-1200 -厶13-1=工見-勁(心-3 = 1752.96i-L-工0込-喬）（巧-鬲） 3364 Uy -工社-無1)5 -刃-3231.48 iJ.亦工E -鬲)3 -刃-2216.44Uy -工

13、見-鬲KXi -刃-7刃3i-1代入(2-2-15)式得(2-2-19 )11752.966 +10匹£% +12加6 = 3231 4S 1035 61£?1 + 3155.782 + 了站牴工-2216.44 1200*1十幻&4鮎十巧刃2耳=7593若用克萊姆法則解上述方程組，則其解為(2-2-20 )3 2 313 3 z z za 3 2 12 3 £ i £p p 卩T- 2 31 - A-1 TJ 1厶厶厶11-1112 3z z z-A3)c其中Al厶空厶1厶T厶H計算得bi=1.7848 , b2=-0.0834 , b3=0.

14、1611= y - b禹 _為屁-= 43.67回歸方程為p =43.67 + 1.7848X1 - 0.0834+0 1611也應用克萊姆法則求解線性方程組計算量偏大，下面介紹更實用的方法一一高斯消去法和消去變換。 在上一節所介紹的非線性回歸分析，首先要求我們對回歸方程的函數模型做出判斷。雖然在一些特定的 情況下我們可以比較容易地做到這一點，但是在許多實際問題上常常會令我們不知所措。根據高等數學知 識我們知道，任何曲線可以近似地用多項式表示，所以在這種情況下我們可以用多項式進行逼近，即多 項式回歸分析。一、多項式回歸方法(i=1,2,n)服從正態分布假設變量y與X的關系為P次多項式，且在Xi

15、處對y的隨機誤差冃N(0嚴)，則VL幾+陽+燉f十+易才p-，Xip =Xi即2Xi1 =Xi , X i2 =Xi，則上述非線性的多項式模型就轉化為多元線性模型,yr00 + 豐Am +耳召F(i12血這樣我們就可以用前面介紹的多元線性回歸分析的方法來解決上述問題了。其系數矩陣、結構 矩陣、常數項矩陣分別為5：工/(2-4-11)(2-4-12)(2-4-13)回歸方程系數的最小二乘估計為需要說明的是，在多項式回歸分析中，檢驗 影響。對于多元多項式回歸問題，也可以化為多元線性回歸問題來解決。例如，對于” 00十MZ1十燉召十民盤+ 0斗益益+ 0扯+昌b是否顯著，實質上就是判斷(2-4-14

16、)X的j次項X對y是否有顯著(2-4-15)令 Xi1 =Zi1 , X i2 =Zi2 , X i3 =Zi1 , X i4 =Z1 Zi2 , X i5=Zi2則(2-4-15)式轉化為用三炕+ #1召1 + 0尹說+隊沁+十Ej轉化后就可以按照多元線性回歸分析的方法解決了。下面我們通過一個實例來進一步說明多項式回歸分析方法。一、應用舉例例2-4-2某種合金中的主要成分為元素A和B,試驗發現這兩種元素之和與合金膨脹系數之間有一定的數量關系，試根據表2-4-3給出的試驗數據找出y與x之間的回歸關系。表2-4-3 例2-4-2試驗數據序號y13703. 40237.53- 00338.03.

17、0043S.52. 27539.02. 10639.51. 83740.01.丸S40.51.70941.01. B01041.51. 901142.02.禿1242.52. 541343.02. 90首先畫出散點圖（圖 2-4-3 ）。從散點圖可以看出，y與x的關系可以用一個二次多項式來描述:” 幾十01兀+際+咼i=1,2,3 ,13圖2-4-3 例2-4-2的散點圖2Xii =xi ,x i2 =xi ,K+01兀1 +爲心+哥現在我們就可以用本篇第二章介紹的方法求出0。 "1 燉的最小二乘估計。由表2-4-3給出的數據，求出込= 1603 5,7 = 23323由（2-2-1

18、6 ）式Al2% -亍1-4H5 1-1=工顯"兀2）1-13'= 291325.13工億-為、（心廠-36401-1 見-3640=工兀鬲）（”-刃=4 S7=£（工衛-無-y）= -36S.S33-1=工® -妙2 =4.22121-L由此可列出二元線性方程組45.+36406, =-48736401 2?1325.13 = -363 S3將這個方程組寫成矩陣形式，并通過初等變換求45 5360bi,b 2和系數矩陣-4.871L的逆矩陣L-1：013640 291325.13-368.E3 00 -13.3S5451 1250.U59S-0,63933-O63932S7 9916咒W與于是b1=-13.3854b 2=0.16598b 0=2.3323+13.3854 工因此40-0.16598 兀 1603.5=271.599P = 271.599-B.3S54t + 0.'1659Sa下面對回歸方程作顯著性檢驗:由（2-2-43 ）式由（2-2-42 ）式L -4 2212S總亠邱方差采源平方和均方r顯著性回歸3. 964021. 9S2077- 06*+剰余0. 2572100. 025724 221212方差分析表將上述結果代入表 2-2-2中制成