1、第三章回歸分析回歸分析是研究變量間相關關系的一個統計分支，它主要解決以下面幾個問題：（1）確定幾個特定的變量之間是否存在相關關系，如果存在，找出它們之間合適的數學表達式；根據一個或幾個變量的值，預測或控制另一個變量的取值，并且要知道這種預測或控制可達到什么樣的精確度；進行因素分析，在共同影響一個變量的許多變量(因素)之間找出哪些因素重要，哪些因素次要，這些因素之間有什么關系等。學習目的學習本章時，要密切聯系實際，著重理解回歸分析的基本，力求掌握利用回歸分析解決實際問題的一般步驟和方法，提高分析問題、解決問題的能力 frist6基本要求1理解一元線性回歸分析的基本思想、掌握一元線性回歸分析的方法

2、及一般步驟并能解決簡單的實際問題；2理解多元線性回歸分析的基本思想、解決問題的方法和步驟；3理解可線性化的非線性回歸的基本思想、解決問題的方法和步驟；4了解逐步回歸的基本思想方法和實現步驟析回歸分一元線性回歸 多元線性回歸 逐步回歸非線性回歸與回歸線模性回歸型預報一元建立參數估計顯著性檢驗一.建立模型 ming引例 1.一個作勻速直線運動的質點，在時刻t的位置是S ，則S a bt ,其中a 為質點在t 0時刻的初始位置,b 為平均速度。s ,其中 是隨機誤觀測到的數據是y 差（測量誤差）。于是我們有 a bt y s （3-1）其中t 是非隨機的，是隨機的，通常認為E 0 ，顯然 y 也是隨

3、機的。問題:如何利用X、Y 的觀測值來估計參數a 、b ，進一步未來時刻t 質點的位置。為了估計a 、b ，現在n 個不同時刻作觀察得n 組觀察值( ti ，y ii) 1，2，n,。即yia(i 1，2，n )bi ti用向量矩陣形式表示如下：X Y 1 y1 t1 1其中，Y y2 ， 2 ， X 1t2 ， a 。b 1tn n yn 引例 2.在硝酸鈉（ NaNO3 ）的溶解度試驗中，測0得在不同溫度XC下溶解于 100 份水中的硝酸鈉份數 y 數據見下表:xiyi041015212936516866.7 71.076.380.685.792.999.4113.6125試找出 X 與Y

4、 之間的關系。bx+ (3-2)ya=Y X 問題：如何利用觀測值來估計參數a 、b ，從而確定y 與x 的近似線性關系。140120100806040200020406080圖 3-1一元線性回歸模型 Linear regres設變量 y 與x 有下述關系y a bx （3-3）其中 是零均值的r. v， x 是可控制變量， a 、b 為未知參數，則稱（3-3）為一元線性回歸模型。假設對x 、 y 進行n次觀察，得n組觀察值( xi ，yi )(i 1，2，n )。即 a bxi iyi(，i 1，2n )，（3-4）通常假定 1， 2 ， ， n 獨立同分布(N 0,2)（ 記為 i.i.

5、d N(0， Y X 2）). 即（3-5）Independentidenticaldistribution一元線性回歸直在（3-3）中若能用某種a 、b 的估計a、b ,那么用a即y a bx稱（3-6）為一元線性回歸直對于任意的x x0 ，稱 y0 aRegres線方法獲得未知參數bx 作為 y 的估計（3-6） 線（或回歸方程），bx0 為回歸值。equation二.參數估計(最小二乘估計)Parameter estimate令nnQ ( yi a bxi )22i（3-7）i 1i 1取使Q 達最小的a、b 作為未知參數a、b的估計,這種方法稱為最小二乘估計法,所得的估計稱為最小二乘估

6、計，Q 稱為殘差平方和。對Q 求關于a、b 的偏導數，得如下方程Q 2n( y a bx ) 0（3-8）aiii 1Q 2n( y a bx ) x 0（3-9）biiii 1 xnyynn由(3-8)式x得 bia yi即n a y xb ,代入i 1i 1(3-9)式nnnyx i i a ixb 20 xii1i1i1nn得 y x nx yb nx 2 b x 2 0iiii 1i 1配方整理nn yi xi yxnxyn i xiynx y i 1i1n yx( ixiiy x iy ) x i1n(xix )( yi y)i1nnb2n2inb22xbx2x x2bnnbxbnx

7、ii1i1 b ii1(n )2xbxi得i1nn( xi x )( yiy) b( xix ) 02i 1i 1nn記i 1i 1nn ( xii 1x )( yi y) xii 1yi nx ylxy即得a y bx（3-10） lly解上述方程組得a 、b 的最小二乘估計為a y bx（3-11）lb xylxx根據上述推導可看出，對于任意一組觀測數據（xi ，yi ） (i 1,2,n )，當lxx 0 時，由（3-11）總可建立回歸方程（3-6）。這樣建立的回歸方程是否有意義，即x 對 y 是否有所影響，而且是線性的，這就需要進行檢驗。三、回歸方程的顯著性檢驗（ H0：b 0）1 F

8、 檢驗法由x 的n 個不全相同的值Significance testsxn 得到相應觀測值 y1，y2 ，yn 。 y 值的差異現象稱為變差。 對每次觀測值來說，變差的大小可用yi y （稱為離差）來表示，而n 次觀測值的總變差可由這些離差的平方和表示，記為S 2 ,即總nS 2( y y)2（3-12）i總i 1 nn)2 y （y y)2y ( i y yS 2iii總i1i 1i 1nnn( y y )2 y)2 2( y y )( y y)( yiiiiiii 1i 1nS 2 （y y)2i總in1 ( yn y )2 ( y y)2 S 2 S 2（3-13）iii殘回i 1其中，

9、i 1nn i)a( bi yi )( yi y) y( yii 1iyx )yi1nnyi ) ( yi yi )bxi (a y)( yii 1i 1（由 3-9 式）n b ( yi yi ) xi =0i 1通常稱（3-13）為平方和分解，其中n( y y)2S 2i 1（3-14）i回nS 2( y y )2（3-15）ii殘i 1分別稱為回歸平方和、殘差平方和。由（3-11）及（3-6）可以證明 y y ,即y 1ny a bx yn ii 1于是回歸平方和又可表示成nS 2( y y )2回歸值的總變差。i 1i回由上分析看出, yi a bxi 反映了yi 中受x 影響的而 y

10、i yi 則反映了 yi 中扣除x 的影那一部分；響后其它種種影響的部分，故稱為殘差。S 2,nF 回(F 12( H)0 成立時)(3-16)/ (n 2)S 2殘較?。?，由 PF 查對給定水平（F 分布表可求得 。若F ,則否定H0，說明x 與 y 存性關系，否則回歸方程無意義。=0.05 時，若 F 0.05 ,則x 與進一步當=0.01 時，若 F 0.01，y 無線性關系；當則 x 與 y 存在十分顯著的線性關系；若 0.05 F 0.01，則稱 x 與 y 存在顯著的線性關系。在計算F 統計量時，常用下列公式計算S 2 ：回n y)2 blS 2 ( y（3-17）ixy回i 1n

11、n y ) (a bx a bx )事實上： S 2 ( y22ii回i 1 b2i 1( x x )2 (lxy )2n bli1iylxx2相關系數檢驗法對于線性回歸中的變量 x 與 y ，其樣本相關系數n(xiyix)(y)lxyr i1lxxlnn(x2 i1x )( y 2 y)yyiii1lxybl2Slll2Slyyxyyyxyyylxx殘回l 2xy)1l l1 r2 0()yyyyllxxyy利用相關系數檢驗法對線性回歸進行顯著性檢驗：lxy，由樣本算得r 對于給定的顯著水平，lxxlyyr(n 2若rr(，)則認為線性回歸效果顯著；若n 2r，)則認為 x 與 y 之間不存

12、性相關關系。注意：在一元線性回歸中，容易證明， F 檢驗法與相關系數檢驗法其實質是相同的，兩者檢驗的結果也是一致性回歸的顯著性檢驗中，選擇 F 檢驗法與的。因此，相關系數檢驗法中的任意法進行檢驗就可以了。這里順便，在實際應用中，若對具有某種關系的變量進行擬合，有時也用相關系數的平方 blxy22lxyS回r2（3-18）lxxll yyl yyyy對擬合效果進行度量，并稱r 2 為決定系數或相關指數。由（3-18）式可見，決定系數表示了回歸平方和在總離差平方和中所占的比例。當這種比值較大（接近于1）特別是回歸的顯著性不便于進行嚴格檢驗時也有用它來說明回歸效果的。在回歸方程無意義時，有如下幾種可

13、能：（1） x 對 y 確實無影響；（2） x 對 y 有影響，但無線性影響；（3）除x 外，還有另外不可忽略的對 y 有影響，這時需作進一步。 forecasting四回歸方程的應用當回歸方程有意義時，則可用x0 處的回歸值 y0來作為 y0 的估計值，或稱為值。 ， 使對所謂區間，是指構造兩個統計量于給定的0 1,滿足P 1 ，則稱隨機區間（ , ）是 的置信度為1 的區間。13取樣本函數 y0y0T t(n 2)（3-19）( x x )21S1 0nlxxn 2) 。因此對給定水平其中，由 PT / 2， 查T t (n 2) 分布表可求得 。從而得 y0 的置信度為1 的置信區間（或

14、稱預測區間）為x)21n(x（y0S 1 0）（3-20）lxx由x0 的任意性，y0 的區間的左邊界與右邊界可視為x0 的函數，如圖（3-2）y分別稱為下曲線與上曲線。由圖（3-2）及（3-17）y a bx可知當x0 的取值愈靠近 X時，區間愈窄，從而oxx用 y0 近似 y0 時，精度圖 3-2愈高；遠離 X 時精度愈低。例 3-1 在硝酸鈉( NaNO3 )的溶解度試驗中，測得在不同溫度 X 0C份數 y 數據見下表:下溶解于 100 份水中的硝酸鈉xiyi041015212936516866.771.076.380.685.792.999.4113.6125求：（1）x 與 y 的線

15、性回歸方程；（2）在水平 0.05下，檢驗所建立的回歸方程是否有意義；（3）x 25時 y 的置信度為 95%的區間。知，x 與 y 之間存解：由引例 2 的性關系，計算所需數據見表 3-2。S 2在計算F 統計量時，常用下列公式計算：回n blS 2 ( yi 1 y)2（3-17）ixy回nny(i1y2nl2)22 ySyyyii總i1a y bx lxy b lxxnni 1i 1nn ( xii 1x )( yiy) xii 1yi nx ylxy表 3-2變量序號xiyix 2iy 2ix iyi123456789041015212936516866.771.076.380.685

16、.792.999.4113.6125.108411296260146244448.895041.005821.696496.367344.498630.419880.3612904.9615650.010284.0763.01209.01799.72694.12578.45793.68506.8234811.31014476218.1724628.625n 9，x 234 26，y 811.3 90.144499 234 4060 xi9i i99 ( xix )( yi y) xi yi 9x ylxyi 1i 1 24628.6 234 811.3 3534.89b lxy 3534.8

17、0.8706于是得lxx4060a y bx 90.1444 0.8706 26 67.5077故所求回歸方程為 y 67.5077 0.8706x0.396999（2）S2 l ( y y)2 y2 9y2總yyi1ii1i2 76218.6 811.3 3083.98229S87026b xyl3534 .83077回S 2 S 2 6 S.25853殘總回由 PF 0.05，查 F (1，7) 表得 5.59 ，而S 2F 回 3271.1916 5.59S 2 / (9 2)殘所以回歸方程有意義。若應用相關系數檢驗法，經計算的lxy3534.8 r0.998，9lxx4l06yy03083.989對顯著性水平 5 .0 0，按度2n 2查相關系數表（附表 2）得臨界值(70 r.0)