1、回歸分析回歸分析 2回歸分析回歸分析 現實世界中大多數現象表現為相關現實世界中大多數現象表現為相關關系，人們通過大量觀察，將現象關系，人們通過大量觀察，將現象之間的相關關系抽象概括為函數關之間的相關關系抽象概括為函數關系，并用函數形式或模型來描述與系，并用函數形式或模型來描述與推斷現象間的具體變動關系，用一推斷現象間的具體變動關系，用一個或一組變量的變化來估計與推算個或一組變量的變化來估計與推算另一個變量的變化。這種分析方法另一個變量的變化。這種分析方法稱為回歸分析。稱為回歸分析。3一元線性回歸一元線性回歸一一 、一元正態線性回歸模型、一元正態線性回歸模型 設隨機變量設隨機變量Y，對于對于x的

2、每一個值，的每一個值，Y都有它的分布。都有它的分布。Y的均值是的均值是x的函的函數，設數，設E(Y)= (x)， (x)叫做叫做Y關于關于x的回歸。的回歸。 (x)可以通過樣本進行估可以通過樣本進行估計。計。4一元線性回歸一元線性回歸模型模型 對于對于x的一組值的一組值x1, x2, , xn作作 獨立試驗，對獨立試驗，對Y 得出得出n個觀察結果個觀察結果 y1, y2, yn，得到容量為得到容量為n的樣本的樣本 (x1, y1), (x2, y2), (xn, yn)。利用樣利用樣本估計本估計 (x) 。首先從散點圖看出首先從散點圖看出y與與x的關系的關系, 從而推測出從而推測出 (x)的形

3、式。的形式。若若 (x) 為為線性函數，設線性函數，設 (x) =a+bx，估計估計 (x) 的的問題稱為一元線性回歸問題稱為一元線性回歸問題。問題。5一元線性回歸一元線性回歸模型模型 假設對于假設對于x的某個區間內的每一的某個區間內的每一個值有個值有 YN(a+bx, 2) Y= a+bx+ ， N(0, 2)稱為一元正態線性回歸模型。稱為一元正態線性回歸模型。6 由樣本到由樣本到a、b的的估計估計 ，對給定的對給定的x，取取 作為作為 (x) =a+bx的估計，稱的估計，稱 為為Y關于關于x的線性回歸方程，其圖的線性回歸方程，其圖形稱為回歸直線。形稱為回歸直線。一元線性回歸一元線性回歸模型

4、模型ba、xbayxbay7最小二乘估計二二 、最小二乘估計、最小二乘估計對樣本對樣本(x1, y1), (x2, y2), (xn, yn)，有有考慮考慮a、b的函數的函數相互獨立相互獨立各各iiiiiNnibxay , ), 0(, 2 , 1,2niiibxaybaQ12)(),(8最小二乘估計 用最小二乘法估計用最小二乘法估計a、b，使使分別取分別取Q關于關于a、b的偏導數，并令的偏導數，并令其為其為0，有，有),(min), (baQbaQniiiiniiixbxaybQbxayaQ110)(20)(29最小二乘估計得正規方程組得正規方程組由于由于niiiniiniiniiniiyx

5、bxaxybxna112111niiniiynyxnx111,110 最小二乘估計正規方程組為正規方程組為由于方程組系數行列式由于方程組系數行列式niiiniiyxbxaxnybxa112niiniiniixxxnxxxnx12212120111最小二乘估計方程組有唯一解方程組有唯一解bxyaxnxyxnyxbniiniii122112最小二乘估計記記則則niiniixxniiiniiixyxnxxxSyxnyxyyxxS1221211)()(bxyaSSbxxxy13最小二乘估計所求線性回歸方程為所求線性回歸方程為由由 知知所以所以對于一組樣本觀察值，回歸直線通過對于一組樣本觀察值，回歸直線

6、通過散點圖的幾何中心散點圖的幾何中心xbaybxyaxbay )(xxbyy),(yx14三、2的點估計對每一個對每一個xi，由回歸方程有由回歸方程有xi處的殘差處的殘差為為 ，殘差平方和，殘差平方和可以證明可以證明則則iixbayiiyyniiiniiiexbayyyQ1212)2(22nQe222,2nQEnQEee152的點估計 是是2的無偏估計的無偏估計Qe的簡單計算公式：的簡單計算公式：22nQe16 xxxyyyniininiiiiniiiniiiniiieSbSbSxxbxxyybyyxxbyyyyyyyyQ2122112121212)(2)()()(2)()()()()(172

7、的點估計由于由于 ，所以，所以四、線性假設的顯著性檢驗四、線性假設的顯著性檢驗(T(T檢驗法檢驗法) ) 對線性假設對線性假設y=a+bx+ 進行檢驗，進行檢驗，線性系數線性系數b不應當為不應當為0原假設原假設 H0：b= =0備擇假設備擇假設 H1：b 0 xxxySbSxxyyeSbSQ)(18線性假設的顯著性檢驗線性假設的顯著性檢驗)2()2(2222nQne可以證明可以證明從而從而)/,(2xxSbNb ) 2() 2() 2(222ntSbbnnSbbxxxx ) 1 , 0(2NSbbxx 19線性假設的顯著性檢驗線性假設的顯著性檢驗在在H0成立時，取統計量為成立時，取統計量為給定

8、顯著性水平給定顯著性水平 ，H0的拒絕域為的拒絕域為計算出計算出| |t| |的值，查出的值，查出)2(2ntSbTxx )2(22ntSbtxx )2(2nt 20線性假設的顯著性檢驗線性假設的顯著性檢驗 若若 ，則拒絕，則拒絕H0；否則就否則就接受接受H0 。拒絕拒絕H0，意味著回歸效果意味著回歸效果是顯著的。在回歸效果顯著的情況是顯著的。在回歸效果顯著的情況下，對回歸系數作區間估計，可得下，對回歸系數作區間估計，可得出出b的置信度為的置信度為1- - 的置信區間為的置信區間為)2(2ntt xxxxSntbSntbbb ) 2(,) 2(),(2221五、線性回歸的方差分析五、線性回歸的

9、方差分析(F(F檢驗法檢驗法) ) eniiiniiniiiiniiyyQSyyyyyyyyyyS回回12121212)()(22線性回歸的方差分析線性回歸的方差分析回歸平方和回歸平方和殘差平方和殘差平方和Syy自由度為自由度為n- -1， Qe自由度為自由度為n- -2，S回回自由度為自由度為1niiieniiyyQyyS1212回回23線性回歸的方差分析線性回歸的方差分析 )2, 1 ()2()2(1)2(),1 (222222nFnQSnQSnQSeee回回回回回回 24線性回歸的方差分析線性回歸的方差分析原原假設假設H0：b= =0，備擇假設備擇假設 H1：b 0選統計量選統計量)2,

10、 1 ()2(nFnQSFe回回25方差分析表方差分析表方差來源方差來源平方和平方和自由度自由度均方均方F比比回歸回歸S回回1S回回/1殘差殘差Qen- -2Se/(n- -1)總和總和Qyyn- -1)2( nQSe回回26線性回歸的方差分析線性回歸的方差分析對檢驗水平對檢驗水平 ，查表得，查表得F (1,n- -2)，計算出計算出F值。值。若若FF (1,n- -2) ，則拒絕則拒絕H0 ，說明說明回歸效果顯著；回歸效果顯著；若若F2.306，即，即|t|值在值在H0的拒絕域內，的拒絕域內，故拒絕故拒絕H0 ，說明回歸效果是顯著的。說明回歸效果是顯著的。b的置信度為的置信度為0.95( =

11、 =0.05)的置信區間為的置信區間為934. 0,8250,483. 02 xxSb394.458250934. 0483. 0 xxSbt 306. 2)8(,82,025. 02025. 0tn )508. 0,458. 0(8250934. 0306. 2483. 0,8250934. 0306. 2483. 0),(bb33(4)已求出已求出 ，所以，所以已求出已求出Syy=1932.1，Qe=7.466 7.5Syy的自由度為的自由度為9，Qe的自由度為的自由度為8列方差分析表：列方差分析表：8250,483. 0 xxSb6 .19248250483. 0)(22xxSbS回回方

12、差來源方差來源平方和平方和自由度自由度均方均方F比比回歸回歸1924.611924.62047.4殘差殘差7.580.94總和總和1932.1934對對 =0.01，查出，查出F0.01(1,8)=11.26因為因為2047.3 11.26，所以回歸效果是，所以回歸效果是非常顯著的。非常顯著的。六、利用回歸方程進行預報（預測）六、利用回歸方程進行預報（預測） 回歸問題中回歸問題中Y是隨機變量，是隨機變量，x是普是普通變量。回歸方程通變量。回歸方程 是是Y對對x的依賴關系的一個估計。對給定的依賴關系的一個估計。對給定的的x值，用回歸方程確定值，用回歸方程確定Y的值，叫的值，叫預報。預報。xbay

13、35利用回歸方程進行預報利用回歸方程進行預報1.1.點預報點預報 回歸方程為回歸方程為 ，對任給，對任給x=x0，用用 作作Y的預報值，記的預報值，記為為 ，這就是點預報。，這就是點預報。xbay0 xba 00 xbay36利用回歸方程進行預報利用回歸方程進行預報2.2.區間預報區間預報 給定給定x=x0，Y的取值有的取值有一個置信一個置信度為度為1- - 的范圍，即置信區間，稱的范圍，即置信區間，稱為預報區間。為預報區間。 設在設在x=x0點對點對隨機變量隨機變量Y的觀察的觀察結果為結果為y0 。),(), 0(,20020000 bxaNyNbxay37利用回歸方程進行預報利用回歸方程進

14、行預報在在x=x0點，點， 的預報值的預報值為為可以證明可以證明000 bxay00 xbay2)(1002)(10020201, 0, xxxxSxxnSxxnNyybxaNy38)2(1)2()2()2() 1 , 0(12020)(100222)(100ntyynVUTnnVNyyUxxxxSxxnSxxn 39利用回歸方程進行預報利用回歸方程進行預報對于給定的置信度對于給定的置信度1-1- ，有，有其中其中由此得出由此得出y0 0的置信度為的置信度為(1-1- )的預報區的預報區間為間為 1)()(1)2(000002xyyxyPntTPxxSxxnntx202)(101)2()( )

15、(, )(0000 xyxy 40對對任意的任意的x，回歸直線回歸直線y的下限：的下限：y的上限：的上限：xbay)()( )()()( )(21xxyxyxxyxy oxyyx1( )y x( )yx2( )41當樣本容量當樣本容量n較大時，若取較大時，若取x0在在x附近，附近，則則y0的置信度為的置信度為1- - 的預報區間為的預報區間為2220)2(,11)(1 ZntxxSxxn22,00 ZyZy) 3, 3( , 397. 2,997. 01) 2, 2( , 296. 1,95. 01000015. 000025. 022 yyZZyyZZ42七、控制問題七、控制問題要求要求y 以置信度以置信度1- - 在在 內取值，內取值，x控制在控制在 內，使其中的內，使其中的x所對所對應的觀察值應的觀察值y滿足滿足),(21yy),(21xx 121yyyP43控制問題控制問題xxx 2112yyyoxbaxy)( )()( )(2xxyxy )()( )(1xxyxy 44對對給出的給出的 ，以置信度，以置信度1- - , ,有有由此解出由此解出x即為即為x 1 1由此解出由此解出x即為即為x 2 2當樣本容量當樣本容量n較大時，較大時， 若取若取x0在在x附近，則附近，則這時這時21yyxxSxxnntxbay202)(111)2(