1、 3.1 3.1 多元線性回歸模型多元線性回歸模型 3.2 3.2 多元線性回歸模型的參數估計多元線性回歸模型的參數估計 3.3 3.3 多元線性回歸模型的統計檢驗多元線性回歸模型的統計檢驗 3.4 3.4 多元線性回歸模型的預測多元線性回歸模型的預測 3.5 3.5 可線性化的多元非線性回歸模型可線性化的多元非線性回歸模型 3.6 3.6 受約束回歸受約束回歸一、模型方式一、模型方式二、根本假定二、根本假定 留意：留意：1 1解釋變量解釋變量X X的個數：的個數：k k 回歸系數回歸系數 j j的個數：的個數：k k1 1 2 2j j：偏回歸系數，表示了：偏回歸系數，表示了XjXj對對Y

2、Y的凈影響的凈影響 3 3X X的第一個下標的第一個下標 j j 區分變量區分變量j j1 1，2 2，k k 第二個下標第二個下標 i i 區分觀測區分觀測i i1 1，2 2，nn1,2,in 011220100.(1)iiikkiikjjiijkjjiijYXXXXXX kikiikiiiiXXXXXXYE 2211021),|(kikiiiiXXXY22110ikikiiiieXXXY22110其中：其中：ei ei 稱為殘差稱為殘差 (residuals)(residuals)，可看成是隨機誤差項，可看成是隨機誤差項 i i的近似替代。的近似替代。 XY)1(212221212111

3、111knknnnkkXXXXXXXXXX1)1(210kk121nn1321 nnYYYYY1231nnYYYYY k10neee21eXYeXYnnEE11)( 21121nnnEI22211100)var(),cov(),cov()var(nnn),(2I0N假設假設5 5：樣本容量趨于無窮時，各解釋變量的方差趨于有界常數，即：樣本容量趨于無窮時，各解釋變量的方差趨于有界常數，即n n時，時， jjjijiQXXnxn22)(11Qxxn1knnkxxxx1111x一、普通最小二乘估計一、普通最小二乘估計二、參數估計量的性質二、參數估計量的性質三、樣本容量問題三、樣本容量問題1 1、估計

4、目的：回歸系數、估計目的：回歸系數jj、隨機誤差項方差、隨機誤差項方差222 2、估計方法：、估計方法：OLSOLS、MLML或者或者MMMM根本思想：殘差平方和最小根本思想：殘差平方和最小基于獲得最小值的條件獲得系數估計基于獲得最小值的條件獲得系數估計 2112)(niiiniiYYeQ2122110)(nikikiiiXXXY0000210QQQQkkiikikikiiiiikikiiiiiikikiiikikiiXYXXXXXYXXXXXYXXXXYXXX)()()()(221102222110112211022110nknkknkkiikikikiiiikiiYYYXXXXXXXXXX

5、XXXXXXn212111211102112111111YXX)X(YXXX1)(0)()(XYXY0)(XXXYYXYY0)2(XXXYYY0XXYXYXXX1)(XXYX對對稱稱陣陣）為為（nn(2)()(),(;),()2121 BBBAAaaaAABABnn 2()()iQeeeYXYX 53650000215002150010111111)(22121iiinnXXXnXXXXXXXX39468400156741112121iiinnYXYYYYXXXYX0735. 10003. 00003. 07226. 0)(1EXX7770. 0172.10339648400156740735

6、. 10003. 00003. 07226. 021E2 1122knkneiee(1)e enk 1 1、根本原理：樣本觀測值出現的概率最大。、根本原理：樣本觀測值出現的概率最大。2 2、似然函數：、似然函數：)()(21)(212122222211022)2(1)2(1),(),(XYXYeeYYYPLnXXXYnnnkikiiin),(2XiNYi3 3、最大似然估計、最大似然估計MLEMLE：YXXX1)(1 1、OLSOLS估計是經過得到一個關于參數估計值的正規方程組估計是經過得到一個關于參數估計值的正規方程組YXX)X(并對它進展求解而完成的。并對它進展求解而完成的。XYXXXYX

7、XX(YX)0XYX)(E0)1X(YXnYXXX0XYX)(EYX 高斯高斯馬爾可夫定理馬爾可夫定理(Gauss-Markov theorem):(Gauss-Markov theorem):在給定經典線性回歸的假定下，最小二乘估計量是具有在給定經典線性回歸的假定下，最小二乘估計量是具有最小方差的線性無偏估計量，即最正確線性無偏估計量最小方差的線性無偏估計量，即最正確線性無偏估計量BLUEBLUE。CYYXXX1)(XXXX XXXYXXX11)()()()()()(1EEEEYXXX1)(XXXXXXX11)()()(I2)(E)(,(12 XXN 2j(,)jjjNc 最小樣本容量最小樣

8、本容量滿足根本要求的樣本容量滿足根本要求的樣本容量所謂所謂“最小樣本容量，即從最小二乘原理和最大或然原理出發，最小樣本容量，即從最小二乘原理和最大或然原理出發，欲得到參數估計量，不論其質量如何，所要求的樣本容量的下限。欲得到參數估計量，不論其質量如何，所要求的樣本容量的下限。樣本最小容量必需不少于模型中解釋變量的數目包括常數項樣本最小容量必需不少于模型中解釋變量的數目包括常數項, ,即：即：n n k+1 k+1由于，無多重共線性要求：秩由于，無多重共線性要求：秩(X)=k+1(X)=k+1一、擬合優度檢驗一、擬合優度檢驗二、方程顯著性檢驗二、方程顯著性檢驗三、變量顯著性檢驗三、變量顯著性檢驗

9、 目的：測定樣本回歸函數對樣本觀測值的擬合嚴密程度目的：測定樣本回歸函數對樣本觀測值的擬合嚴密程度 目的：目的：R2、Adj(R2)TSSRSSTSSESSR121 1、定義：、定義：)1/()1/(12nTSSknRSSR11)1 (122knnRR用于比較因變量一樣，解釋變量個數不同的多元回歸模型的擬合優度用于比較因變量一樣，解釋變量個數不同的多元回歸模型的擬合優度 赤池信息準那么赤池信息準那么Akaike information criterion, AICAkaike information criterion, AICnknAIC) 1(2lneennknAClnlnee目的：檢驗目

10、的：檢驗Y與一切與一切X的線性關系在總體上能否成立的線性關系在總體上能否成立方法：方法：F檢驗檢驗)1/(/knRSSkESSF1 1提出原假設和備擇假設：提出原假設和備擇假設：2 2在在H0H0成立的條件下，計算檢驗統計量的值：成立的條件下，計算檢驗統計量的值：)1/(/knRSSkESSF3 3給定顯著性程度給定顯著性程度，可得到臨界值：，可得到臨界值：F F(k,n-k-1) (k,n-k-1) 4 4假設假設 F F F F(k,n-k-1)(k,n-k-1)，回絕原假設，總體線性關系成立，回絕原假設，總體線性關系成立 假設假設 F F F F(k,n-k-1)(k,n-k-1)，接受

11、原假設，總體線性關系不成立，接受原假設，總體線性關系不成立) 1/() 1/(12nTSSknRSSR) 1/(/knRSSkESSFkFknnR1112)1/()1 (/22knRkRF目的：檢驗目的：檢驗Y與某個與某個Xj的線性關系在總體上能否成立或者的線性關系在總體上能否成立或者 說說Xj對對Y能否存在顯著影響能否存在顯著影響方法：方法： t檢驗檢驗1122knkneiee2(,0 , ,1 2,)jjjjNjck (1)1jjjjjjjtt n kSeecn k jjtS 1 1、在一元線性回歸模型中，變量的顯著性、在一元線性回歸模型中，變量的顯著性t t檢驗與方程的檢驗與方程的F F

12、檢驗是一致的檢驗是一致的 一方面，二者檢驗的假設一致：一方面，二者檢驗的假設一致：110 0 另一方面，從檢驗統計量來看：另一方面，從檢驗統計量來看：F Ft2t22 2、在多元線性回歸模型中，二者的作用不同，并不等價、在多元線性回歸模型中，二者的作用不同，并不等價3 3、在多元回歸模型中，對各個變量的進展、在多元回歸模型中，對各個變量的進展t t檢驗時，顯著性程度應該一致檢驗時，顯著性程度應該一致4 4、t t檢驗未經過，闡明在給定的顯著性程度下，變量對檢驗未經過，闡明在給定的顯著性程度下，變量對Y Y沒有顯著性影響，沒有顯著性影響，但不要簡單的剔除變量，關鍵依然是調查變量在經濟關系上能否對

13、因變但不要簡單的剔除變量，關鍵依然是調查變量在經濟關系上能否對因變量有影響以及變量在模型及運用中的作用，顯著性檢驗起到驗證的作用量有影響以及變量在模型及運用中的作用，顯著性檢驗起到驗證的作用(1)jjjtt nks Pttt()22122()1jjjPtts 22()1jjjjjPtsts 22(,)jjjjtsts 一、均值一、均值E(Y0)的置信區間的置信區間二、個值二、個值Y0的置信區間的置信區間點預測點預測區間預測區間預測XY0Y)()()()(00YEEEYEXXX000)()()(20()X(XXX0000EEYVar0102000)()()(XXXXX)(XX)(X00EEYVar),(020XX)X(XX100NY) 1(knt)E(YY00010XX)X(X010000100)()()(22XXXXXXXXtYYEtY假設曾經知道假設曾經知道X=X0X=X0處的實踐個值處的實踐個值Y0Y0，那么預測誤差為：，那么預測誤差為：000YYe0)()()()(100000000XXXXXXXEEEeE)(1 ()()()(01022100200XXXXXXXXEeEeVar)(1 (,0(01020XXXXNe)(1(010220XXXXe)1(000kntYYte010000100)(1)(