1、第三章第三章 多元線性回歸模型多元線性回歸模型 前面我們學習了一元線性回歸模型的計量前面我們學習了一元線性回歸模型的計量經濟模型。如果一個變量受多個解釋變量的影經濟模型。如果一個變量受多個解釋變量的影響，那么就有多個解釋變量對被解釋變量起作響，那么就有多個解釋變量對被解釋變量起作用。如果解釋變量都是線性的影響，則建立的用。如果解釋變量都是線性的影響，則建立的模型稱為模型稱為多元線性回歸模型。多元線性回歸模型。形如形如的線性計量經濟模型稱為的線性計量經濟模型稱為k元線性回歸模型元線性回歸模型,樣樣本本容容量量為nn,1,2,iXXXYikik2i21i10i)( ,個未知參數有個解釋變量它有)1

2、k (,kS3.1多元線性回歸模型的多元線性回歸模型的4種表達式：種表達式：,:ikik2i21i10iXXXY1.k元總體模型,),:kik2i21i10ki2i1iiXXXYk 2. XXXE( ）元總體回歸函數（方程,ikik2i21i10ieXXXY3.k: :元元樣樣本本回回歸歸模模型型,kik2i21i10iXXXY: :（方方程程）4 4. .k k元元樣樣本本回回歸歸函函數數.變動的變化引起的因變量的不變時，表示其他變量保持）稱為偏回歸系數，它（jjXk,1,2,j, XYk 1. 元元總總體體模模型型回回歸歸模模型型的的矩矩陣陣表表達達：S S3 3. .1 1. .1 1多

3、多元元線線性性1nn2111)(kk210;,1)(knkn2n1nk22212k12111n21XXX1XXX1XXX1X1nYYYY其其中中XE(Y) : :程程）2 2. .總總體體回回歸歸函函數數（方方1)(knkn2n1nk22212k12111n21XXX1XXX1XXX1X;1n)E(Y)E(Y)E(YE(Y) 其其中中;11)(kk210,e XYk 3.：元元樣樣本本回回歸歸模模型型1neee;11)(kn21k210e;XXX1XXX1XXX1X,1nYYYY1)(knkn2n1nk22212k12111n21 其其中中, XYk 4. ：）元元樣樣本本回回歸歸函函數數（方

4、方程程11)(kk210;XXX1XXX1XXX1X,YYYY1)(knkn2n1nk22212k12111n211n 其其中中S3.1.2多元線性回歸模型的基本假定：多元線性回歸模型的基本假定： 為了使參數的估計量具有良好的統計性質，為了使參數的估計量具有良好的統計性質，對多元模型也做類似一元回歸模型的基本假設。對多元模型也做類似一元回歸模型的基本假設。關關（即即無無多多重重共共線線性性）且且解解釋釋變變量量之之間間互互不不相相 隨隨機機變變量量），都都是是確確定定性性變變量量（不不是是1 1. .解解釋釋變變量量K21XXX、n)210(i),cov(;)D(0)E(ji2ii，；即即 序

5、序列列相相關關性性；均均值值性性，同同方方差差性性和和無無2 2. .隨隨機機誤誤差差項項具具有有零零0.),cov(Xij差差項項不不相相關關，即即3 3. .解解釋釋變變量量與與隨隨機機誤誤. .態態分分布布，即即4 4. .隨隨機機誤誤差差項項服服從從正正)N(0,2i基本假設的矩陣表示基本假設的矩陣表示: 1)(kn(X1).(K（X）X1)(kn暗暗含含為為滿滿秩秩矩矩陣陣。即即為為非非隨隨機機矩矩陣陣，且且秩秩1 1. .矩矩陣陣 n21n211nE)E( EEED;1n00001n)nE( )2E( )1E( E2 2. .即即)E(),cov()cov(),cov()E()co

6、v(),cov(),cov()E(2n2n1nn22112n12121)E()E()E()E()E()E()E()E()E(E2n2n1nn22112n121212n2n1nn22112n12121nn22222I10000100010000000)X3.E(I),(0N4.21nn1n向向量量。矩矩陣陣避避免免偽偽回回歸歸假假設設。規規定定0Q5.正正確確的的。假假定定建建立立的的回回歸歸模模型型是是6.)(1KXXQS 3.2 多元線性回歸模型的參數估計多元線性回歸模型的參數估計參數估計的兩個任務參數估計的兩個任務: jj2i2 采用的估計方法采用的估計方法:1.最小最小 二乘法二乘法.2

7、.最大似然法最大似然法.3.矩法矩法. 只講最小二乘法只講最小二乘法. 原理原理(使樣本數據的殘差使樣本數據的殘差平方和最小的參數的取值即為最小二乘估計平方和最小的參數的取值即為最小二乘估計) 1.求得諸參數求得諸參數 的估計量的估計量 2.求出隨機誤差項求出隨機誤差項 的方差的方差 的估計的估計得正規方程組得正規方程組達達到到最最小小。即即使使殘殘差差平平方方和和2ii2iYYe）（0e0e0ek2i12i02i建立方程組建立方程組用用矩矩陣陣表表示示：YXXXYXXXXX1-1)(K 得得可可逆逆, ,方方陣陣11)(kk210n).,1,2,(i eXXXYkS.ikik2i21i10i

8、 3.2.1 ( (1 1) )式式; ;: :元元樣樣本本回回歸歸模模型型,eXXXnYikik2i21i10i：可可得得( (2 2) )式式所所以以,0XXXYkk22110，,eXXXXXXYYikkik22i211i1i) 2 () 1 (得得：n).,1,2,(i exxxyikik2i21i1i 即即1kne2i2另：隨機誤差項另：隨機誤差項 的方差的方差 的估計的估計2離差形式的最小二乘估計量：離差形式的最小二乘估計量：1)(kk21k1101-XXYYxxx;這這里里注注意意 ： 通過通過OLS,ML和和MM三種不同的估計方三種不同的估計方法發現，得出的參數估計量結果法發現，

9、得出的參數估計量結果是相同的是相同的。工具變量法（工具變量法（IV Instrumental Variables）YXXX-1S3.2.2多元線性回歸模型參數估計量多元線性回歸模型參數估計量 的性質的性質：1.線性：線性：）和和有有效效性性（方方差差最最小小性性具具有有線線性性、無無偏偏性性可可以以證證明明 YXXX-12.無偏性：無偏性：CYYXXX-1顯顯然然，( (向向量量) )即即可可只只需需證證明明)E( EXXXXXXXXXXEXXXXEYXXXE)E(1-1-1-1-1 3.有效性有效性 有高斯有高斯-馬爾科夫定理可以保證其有效性，下馬爾科夫定理可以保證其有效性，下面給出參數估計

10、量的協方差矩陣：面給出參數估計量的協方差矩陣： XXXXXXXXEYXXXYXXXEEEEED1-1-1-1- 11XXXXXXXXXXXXXXXXXXXXXXXX1-1-1-1-1-1-EEEE1-21-2nn2-1XXXXXXXXXXXIXXX11S3.2.3關于樣本容量問題關于樣本容量問題:2.滿足基本要求的樣本容量滿足基本要求的樣本容量1.最小樣本容量最小樣本容量1k3n30n或或者者至至少少 1kn S3.3多元線性回歸模型的統計檢驗多元線性回歸模型的統計檢驗 對多元線性回歸模型來說對多元線性回歸模型來說,它的統計檢驗跟它的統計檢驗跟一元相比一元相比,有不同之處有不同之處,它主要包括

11、它主要包括: 1.擬合優度檢驗擬合優度檢驗. 2.方程的顯著性檢驗方程的顯著性檢驗. 3.參數的顯著性檢驗參數的顯著性檢驗. 4.參數的置信區間估計參數的置信區間估計.統計檢驗一般按以上的先后順序進行統計檢驗一般按以上的先后順序進行. 多元線性回歸模型的參數比較多多元線性回歸模型的參數比較多,統計檢驗比統計檢驗比一元多了一個一元多了一個方程的顯著性檢驗方程的顯著性檢驗. 方程的顯著性檢驗方程的顯著性檢驗與與參數的顯著性檢參數的顯著性檢驗各有什么作用驗各有什么作用?解答解答: 方程的顯著性檢驗方程的顯著性檢驗(又稱為又稱為F檢驗檢驗)主要是看主要是看建立的模型中是否建立的模型中是否遺漏了重要的解

12、釋變量遺漏了重要的解釋變量; 而參數的而參數的顯著性檢驗顯著性檢驗(又稱為又稱為t 檢驗檢驗)主要是看要主要是看要把那些不重要的而引入模型的解釋變量把那些不重要的而引入模型的解釋變量剔除剔除,(即找即找出濫竽充數的出濫竽充數的“南郭先生南郭先生”). TSS = ESS + RSS自由度自由度 (n-1) (k) (n-k-1)1.擬合優度檢驗擬合優度檢驗.(i)可決系數與調整的可決系數可決系數與調整的可決系數. 類似地類似地,多元模型中也有多元模型中也有 TSS=ESS+RSS(總離差平方和總離差平方和=回歸平方和回歸平方和+殘差平方和殘差平方和)。這里仍然定義這里仍然定義TSSRSS1TS

13、SESSR2可決系數 可決系數 在多元回歸模型中在多元回歸模型中,解釋變量越多解釋變量越多, 但實際情況是但實際情況是,由增加不重要的變量作為解釋變量由增加不重要的變量作為解釋變量引起的引起的 與擬合優度沒有關系與擬合優度沒有關系,但會給人一但會給人一種錯覺種錯覺,覺得只要增加解釋變量的個數覺得只要增加解釋變量的個數 k ,就可提就可提高擬合優度高擬合優度.其實不然其實不然.越越大大。2R增增大大, ,2R可見可見 是個粗放型的指標是個粗放型的指標, 這是它的不足之處這是它的不足之處. 為此為此,我們找到另外一個指標我們找到另外一個指標,即即調整后的可決調整后的可決系數系數:2R1nTSS1k

14、nRSS1R2其中其中, (n-k-1)是是RSS的自由度的自由度.其中其中, (n-1)是是TSS的自由度的自由度. 調整后的可決系數調整后的可決系數(adjusted coefficient of determination)克服了克服了 的缺點的缺點. 2R：的的關關系系與與22RR1kn1nR-1-1R22 通過換算，有通過換算，有1knkR1knk1knR1kn1n1kn1n1R222因因為為，0RR122且且2222R-11knkR1knkR1knkR，0RR122 所所以以建建模模。通通過過檢檢驗驗。否否則則，重重新新, ,時時，拒拒絕絕當當值值由由樣樣本本數數據據求求得得統統計

15、計量量。分分布布表表得得臨臨界界值值查查給給定定顯顯著著性性水水平平成成立立時時當當構構造造統統計計量量至至少少存存在在一一個個1 1. .原原假假設設步步驟驟：0000j1k210H1-k-nk,FFF4.1-k-nk,FF3.1-k-nk,FFH1-k-nRSSkESSF2.0:H0 :H，。.;2.方程的顯著性檢驗方程的顯著性檢驗(F檢驗檢驗).3.變量變量(參數參數)的顯著性檢驗（的顯著性檢驗（t 檢驗）檢驗）.建建模模。通通過過檢檢驗驗。否否則則，重重新新, ,時時，拒拒絕絕當當值值由由樣樣本本數數據據求求得得統統計計量量。分分布布表表得得臨臨界界值值查查給給定定顯顯著著性性水水平平

16、成成立立時時當當構構造造統統計計量量1 1. .原原假假設設步步驟驟：000j0jjjjjjj1j0H1-k-nttt4.1-k-ntt3.1-k-nttH-t2.k,1,2,j0:H:H22jjs1kneecs，。.)(; 0 在一元模型中在一元模型中,只有變量只有變量(參數參數)的顯著性檢的顯著性檢驗驗,因為兩者是一致的。因為兩者是一致的。個個元元素素. .上上第第的的主主對對角角線線表表示示矩矩陣陣1 1. .這這里里 : :注注意意 1jX)X(c-1jj2)nF(1,2)(nt2因因為為課本第課本第45頁頁為為列列向向量量。 這這里里e ,eee2.2i4.參數的置信區間估計參數的置

17、信區間估計.1-k-nt-tjjjs由由統統計計量量j2j2jjsstt-,得得到到區區間間- -給給定定置置信信水水平平1 1，提高置信區間精確度的方法提高置信區間精確度的方法: 在樣本容量一定的情況下在樣本容量一定的情況下, 可靠度可靠度(置信水平置信水平)與與精確度精確度(區間長度區間長度)存在此消彼長的關系存在此消彼長的關系.1.增大樣本容量增大樣本容量.2.提高擬合優度提高擬合優度.3.提高樣本觀測值的分散度提高樣本觀測值的分散度.S.3.4多元線性回歸模型的預測多元線性回歸模型的預測 跟一元線性回歸模型相似，多元線性回跟一元線性回歸模型相似，多元線性回歸模型的預測功能可以分為：歸模

18、型的預測功能可以分為： 0YE0Y1.預測值估計值預測值估計值均值均值 的預測。的預測。2.預測值估計值預測值估計值個別值個別值 的預測的預測的的置置信信區區間間。 均均值值0YE1. XY00故故XXXXYX,X1,XXXXY0k0k20210100k0100kik2i21i10i,有有 對對于于給給定定的的: :程程）k k元元樣樣本本回回歸歸函函數數（方方 ，.1k0 這這里里1-2n2n-1XX,NI, XNY CYYXXX1 1k k 故故 因因為為一元正態分布.一元正態分布. 故故，0-102000XXXX,XN XY見課本第見課本第83頁中頁中.可構造如下的可構造如下的 t 統計

19、量統計量 1)kt(nXXXXYEYXXXXYEY01-020001-0200XXXXtYYEXXXXtY1-02001-020221有有即即置置信信水水平平給給定定顯顯著著性性水水平平，的的置置信信區區間間。 個個別別值值0Y2.20000,XNXY0-10200XXXX10,NYY可構造如下的可構造如下的 t 統計量統計量1kntXXXX1YYXXXX10YY1-02001-020001-020001-020XXXX1tYYXXXX1tY221有有即即置置信信水水平平給給定定顯顯著著性性水水平平，見課本第見課本第83頁上頁上.S4.1多元非線性回歸模型線性化多元非線性回歸模型線性化線性化方

20、法線性化方法: 1.直接置換法直接置換法. 倒數模型倒數模型,多項式模型多項式模型.2.函數變換法函數變換法. 冪函數模型冪函數模型,指數函數模型指數函數模型.3.級數展開法級數展開法(泰勒展式泰勒展式). 復雜函數模型復雜函數模型.課本例課本例3.5.1非線性問題線性化非線性問題線性化:1.理論模型的建立。理論模型的建立。2. SPSS軟件實現。軟件實現。3.對估計出的線性計量經濟模型對估計出的線性計量經濟模型進行經濟意義解釋。進行經濟意義解釋。3.5.14PPPXPP,PXQ3.5.13 ,PPX AP,PX,fQ201100100101Af321,： 兩兩個個理理論論模模型型取以取以 為

21、底的對數為底的對數,對模型線性化對模型線性化3.5.16lnPlnPlnXlnAlnQ3.5.1303121; : :線線性性化化3.5.17PPlnPXlnlnAlnQ3.5.1401201; : :線線性性化化得得到到課課本本7 76 6頁頁模模型型。 令令 lnA,0eS3.6 受約束回歸問題受約束回歸問題 有時候在建立模型時，需要對建立的模型中有時候在建立模型時，需要對建立的模型中的參數進行條件約束。（即參數之間有一定的關的參數進行條件約束。（即參數之間有一定的關系，滿足一定的條件。）系，滿足一定的條件。）1.對有約束條件的模型進行參數回歸分析，稱對有約束條件的模型進行參數回歸分析，稱

22、為為受約束回歸受約束回歸。 （restricted regression ）2.如果對參數沒有約束條件，則進行的回歸分析如果對參數沒有約束條件，則進行的回歸分析稱為稱為無約束回歸無約束回歸。（unrestricted regression ）例例3.5.1模型參數基本滿足零階齊次性。模型參數基本滿足零階齊次性。 （課本（課本80頁）頁）1. 模型參數的線性約束模型參數的線性約束 通常對模型施加約束條件會降低模型通常對模型施加約束條件會降低模型的解釋能力。的解釋能力。模型的解釋能力通過擬合優度來體現。模型的解釋能力通過擬合優度來體現。1. 判定約束條件是否存在可利用判定約束條件是否存在可利用F 檢驗檢驗第三章練習第第三章練習第7 7題：題： 0X)XXY(0X)XXY(:.)YY(e,XXYeXXY:i2n1ii