1、3.2 多元線性回歸模型的估計多元線性回歸模型的估計 估計方法：OLS、ML或者MM一、普通最小二乘估計一、普通最小二乘估計 * *二、最大或然估計二、最大或然估計 * *三、矩估計三、矩估計 四、參數估計量的性質四、參數估計量的性質 五、樣本容量問題五、樣本容量問題 六、估計實例六、估計實例 一、普通最小二乘估計一、普通最小二乘估計對于隨機抽取的n組觀測值kjniXYjii, 2 , 1 , 0, 2 , 1),(如果樣本函數樣本函數的參數估計值已經得到，則有： i=1,2n根據最小二乘原理最小二乘原理，參數估計值應該是下列方程組的解 0000210QQQQk其中2112)(niiiniiY

2、YeQ2122110)(nikikiiiXXXYKikiiiXXXY22110于是得到關于待估參數估計值的正規方程組正規方程組： kiikikikiiiiikikiiiiiikikiiikikiiXYXXXXXYXXXXXYXXXXYXXX)()()()(221102222110112211022110 解該（k+1）個方程組成的線性代數方程組，即可得到(k+1)個待估參數的估計值, , ,jjk 012 。正規方程組正規方程組的矩陣形式矩陣形式nknkknkkiikikikiiiikiiYYYXXXXXXXXXXXXXXXXn212111211102112111111即YXX)X(由于XX滿

3、秩，故有 YXXX1)(將上述過程用矩陣表示矩陣表示如下： 即求解方程組：0)()(XYXY0)(XXXYYXYY0)2(XXXYYY0XXYX得到： YXXX1)(XXYX于是：例例3.2.1：在例2.1.1的家庭收入家庭收入-消費支出消費支出例中， 53650000215002150010111111)(22121iiinnXXXnXXXXXXXX39468400156741112121iiinnYXYYYYXXXYX可求得 0735. 10003. 00003. 07226. 0)(1EXX于是 7770. 0172.10339648400156740735. 10003. 00003.

4、 07226. 021E正規方程組正規方程組 的另一種寫法對于正規方程組正規方程組 XXYXXXeXXX于是 0eX或 0ie0iijieX(*)或（*）是多元線性回歸模型正規方程組正規方程組的另一種寫法 (*)(*)樣本回歸函數的離差形式樣本回歸函數的離差形式ikikiiiexxxy2211i=1,2n其矩陣形式矩陣形式為 exy其中 ：nyyy21yknnnkkxxxxxxxxx212221212111xk21在離差形式下，參數的最小二乘估計結果為 kkXXY110yxxx1)(隨機誤差項隨機誤差項 的方差的方差 的無偏估計的無偏估計 可以證明，隨機誤差項的方差的無偏估計量為 1122kn

5、kneiee * *二、最大或然估計二、最大或然估計 對于多元線性回歸模型ikikiiiXXXY 22110易知),(2XiNYi Y的隨機抽取的n組樣本觀測值的聯合概率)()(21)(212122222211022)2(1)2(1),(),(XYXYeeYYYPLnXXXYnnnkikiiin即為變量Y的或然函數或然函數 對數或然函數為)()(21)2()( 2*XYXYnLnLLnL對對數或然函數求極大值，也就是對 )()(XYXY求極小值。 因此，參數的最大或然估計最大或然估計為為YXXX1)(結果與參數的普通最小二乘估計相同結果與參數的普通最小二乘估計相同* *三、矩估計三、矩估計（M

6、oment Method, MM） OLS估計是通過得到一個關于參數估計值的正正規方程組規方程組YXX)X(并對它進行求解而完成的。 該該正規方程組正規方程組 可以從另外一種思路來導: XYXXXYXXX(YX)求期望 :0XYX)(E0XYX)(E稱為原總體回歸方程的一組矩條件矩條件，表明了原總體回歸方程所具有的內在特征。 0)1X(YXn由此得到正規方程組正規方程組 YXXX解此正規方程組即得參數的MM估計量。 易知MM估計量與與OLS、ML估計量等價。矩方法矩方法是是工具變量方法工具變量方法(Instrumental Variables,IV)和和廣義矩估計方法廣義矩估計方法(Gener

7、alized Moment Method, GMM)的基礎的基礎 在在矩方法矩方法中關鍵是利用了中關鍵是利用了 E(X )=0 如果某個解釋變量與隨機項相關，只要能找到1個工具變量，仍然可以構成一組矩條件。這就是IV。 如果存在k+1個變量與隨機項不相關，可以構成一組包含k+1方程的矩條件。這就是GMM。 四、參數估計量的性質四、參數估計量的性質 在滿足基本假設的情況下，其結構參數 的普通最小二乘估計、最大或然估計最大或然估計及矩估計矩估計仍具有： 線性性線性性、無偏性無偏性、有效性有效性。 同時，隨著樣本容量增加，參數估計量具有： 漸近無偏性、漸近有效性、一致性漸近無偏性、漸近有效性、一致性

8、。 1、線性性、線性性 CYYXXX1)(其中,C=(XX)-1 X 為一僅與固定的X有關的行向量 2、無偏性、無偏性 XXXXXXXYXXX11)()()()()()(1EEEE這里利用了假設: E(X )=0 3、有效性（最小方差性）、有效性（最小方差性） 其中利用了 YXXX1)(XXXXXXX11)()()(和I2)(E 五、樣本容量問題五、樣本容量問題 所謂“最小樣本容量最小樣本容量”，即從最小二乘原理和最大或然原理出發，欲得到參數估計量，不管其質量如何，所要求的樣本容量的下限。 最小樣本容量最小樣本容量 樣本最小容量必須不少于模型中解釋變量樣本最小容量必須不少于模型中解釋變量的數目

9、（包括常數項）的數目（包括常數項）,即 n k+1因為，無多重共線性要求：秩(X)=k+1 2 2、滿足基本要求的樣本容量、滿足基本要求的樣本容量 從統計檢驗的角度從統計檢驗的角度： n30 時，Z檢驗才能應用； n-k8時, t分布較為穩定 一般經驗認為一般經驗認為: 當n30或者至少n3(k+1)時，才能說滿足模型估計的基本要求。 模型的良好性質只有在大樣本下才能模型的良好性質只有在大樣本下才能得到理論上的證明得到理論上的證明 六、多元線性回歸模型的參數估計實例六、多元線性回歸模型的參數估計實例 例例3.2.2 在例2.5.1中，已建立了中國居中國居民人均消費民人均消費一元線性模型。這里我

10、們再考慮建立多元線性模型。解釋變量：解釋變量：人均GDP：GDPP 前期消費：CONSP(-1)估計區間估計區間：19792000年Eviews軟件估計結果 LS / Dependent Variable is CONS Sample(adjusted): 1979 2000 Included observations: 22 after adjusting endpoints Variable Coefficient Std. Error t-Statistic Prob. C 120.7000 36.51036 3.305912 0.0037 GDPP 0.221327 0.060969 3.630145 0.0018 CONSP(-1) 0.451507 0.170308 2.651125 0.0158 R-squared 0.995403 Mean dependent var 928.4946 Adjusted R-squared 0.994920 S.D. dependent var 372.6424 S.E. of regression 26.56078 Akaike info crite