多元線性回歸模型的參數估計

EstimationofMultipleLinearRegressionModel

一、多元線性回歸模型

MultipleLinearRegressionModel

的一般形式問題的提出現實經濟現象是錯綜復雜的，多種經濟變量相互影響，每一個變量都要受到其他多種因素的影響。例如，對家庭消費支出的影響為例，除了家庭收入的影響之外，物價指數、價格變化趨勢、家庭人口、家庭年齡構成、利息率、廣告、就業狀況等多種因素都會影響家庭消費支出。如果被解釋變量的變化原因可以有一個關鍵的解釋變量加以說明，其他解釋變量的影響可以忽略，就可以用一元回歸模型表示所研究經濟問題變量間的數量關系。如果其他解釋變量對被解釋變量的影響不能被忽略，就要用多元回歸模型表示。例如，在考慮生產問題時，產出往往主要受投入要素——資本、勞動、技術的影響；銷售額往往受價格和公司對廣告費的投入的影響。在需考慮的解釋變量多于一個時，所得的計量經濟學模型為多元模型。顧名思義，“多元”模型中有多個解釋變量，我們需要考慮所有這些變量對被解釋變量的影響。1、多元線性回歸模型的一般形式如果在線性回歸模型中的解釋變量有多個，這樣的模型被稱為多元線性回歸模型。將一元線性回歸模型推廣，就可得多元線性回歸模型。無論是模型的一般形式，還是參數估計等多元都是一元的推廣。

多元線性回歸模型的一般形式為：

習慣上把常數項看成為一個虛變量的系數，在參數估計過程中該虛變量的樣本觀測值始終取1。這樣：模型中解釋變量的數目也可看作為（k+1）。今后我們采用多元中解釋變量的數目為k的說法。其他變量和符號的含義與一元線性回歸模型相似。

y為被解釋變量；

為隨機誤差項；i表示第i個樣本觀測值；n為樣本容量；

0，

1

,

2,…，

k為參數（式中共k+1個）

ikikiiixxxymbbbb++…+++=22110

i=1,2,…,n

(2.3.1)其中：k為解釋變量的數目；x1,x2

，…，

xk

為解釋變量強調兩點1.下標問題：某班共30名同學，考察期末考試各同學的化學成績。化學成績＝0.2*平時成績＋0.7*考試成績＋0.1*實驗成績甲的化學成績＝0.2*甲的平時成績＋0.7*甲的考試成績＋0.1*甲的實驗成績乙的化學成績＝0.2*乙的平時成績＋0.7*乙的考試成績＋0.1*乙的實驗成績用一般形式表示即為：

i=1,2,…，301.下標問題：多元線性回歸模型的式子中，y，

，

都只有一個下標，很好表示，yi表示第i個觀測值，

i對應于第i組觀測值的第i個隨機誤差項。唯獨x不好表示，因為它涉及到兩個下標。若樣本容量為n，則每一個變量都有n個樣本觀測值。用xji表示第j個解釋變量的第i個觀測值，在下標中把表示第幾個變量的數字放在前面，把表示第幾個觀測值的數字放在了后面。(與一元的不同點)

的下標表示與它相乘的是第幾個解釋變量,例如

k

對應xk多元線性回歸模型一般形式

在多元中，我們同樣是利用樣本數據進行對被解釋變量與解釋變量之間數量關系說明的。(yi，x1i，x2i，…，xki)

表示一組具體的樣本觀測值，抽取樣本后它們的值就確定了。［當i=1時，有(y1，x11，x21，…，xk1)

］共n組樣本觀測值（樣本數據）

i表示對應于每組(yi，x1i，x2i，…，xki)

的隨機誤差項，它是隨機變量，是未知的。ikikiiixxxymbbbb++…+++=22110

i=1,2,…，n例如：建立一個關于人均消費、人均可支配收入和人均消費存款余額的二元線性回歸模型。利用中國1985－1999年的實際數據c人均消費，y人均可支配收入，z人均消費存款余額（ct,yt

,zt）共有15組。比如（c1，y1，

z1）（t=1表示1985年）對應于每一組（ct,yt

,zt），均有一個μ，共15個。比如μ1對應于（c1，y1，

z1），表示其他因素對1985年人均消費的影響。2.參數含義式中共k+1個未知參數

0

，

1

,

2,…，

k參數仍然是對被解釋變量平均變化程度的度量。其中

0

是截距，它表示了當所有解釋變量xj

（

j=1,2,

…，k）均為0時，被解釋變量y的平均取值。

1

,

2,…，

k稱為偏斜率系數或偏回歸系數（partialregressioncoefficients）

。（與一元的不同點）

j（

j=1,2,

…，k）度量了在其它解釋變量保持不變的條件下，第j個解釋變量xj變化一個單位將引起被解釋變量平均變化多少個單位。ikikiiixxxymbbbb++…+++=22110

i=1,2,…，n例如：

1度量著在x2,x3,…,xk保持不變的情況下，x1每變化1個單位時，y的平均值的變化，或者說

1給出x1的單位變化對y平均值的“直接”或“凈”（不含其他變量）影響。其他參數的含義與之相同。案例分析1（1）銷售額SALES與價格PRICE、廣告費ADS之間的關系（2）消費問題研究例1：銷售額SALES與價格PRICE、廣告費ADS之間的關系銷售額y與價格x2

、廣告費

x1之間的關系根據樣本得SRF偏回歸系數的含義：在價格保持不變的條件下，廣告費變化一個單位將引起銷售額平均變化1.6097個單位；在廣告費保持不變的條件下，價格變化一個單位將引起銷售額平均變化-1.307個單位。例2消費問題研究凱恩斯的絕對收入假設消費理論，認為消費是由收入唯一決定的，是收入的線性函數。根據這一理論我們建立起來的是關于消費與收入的一元線性回歸模型根據莫迪利安尼的生命周期假設（1954年提出）消費理論認為，消費者現期消費不僅與現期收入有關，而且與消費者以后各期收入的期望值、開始時的資產數量和年齡有關。根據這一理論，一般我們是建立一個關于人均消費、人均可支配收入和人均消費存款余額的二元線性回歸模型。注意：（1）本模型中無截距項；（2）由于使用的是時間序列數據，所以下標為t利用中國1985－1999年的實際數據（《中國統計年鑒2001》），可得單位：元偏回歸系數的含義為：0.918：人均儲蓄存款余額不變的情況下，人均可支配收入每上升1000元，平均而言，人均消費增長918元；－0.02：人均可支配收入不變的情況下，人均儲蓄存款余額每增加100元，平均而言，人均消費減少2元。

2、多元線性回歸模型的基本假定

模型(2.3.1)或(2.3.2)在滿足下述所列的基本假設的情況下，可以采用普通最小二乘法（OLS）估計參數。關于多元線性回歸模型的基本假設標量符號1、解釋變量kxxx,,,21L是非隨機的或固定的；而且各x之間互不相關（無多重共線性(nomulticollinearity)）矩陣符號1、)1(+*kn矩陣X是非隨機的；且X的秩1)(+=kXr，此時XXT也是滿秩的標量符號2、隨機誤差項具有零均值、同方差及不序列相關

0)(=iEm

ni,,2,1L=

22)()(smm==iiEVar

ni,,2,1L=

0)(),(==jijiECovmmmm

ji1矩陣符號2、INNENET2)(,0)(s==

0)()()(11=÷÷÷?????è?=÷÷÷?????è?=nnEEENEmmmmMM

()÷÷÷?????è?÷÷÷?????è?=nnTENNEmmmmLM11)(÷÷÷?????è?=21121nnnEmmmmmmLMOMLI22200sss=÷÷÷?????è?=LMOML標量符號3、解釋變量與隨機項不相關

0),(=ijixCovm

nj=1,2,…,ki,,2,1L=矩陣符號3、0)(=NXET，即

0)()()(11=÷÷÷÷÷???????è?=÷÷÷÷÷???????è???????iKiiiiiKiiiiEXEXEXXEmmmmmmMM標量符號4、（為了假設檢驗），隨機擾動項服從正態分布

),0(~2smNi

ni,,2,1L=

矩陣符號4、向量N為一多維正態分布，即

),0(~2INNs多元線性回歸模型的基本假設是為了保證能夠使用OLS法估計模型中的參數以及所得參數具有優良性質關于基本假設的兩點說明一、假設1：解釋變量之間互不相關(比一元的假設多出的一條)為什么要在多元線性回歸模型中增加這條假設?例如:考慮二元線性回歸模型其中解釋變量之間存在完全的線性函數關系x2i

=4x1i,將該關系代入回歸模型中，會發現什么？iiixxybbb++=22110由于解釋變量間存在完全相關的線性函數關系，使得表面上是二元的模型(1)實際為一元線性回歸模型(3)。即使能夠對模型(3)進行估計，也只能估計出參數A1的值，卻無法從估計的A1值之中得出參數

0

和

1的估計值。因為方程(2)是含兩個未知數的方程,一個方程兩個未知數,不可能得出確定的偏回歸系數

0

和

1的估計值。因此，基于以上原因，在多元線性回歸模型的基本假設中增加了解釋變量間互不相關的假設。二、假設—隨機誤差項與解釋變量之間不相關指每一個解釋變量xj的第i次觀測與對應的隨機誤差項

i不相關,在解釋變量為確定性變量的假設滿足時，該條自動滿足。（多元中涉及一個以上的解釋變量）例如：建立一個關于人均消費、人均可支配收入和人均消費存款余額的二元線性回歸模型。利用中國1985－1999年的實際數據此假設的含義為：每一年的解釋變量—人均可支配收入和人均消費存款余額均與該年度其他影響人均消費的因素不相關。比如y1

與

1不相關；且

z1與

1不相關（t=1表示1985年）二、多元線性回歸模型的參數估計多元線性回歸模型參數估計的原理與一元線性回歸模型相同，同樣采用普通最小二乘法，只是計算更為復雜。1、普通最小二乘估計普通最小二乘估計隨機抽取被解釋變量和解釋變量的n組樣本觀測值：

kjnixyjiiLL,2,1,0,,,2,1),(==如果模型的參數估計值已經得到，則有樣本回歸函數：

Kikiiiixxxybbbb?????22110++++=L

i=1,2,…,n

(2.3.3)根據最小二乘原理，參數估計值應該是下列方程組的解：

??b??b??b??b$$$$0120000QQQQk====ìí???????????M

(2.3.4)其中

2112)?(??==-==niiiniiyyeQ

2122110))????((?=++++-=nikikiiixxxybbbbL

(2.3.5)于是，得到關于待估參數估計值的正規方程組：

???????íìS=++++SS=++++SS=++++SS=++++SkiikikikiiiiikikiiiiiikikiiikikiixyxxxxxyXxxxxyxxxxyxxx)????()????()????()????(221102222110112211022110bbbbbbbbbbbbbbbbLMLLL

(2.3.6)三、OLS估計量的統計性質

在多元線性回歸模型滿足基本假設的條件下，普通最小二乘估計量具有線性性、無偏性、最小方差性等優良性質。即OLS估計量是最佳線性無偏估計量，或者說BLUE估計量（theBestLinearUnbiasedEstimators）。顯然這些優良的性質依賴于對模型的基本假設對多元線性回歸模型的參數進行估計，再一次說明了為什么最小二乘法在計量中被廣泛應用的原因。

四、樣本容量問題⒈最小樣本容量所謂“最小樣本容量”，即從最小二乘原理和最大或然原理出發，欲得到參數估計量，不管其質量如何，所要求的樣本容量的下限。樣本最小容量必須不少于模型中解釋變量的數目（包括常數項）即不少于k+1。2、滿足模型估計基本要求的樣本容量

從參數估計角度：＞3×(k+1)從檢驗的有效性角度：＞303、模型的良好性質只有在大樣本下才能得到理論上的證明五、多元線性回歸模型案例分析（1）教材P43頁（2）英國對酒精飲料的需求問題案例1中國消費函數模型根據消費模型的一般形式，選擇消費總額為被解釋變量，國內生產總值和前一年的消費總額為解釋變量，變量之間關系為簡單線性關系，選取1981年至1996年統計數據為樣本觀測值。

中國消費數據表單位：億元

模型估計結果擬合效果案例2英國對酒精飲料的需求材料來源：T.McGuinness《英國對酒精飲料需求的經濟計量分析》一文建模第一步：（1）選擇變量：

y=每一個成年人純酒精消費的年變化

x2=酒精飲料的真實價格指數的年變化

x3=個人真實的可支配收入的年變化

x4=許可證頒發數量年變化量／成年人口

x5=在酒精飲料上的廣告支出費用的年變化（2）建立理論模型根據變量之間的散點圖及以往研究，采用多元線性回歸模型的形式（3）擬定模型中參數的期望值理論表明，除了變量x2之外，其余所有解釋變量都應與被解釋變量y正相關（即

2<0;3、

4、

5>0）建模第二步：收集樣本數據得到相關變量20年的年數據建模第三步：參數估計為了解釋英國對酒精飲料的需求，T.McGuinness根據20年的年數據得到了如下回歸方程：其中y=每一個成年人純酒精消費的年變化

x2=酒精飲料的真實價格指數的年變化

x3=個人真實的可支配收入的年變化

x4=許可證頒發數量年變化量／成年人口

x5=在酒精飲料上的廣告支出費用的年變化回歸結果分析x2的偏回歸系數－0.3540表明，在其他三個解釋變量保持不變時，與預期相同，它與每一個成年人純酒精消費的年變化呈負相關關系本節內容擴展多元線性回歸模型的矩陣表達式為：參數OLS估計值為樣本回歸函數為殘差為由于矩陣()()÷÷÷÷÷???????è?---÷÷÷÷÷???????è?---=￠--kkkkEBBBBCov(B)=Ebbbbbbbbbbbb??????)?)(?(11001100LM÷÷÷÷÷???????è?---------------=21100112110011001100200)?()?)(?()?)(?()?)(?()?()?)(?()?)(?()?)(?()?(kkkkkkkkkkEEEEEEEEEbbbbbbbbbbbbbbbbbbbbbbbbbbbbbbLLLLLLL

(3.1.14)?教材P39頁主對角線給出了各參數估計jb?的方差，其余部分給出了不同參數估計ib?與jb?的協方差，故稱為參數估計向量B?的方差-協方差矩陣。

由（2.3.8）式可得B?的方差-協方差矩陣的矩陣符號表達式：])??[()?cov(var￠--=-BBB)(BBE}]][({[(￠-￠￠-￠￠=--BYXX)XBYXX)X11E}]{[(￠-+￠￠-+￠￠=--BN)(XBXX)XB][(N)(XBXX)X11E])[(}]{(1----￠￠￠￠=￠￠￠￠￠=XXX(NNXX)XNXX)XN[(XX)X111EE121)()(----￠××￠￠=￠￠￠￠=XXX(IXX)XXX)X(NE(NXX)X11s12)(-￠=XXs

(2.3.12)Cov(B)=

?教材P39頁記ijc為矩陣1)(-￠XX中第i行第j列元素，比較可知第i個回歸參數估計量ib?（i=0，1，2，…，k）的方差、標準差：

iiic2)?var(sb=

iiicsb=)?var(

顯著性檢驗的基礎部分1、OLS估計量的標準差的估計量2、t統計量j?bj?b分別是i

的線性組合，因此j?b的概率分布取決于隨機誤差項

。因此在m是正態分布的假設下，每一個也服從正態分布，其分布特征（密度函數）由其均值和方差唯一決定。