線性回歸模型

§1回歸分析概述§2

線性回歸模型的參數估計§3

線性回歸模型的統計檢驗§4

回歸預測§5

極大似然估計§6有約束回歸§1回歸分析概述

一、線性回歸模型的特征二、線性回歸模型的普遍性三、線性回歸模型的基本假設一、線性回歸模型的特征

1、線性回歸模型的特征一個例子

凱恩斯絕對收入假設消費理論：消費（C）是由收入（Y）唯一決定的，是收入的線性函數：

C=+Y(2.2.1)

但實際上上述等式不能準確實現。原因⑴消費除受收入影響外，還受其他因素的影響；⑵線性關系只是一個近似描述；⑶收入變量觀測值的近似性：收入數據本身并不絕對準確地反映收入水平。因此，一個更符合實際的數學描述為：

C=+Y+(2.2.2)其中：是一個隨機誤差項，是其他影響因素的“綜合體”。線性回歸模型的特征：

⑴通過引入隨機誤差項，將變量之間的關系用一個線性隨機方程來描述，并用隨機數學的方法來估計方程中的參數；⑵在線性回歸模型中，被解釋變量的特征由解釋變量與隨機誤差項共同決定。2、模型的理論方程中為什么必須包含隨機誤差項？（1）在解釋變量中被忽略的因素的影響；（2）變量觀測值的觀測誤差的影響；（3）模型關系的設定誤差的影響；（4）其它隨機因素的影響。3、隨機誤差項主要包括哪些因素的影響？4.單方程線性回歸模型的一般形式

二、線性回歸模型的普遍性

線性回歸模型是計量經濟學模型的主要形式，許多實際經濟活動中經濟變量間的復雜關系都可以通過一些簡單的數學處理，使之化為數學上的線性關系。1.線性的含義對變量而言對參數而言2.將非線性模型轉化為線性模型的數學處理方法⑴變量置換例如，描述稅收與稅率關系的拉弗曲線：拋物線

s=a+br+cr2c<0s：稅收；r：稅率設X1=r，X2=r2，則原方程變換為

s=a+bX1+cX2c<0變量置換僅用于變量非線性的情況。⑵函數變換

例如，Cobb-Dauglas生產函數：冪函數

Q=AKLQ：產出量，K：投入的資本；L：投入的勞動方程兩邊取對數：

lnQ=lnA+lnK+lnL(3)級數展開例如，不變替代彈性CES生產函數：方程兩邊取對數后，得到：對在ρ=0處展開臺勞級數，取關于ρ的線性項，即得到一個線性近似式。

變量置換得到結論：實際中的許多問題，都可以最終化為線性問題，所以，線性回歸模型有其普遍意義。即使對于無法采取任何變換方法使之變成線性的非線性模型，目前使用得較多的參數估計方法——非線性最小二乘法，其原理仍然是以線性估計方法為基礎。線性模型理論方法在計量經濟學模型理論方法的基礎。Back：三、線性回歸模型的基本假設對于線性回歸模型，模型估計的任務是用回歸分析的方法估計模型的參數。最常用的估計方法是普通最小二乘法。為保證參數估計量具有良好的性質，通常對模型提出若干基本假設。如果實際模型滿足這些基本假設，普通最小二乘法就是一種適用的估計方法；如果實際模型不滿足這些基本假設，普通最小二乘法就不再適用，而要發展其它方法來估計模型。線性回歸模型在上述意義上的基本假設

（1）解釋變量X1，X2，…，Xk

是確定性變量，不是隨機變量；解釋變量之間互不相關。

（2）隨機誤差項具有０均值和同方差。即

E(i)=0i=1,2,…,n

Var(i)=2i=1,2,…,n

（5）隨機誤差項服從０均值、同方差的正態分布。即i~N(0,2)i=1,2,…,n（3）隨機誤差項在不同樣本點之間是獨立的，不存在序列相關。即

Cov(i,j)=0i≠ji,j=1,2,…,n（4）隨機誤差項與解釋變量之間不相關。即

Cov(Xji,i)=0j=1,2,…,ki=1,2,…,n重要提示幾乎沒有哪個實際問題能夠同時滿足所有基本假設；通過模型理論方法的發展，可以克服違背基本假設帶來的問題；違背基本假設問題的處理構成了單方程線性模型的理論方法的主要內容：

異方差問題（違背同方差假設）序列相關問題（違背序列不相關假設）共線性問題（違背解釋變量不相關假設）隨機解釋變量（違背解釋變量確定性假設）Back§2

線性回歸模型的參數估計

--普通最小二乘法

假定變量yt與k

個變量xjt,j=1,…,k

，存在線性關系。多元線性回歸模型表示為：其中yt是被解釋變量（因變量），xjt

是解釋變量（自變量），ut是隨機誤差項，i,i=0,1,…,k

是回歸參數（通常未知）。這說明xjt,j=1,…,k,是yt的重要解釋變量。ut代表眾多影響yt變化的微小因素。模型描述即形式★★矩陣形式§2

線性回歸模型的參數估計1.普通最小二乘法(OLS)

最小二乘法(OLS)的原理是通過求殘差（誤差項的估計值）平方和最小確定回歸參數估計值。這是求極值問題。用Q表示殘差平方和，求其最小值條件下的回歸參數的估計值。minQ得到下列方程組求參數估計值的實質是求一個k+1元方程組正規方程變成矩陣形式★★最小二乘法的矩陣表示★★正規方程的結構Y——被解釋變量觀測值nx1X——解釋變量觀測值（含虛擬變量nx(k+1)）X`X——設計矩陣（實對稱(k+1)x(k+1)矩陣）X`Y——正規方程右端(k+1)x1——回歸系數矩陣(k+1)x1——高斯乘數矩陣，設計矩陣的逆

——殘差向量（nx1）

——被解釋變量的擬合（預測）向量nx12.最小二乘估計量的性質線性（估計量都是被解釋變量觀測值的線性組合）無偏性（估計量的數學期望=被估計的真值）有效性（估計量的方差是所有線性無偏估計中最小的）1)線性因為X的元素是非隨機的，(X‘X)-1X是一個常數矩陣，由上式知是Y的線性組合，為線性估計量。具有線性特性2)無偏特性3)有效性★★具有最小方差特性。★★隨機誤差項的方差的估計量

M=M'M2=M'M=M'利用上述性質，殘差平方和'

e'e=(Mu)'(Mu)=u'M'Mu=u'Mu=u'[I-X(X'X)-1X']uE(e'e)=E{tr[u'(I-X(X'X)-1X')u]=tr[(I-X(X'X)-1X')E(uu')]=(n-K-1)3.樣本容量問題樣本是一個重要的實際問題，模型依賴于實際樣本。獲取樣本需要成本，企圖通過樣本容量的確定減輕收集數據的困難。最小樣本容量：滿足基本要求的樣本容量樣本容量問題(X`X)-1存在|X`X|≠0X`X

為k+1階的滿秩陣R(AB)≤min(R(A),R(B))R(X)≥k+1因此，必須有n≥k+1，此為最小樣本容量▲滿足基本要求的樣本容量一般經驗認為：n≥30或者n≥3(k+1)才能滿足模型估計的基本要求。n≥3(k+1)時，t分布才穩定，檢驗才較為有效§3

線性回歸模型的統計檢驗1

擬合優度檢驗

2方程的整體顯著性

3參數的顯著性檢驗回歸分析是要通過樣本所估計的參數來代替總體的真實參數，或者說是用樣本回歸線代替總體回歸。盡管從統計性質上已知，如果有足夠多的重復抽樣，參數的估計值的期望（均值）就等于其總體的參數真值，但在一次抽樣中，估計值不一定就等于該真值。那么，在一次抽樣中，參數的估計值與真值的差異有多大，是否顯著，這就需要進一步進行統計檢驗。主要包括擬合優度檢驗、變量的顯著性檢驗及模型整體的顯著性檢驗。1.擬合優度檢驗

擬合優度指用

樣本回歸線對樣本觀察值的擬合程度.(1)總離差平方和的分解YX0*******△****Y9由回歸方程解釋的部分，表示解釋變量X對Y的線性影響殘差項，表示回歸方程不能解釋的部分總離差平方和（TSS）回歸平方和（ESS）殘差平方和（RSS）(1)總離差平方和的分解★★注意英文縮小的含義TSS：TotalSquareSum/總離差平方和RSS：ResidualSquareSum/殘差平方和ESSExplainSquareSum/解釋平方和（回歸平方和）平方和分解的意義TSS=RSS+ESS被解釋變量Y總的變動（差異）=解釋變量X引起的變動（差異）+除X以外的因素引起的變動（差異）如果X引起的變動在Y的總變動中占很大比例，那么X很好地解釋了Y；否則，X不能很好地解釋Y。(2)樣本可決系數樣本可決系數是擬合優度評價的最重要指標，殘差的標準差也能作為擬合優度評價的參考指標樣本可決系數（Thecoefficient

ofDetermination）R2隨機項μ的方差σ2的最小二乘估計量★★相關系數計算方法與樣本決定系數一樣含義有所不同：樣本可決系數是判斷回歸方程與樣本觀測值擬合優度的一個數量指標，隱含的前提條件是X和Y具有因果關系相關系數是判斷兩個隨機變量線性相關的密切程度，不考慮因果關系。(3)調整的可決系數(adjustedcoefficientofdetemination)增加解釋變量時，很可能增加R2，容易引起錯覺，認為只要在回歸模型中增加解釋變量就可以了，因此考慮對R2進行修正思考：調整的可決系數能否為負？如果為負，說明什么問題？★★注意TSS、ESS、RSS的自由度TSS(離差平方和):n-1RSS(殘差平方和):n-k-1ESS(回歸平方和):k=n-1★★赤池信息準則和施瓦茨準則為了比較所含解釋變量個數不同的多元回歸模型的擬合優度,常用的標準還有赤池信息準則和施瓦茨準則赤池信息準則的定義為:AIC

=ln(

e’e/n)

+[2(k+1)]/n施瓦茨準則的定義為:SC

=ln(

e’e/n)

+(k/n)lnn上面的兩個準則均要求僅當所增加的解釋變量能夠減少AIC和SC的值時,才允許在模型中增加該解釋變量2.方程整體線性的顯著性檢驗(F檢驗)檢驗估計的回歸方程作為一個整體的統計顯著性3.參數估計量的t檢驗檢驗回歸方程中每個解釋變量的統計顯著性3.參數估計量的t檢驗檢驗回歸方程中每個解釋變量的統計顯著性★★參數的置信區間容易推出：在(1-)的置信水平下i的置信區間是其中，t/2為顯著性水平為、自由度為n-k-1的t分布的臨界值。★★回歸模型統計檢驗的步驟(1)

查看擬合優度，進行F檢驗，從整體上判斷回歸方程是否成立，如果F檢驗通不過，無須進行下一步；否則進行下一步查看各個變量的t值及其相應的概率，進行t檢驗，如果相應的概率小于給定的顯著水平，該自變量的系數顯著地不為0，該自變量對因變量作用顯著；否則系數與0無顯著差異（本質上=0），該自變量對因變量無顯著的作用，應從方程中刪去，重新估計方程。★★但是，一次只能將最不顯著（相應概率最大）的刪除。每次刪除一個，直至全部顯著。§4

線性回歸模型的預測

對于模型給定樣本以外的解釋變量的觀測值X0=(1,X01,X02,…,X0k)，可以得到被解釋變量的預測值：它可以是總體均值E(Y0)或個值Y0的預測。但嚴格地說，這只是被解釋變量的預測值的估計值，而不是預測值。為了進行科學預測，還需求出預測值的置信區間，包括E(Y0)和Y0的置信區間。1.E(Y0)的置信區間易知)()?()?()?(00YEEEYE====BXBXBX000容易證明于是，得到(1-)的置信水平下E(Y0)的置信區間：其中，t/2為(1-)的置信水平下的臨界值。),(~?020XX)X(XBX100￠￠-sNY2.Y0的置信區間如果已經知道實際的預測值Y0，那么預測誤差為：容易證明0))(())?(()?()(100000000=￠￠-=--=-+=-μXXXXBBXBXBXmmmEEEeEe0服從正態分布，即構造t統計量可得給定(1-)的置信水平下Y0的置信區間：§5

極大似然估計(MaximumLikelihood)極大似然估計基本原理：當從模型總體隨機抽取容量為n的一組樣本觀測值后，最合理的參數估計量應該使得從模型中抽取該組樣本觀測值的概率最大。在滿足基本假設條件下，對一元線性回歸模型：

隨機抽取容量為n的一組樣本觀測值后（Xi,Yi）（i=1,2,…n）。假如模型的參數估計量已經求得，為那么Yi服從如下的正態分布：于是，Y的概率函數為:（i=1,2,…n）因為Yi是相互獨立的，所以的所有樣本觀測值的聯合概率，也即似然函數(likelihoodfunction)為：

將該似然函數極大化，即可求得到模型參數的極大似然估計量。由于似然函數的極大化與似然函數的對數的極大化是等價的，所以，取對數或然函數如下：解得模型的參數估計量為：

可見，在滿足一系列基本假設的情況下，模型結構參數的極大似然估計量與普通最小二乘估計量是相同的。§6

受約束回歸一、模型參數的線性約束一般地,估計線性模型時,可對模型參數施加若干個線性約束條件,例如對模型:可施加約束:于是上面的模型轉化為:采用普通最小二乘法得到參數的估計結果是:再由約束條件:可得:能否對直接施加了約束條件的模型進行估計?這需進一步的檢驗,常用的檢驗方法有F檢驗,x2檢驗與t檢驗記無約束條件模型的矩陣表示式為記受約束條件模型的矩陣表示式:于是,受約束樣本回歸模型的殘差項可寫為:受約束樣本回歸模型的殘差平方和RSSR為:于是:由于無論對于無約束的回歸模型還是受約束的回歸模型,Y的總的離差平方和TSS相同,因此因此,通常情況下,受約束的回歸模型的解釋能力較無約束回歸模型來說要差但如果約束條件為真,則無約束條件模型與受約束條件模型有相同的解釋能力,即有由于:故:因此,我們可以采用此統計量進行x2檢驗,當σ2未知時,采用它的估計量代替.F統計量無需估計隨機擾動項的方差σ2差,根據該統計量,如果約束條件無效,則F值較大,當對給定的顯著性水平α,有認為約束條件無效當σ2未知時,可以構造F統計量認為約束條件有效二、對回歸模型增加或減少解釋變量對如下的兩個回歸模型:對模型中要不要增加解釋變量,哪些解釋變量要去掉?t檢驗可以對單個變量的取舍進行判斷;F檢驗除了能對單個變量進行取舍判斷外,還可以對多個變量的取舍進行判斷.因此對模型解釋變量取舍的問題的檢驗,我們經常采用的是F檢驗.其中(1)式可看成是對(2)式施加的如下的約束條件的受約束回歸:相應的F統計量為:如果約束條件為真,則說明F統計量較小,無須加進這q個解釋變量;否則F統計量較大,約束條件為假,說明這q個解釋變量對Y有較