一元線性回歸

在對(duì)經(jīng)濟(jì)現(xiàn)象進(jìn)行經(jīng)濟(jì)計(jì)量分析時(shí)，我們需要大量使用回歸分析技術(shù)。因此,

我們首先需要了解回歸分析的基本思想。這里，我們從一元線性回歸模型開(kāi)始。

1.回歸的含義

考慮一個(gè)假想的例子。假設(shè)有l(wèi)oo人參與博彩（總體），設(shè)y表示每周博彩

支出，x表示每周的個(gè)人可支配收入。問(wèn)題是，對(duì)于不同的收入水平，人們每周

花多少錢購(gòu)買彩票。表1顯示了x和y的數(shù)據(jù)。

表1每周博彩支已和每周個(gè)人可支配收入

個(gè)人可支配收入每周博彩支出

消費(fèi)者150175200225250275300325350375

128333536384042434546

227313134363739353940

325293031333234313334

433272829303031303031

523242627282930292728

615202226252729333032

718182023232526322830

812151721222224303231

913141618201825313233

1015101916183223253431

均值20.922.124.426.127.329.230.331.93333.6

表1的最后一行給出了每個(gè)收入水平下的平均博彩支出，即反丫上）。根據(jù)

表1中的數(shù)據(jù)做丫對(duì)x的散點(diǎn)圖，如圖1

50

45

40

際

)35

壬

雙30

蕊25

鼓

奕20

字15

10

5

125150175200225250275300325350375400

每周個(gè)人可支配收入（美元）

圖1每周博彩支出和每周個(gè)人可支配收入

散點(diǎn)圖表明y隨著x的增加而增加，即收入越高，彩票支出可能越多，特

別地，就每個(gè)收入水平下的丫值而言（圖中的圓圈點(diǎn)），這種趨勢(shì)更加明顯.把

y的條件均值連接起來(lái)得到的直線稱為總體回歸線，其中，x稱為解釋變量或自

變量，丫稱為被解釋變量或應(yīng)變量。這里，總體回歸線給出了每個(gè)收入水平下，

平均博彩支出水平。更一般地，總體回歸線描述了與解釋變量（自變量）相狹系

的被解釋變量平均水平的變化軌跡。

圖1中的總體回歸線近似線性，可以表示為

刈丫￡）=片+力修，（1）

這個(gè)表達(dá)式說(shuō)明隨著x值的變化，相應(yīng)的丫關(guān)于x的條件均值也會(huì)變化，而且

是線性變化。這個(gè)表示總體回歸線的數(shù)學(xué)表達(dá)式稱為總體回歸函數(shù)。這里，總體

回歸函數(shù)是線性的。

在（1）式中，自和⑸稱為參數(shù)或回歸系數(shù)。分是截距，表示x為。時(shí)，Y

的平均水平，即4=E（y|x=o）。特別地，在很多實(shí)際問(wèn)題中，截距可能并沒(méi)

有任何經(jīng)濟(jì)意義。不是斜率，表示了x每變動(dòng)一單位，y的均值的變化率。

（1）式不能解釋圖1中的任意義個(gè)個(gè)體匕為此，我們?cè)冢?）式的基礎(chǔ)上

加上或減去某個(gè)值，表示為

工=&+僅陽(yáng)+〃,⑦）

二E（y|x）+%

其中，如表示隨機(jī)誤差項(xiàng)，簡(jiǎn)稱誤差項(xiàng)。它是一個(gè)隨機(jī)變量，其值無(wú)法先驗(yàn)確定，

通常用概率分布描述隨機(jī)變量。（2）式說(shuō)明隨機(jī)誤差項(xiàng)反映了y的實(shí)際值與條件

均值之間的偏差，這個(gè)偏差可正可負(fù)，且是未知的。誤差項(xiàng)的具體性質(zhì)見(jiàn)教材

6.4節(jié)。

例1?下表給出了每周家庭的消費(fèi)支出丫（美元）與每周家庭的收入x（美元）的數(shù)據(jù)。

XY石（丫陽(yáng)）

80556065707565

10065707480858877

120798490949889

140809395103108113115101

160102107110116118125113

180110115120130135140125

200120136140144145137

220135137140152157160162149

240137145155165175189161

260150152175178180185191173

(a)表中的最后一列給出了每個(gè)收入水平下的(算術(shù))平均消費(fèi)支出，即E(y|XJ。

(b)以收入為橫軸，消費(fèi)支出為縱軸，得到下面的散點(diǎn)圖。其中實(shí)心點(diǎn)表示個(gè)別

家庭的觀測(cè)點(diǎn)，空心點(diǎn)表示每個(gè)收入水平下的平均消費(fèi)支出，即E(y|xj。從散

點(diǎn)圖可以看出，隨著收入水平的提高，平均消費(fèi)支出上升，具體地，x和y的均

值之間存在線性遞增的關(guān)系。

1o

19o

17o

15o

晶13o

案1

晅

磔11o

9O

70

50

50100150200250300

每周收入

(c)總體回歸模型可以表示為￥=魚+0\Xj+叫=E(y|xj+4。

2.樣本回歸函數(shù)

在實(shí)際中，我們很少能擁有整個(gè)總體數(shù)據(jù)。通常，我們僅有來(lái)自總體的一個(gè)

樣本。問(wèn)題是如何根據(jù)樣本提供的信息來(lái)估計(jì)總體回歸函數(shù)。通過(guò)樣本數(shù)據(jù)的散

點(diǎn)，可以清晰地得到很好地“擬合”了樣本數(shù)據(jù)的直線，稱之為樣本回歸線。相

應(yīng)的數(shù)學(xué)表達(dá)式稱為樣本回歸函數(shù)，表示為

E=A+濯(3)

其中，P是總體條件均值鳳y|Xj)的估計(jì)量，A是用的估計(jì)量，6是4的估計(jì)

量。特別地，每個(gè)樣本回歸線都代表了總體回歸線，而由于樣本是隨機(jī)選擇的，

樣本回歸線會(huì)隨著樣本的變化而變化。

與總體回歸模型類似，樣本中的每個(gè)個(gè)體可以表示為

匕=A+RXj+冷g+&

其中凡是的的估計(jì)量，稱為殘差項(xiàng)，簡(jiǎn)稱殘差。

回歸分析的主要目的是根據(jù)樣本回歸模型（4）估計(jì)總體回歸模型（2）。

3.綜合1

考慮前面的博彩支出一例。假設(shè)總體不能觀測(cè)，只有下面一個(gè)樣本容量為10

的樣本。

表2來(lái)自表1的隨機(jī)樣本

1824262331273435334532

150175200225250275300325350375200

對(duì)上述樣本數(shù)據(jù)建立EViews工作文件，先來(lái)看一下Y對(duì)X的散點(diǎn)圖,

[0?------1----1------1-------1-----

100150200250300350400

從圖1來(lái)看，隨著X的增加，Y有明顯的線性上升趨勢(shì)。假設(shè)X和Y之間存在

如同（2）式的回歸關(guān)系,即工=鳳+A昌+4利用這里的樣本數(shù)據(jù)估計(jì)它們之

間的這種回歸關(guān)系，最好的方法是OLS：即找到模型中未知參數(shù)的估計(jì)，使得

回歸的殘差平方和最小。

在EViews中，點(diǎn)EtObjects/NewObject/Equation或者Qu沁k/EslinialeEquation

功能后，將會(huì)看到如圖2對(duì)話框。在其中的EquationSpecification輸入要估計(jì)的

方程，如YcX表示Y對(duì)X的線性回歸，含有常數(shù)項(xiàng)。在EstimationSettings

中可以選擇估計(jì)方法，默認(rèn)為L(zhǎng)S（即最小二乘法），還可以設(shè)定估計(jì)樣本的范圍。

EquationSpecification

EquationSpec^cabon

圖2

點(diǎn)擊OK鍵后，EViews生成方程對(duì)象，顯示如圖3的輸出結(jié)果。

□Equation:OTTTIT1.EDVorkfile:tTlTinED

CependentvanatteY

MethodLeastSquares

C3te1(X17/10Tme2255

SampleI10

?eludedobservations10

VanabteCoefficientStdErrort-StatistcProO

C54161824038203134H3102165

X0092121001483B620K7200003

『squared0828115Meandependentvar29.60000

AdjustedR-squared0806629SDdependentvar7662318

SE(/regression3.369426Akaikeinfoertenon5444218

SunsquaredresidSO82424Schwarzenterion55M735

Laglikeiriood-2522109F-statistic38.54264

Curbn-Watsonstat2756664Pfob(F-statrsbc)0000257

圖3

在這個(gè)方程對(duì)?象中可以看到，被解釋變量為Y,估計(jì)方法是最小二乘法，樣本為

110,包含10個(gè)觀測(cè)值。估計(jì)方程表示如下：

]<=5.4182+0.092IX,.

se(4.038)(0.0145)

t(1.342)(6.208)

R2=0.8281,SER=3.369

估計(jì)結(jié)果表明：

(1)估計(jì)方法：OLS的基本思想是找到模型中未知參數(shù)的估計(jì)，使得回歸的殘

差平方和最小。具體表示如下

2

minZ^二minZ(Z—R)2=min^(^-/?0-^X,)

根據(jù)一階條件，

aA=2Z(Y—A-&xj(-i)=o(5)

aZ心6B\=2Kd°-4xj(一必)=0(6)

整理有

?=嫉”>1（7）

（8）

由（7）知Bo=F-^,X,將這個(gè)表達(dá)式代入（8）,得到

6（Zx；_立xj=gx出-也x『

B、=（%X片-江X,）/（Zx；-N￡xJ

這里，分子為

ZXj-nXY=ZX』-nXY-nXY+nXY

=5>』一立工一》,+由

二Z（XJ；—又z—雙,+NP）

=Z（Xj-y）（x-P）

類似地，分母為

（Zx：—又又）2

因此，自二Z（X,—N）（1P）/Z（X,一又）2

（2）回歸系數(shù)的解釋：當(dāng)收入為0時(shí)，平均的博彩支出為5.4182美元，可以認(rèn)

為它反映了模型中省略的其他變量對(duì)Y的平均影響；0.0921表示收入每增加（減

少）1美元，博彩支出平均增加（減少）約9美分。

（3）模型的解釋能力：乃=（）.8281說(shuō)明收入（解釋變量）解釋了博彩支出（被

解釋變量）波動(dòng)的82.81%；SER=3.369說(shuō)明平均約有3.369美元的誤差沒(méi)有被

模型（或收入）解釋。

其中，R2=ESS/TSS='.-SSR/TSS,是一個(gè)在［0,1］上取值的統(tǒng)計(jì)量，且無(wú)量綱。

SER=［SSR/（n—2）°這里，?=10,SSR=90.824

（4）OLS估計(jì)量氐和R的標(biāo)準(zhǔn)差的估計(jì)分別為se（A）=4.038,se（R）=0.0145。

（5）置信區(qū)間：在古典假設(shè)下，未知參數(shù)4的1-。的置信區(qū)間為?土a2se（R）。

類似可以表示出自的1-。的置信區(qū)間為A±%2se（A）。

這里，A的95%的置信區(qū)間為0.0921±2.306X0.0145。

（6）顯著性檢驗(yàn)。

假設(shè)隨機(jī)誤差項(xiàng)的方差未知，關(guān)于斜率系數(shù)4的顯著性檢驗(yàn)總結(jié)如下表3。

在這個(gè)例子中，對(duì)于雙邊假設(shè)Ho：A=0,Hi：/苫0

在零假設(shè)下，/=^/se(^)=0.0921/0.0145=6.21

p-值=().()()()(),在5%的顯著水平下的臨界值為2.306。

因?yàn)椤?lt;0.()5,或||>%2=2.()36,所以我們?cè)?%的水平下拒絕零假設(shè)。即在5%

的顯著水平下，認(rèn)為四統(tǒng)計(jì)顯著地不等于0。

特別地，我們注意到，零假設(shè)值“0”不在用的95%的置信區(qū)間內(nèi)，這也意味著

在5%的顯著水平下，認(rèn)為從統(tǒng)計(jì)顯著地不等于0。換句話說(shuō)，A的95%的置信

區(qū)間可以看成是在5%的顯著水平下，不能拒絕雙邊冬假設(shè)的零假設(shè)值的取值范

圍。

對(duì)于右側(cè)假設(shè)Ho：仇=0,Hi：/7,>0,檢驗(yàn)的p?值正好是前面雙邊檢驗(yàn)p■值的

1/2,檢驗(yàn)的臨界值為1.860o仍然可以在5%的顯著水平下拒絕零假設(shè)，認(rèn)為四統(tǒng)

計(jì)顯著地大于0。

表3單個(gè)參數(shù)的顯著性檢驗(yàn)

HoHi檢驗(yàn)統(tǒng)計(jì)量p-值拒絕域(pva)

夕產(chǎn)能Pr{M>/}PI>%2

J、/

P、=伙、。P\>A.()se(?)Pr{/>f)t>ta

7(〃-2)

A<^i.oPr{r<f}1<Ta

另外，在EViews方程對(duì)象的輸出結(jié)果中給出的其他信息包括被解釋變量的

均值，標(biāo)準(zhǔn)差，對(duì)數(shù)似然值等。

(6)殘差。在方程對(duì)象中，點(diǎn)擊View/Actual,Fitted,Residual/Table可以得到圖

4的輸出結(jié)果。

)K?u?tioniUBTinnVorhfiUxIJWTITLCT

180CCO192364-123636

240003215期246061

260003238424215758

230000261455-314545

310000284485256152

I270000307515-375

34000033aM50

_±_渦0000%%m0

330000376606-4

m4500339笫365

W

圖4

另外，還可以通過(guò)Procs/MakeResidualseries生成一個(gè)新的殘差序列。特別

地，由(5)和(6)可以得出，0和ZXR=O。點(diǎn)擊方程對(duì)象工具欄的

Resids,可以得到圖5

Residual......Actual----------Fittod

圖5

（7）預(yù)測(cè)。通過(guò)檢驗(yàn)的回歸模型，可以用來(lái)進(jìn)行預(yù)測(cè)。點(diǎn)擊方程對(duì)象工具欄的

Forecast,得到圖6,同時(shí)在工作文件中產(chǎn)生一個(gè)新的序列YF。

tvMfedtfnvMrvt)

物麗3C?P?

2ms

M?r心VftOUB

>mm>i?r/CaAcwinc?n<r>

ODCOTO

vowePwcw09，6

Cocmx?rcDrxr02OB4

圖6

（8）殘差檢驗(yàn)。古典假設(shè)隨機(jī)誤差項(xiàng)服從正態(tài)分布，需要對(duì)其進(jìn)行檢驗(yàn)。

-.7匕

Ry

￡sti??tioriOotput

AZu?l,PNg<L"“42?

>tlrax16

Ttiti

fttsidodT?stiCrr?lw-3m16

SdityUitiQrrUoas$autr?dRtsiduds

<r--Vor?auyT?it

31

$?raalCcrrelati^nUIT??l...1二

皿32003

X

(Mcro*tttrat)

Tklt?ty(crottt?ra，)QQQ

R-squared

AdjustedR-squared0806629SDdepentfencvar7662318

SE.o(regression3389428Akaikeeocrterion5444218

Sumsquaredresid9082424Schwancrterion5504735

IMI^0ltwv4.?A90inQU.etMdc

得到如下結(jié)果

SvtosRwWuaB

Str^l10

Cbsr.aRE10

PA)an151E1S

，加0502SG839

F<*3?rMn50M3M

Mniwm

3.176725

9zn?鄉(xiāng)0D61W3

Kirlw?15W5

J?QqOS秘44

Rebab”0.751885

A）直方圖

B)JB-統(tǒng)計(jì)量。Ho：隨機(jī)誤差項(xiàng)服從正態(tài)分布。

JBS?+}(K-3)2~*；2)

4.綜合2：古董鐘與拍賣價(jià)格。

表4給出了32個(gè)鐘表的拍賣信息數(shù)據(jù)，包括鐘表的年代、投標(biāo)人數(shù)和中標(biāo)

價(jià)格。一般認(rèn)為鐘表的年代和投標(biāo)人數(shù)對(duì)中標(biāo)價(jià)格都有正向的影響。考慮一元線

性回歸

Yi=0o+0iXj+%

1)數(shù)據(jù)的描述分析

2)OLS估計(jì)

3)寫出回歸結(jié)果

4)解釋回歸結(jié)果

5)檢驗(yàn)?zāi)Ｐ?/p>

6)預(yù)測(cè)

以拍賣價(jià)格對(duì)鐘表年代的最小二乘回歸為例。回歸結(jié)果表示為

DependentVariable:PRICE

Method:LeastSquares

Date:10/19/10Time:11:59

Sample:132

Includedobservations:32

VariableCoefficientStd.Errort-StatisticProb.

C-191.6662264.4393-0.7248020.4742

AGE10.485621.7937295.8457110.0000

R-squared0.532509Meandependentvar1328.094

AdjustedR-squared0.516926S.D.dependentvar393.6495

S.E.ofregression273.6003Ak