1、線性回歸分析的基本步驟步驟一、建立模型知識點：1、總體回歸模型、總體回歸方程、樣本回歸模型、樣本回歸方程 總體回歸模型：研究總體之中自變量和因變量之間某種非確定依賴關系 的計量模型。Y = X 1 U特點：由于隨機誤差項 U的存在，使得 Y和X不在一條直線/平面上。例1:某鎮共有60個家庭，經普查，60個家庭的每周收入（X）與每周 消費（Y）數據如下：每周收入（X）每周消費支出（Y）80556065707510065707480858812079849094981408093951031081131151601021071101161181251801101151201301351402001

2、20136140144145220135137140152157160162240137145155165175189260150152175178180185191作出其散點圖如下:200180160140Y 120 -10080604080120160200240280 總體回歸方程（線）：由于假定EU = 0，因此因變量的均值與自變量 總處于一條直線上，這條直線E Y|X - Xi就稱為總體回歸線（方程） 總體回歸方程的求法：以例 1的數據為例1）對第一個Xi，求出E（YXi）。每周收入（X）每周消費支出（Y）E(Y|Xi)80556065707565100657074808588771

3、20798490949889140809395103108113115101160102107110116118125113180110115120130135140125200120136140144145137220135137140152157160162149240137145155165175189161260150152175178180185191173由于E Yj|Xi八°Xj，因此任意帶入兩個 Xi和其對應的E（Y|Xi）值， 即可求出飛和:i，并進而得到總體回歸方程。如 將 X 100,E Y2 |X2 - 77和X 200,E Y7 | X7 - 137 代 入

4、E Yi|Xj 二 o Xi 可得:77= o 100 1 = o = 17 137=0200 r廠 0.6X以上求出飛和:1反映了 E（Y|Xi）和Xi之間的真實關系，即所求的總體回歸 方程為：E Yi |Xi =17 06Xj，其圖形為：X 樣本回歸模型：總體通常難以得到，因此只能通過抽樣得到樣本數據。如在例1中，通過抽樣考察，我們得到了 20個家庭的樣本數據:每周收入（X）每周消費支出（Y)8055100657012079841408093160102107110180110200120136220135137240137145260150152175那么描述樣本數據中因變量Y和自變量X

5、之間非確定依賴關系的模型X ? e就稱為樣本回歸模型。 樣本回歸方程（線）：通過樣本數據估計出 ?，得到樣本觀測值的擬合 值與解釋變量之間的關系方程 Y?二X ?稱為樣本回歸方程。如下圖所示： 四者之間的關系：i：總體回歸模型建立在總體數據之上， 它描述的是因變量 Y和自變量X之間的真實的非確定型依賴關系；樣本回歸模型建立在抽樣數據基礎之上，它描述的是因變量 Y和自變量X之間的近似于真實的非確定型依賴關系。這種近似表現在兩個方面：一是結構參數?是其真實值1的一種近似估計；二是殘差 e是隨機誤差項u的一個近似估計；丘：總體回歸方程是根據總體數據得到的，它描述的是因變量的條件均值E(Y|X)與自變

6、量X之間的線性關系；樣本回歸方程是根據抽樣數據得到 的，它描述的是因變量 Y樣本預測值的擬合值Y?與自變量X之間的線性 關系。iii：回歸分析的目的是試圖通過樣本數據得到真實結構參數一：的估計值，并要求估計結果 ?足夠接近真實值1。由于抽樣數據有多種可能，每一 次抽樣所得到的估計值 ?都不會相同，即-的估計量?是一個隨機變量。 因此必須選擇合適的參數估計方法，使其具有良好的統計性質。2、隨機誤差項U存在的原因： 非重要解釋變量的省略 人的隨機行為 數學模型形式欠妥 歸并誤差(如一國GDP的計算) 測量誤差等3、多元回歸模型的基本假定 隨機誤差項的期望值為零 E(UiH 0 隨機誤差項具有同方差

7、性 Var(Uip -2 i = 1,2,，n 隨機誤差項彼此之間不相關 Cov(*,Uj) = 0 i j ; i,j = 1,2, ,n 解釋就變量x1,x2, -;Xk為確定型變量，與隨機誤差項彼此不相關。Cov(Xij,UjP0 i "2 ,k 1,2, ,n 解釋就變量X1,X2, -；xk之間不存在精確的（完全的）線性關系，即解 釋變量的樣本觀測值矩陣 X為滿秩矩陣：rank（X）=k+1<n 隨機誤差項服從正態分布，即：UjN（0,；2），i=1,2,n步驟二、參數估計知識點：1、最小二乘估計的基本原理：殘差平方和最小化。2、參數估計量：'? 乞Xi嚴12

8、 一元回歸：<送XiW陸X 多元回歸：?= X X 1 xty3、最小二乘估計量的性質（Gauss-Markov定理）：在滿足基本假設的情況下，最小二乘估計量?是：的最優線性無偏估 計量（BLUE估計量）步驟三、模型檢驗1、經濟計量檢驗（后三章內容）2、統計檢驗擬合優度檢驗知識點：i：擬合優度檢驗的作用：檢驗回歸方程對樣本點的擬合程度ii：擬合優度的檢驗方法：計算（調整的）樣本可決系數R2/R2r2畢十彈,R2十ESS/n k1TSS TSS 'TSS/n 1注意掌握離差平方和、回歸平方和、殘差平方和之間的關系以及它們的自由度。計算方法：通過方差分析表計算方差來源符號計算公式自由

9、度（d.f.）均方值（MSS）離差平方和TSS2 送(Yi -Y ) in-12E (Yi Y)/n-1 i回歸平方和RSSZ (£-Y)2ik送(Y?-Y,/ki殘差平方和ESSin-k-12送(¥ / n-k-1i例2:下表列出了三變量（二元）模型的回歸結果:方差來源平方和（SS）自由度均方值離差平方和TSS6604214回歸平方和RSS65965殘差平方和ESS1）樣本容量為多少？解：由于TSS的自由度為n-1，由上表知n-1 = 14,因此樣本容量n=152）求 ESS解：由于 TSS= ESS+ RSS, 故 ESS= TSS RSS= 77 3） ESS和RSS

10、的自由度各為多少？解：對三變量模型而言， k=2，故ESS的自由度為n-k-1 = 12RSS的自由度為k= 24)求R2和R2解:R2RSSTSS6596566042二 0.9988 ,R2十需汁0.9986 回歸方程的顯著性檢驗（F檢驗）目的：檢驗模型中的因變量與自變量之間是否存在顯著的線性關系步驟：1、提出假設：H 0 ： 1；- = -2 = .= 5 = 0H1 :至少有一目 j 式 0, j =1,2,., k2、構造統計量：F RSS/k F（k,n_k_1）ESS/n -k 13、 給定顯著性水平，確定拒絕域F F k,n_k_14、計算統計量值，并判斷是否拒絕原假設例3:就例

11、2中的數據，給定顯著性水平：一 1%，對回歸方程進行顯著性檢驗。解：由于統計量值FRS659竺公"140.13，ESS/nk177/12又 F0.01 (2,12)=6.93，而 F =5140.13>F0.01 (2,12)= 6.93故拒絕原假設，即在1%的顯著性水平下可以認為回歸方程存在顯著 的線性關系。附：R2與F檢驗的關系:,2 RSS RSSR2RRSS2 ESS_ 2 ,.由于 TSS ESS RSS1R2FR /kRSS/k 廠(1-R2 )/(n-k-1 )又ESS/nk1 J 解釋變量的顯著性檢驗（t檢驗） 目的：檢驗模型中的自變量是否對因變量存在顯著影響。

12、知識點:多元回歸：Ss+，其中C3為（XX）中位于第i+1行和i+1列的元素;一元回歸:s?0Z eL Xi2Sn(nx2，SP變量顯著性檢驗的基本步驟:1、提出假設：叫：片=0弭式02、構造統計量：t = = t(n - k-“ Sj?3、給定顯著性水平，確定拒絕域t t：/2（n-k-1）4、計算統計量值，并判斷是否拒絕原假設例4:根據19個樣本數據得到某一回歸方程如下：Y?二 58.9 0.2X“ 一 0.1X2se（0.0092） （0.084）試在5%的顯著性水平下對變量 X,和X2的顯著性進行檢驗。解：由于ta/2（n-k-1）=如25（16） = 2.12，故t檢驗的拒絕域為&g

13、t;2.12。對 自變量X1而言，其t統計量值為0221.74 2.12，落入S?0.0092拒絕域，故拒絕 0的原假設，即在5%的顯著性水平下，可以認為自變量X1對因變量有顯著影響；對自變量X2而言，其t統計量值為t =磐=呂基=1.19< 2.12，未落入拒S?0.084絕域，故不能拒絕0的原假設，即在 5%的顯著性水平下，可以認為自變量X2對因變量Y的影響并不顯著。 回歸系數的置信區間目的：給定某一置信水平1，構造某一回歸參數 訂的一個置信區間，使i落在該區間內的概率為1 -:基本步驟:? _ R1、構造統計量i =-=t（n k1）S?2、 給定置信水平1，查表求出：水平的雙側分

14、位數t./2（n k1）3、 求出'-i的置信度為1-的置信區間？-t：./2 S?,? t：./2 S?例5:根據例4的數據，求出:1的置信度為95%的置信區間。解：由于如25（16） = 2.12，故'-1的置信度為95%的置信區間為：0.2 2.12 0.0092,0.2 2.12 0.0092 二 0.18,0.223、經濟意義檢驗目的：檢驗回歸參數的符號及數值是否與經濟理論的預期相符。例6:根據26個樣本數據建立了以下回歸方程用于解釋美國居民的個人 消費支出：Y?二 10.96 0.93X"2.09X2t （ 3.33） （249.06） （一3.09）R2

15、 二 0.9996其中：Y為個人消費支出（億元）；X1為居民可支配收入（億元）；X2為 利率（%）1）先驗估計時和囤的符號；解：由于居民可支配收入越高，其個人消費水平也會越高，因此預期自變量X1回歸系數的符號為正；而利率越高，居民儲蓄意愿越強，消費意愿相應越低，因此個從消費支出與利率應該存在負相關關系，即?2應為負。2）解釋兩個自變量回歸系數的經濟含義；解：弭=0.93表示，居民可支配收入每增加1億元，其個人消費支出相應會增加0.93億元，即居民的邊際消費傾向MPC = 0.93；?22.09表示，利率提高1個百分點，個人消費支出將減少2.09億元截距項表示居民可支配收入和利率為零時的個人消費

16、支出為-10.96億元，它沒有明確的經濟含義。3）檢驗1是否顯著不為1; （=5%）解：1）提出假設：H o ： 1=1已"2） 構造統計量：t = -? lt（nk1）S目3） 給定顯著性水平:=5°%，查表得t：./2（n k 1）=如25（23） = 2.07，故拒絕 域為2.074） 計算統計量值：由于t（ ?1）' S?0930.003734S?* t（弭）249.06則|t| =0.07 =18.752.07，落入拒絕域。故拒絕 憶=1的原假設。S?0.003734即在5%的顯著性水平下，可認為邊際消費傾向 MPC顯著不為1。4） 檢驗j顯否顯著不為零；

17、 O "%） 解：1）提出假設：H0:"0 治2=0、翼2） 構造統計量：t=gt（n-k-1）s®3） 給定顯著性水平:=5%，查表得t/2（n-k-1） = t0.025（23） = 2.07，故拒絕域為2.074） 計算統計量值：由于t（ ?2） = 3.09 2.07，落入拒絕域，故拒絕原假設。即在5%的顯著性水平下，可以認為2顯著異于零。5）計算R2值；R2解:由于ESS / n -k -1二 1 -TSS / n 1ESS n-1=1 一TSS n - k 一 12=1 - 1-R=1 - 1 -0.999626 126 2 1=0.999576) 計

18、算每個回歸系數的標準差;S?0 =解：由于詢二廿廠也_-3.330.93t(?)249.06JL.-2.090.00373S?1% t(罵廠-3.09?0W3.29=0.67647) 給出2置信水平為95%的置信區間;解：由于?2 = -2.09 , Sp =0.6764 , t°.025(23) = 2.07，故 氏置信水平為95%的置信區間為 -2.09-2.07 0.6764 , - 2.09 2.07 0.6764 二-3.49 , -0.698) 對回歸方程進行顯著性檢驗；解：提出假設：H0 :0 已或構造統計量RSS/kESS/nk-1 F (k,n -k -1)確定拒絕

19、域： F iFJk.nk1) = Fo.05(2,23) =3.42計算統計量并進行判斷:R2/k1 -R2 / n -k -10.9996/20.0004/23二 28738.53.42故拒絕原假設，即在5%的顯著性水平下認為回歸方程的線性關系顯 著成立。步驟四：經濟預測點預測：Y?=X°?可以看著是Y的條件均值EY°|X0和個別值Y。的預測值， 分別稱為均值預測和個值預測；性質：Y? =X0?是E Y°|X0和Y。的一個無偏估計量。區間預測：均值EY°|X0的區間預測預測步驟：1)確定統計量：t= 一E Y01 X0 t(n-kT)SY?其中Sy0冷二葺Xo(XXX00n -k -12)給定置信水平，