1、數學簡單線性回歸模型數學簡單線性回歸模型第1頁/共89頁第2頁/共89頁第3頁/共89頁第4頁/共89頁第5頁/共89頁第6頁/共89頁第7頁/共89頁第8頁/共89頁第9頁/共89頁第10頁/共89頁第11頁/共89頁第12頁/共89頁第13頁/共89頁第14頁/共89頁也服從正態分布。服從正態分布，的隨機性。的隨機性導致正是由于變量：服從正態分布的隨機：參數，：解釋變量被解釋變量YYYYiiniiixx010:第15頁/共89頁第16頁/共89頁 1. 經濟變量間的相互關系 確定性的函數關系 不確定性的統計關系相關關系 (為隨機變量) 沒有關系 一、回歸與相關 （對統計學的回顧）()Yf

2、X()Yf X第17頁/共89頁2.相關關系 相關關系的描述 相關關系最直觀的描述方式坐標圖（散布圖） YX第18頁/共89頁 3.相關程度的度量相關系數 總體線性相關系數： 其中： X 的方差； Y的方差 X和Y的協方差樣本線性相關系數： 其中： 和 分別是變量 和 的樣本觀測值 和 分別是變量 和 樣本值的平均值Cov(,)Var()Var( )X YXYVar()XVar( )YCov(, )X Y_22()()()()iiXYiiXX YYXXYY_YiXiYXXYXY第19頁/共89頁XY第20頁/共89頁4. 回歸分析回歸的古典意義： 高爾頓遺傳學的回歸概念 ( 父母身高與子女身高

3、的關系)回歸的現代意義： 一個應變量對若干解釋變量 依存關系 的研究回歸的目的（實質）： 由固定的解釋變量去 估計應變量的平均值第21頁/共89頁iXXYYYYYYYXYXE()iY X第22頁/共89頁 iXYX回歸線: 對于每一個 的取值， 都有 的條件期望 與之對應， 代表這些 的條件期 望的點的軌跡所形成 的直線或曲線，稱為 回歸線。回歸線與回歸函數XYYE()iY X第23頁/共89頁舉例：假如已知100個家庭構成的總體。YXXE()()iiY Xf XYE()iY XE()iY X第24頁/共89頁每每 月月 家家 庭庭 可可 支支 配配 收收 入入 X X100015002000

4、250030003500400045005000550082096211081329163218422037227524642824888102412011365172618742110238825893038932112112641410178619062225242627903150每每960121013101432183510682319248828563201月月125913401520188520662321258729003288家家132414001615194321852365265030213399庭庭1448165020372210239827893064消消1489171

5、220782289248728533142費費1538177821792313251329343274支支160018412298239825383110出出17021886231624232567 Y1900238724532610201224982487271025892586900115014001650190021502400265029003150E()iY X例:100個家庭構成的總體 (單位:元)第25頁/共89頁 1. 總體回歸函數的概念 前提：假如已知所研究的經濟現象的總體應變量 和解釋變量 的每個觀測值, 可以計算出總體應變量 的條件均值 ，并將其表現為解釋變量 的某種函數

6、 這個函數稱為總體回歸函數（PRF）二、總體回歸函數（PRF）E()()iiY X= f XYYXXE()iY X第26頁/共89頁 iuiXXY)(iXYEiY （1）條件均值表現形式 假如 的條件均值 是解 釋變量 的線性函數，可表示為： （2）個別值表現形式 對于一定的 ， 的各個別值 分布 在 的周圍，若令各個 與條件 均值 的偏差為 , 顯然 是隨機變量,則有 或 2.總體回歸函數的表現形式iXE()iY X12E()()iiiiY Xf XXiYE()iY XiYE()iY Xiuiu12E()iiiiiiuYY XYX12iiiYXuYYX第27頁/共89頁YXYYX第28頁/共

7、89頁計量經濟學中: 線性回歸模型主要指就參數而言是“線性”,因為只要對參數而言是線性的,都可以用類似的方法估計其參數。12E()iiiY XX212E()iiiY XX12E()iiiY XX“線性”的判斷第29頁/共89頁uiYiuYXiXuE()iY XYiu第30頁/共89頁引入隨機擾動項的原因第31頁/共89頁四、樣本回歸函數（SRF）X 樣本回歸線： 對于 的一定值，取得 的樣本觀測值，可計算其條件均值，樣本觀測值條件均值的軌跡稱為樣本回歸線。 樣本回歸函數： 如果把應變量 的樣本條件均值表示為解釋變量 的某種函數，這個函數稱為樣本回歸函數（SRF）。 XYYYX第32頁/共89頁

8、SRF2SRF1YX第33頁/共89頁第34頁/共89頁12iiYX 樣本回歸函數如果為線性函數，可表示為 其中： 是與 相對應的 的樣本條件均值 和 分別是樣本回歸函數的參數 應變量 的實際觀測值 不完全等于樣本條件均值，二者之差用 表示, 稱為剩余項或殘差項： 或者 樣本回歸函數的表現形式21iiiYXeiiieYYieiXiYiY12ieYY第35頁/共89頁ieiYiuE()iY X12iiiYXe122112iu第36頁/共89頁iY 樣本回歸函數與總體回歸函數的關系 SRF PRF A iuieiY()iiE Y XiYYiXX第37頁/共89頁1 回歸分析的目的 用樣本回歸函數S

9、RF去估計總體回歸函數PRF。 由于樣本對總體總是存在代表性誤差，SRF 總會過 高或過低估計PRF。要解決的問題：尋求一種規則和方法，使得到的SRF的參數 和 盡可能“接近”總體回歸函數中的參數 和 。這樣的“規則和方法”有多種，最常用的是最小二乘法212第38頁/共89頁第39頁/共89頁第40頁/共89頁2、基本假定的內容12iiiYXuXuX第41頁/共89頁iuiu（2）對隨機擾動項 的假定uiuXXE()0iiu X2iu22Var()EE()iiiiiu Xuu X第42頁/共89頁 假定3：無自相關假定 隨機擾動項 的逐次值互不相關 假定4：隨機擾動 與解釋變量 不相關 iui

10、uX( ,)( )()ijiijjCov u uE uE uuE u()0()ijE uuij( ,)( )()0iiiiiiCov u XE uE uXE X第43頁/共89頁 假定5：對隨機擾動項分布的正態性假定 即假定 服從均值為零、方差為 的正態分布 （說明：正態性假定不影響對參數的點估計，但對確定所估計參數的分布性質是需要的。且根據中心極限定理，當樣本容量趨于無窮大時， 的分布會趨近于正態分布。所以正態性假定是合理的）iu2(0,)iuNiu2iu第44頁/共89頁iYCov( ,)0()ijY YijiiiuXY21iuiuiY12E()iiiY XX2Var()iY X212(,

11、)iiYNXY第45頁/共89頁OLS的基本思想二、普通最小二乘法 （rdinary Least Squares ）12iYiYiYieie2ie2212min()min()iiieYX第46頁/共89頁 正規方程和估計式用克萊姆法則求解得觀測值形式的OLS估計式： 2122()iiiiiiiXYXX YnXX取偏導數為0，得正規方程222()iiiiiinX YXYnXX12iiYnX212iiiiX YXX第47頁/共89頁 為表達得更簡潔，或者用離差形式OLS估計式： 注意其中：而且樣本回歸函數可寫為 22_2)()(iiiiiixyxXXYYXXXY2_1XXxiiYYyii用離差表現

12、的OLS估計式iiixy 第48頁/共89頁XYXYiYiY12YXiYYn第49頁/共89頁 剩余項 的均值為零應變量估計值 與剩余項 不相關 解釋變量 與剩余項 不相關 ie0neeiCov(,)0iiY eiYieieiXCov(,)0iiX e第50頁/共89頁( )fE( )E( )第51頁/共89頁前提：樣本相同、用不同的方法估計參數， 可以找到若干個不同的估計式 目標：努力尋求其抽樣分布具有最小方差的 估計式 最小方差準則，或稱最佳 性準則 既是無偏的同時又具有最小方差的估計式，稱為 最佳無偏估計式。2. 最小方差性第52頁/共89頁 4. 漸近性質（大樣本性質）nP)lim(思

13、想:當樣本容量較小時，有時很難找到最佳無偏估計，需要考慮樣本擴大后的性質一致性： 當樣本容量 n 趨于無窮大時，如果估計式 依概率收斂于總體參數的真實值，就稱這個估計式 是 的一致估計式。即 或 漸近有效性：當樣本容量 n 趨于無窮大時，在所有的一致估計式中，具有最小的漸近方差。1)(limP第53頁/共89頁iYiX2122()iiiiiiiXYXX YnXX222()iiiiiinX YXYnXXkk第54頁/共89頁1. 線性特征 是 的線性函數 2. 無偏特性 3. 最小方差特性 在所有的線性無偏估計中，OLS估計 具有最小方差結論：在古典假定條件下,OLS估計式是最佳線性無 偏估計式

14、（BLUE） kOLS估計式的統計性質高斯定理kkE)(iiiiiiiiykxyxXXYYXX222)()(2iiixkxkY第55頁/共89頁第56頁/共89頁 一、什么是擬合優度? 概念：樣本回歸線是對樣本數據的一種擬合，不同估計方法可擬合出不同的回歸線，擬合的回歸線與樣本觀測值總有偏離。 樣本回歸線對樣本觀測數據擬合的優劣程度 擬合優度擬合優度的度量建立在對總變差分解的基礎上XY第57頁/共89頁)()(iiiiYYYYYY222)()()(iiiiYYYYYY第58頁/共89頁2iy2iy2ie第59頁/共89頁iY總變差i(Y -Y )SRFi(Y -Y ) 來自回歸ie來自殘差iX

15、Y變差分解的圖示YX第60頁/共89頁222iyyrTSSRSSTSSESSTSSTSS2iy2r2iy2221iiyer22221iiiyeyy第61頁/共89頁可決系數的作用和特點102 r2r第62頁/共89頁運用可決系數時應注意 可決系數只是說明列入模型的所有解釋變量對 因變量的聯合的影響程度，不說明模型中每個 解釋變量的影響程度（在多元中） 回歸的主要目的如果是經濟結構分析，不能只 追求高的可決系數，而是要得到總體回歸系數 可信的估計量，可決系數高并不表示每個回歸 系數都可信任 如果建模的目的只是為了預測因變量值，不是 為了正確估計回歸系數，一般可考慮有較高的 可決系數第63頁/共8

16、9頁第64頁/共89頁問題的提出 為什么要作區間估計？OLS估計只是通過樣本得到的點估計，不一定等于真實參數，還需要找到真實參數的可能范圍，并說明其可靠性為什么要作假設檢驗？OLS 估計只是用樣本估計的結果，是否可靠？ 是否抽樣的偶然結果？還有待統計檢驗。區間估計和假設檢驗都是建立在確定參數估計值概率分布性質的基礎上。第65頁/共89頁iYkkkiukkiYiY第66頁/共89頁 的期望： (無偏估計） 的方差和標準誤差 (標準誤差是方差的算術平方根) 注意：以上各式中 未知，其余均是樣本觀測值 的期望和方差2212Var()iiXNx2E()kk222Var()ix22SE()ix212SE

17、()iiXNx第67頁/共89頁 可以證明 的無偏估計為 (n-2為自由度,即可自由變化的樣本觀測值個數)2對隨機擾動項方差 的估計2222ien第68頁/共89頁在 已知時將 作標準化變換2) 1 , 0()(22111111NxnXSEzii) 1 , 0()(2222222NxSEzi第69頁/共89頁2 (2)()kkktt nSE22當 未知時 第70頁/共89頁k1),(kk1)(kkkP01第71頁/共89頁回歸系數區間估計的方法22*222 (2)()tt nSE第72頁/共89頁22n1)(22222tSEtP1)()(2222222SEtSEtP第73頁/共89頁三、回歸系

18、數的假設檢驗1. 假設檢驗的基本思想為什么要作假設檢驗？ 所估計的回歸系數 、 和方差 都是通過 樣本估計的，都是隨抽樣而變動的隨機變量， 它們是否可靠？是否抽樣的偶然結果呢？還需 要加以檢驗。212第74頁/共89頁XYXY第75頁/共89頁*2(2) ttn*2(2) ttn* 2 2-t(n - 2) t t(n - 2)2t(n- 2)22*22222 (2)()()tt nSESE02H :012H :002H :02. 回歸系數的檢驗方法第76頁/共89頁 P用 P 值判斷參數的顯著性假設檢驗的 p 值：p 值是基于既定的樣本數據所計算的統計量，是拒絕原假設的最低顯著性水平。統計分析軟件中通常都給出了檢驗的 p 值統計量 t由樣本計算的統計量為:相對于顯著性水平 的臨界值: