1、第3章 雙變量模型：假設檢驗本章主要講授如下內容：3.1 經典線性回歸模型3.2 OLS估計量的方差與標準差3.3 OLS估計量的性質3.4 OLS估計量的抽樣分布或概率分布3.5 假設檢驗3.6 擬合優度檢驗：判定系數R23.7 正態性檢驗3.8 預測3.1 經典線性回歸模型經典線性回歸模型有如下假定：1回歸模型是參數線性的，但不一定是變量線性的。2解釋變量與擾動誤差項不相關，即cov(Xi，ui)=0。3給定Xi，擾動項的期望或均值為0，即E(u|Xi)=0。如圖3-1所示。4ui的方差為常數（或同方差），即var(ui)=2。如圖3-2所示。5無自相關假定，即cov(ui, uj)=0,

2、 ij。如圖3-3所示。6回歸模型是正確設定的。3.2 OLS估計量的方差與標準差 3.3 OLS估計量的性質1高斯馬爾柯夫定理如果滿足經典線性回歸模型的基本假定，則在所有線性估計量中，OLS估計量具有最小方差性。即OLS估計量是最優線性無偏估計量（BLUE）。2OLS估計量的性質(1)b1和b2是線性估計量，即它們是隨機變量Y的線性函數。 證明： （這里，）其中，。 同樣可得：其中，。(2)b1和b2是無偏估計量，即E(b1)=B1，E(b2)=B2。對于b2，證明易知，所以故得 對于b1，證明 易知，。所以故得(3)b1和b2是有效估計量，即在所有線性無偏估計量中最小二乘估計量b1和b2具

3、有最小方差。b1和b2方差求解證明：假設是用其他方法得到的關于B2的線性無偏估計量，。由無偏性，可得：比較等式兩邊，得：， 而且有：故：同理，可證得：(4)誤差方差的OLS估計量是無偏的，即。證明：前面已經提及，現在要證明。對于模型，其離差形式為：根據樣本回歸函數，其離差形式為：所以故有：因為所以從而 3蒙特卡羅實驗 (1)假定給定下列信息Yi = B1 +B2Xi + ui =1.5 +2.0Xi + ui這里，ui N(0, 4)(2) 假定再給Xi 的10個值：1,2,3,4,5,6,7,8,9,10；(3) 使用統計軟件產生均值為零和方差為4的隨機誤差項ui 的10個隨機數；(4) 利

4、用上面所給的方程得到Y 的10個值；(5)將Yi 對X 進行回歸，得到b1, b2, 和；(6)重復上述步驟21 次，得到如表3-2所示（Table 3-2）的結果。結論：假如反復利用最小二乘法求解參數的估計值，所估計出的參數的平均值將等于其真值。也就是說，OLS 估計量是無偏的。例 題例題1 沒有截距項的一元回歸模型稱之為過原點回歸。試證明：（1）如果通過相應的樣本回歸模型可以得到通常的正規方程組則可得到B2的兩個不同的估計值：， （2）在基本假設E(ui)=0下，和均為無偏估計量。（3）擬合線通常不會經過均值點（），但擬合線則經過。（4）只有是B2的OLS估計量。證明：（1）由第一個正規方

5、程，得或求解，得由第二個正規方程，得或求解，得（2）對于，求期望對于，求期望（3）要想擬合線通過點（），必須等于。但通常不等于。因此，點（）不太可能位于直線上。相反地，由于，所以直線經過點（）。（4）OLS方法要求殘差平方和最小，即對求偏導，得經整理，得可見，是B2的OLS估計量。例題2 對一元線性回歸模型試證明證明：例題3在一元線性回歸模型中（1）用不為零的常數去乘每一個X值，這樣會不會改變Y的擬合值和殘差？（2）如果對每個X都加大一個非零常數，會不會改變Y的擬合值和殘差？解：（1）記原總體模型對應的樣本回歸模型為則有， Yi的擬合值與殘差分別為記，則有記新總體模型對應的樣本回歸模型為則有于

6、是，在新的回歸模型下，Y的擬合值與殘差分別為可見，對X乘非零常數后，不改變Y的擬合值與模型的殘差。（2）如果記則有，于是，新模型的回歸參數分別為在新的回歸模型下，Y的擬合值與殘差分別為可見，對每個X都加大一個非零常數，也不會改變Y的擬合值和殘差。例題4 假設有人做了如下的回歸其中，yi，xi分別為Yi，Xi關于各自均值的離差。問b1和b2將分別取何值？解：記，則易知于是可見，在離差形式下，沒有截距項，只有斜率項。例題5 令bYX和bXY分別為Y對X回歸和X對Y的回歸中的斜率，證明：bYX bXY= r2其中，r為X與Y之間的線性相關系數。證：容易知道，在上述兩個回歸中，斜率項分別為， 于是例題

7、6 對于過原點的回歸模型，試證明證明：模型的參數b2的OLS估計量為：可得故 例題7 證明：僅當時，Y對X的線性回歸的斜率估計量等于X對Y的線性回歸的斜率估計量的倒數。證明：設，則有再設，則有于是所以，即兩斜率互為倒數。例題8 證明：相關系數的另一個表達式是其中，b2為一元線性回歸模型一次項系數的估計值，SX、SY分別為樣本標準差。證明：因所以例題9 設回歸模型為，這里滿足所有的基本假設。現提出B的三個估計量：，請回答以下問題：（1）證明三個估計量都是B的無偏估計量；（2）推導各個估計量的方差，并確定哪個是最小的（如果有的話）？證明：（1）因滿足所有的基本假定，所以有因此，可得：（2）因所以3

8、.4 OLS估計量的抽樣分布或概率分布1兩個定理（1）中心極限定理 大量獨立同分布的隨機變量的累計結果傾向于正態分布。（2）引理 任何正態分布變量的線性組合也呈現正態分布。 2隨機誤差項的分布在總體回歸函數中，根據經典假設，誤差項服從均值為0，方差為的正態分布。即3估計量b1和b2的分布由于OLS估計量是隨機誤差項的線性組合，根據中心極限定理及其引理，可得3.5 假設檢驗 1假設檢驗的含義 首先假定解釋變量X對被解釋變量Y沒有影響，即 如果零假設為真，則沒有必要把X納入模型。2置信區間檢驗為了確定估計的bi對真實的Bi的“靠近”程度，可設法找出兩個正數和（其中0 因此，bi的置信區間為 3顯著

9、性檢驗（1）核心思想 構造檢驗統計量，以及零假設下檢驗統計量的抽樣分布，根據從樣本數據求得的檢驗統計量的值，決定接受或拒絕零假設。（2）檢驗方法構造統計量做出檢驗假設通常假定。根據樣本數據，求出t統計量的值比較計算出的t統計值和臨界值的大小。如果t值大于臨界值，則檢驗結果顯著，即解釋變量對被解釋變量有顯著的影響；否則，影響不顯著。3.6 擬合優度檢驗：判定系數 1判定系數（coefficient of determination）判別估計的回歸線擬合真實的Y值的優劣程度。 2總平方和的分解=總平方和（，total sum of squares）=解釋平方和（，explained sum of

10、squares）歸于回歸線=殘差平方和（，residual sum of squares）歸于隨機因素 如圖3-8所示。 3判定系數公式= 定義 的兩個性質：（1）非負性；（2） 4相關系數（sample coefficient of correlation）3.7 正態性檢驗 1殘差直方圖 在水平軸上，將殘差值劃分成適當的區間，以每個區間中所含觀察數的頻率為直方圖的高度。然后，用正態分布曲線圖疊加在頻率直方圖上，以檢驗是否呈現正態分布。 2正態概率圖利用標準的正態概率紙來畫圖進行檢驗。具體方法是，在水平軸上依次分別畫出各個不同的殘差的值，然后分別以前面的殘差值的平均數【如e1，(e1+e2)

11、/2，(e1+e2+e3)/3，】作為縱軸上的值，這樣就可以畫出一條曲線。如果該曲線接近一條直線，則可以認為殘差是正態分布的。 3雅克-貝拉檢驗雅克和貝拉構建了以下檢驗統計值：這里，n是樣本容量，S表示偏度，K表示峰度。零假設H0：ui是正態分布變量假如計算出的卡方值大于給定檢驗水平上的臨界值，就拒絕正態分布的零假設，即殘差是非正態的。否則，接受零假設，即殘差呈現正態分布。3.8 預測 1概念預測就是利用所估計的樣本回歸方程，用解釋變量預測期的已知值或預測值，對被解釋變量的預測值或樣本以外的值作出定量的估計。預測分為點預測和區間預測兩種。（1）點預測 點預測就是給定解釋變量的值，利用樣本回歸方程求出相應的樣本擬合值，以此作為被解釋變量的實際值和其均值的估計值。（2）區間預測 就是對被解釋變量的實際值和其均值的可能取值范圍作出預測。 2點預測 （1）是條件均值的一個無偏估計在總體回歸函數為的情況下，Y在X=X0時的條件均值為通過樣本