1、第三節 最小二乘估計量的性質三大性質：線性特性、無偏性和最小偏差性一、 線性特性的含義線性特性是指參數估計值和分別是觀測值或者是擾動項的線性組合，或者叫線性函數，也可以稱之為可以用或者是來表示。1、的線性特征證明（1）由的計算公式可得：需要指出的是，這里用到了因為不全為零，可設，從而，不全為零，故。這說明是的線性組合。（2）因為，所以有這說明是的線性組合。需要指出的是，這里用到了以及2、的線性特征證明（1）因為，所以有這里，令，則有這說明是的線性組合。（2）因為回歸模型為，所以因為。而所以，這說明是的線性組合。至此，參數的線性特性證明完畢。問題參數估計值線性特性的深層次含義是什么？要根據被解釋

2、變量、隨機擾動項和的隨機性來理解。二、 無偏性的含義所謂無偏性是指估計值的均值等于真實值。在這里，無偏性是指參數估計值和的期望值分別等于總體參數和。其數學上要求是和。證明：根據參數估計值的線性特征，我們推導出：，所以有：相似地，所以有三、 最優性（有的書本上直接稱之為最小方差性）的含義最優性是指用最小二乘法得到的參數估計值和在各種線性無偏估計中得到的方差最小。 根據上述的定義，我們可以任意假設是用其他方法得到的總體參數的一個線性無偏估計。因為具有線性特性，我們可以得到：， 又因為是用其他方法得到的總體參數的一個無偏估計，所以有所以由上述兩個結果，可以得到：上述式子要成立，必須同時滿足兩個條件，

3、即和現在求的方差：因為根據假設條件（常數方差和非自相關，即和所以，有方差的最后一項為這是因為和因此，有很明顯，當時，方差最小，此時，最小值為。而在此時，有即兩個估計值相等。因為的最小方差等于的方差，即，因此，我們說，在所有線性無偏估計中的方差最小，且最小方差為：同理，我們可以證明，在所有線性無偏估計中的方差最小，且參數估計值的方差為：。由此，說明，最小二乘估計具有BLUE(best linear unbiased estimation)性質。從而在統計學和計量經濟學中得到廣泛應用。第四節 系數的顯著性檢驗一、 系數估計值的特性：1、根據系數估計值的線性特性，我們知道系數估計值是和的線性組合。又

4、因為和都服從正態分布，所以，我們可以自然得到兩點：一是系數估計值是隨機變量（這里是在數學上再次予以證明）；二是系數估計值服從正態分布。從而，可以用隨機變量的一些數字特征來表示。通常，我們采用的是均值與方差。 系數估計值的均值是多少呢？ 根據系數估計值的無偏性，我們知道，。這說明系數估計值和這兩個隨機變量的數學期望（均值）分別等于總體參數（實際值）。系數估計值的方差又是多少呢？根據系數估計值的最小方差性的證明，我們得到了其方差，即有 ，。至此，我們可以用隨機變量的數學期望和方差來刻畫和這兩個隨機變量的分布，即有：服從均值為、方差為的正態分布；而服從均值為、方差為的分布。用數學的語言可以描述為：和

5、?？梢悦黠@看出的是，在系數的描述中，方差中含有隨機擾動項的方差，其他我們可以得到。隨機擾動項是總體回歸模型中的誤差項，無法得到，只能對其估計。二、 隨機誤差項方差的估計因為總體回歸模型為：而樣本回歸模型為：從形式上看，樣本回歸模型中的殘差可以看作隨機擾動項的估計值。進一步，殘差的方差可以作為隨機擾動項的方差的估計值。樣本回歸模型為：樣本回歸直線為：樣本回歸模型的左右兩邊減去樣本回歸直線的左右兩邊，可得：，把這個式子重新安排一下，可以得到：現在，重點要求的是的兩個部分，即和。這兩部分知道之后，才能求的方差。對樣本回歸模型兩邊分別對t求和，再除以n,有： 由前邊的正規方程組，我們曾經知道，點在樣本

6、回歸直線上，用數學的語言來講，就有：，因此，有，進而，有對總體回歸模型兩邊分別對t求和，再除以n,有：所以，由，可得，將兩部分結合起來，現在，我們可以得到：可以得到：，（從這個式子我們可以看出什么呢？）至此，已經將殘差與擾動項聯系起來了。由此，我們可以得到：進一步，有：在這三項當中，有：所以，第一項為第二項為：第三項為：故有，也就是說如令，則意味著。這說明是的無偏估計量。前面，我們已經求得和。在和的方差中都含有未知量。這里，我們證明了是的無偏估計量，因此，可以用作為的估計值，這樣，代入得到和的方差的估計值分別為：和，分別稱為回歸模型的標準差、參數估計值和的標準差。知道了估計值的方差估計值，就可

7、以對參數進行顯著性檢驗，也可以估計總體參數的置信區間。二 參數估計的顯著性檢驗以上一節家庭消費支出和收入之間的關系的例子來說明，通過選取樣本，我們得到了總體參數和的估計值分別為和。通過這個估計值，我們知道了家庭消費支出和收入的具體數量關系?，F在，需要知道的是，通過樣本得到的估計值能夠正確地反映總體參數嗎？這需要通過假設檢驗來做出判斷。1、 關于假設檢驗假設檢驗指利用樣本得到的信息來判斷總體是否具有某種制定的特征。例如：某藥品生產線上規定，每片藥片的凈重是400毫克，標準差是4毫克。今連續檢查20片藥片，平均藥片重量為395.4毫克。問藥片的重量是否已經偏離了額定凈重值？假設：對總體分布特征的假

8、設假設檢驗：根據樣本信息來判斷總體分布是否具有指定的特征，這個過程叫假設檢驗。就家庭消費支出而言，我們關注的是家庭消費支出與收入之間是否真的存在回歸關系，也就是說我們關注總體參數和是否不等于零。因此，我們這里的假設是對總體參數的假設，我們這里的檢驗是對總體參數的假設檢驗，我們要運用的假設檢驗的工具是用樣本工具得到的與和有關的檢驗的工具。這就是用樣本信息來推斷總體。1、 對總體均值的假設檢驗因為我們關注的是解釋變量和被解釋變量之間的關系是否真實存在，因此，我們需要檢驗的是總體均值是否為零。對總體均值的假設檢驗可分三種情況：(1) 總體服從正態分布，總體方差已知，樣本大小無限制(2) 總體總體分布

9、未知，總體方差未知，大樣本(3) 總體服從正態分布，總體方差未知，小樣本我們這里符合的是總體服從正態分布，總體方差未知，小樣本。2、 用什么來檢驗？（檢驗工具，統計量）我們已經知道，參數估計值滿足：和，要盡可能利用關于和的信息。將和由正態分布轉化為標準正態分布統計量：和在這兩個統計量中，和我們都不知道，原因在于未知。但我們前邊已經證明是的無偏估計量。因此，對于大樣本情況，我們可以用代替，進而求得和以及，。這樣，和可以進一步轉化為：和。從而可以利用這兩個統計量對總體參數和進行檢驗。（什么含義）就是說，我們可以對比如進行檢驗。如何檢驗呢？就是考察我們算出來的統計量是否服從正態分布。對于一元線性回歸

10、模型而言，我們關心的是解釋變量能否解釋被解釋變量，在數學上這表現為是否成立。因此，我們可以進行下假設：零假設 備擇假設 在零假設條件下，服從標準正態分布，我們用這個統計量進行檢驗。在一般情況下，樣本容量不滿足大樣本條件，這時要用t統計量，所做的檢驗稱之為t分布檢驗。這時t統計量為：，其服從自由度為（n-2）的t分布。關于t分布t分布的含義是隨機變量落入一定區域的概率。給定顯著性水平和自由度（n-2）,則t落入區間內的概率為：t落在區域之外的概率為，也可以寫作：，此式子等價于和。見下圖。 -ta (n-2) 0 ta (n-2) 很顯然，如果計算出來的這時t統計量為：（即t統計量小于臨界值），則

11、可以認為原假設成立，即。反之，如果計算出來的這時t統計量為：，則可以認為備擇假設成立，即。因此，我們通常的希望是t統計量值大于臨界值。t統計量值我們可以根據樣本計算出來，而臨界值可以通過查表得到。問題：t值與P值的關系是什么？相應地，我們可以對總體參數值進行檢驗。過程為：零假設為：備擇假設為： 計算統計量查t分布表，得出臨界值。若，則拒絕零假設，接受備擇假設，即認為。三、 總體參數的置信區間1、的置信區間由，將代入概率公式，可得：用概率表述為：總體參數在區間內的概率為。統計表述：區間包含總體參數的概率為。通常說，總體參數的置信區間為：2、相似地，總體參數的置信區間為：由這兩個區間，可以推斷總體

12、回歸線所處的區域。四、決定系數（可決系數）評價回歸直線對觀察值擬合的好壞，擬合優度是一個重要的指標。顯然，若觀測點離回歸直線近，則擬合程度好，反之，則擬合程度差。測量擬合優度的統計量是可決系數（決定系數）現由一個恒等式開始。這個式子把解釋變量的總偏差分解成兩部分：回歸偏差或者叫可解釋偏差（和殘差兩部分之和。可解釋偏差是由樣本回歸直線決定的，殘差則是隨機的。顯然，由樣本回歸直線解釋的部分越大，則殘差越小，樣本回歸直線與樣本值的擬合優度就越好。而要從總體上反映樣本回歸方程對所有樣本點的擬合的好壞，必須求和，考慮到正負抵消的問題，可以求平方和。 總離差平方和： 回歸平方和： 殘差平方和：現在推導三者

13、之間的關系：這里有：所以有。即：總離差平方和=回歸平方和+殘差平方和。用公式表示為：，表示可以由解釋變量說明的偏差部分，表示可以由殘差說明的偏差部分。顯然，在中所占的比例越大，所占的比例越小，則參數估計值的顯著性越強，樣本回歸直線與樣本觀測值擬合得越好。因此，可以用在中所占的比例說明回歸直線與樣本觀測值的擬合程度。也即總離差中可以由回歸方程說明的部分。可決系數或擬合優度可以定義為：可決系數的取值范圍為：變化的含義是什么？四、 相關分析1、 回歸分析和相關分析的區別回歸分析：性質、變量要求相關分析：相關關系，不是因果關系。變量要求不同2、 相關分析的分類:線性相關：直觀上講，樣本點集中分布在一條

14、直線附近。直線斜率為正，為正相關。直線斜率為負，則為負相關。非線性相關：樣本點分布在一條曲線周圍。3、 相關程度的度量一般用相關系數表示X和Y的相關程度?？傮w相關系數定義為。總體相關系數的取值范圍：總體相關系數與樣本相關系數之間的關系。樣本相關系數一般用來表示，且定義：這里有：4、 相關分析與回歸分析的關系這里特指在一元線性回歸分析和簡單相關分析中的關系。這里可決系數與相關系數有如下關系：，即。5、 計量回歸分析的規范表達第五節 預測和預測區間關于預測預測對兩種樣本數據的作用。對于時間序列數據的估計的目的是預測。對截面數據估計的目的是為了推測未知數據。預測是計量經濟學的一項主要任務。一、 預測

15、的點估計首先回顧四個方程式總體回歸模型：總體回歸直線：樣本回歸模型：樣本回歸直線：對于樣本外的符合假定條件的一點而言，代入總體回歸模型和總體回歸直線，我們可以得到：和然而，由于和我們并不知道，因此，無從獲得和。但是，利用樣本回歸直線，我們可以得到的估計值，即，求期望有：這說明是 的無偏估計量。同時，故，這說明不是的無偏估計量。由可得：這說明在多次觀察中，平均值趨于零，從而以作為的估計中心是合理的。二、預測的區間估計1、的置信區間2、的置信區間先求的置信區間因為，所以服從正態分布。求其置信區間的關鍵是求其與的偏差的方差。其中，（是的無偏估計量）所以，進一步可以寫為進而，上式子中的第一項為：上式子

16、中的第二項為：上式子中的第三項為：將上述三項相加得到因為上式中，總體方差可以用來代替。從而可以得到的方差估計值為：所以，根據的分布，給定顯著性水平，使用t統計量，則有即有。這說明，的置信區間為：2、的置信區間相似地，我們可以得到的方差估計值為從而的置信區間為：10案例：用回歸模型預測木材剩余物伊春林區位于黑龍江省東北部。全區有森林面積218.9732萬公頃，木材蓄積量為2.324602億m3。森林覆蓋率為62.5%，是我國主要的木材工業基地之一。1999年伊春林區木材采伐量為532萬m3。按此速度44年之后，1999年的蓄積量將被采伐一空。所以目前亟待調整木材采伐規劃與方式，保護森林生態環境。

17、為緩解森林資源危機，并解決部分職工就業問題，除了做好木材的深加工外，還要充分利用木材剩余物生產林業產品，如紙漿、紙袋、紙板等。因此預測林區的年木材剩余物是安排木材剩余物加工生產的一個關鍵環節。下面，利用一元線性回歸模型預測林區每年的木材剩余物。顯然引起木材剩余物變化的關鍵因素是年木材采伐量。給出伊春林區16個林業局1999年木材剩余物和年木材采伐量數據如表2.1。散點圖見圖2.14。觀測點近似服從線性關系。建立一元線性回歸模型如下：yt = b0 + b1 xt + ut表2.1 年剩余物yt和年木材采伐量xt數據林業局名年木材剩余物yt（萬m3）年木材采伐量xt（萬m3）烏伊嶺26.1361

18、.4東風23.4948.3新青21.9751.8紅星11.5335.9五營7.1817.8上甘嶺6.8017.0友好18.4355.0翠巒11.6932.7烏馬河6.8017.0美溪9.6927.3大豐7.9921.5南岔12.1535.5帶嶺6.8017.0朗鄉17.2050.0桃山9.5030.0雙豐5.5213.8合計202.87532.00圖2.14 年剩余物yt和年木材采伐量xt散點圖圖2.15 Eviews輸出結果Eviews估計結果見圖2.15。建立Eviews數據文件的方法見附錄1。在已建立Eviews數據文件的基礎上，進行OLS估計的操作步驟如下：打開工作文件，從主菜單上點擊

19、Quick鍵，選Estimate Equation 功能。在出現的對話框中輸入y c x。點擊Ok鍵。立即會得到如圖2.15所示的結果。下面分析Eviews輸出結果。先看圖2.15的最上部分。被解釋變量是yt。估計方法是最小二乘法。本次估計用了16對樣本觀測值。輸出格式的中間部分給出5列。第1列給出截距項（C）和解釋變量xt。第2列給出第1列相應項的回歸參數估計值（和）。第3列給出相應回歸參數估計值的樣本標準差（s(), s()）。第4列給出相應t值。第5列給出t統計量取值大于用樣本計算的t值（絕對值）的概率值。以t = 12.11266為例，相應概率0.0000表示統計量t取值（絕對值）大于12.1的概率是一個比萬分之一還小的數。換句話說，若給定檢驗水平為0.05，則臨界值為t0.05 (14) = 2.15。t = 12.1>2.15落在了H0的拒絕域，所以結論是b1不為零。輸出格式的最下部分給出了評價估計的回歸函數的若干個統計量的值。依縱向順序，這些統計量依次是可決系數R2、調整的可決系數（第3章介紹）、回歸函數的標準差（s.e.，即均