1、第三節(jié) 最小二乘估計(jì)量的性質(zhì)三大性質(zhì)：線性特性、無偏性和最小偏差性一、 線性特性的含義線性特性是指參數(shù)估計(jì)值和分別是觀測(cè)值或者是擾動(dòng)項(xiàng)的線性組合，或者叫線性函數(shù)，也可以稱之為可以用或者是來表示。1、的線性特征證明（1）由的計(jì)算公式可得：需要指出的是，這里用到了因?yàn)椴蝗珵榱?，可設(shè)，從而，不全為零，故。這說明是的線性組合。（2）因?yàn)椋杂羞@說明是的線性組合。需要指出的是，這里用到了以及2、的線性特征證明（1）因?yàn)?，所以有這里，令，則有這說明是的線性組合。（2）因?yàn)榛貧w模型為，所以因?yàn)?。而所以，這說明是的線性組合。至此，參數(shù)的線性特性證明完畢。問題參數(shù)估計(jì)值線性特性的深層次含義是什么？要根據(jù)被解釋

2、變量、隨機(jī)擾動(dòng)項(xiàng)和的隨機(jī)性來理解。二、 無偏性的含義所謂無偏性是指估計(jì)值的均值等于真實(shí)值。在這里，無偏性是指參數(shù)估計(jì)值和的期望值分別等于總體參數(shù)和。其數(shù)學(xué)上要求是和。證明：根據(jù)參數(shù)估計(jì)值的線性特征，我們推導(dǎo)出：，所以有：相似地，所以有三、 最優(yōu)性（有的書本上直接稱之為最小方差性）的含義最優(yōu)性是指用最小二乘法得到的參數(shù)估計(jì)值和在各種線性無偏估計(jì)中得到的方差最小。 根據(jù)上述的定義，我們可以任意假設(shè)是用其他方法得到的總體參數(shù)的一個(gè)線性無偏估計(jì)。因?yàn)榫哂芯€性特性，我們可以得到：， 又因?yàn)槭怯闷渌椒ǖ玫降目傮w參數(shù)的一個(gè)無偏估計(jì)，所以有所以由上述兩個(gè)結(jié)果，可以得到：上述式子要成立，必須同時(shí)滿足兩個(gè)條件，

3、即和現(xiàn)在求的方差：因?yàn)楦鶕?jù)假設(shè)條件（常數(shù)方差和非自相關(guān)，即和所以，有方差的最后一項(xiàng)為這是因?yàn)楹鸵虼耍泻苊黠@，當(dāng)時(shí)，方差最小，此時(shí)，最小值為。而在此時(shí)，有即兩個(gè)估計(jì)值相等。因?yàn)榈淖钚》讲畹扔诘姆讲?，即，因此，我們說，在所有線性無偏估計(jì)中的方差最小，且最小方差為：同理，我們可以證明，在所有線性無偏估計(jì)中的方差最小，且參數(shù)估計(jì)值的方差為：。由此，說明，最小二乘估計(jì)具有BLUE(best linear unbiased estimation)性質(zhì)。從而在統(tǒng)計(jì)學(xué)和計(jì)量經(jīng)濟(jì)學(xué)中得到廣泛應(yīng)用。第四節(jié) 系數(shù)的顯著性檢驗(yàn)一、 系數(shù)估計(jì)值的特性：1、根據(jù)系數(shù)估計(jì)值的線性特性，我們知道系數(shù)估計(jì)值是和的線性組合。又

4、因?yàn)楹投挤恼龖B(tài)分布，所以，我們可以自然得到兩點(diǎn)：一是系數(shù)估計(jì)值是隨機(jī)變量（這里是在數(shù)學(xué)上再次予以證明）；二是系數(shù)估計(jì)值服從正態(tài)分布。從而，可以用隨機(jī)變量的一些數(shù)字特征來表示。通常，我們采用的是均值與方差。 系數(shù)估計(jì)值的均值是多少呢？ 根據(jù)系數(shù)估計(jì)值的無偏性，我們知道，。這說明系數(shù)估計(jì)值和這兩個(gè)隨機(jī)變量的數(shù)學(xué)期望（均值）分別等于總體參數(shù)（實(shí)際值）。系數(shù)估計(jì)值的方差又是多少呢？根據(jù)系數(shù)估計(jì)值的最小方差性的證明，我們得到了其方差，即有 ，。至此，我們可以用隨機(jī)變量的數(shù)學(xué)期望和方差來刻畫和這兩個(gè)隨機(jī)變量的分布，即有：服從均值為、方差為的正態(tài)分布；而服從均值為、方差為的分布。用數(shù)學(xué)的語言可以描述為：和

5、。可以明顯看出的是，在系數(shù)的描述中，方差中含有隨機(jī)擾動(dòng)項(xiàng)的方差，其他我們可以得到。隨機(jī)擾動(dòng)項(xiàng)是總體回歸模型中的誤差項(xiàng)，無法得到，只能對(duì)其估計(jì)。二、 隨機(jī)誤差項(xiàng)方差的估計(jì)因?yàn)榭傮w回歸模型為：而樣本回歸模型為：從形式上看，樣本回歸模型中的殘差可以看作隨機(jī)擾動(dòng)項(xiàng)的估計(jì)值。進(jìn)一步，殘差的方差可以作為隨機(jī)擾動(dòng)項(xiàng)的方差的估計(jì)值。樣本回歸模型為：樣本回歸直線為：樣本回歸模型的左右兩邊減去樣本回歸直線的左右兩邊，可得：，把這個(gè)式子重新安排一下，可以得到：現(xiàn)在，重點(diǎn)要求的是的兩個(gè)部分，即和。這兩部分知道之后，才能求的方差。對(duì)樣本回歸模型兩邊分別對(duì)t求和，再除以n,有： 由前邊的正規(guī)方程組，我們?cè)?jīng)知道，點(diǎn)在樣本

6、回歸直線上，用數(shù)學(xué)的語言來講，就有：，因此，有，進(jìn)而，有對(duì)總體回歸模型兩邊分別對(duì)t求和，再除以n,有：所以，由，可得，將兩部分結(jié)合起來，現(xiàn)在，我們可以得到：可以得到：，（從這個(gè)式子我們可以看出什么呢？）至此，已經(jīng)將殘差與擾動(dòng)項(xiàng)聯(lián)系起來了。由此，我們可以得到：進(jìn)一步，有：在這三項(xiàng)當(dāng)中，有：所以，第一項(xiàng)為第二項(xiàng)為：第三項(xiàng)為：故有，也就是說如令，則意味著。這說明是的無偏估計(jì)量。前面，我們已經(jīng)求得和。在和的方差中都含有未知量。這里，我們證明了是的無偏估計(jì)量，因此，可以用作為的估計(jì)值，這樣，代入得到和的方差的估計(jì)值分別為：和，分別稱為回歸模型的標(biāo)準(zhǔn)差、參數(shù)估計(jì)值和的標(biāo)準(zhǔn)差。知道了估計(jì)值的方差估計(jì)值，就可

7、以對(duì)參數(shù)進(jìn)行顯著性檢驗(yàn)，也可以估計(jì)總體參數(shù)的置信區(qū)間。二 參數(shù)估計(jì)的顯著性檢驗(yàn)以上一節(jié)家庭消費(fèi)支出和收入之間的關(guān)系的例子來說明，通過選取樣本，我們得到了總體參數(shù)和的估計(jì)值分別為和。通過這個(gè)估計(jì)值，我們知道了家庭消費(fèi)支出和收入的具體數(shù)量關(guān)系?，F(xiàn)在，需要知道的是，通過樣本得到的估計(jì)值能夠正確地反映總體參數(shù)嗎？這需要通過假設(shè)檢驗(yàn)來做出判斷。1、 關(guān)于假設(shè)檢驗(yàn)假設(shè)檢驗(yàn)指利用樣本得到的信息來判斷總體是否具有某種制定的特征。例如：某藥品生產(chǎn)線上規(guī)定，每片藥片的凈重是400毫克，標(biāo)準(zhǔn)差是4毫克。今連續(xù)檢查20片藥片，平均藥片重量為395.4毫克。問藥片的重量是否已經(jīng)偏離了額定凈重值？假設(shè)：對(duì)總體分布特征的假

8、設(shè)假設(shè)檢驗(yàn)：根據(jù)樣本信息來判斷總體分布是否具有指定的特征，這個(gè)過程叫假設(shè)檢驗(yàn)。就家庭消費(fèi)支出而言，我們關(guān)注的是家庭消費(fèi)支出與收入之間是否真的存在回歸關(guān)系，也就是說我們關(guān)注總體參數(shù)和是否不等于零。因此，我們這里的假設(shè)是對(duì)總體參數(shù)的假設(shè)，我們這里的檢驗(yàn)是對(duì)總體參數(shù)的假設(shè)檢驗(yàn)，我們要運(yùn)用的假設(shè)檢驗(yàn)的工具是用樣本工具得到的與和有關(guān)的檢驗(yàn)的工具。這就是用樣本信息來推斷總體。1、 對(duì)總體均值的假設(shè)檢驗(yàn)因?yàn)槲覀冴P(guān)注的是解釋變量和被解釋變量之間的關(guān)系是否真實(shí)存在，因此，我們需要檢驗(yàn)的是總體均值是否為零。對(duì)總體均值的假設(shè)檢驗(yàn)可分三種情況：(1) 總體服從正態(tài)分布，總體方差已知，樣本大小無限制(2) 總體總體分布

9、未知，總體方差未知，大樣本(3) 總體服從正態(tài)分布，總體方差未知，小樣本我們這里符合的是總體服從正態(tài)分布，總體方差未知，小樣本。2、 用什么來檢驗(yàn)？（檢驗(yàn)工具，統(tǒng)計(jì)量）我們已經(jīng)知道，參數(shù)估計(jì)值滿足：和，要盡可能利用關(guān)于和的信息。將和由正態(tài)分布轉(zhuǎn)化為標(biāo)準(zhǔn)正態(tài)分布統(tǒng)計(jì)量：和在這兩個(gè)統(tǒng)計(jì)量中，和我們都不知道，原因在于未知。但我們前邊已經(jīng)證明是的無偏估計(jì)量。因此，對(duì)于大樣本情況，我們可以用代替，進(jìn)而求得和以及，。這樣，和可以進(jìn)一步轉(zhuǎn)化為：和。從而可以利用這兩個(gè)統(tǒng)計(jì)量對(duì)總體參數(shù)和進(jìn)行檢驗(yàn)。（什么含義）就是說，我們可以對(duì)比如進(jìn)行檢驗(yàn)。如何檢驗(yàn)?zāi)?？就是考察我們算出來的統(tǒng)計(jì)量是否服從正態(tài)分布。對(duì)于一元線性回歸

10、模型而言，我們關(guān)心的是解釋變量能否解釋被解釋變量，在數(shù)學(xué)上這表現(xiàn)為是否成立。因此，我們可以進(jìn)行下假設(shè)：零假設(shè) 備擇假設(shè) 在零假設(shè)條件下，服從標(biāo)準(zhǔn)正態(tài)分布，我們用這個(gè)統(tǒng)計(jì)量進(jìn)行檢驗(yàn)。在一般情況下，樣本容量不滿足大樣本條件，這時(shí)要用t統(tǒng)計(jì)量，所做的檢驗(yàn)稱之為t分布檢驗(yàn)。這時(shí)t統(tǒng)計(jì)量為：，其服從自由度為（n-2）的t分布。關(guān)于t分布t分布的含義是隨機(jī)變量落入一定區(qū)域的概率。給定顯著性水平和自由度（n-2）,則t落入?yún)^(qū)間內(nèi)的概率為：t落在區(qū)域之外的概率為，也可以寫作：，此式子等價(jià)于和。見下圖。 -ta (n-2) 0 ta (n-2) 很顯然，如果計(jì)算出來的這時(shí)t統(tǒng)計(jì)量為：（即t統(tǒng)計(jì)量小于臨界值），則

11、可以認(rèn)為原假設(shè)成立，即。反之，如果計(jì)算出來的這時(shí)t統(tǒng)計(jì)量為：，則可以認(rèn)為備擇假設(shè)成立，即。因此，我們通常的希望是t統(tǒng)計(jì)量值大于臨界值。t統(tǒng)計(jì)量值我們可以根據(jù)樣本計(jì)算出來，而臨界值可以通過查表得到。問題：t值與P值的關(guān)系是什么？相應(yīng)地，我們可以對(duì)總體參數(shù)值進(jìn)行檢驗(yàn)。過程為：零假設(shè)為：備擇假設(shè)為： 計(jì)算統(tǒng)計(jì)量查t分布表，得出臨界值。若，則拒絕零假設(shè)，接受備擇假設(shè)，即認(rèn)為。三、 總體參數(shù)的置信區(qū)間1、的置信區(qū)間由，將代入概率公式，可得：用概率表述為：總體參數(shù)在區(qū)間內(nèi)的概率為。統(tǒng)計(jì)表述：區(qū)間包含總體參數(shù)的概率為。通常說，總體參數(shù)的置信區(qū)間為：2、相似地，總體參數(shù)的置信區(qū)間為：由這兩個(gè)區(qū)間，可以推斷總體

12、回歸線所處的區(qū)域。四、決定系數(shù)（可決系數(shù)）評(píng)價(jià)回歸直線對(duì)觀察值擬合的好壞，擬合優(yōu)度是一個(gè)重要的指標(biāo)。顯然，若觀測(cè)點(diǎn)離回歸直線近，則擬合程度好，反之，則擬合程度差。測(cè)量擬合優(yōu)度的統(tǒng)計(jì)量是可決系數(shù)（決定系數(shù)）現(xiàn)由一個(gè)恒等式開始。這個(gè)式子把解釋變量的總偏差分解成兩部分：回歸偏差或者叫可解釋偏差（和殘差兩部分之和?？山忉屍钍怯蓸颖净貧w直線決定的，殘差則是隨機(jī)的。顯然，由樣本回歸直線解釋的部分越大，則殘差越小，樣本回歸直線與樣本值的擬合優(yōu)度就越好。而要從總體上反映樣本回歸方程對(duì)所有樣本點(diǎn)的擬合的好壞，必須求和，考慮到正負(fù)抵消的問題，可以求平方和。 總離差平方和： 回歸平方和： 殘差平方和：現(xiàn)在推導(dǎo)三者

13、之間的關(guān)系：這里有：所以有。即：總離差平方和=回歸平方和+殘差平方和。用公式表示為：，表示可以由解釋變量說明的偏差部分，表示可以由殘差說明的偏差部分。顯然，在中所占的比例越大，所占的比例越小，則參數(shù)估計(jì)值的顯著性越強(qiáng)，樣本回歸直線與樣本觀測(cè)值擬合得越好。因此，可以用在中所占的比例說明回歸直線與樣本觀測(cè)值的擬合程度。也即總離差中可以由回歸方程說明的部分?？蓻Q系數(shù)或擬合優(yōu)度可以定義為：可決系數(shù)的取值范圍為：變化的含義是什么？四、 相關(guān)分析1、 回歸分析和相關(guān)分析的區(qū)別回歸分析：性質(zhì)、變量要求相關(guān)分析：相關(guān)關(guān)系，不是因果關(guān)系。變量要求不同2、 相關(guān)分析的分類:線性相關(guān)：直觀上講，樣本點(diǎn)集中分布在一條

14、直線附近。直線斜率為正，為正相關(guān)。直線斜率為負(fù)，則為負(fù)相關(guān)。非線性相關(guān)：樣本點(diǎn)分布在一條曲線周圍。3、 相關(guān)程度的度量一般用相關(guān)系數(shù)表示X和Y的相關(guān)程度。總體相關(guān)系數(shù)定義為?？傮w相關(guān)系數(shù)的取值范圍：總體相關(guān)系數(shù)與樣本相關(guān)系數(shù)之間的關(guān)系。樣本相關(guān)系數(shù)一般用來表示，且定義：這里有：4、 相關(guān)分析與回歸分析的關(guān)系這里特指在一元線性回歸分析和簡(jiǎn)單相關(guān)分析中的關(guān)系。這里可決系數(shù)與相關(guān)系數(shù)有如下關(guān)系：，即。5、 計(jì)量回歸分析的規(guī)范表達(dá)第五節(jié) 預(yù)測(cè)和預(yù)測(cè)區(qū)間關(guān)于預(yù)測(cè)預(yù)測(cè)對(duì)兩種樣本數(shù)據(jù)的作用。對(duì)于時(shí)間序列數(shù)據(jù)的估計(jì)的目的是預(yù)測(cè)。對(duì)截面數(shù)據(jù)估計(jì)的目的是為了推測(cè)未知數(shù)據(jù)。預(yù)測(cè)是計(jì)量經(jīng)濟(jì)學(xué)的一項(xiàng)主要任務(wù)。一、 預(yù)測(cè)

15、的點(diǎn)估計(jì)首先回顧四個(gè)方程式總體回歸模型：總體回歸直線：樣本回歸模型：樣本回歸直線：對(duì)于樣本外的符合假定條件的一點(diǎn)而言，代入總體回歸模型和總體回歸直線，我們可以得到：和然而，由于和我們并不知道，因此，無從獲得和。但是，利用樣本回歸直線，我們可以得到的估計(jì)值，即，求期望有：這說明是 的無偏估計(jì)量。同時(shí)，故，這說明不是的無偏估計(jì)量。由可得：這說明在多次觀察中，平均值趨于零，從而以作為的估計(jì)中心是合理的。二、預(yù)測(cè)的區(qū)間估計(jì)1、的置信區(qū)間2、的置信區(qū)間先求的置信區(qū)間因?yàn)?，所以服從正態(tài)分布。求其置信區(qū)間的關(guān)鍵是求其與的偏差的方差。其中，（是的無偏估計(jì)量）所以，進(jìn)一步可以寫為進(jìn)而，上式子中的第一項(xiàng)為：上式子

16、中的第二項(xiàng)為：上式子中的第三項(xiàng)為：將上述三項(xiàng)相加得到因?yàn)樯鲜街?，總體方差可以用來代替。從而可以得到的方差估計(jì)值為：所以，根據(jù)的分布，給定顯著性水平，使用t統(tǒng)計(jì)量，則有即有。這說明，的置信區(qū)間為：2、的置信區(qū)間相似地，我們可以得到的方差估計(jì)值為從而的置信區(qū)間為：10案例：用回歸模型預(yù)測(cè)木材剩余物伊春林區(qū)位于黑龍江省東北部。全區(qū)有森林面積218.9732萬公頃，木材蓄積量為2.324602億m3。森林覆蓋率為62.5%，是我國(guó)主要的木材工業(yè)基地之一。1999年伊春林區(qū)木材采伐量為532萬m3。按此速度44年之后，1999年的蓄積量將被采伐一空。所以目前亟待調(diào)整木材采伐規(guī)劃與方式，保護(hù)森林生態(tài)環(huán)境。

17、為緩解森林資源危機(jī)，并解決部分職工就業(yè)問題，除了做好木材的深加工外，還要充分利用木材剩余物生產(chǎn)林業(yè)產(chǎn)品，如紙漿、紙袋、紙板等。因此預(yù)測(cè)林區(qū)的年木材剩余物是安排木材剩余物加工生產(chǎn)的一個(gè)關(guān)鍵環(huán)節(jié)。下面，利用一元線性回歸模型預(yù)測(cè)林區(qū)每年的木材剩余物。顯然引起木材剩余物變化的關(guān)鍵因素是年木材采伐量。給出伊春林區(qū)16個(gè)林業(yè)局1999年木材剩余物和年木材采伐量數(shù)據(jù)如表2.1。散點(diǎn)圖見圖2.14。觀測(cè)點(diǎn)近似服從線性關(guān)系。建立一元線性回歸模型如下：yt = b0 + b1 xt + ut表2.1 年剩余物yt和年木材采伐量xt數(shù)據(jù)林業(yè)局名年木材剩余物yt（萬m3）年木材采伐量xt（萬m3）烏伊嶺26.1361

18、.4東風(fēng)23.4948.3新青21.9751.8紅星11.5335.9五營(yíng)7.1817.8上甘嶺6.8017.0友好18.4355.0翠巒11.6932.7烏馬河6.8017.0美溪9.6927.3大豐7.9921.5南岔12.1535.5帶嶺6.8017.0朗鄉(xiāng)17.2050.0桃山9.5030.0雙豐5.5213.8合計(jì)202.87532.00圖2.14 年剩余物yt和年木材采伐量xt散點(diǎn)圖圖2.15 Eviews輸出結(jié)果Eviews估計(jì)結(jié)果見圖2.15。建立Eviews數(shù)據(jù)文件的方法見附錄1。在已建立Eviews數(shù)據(jù)文件的基礎(chǔ)上，進(jìn)行OLS估計(jì)的操作步驟如下：打開工作文件，從主菜單上點(diǎn)擊

19、Quick鍵，選Estimate Equation 功能。在出現(xiàn)的對(duì)話框中輸入y c x。點(diǎn)擊Ok鍵。立即會(huì)得到如圖2.15所示的結(jié)果。下面分析Eviews輸出結(jié)果。先看圖2.15的最上部分。被解釋變量是yt。估計(jì)方法是最小二乘法。本次估計(jì)用了16對(duì)樣本觀測(cè)值。輸出格式的中間部分給出5列。第1列給出截距項(xiàng)（C）和解釋變量xt。第2列給出第1列相應(yīng)項(xiàng)的回歸參數(shù)估計(jì)值（和）。第3列給出相應(yīng)回歸參數(shù)估計(jì)值的樣本標(biāo)準(zhǔn)差（s(), s()）。第4列給出相應(yīng)t值。第5列給出t統(tǒng)計(jì)量取值大于用樣本計(jì)算的t值（絕對(duì)值）的概率值。以t = 12.11266為例，相應(yīng)概率0.0000表示統(tǒng)計(jì)量t取值（絕對(duì)值）大于12.1的概率是一個(gè)比萬分之一還小的數(shù)。換句話說，若給定檢驗(yàn)水平為0.05，則臨界值為t0.05 (14) = 2.15。t = 12.1>2.15落在了H0的拒絕域，所以結(jié)論是b1不為零。輸出格式的最下部分給出了評(píng)價(jià)估計(jì)的回歸函數(shù)的若干個(gè)統(tǒng)計(jì)量的值。依縱向順序，這些統(tǒng)計(jì)量依次是可決系數(shù)R2、調(diào)整的可決系數(shù)（第3章介紹）、回歸函數(shù)的標(biāo)準(zhǔn)差（s.e.，即均