1、.第三章 線性回歸分析§3.1 一元線性回歸模型一、回歸分析變量之間的關(guān)系，大體分為兩類：一類是函數(shù)關(guān)系；另一類是統(tǒng)計相關(guān)關(guān)系，或稱隨機(jī)關(guān)系。具有相關(guān)關(guān)系的變量間雖然不具有確定的函數(shù)關(guān)系，但可以根據(jù)大量的統(tǒng)計數(shù)據(jù)，找出變量之間在數(shù)量變化上的統(tǒng)計規(guī)律，這種統(tǒng)計規(guī)律稱為回歸關(guān)系。用以近似地描述具有相關(guān)關(guān)系的變量間的函數(shù)關(guān)系稱為回歸函數(shù)。有關(guān)回歸關(guān)系的計算方法和理論稱為回歸分析技術(shù)。回歸分析的主要內(nèi)容是：1. 根據(jù)樣本觀察值對模型參數(shù)進(jìn)行估計,求得回歸方程;2. 對回歸方程、參數(shù)估計值進(jìn)行顯著性檢驗;3. 利用回歸方程進(jìn)行預(yù)測與控制。二、總體回歸方程1、例子假設(shè)一個地區(qū)的人口總體由60戶組

2、成。我們要研究每月家庭消費(fèi)支出Y與每月可支配家庭收入X的關(guān)系。也就是說知道了家庭的每月收入，要預(yù)測每月消費(fèi)支出的（總體）平均水平。為此，將這60戶家庭劃分為組內(nèi)收入差不多的10組，以分析每一收入組的家庭消費(fèi)支出。表2.1給出了假定的數(shù)據(jù).表1.1 X,每月家庭收入(元) XY800100012001400160018002000220024002600每月家庭消費(fèi)支出550600650700750-650700740800850880-790840900940980-8009309501030108011301150102010701100116011801250-11001150120013

3、0013501400-12001360140014401450-1350137014001520157016001620137014501550165017501890-1500152017501780180018501910共計325046204450707067807500685010430966012110表2.1說明:對應(yīng)于每月800元收入的5戶家庭的每月消費(fèi)支出為550到750元不等.類似地,給定X=2400元,6戶家庭的每月支出在1370元和1890元之間.即表2.1的每個縱列給出對應(yīng)于給定收入水平X的消費(fèi)支出Y的分布.;也就是說,它給出了以X的給定值為條件的條件分布.表2.1的數(shù)

4、據(jù)代表一個總體.我們可計算出給定X的Y的條件概率.計算如下表2.2 表2.2 與表2.1的數(shù)據(jù)相對應(yīng)的條件概率 X800100012001400160018002000220024002600條件概率 1/51/51/51/51/5-1/61/61/61/61/61/6 1/51/51/51/51/ 1/71/71/71/71/71/71/71/61/61/61/61/61/6- 1/61/61/61/61/61/6-1/51/51/51/51/5-1/71/71/71/71/71/71/71/61/61/61/61/61/6-1/71/71/71/71/71/71/7Y的條件均值650770

5、8901010113012501370149016101730如: 以上述條件均值作散點圖,可以看出,Y的條件均值隨X增加而增加,散點圖說明這些條件均值落在一條有正斜率的直線上,這條直線叫做總體回歸直線,具體描述如下. 2、 總體回歸方程描述兩個變量X與Y之間的線性關(guān)系可用以下數(shù)學(xué)式子表示。 （2.1.1）（2.1.1）式中一部分是由于X的變化引起Y線性變化的部分，即；另一部分是由其它一切隨機(jī)因素引起的，記為。（2.1.1）式確切地表達(dá)了變量X與Y之間的密切程度，但密切的程度沒有達(dá)到由X唯一確定Y的地步。（2.1.1）式稱為Y對X的一元線性回歸理論模型，Y稱為被解釋變量（因變量），X稱為解釋變

6、量（自變量），式中是未知參數(shù)，稱為回歸參數(shù)，表示隨機(jī)因素的影響，是一隨機(jī)變量。一般假定和，在此假定下有，或，稱為一元線性總體回歸方程，它是解釋變量取給定值時因變量的條件均值或條件期望值的軌跡.三、樣本回歸方程取一個容量為N的樣本，代入（2.1.1）式有， （2.1.2）（2.1.2）稱為一元線性回歸模型.基本假定:1. 零均值假定 (2.1.3) 由于存在隨機(jī)擾動因素, 在期望值附近上下波動,如果回歸方程假定正確, 相對于的正偏差和負(fù)偏差都會發(fā)生,隨機(jī)擾動項可正可負(fù),發(fā)生的概率大致相同,零均值假定說明平均來看,這些隨機(jī)擾動項有相互抵消的趨勢.2. 同方差假定 (2.1.4)這個假定說明, 對每

7、個, 隨機(jī)擾動項的方差等于一個常數(shù), 即解釋變量取不同值時, 相對各自均值(零均值)的分散程度是相同的, 因變量具有與相同的方差.因此，該假定同時說明因變量可能取值的分散程度是相同的。3無自相關(guān)假定 （2.1.5） 假定說明產(chǎn)生干擾的因素是完全隨機(jī)的，此次干擾與彼次干擾互不相關(guān)，因此變量的序列值之間也互不相關(guān)。4解釋變量與擾動項互不相關(guān)的假定 （2.1.6） 這個假定說明與互不相關(guān)，即隨機(jī)擾動項和解釋變量是各自獨立地對因變量產(chǎn)生影響的。事實上，在回歸分析中，在重復(fù)抽樣（觀測）中固定取值，是確定性變量，故與不相關(guān)的假定一般總是滿足。5解釋變量的各觀測值不能近似相同（解釋變量之間不存在多重共線性）

8、這個假定說明與常變量之間不存在某種線性關(guān)系。在多元條件下，這個假定要求解釋變量之間不能存在線性相關(guān)。6隨機(jī)誤差項服從正態(tài)分布 此假定是為方便于模型參數(shù)的假設(shè)檢驗。 四、模型參數(shù)的估計 在上述假定下， i=1，2，N (2.1.7)或, i=1，2，N (2.1.8) 對于N組樣本觀測值,對進(jìn)行估計，用分別表示的估計值，則有 （2.1.9）（2.1.9）稱為Y關(guān)于X的一元線性樣本回歸方程。如何求出的估計值，最常用的方法是普通最小二乘法（OLS）（Ordinary Least Squares). 設(shè)有N組觀測值, 作散點圖. Y 。 。 。 。 。 。 X設(shè)估計直線為 （2.1.10）將代入（2.

9、1.10） (2.1.11)由（2.11）中所求的值稱為理論估計值，則實際觀測值與理論估計的誤差為: （2.1.12）根據(jù)最小二乘法的原理，欲使（2.1.1）式最適合于實際數(shù)據(jù)（所求回歸直線是在一切直線中最適合實際數(shù)據(jù)的直線）必須使這些誤差的平方和最小。即必須使 （2.1.13）為最小（因正誤差與負(fù)誤差都是誤差，因此要用平方和消去符號）。根據(jù)微積分求極值的原理，欲使（2.1.13）式最小，則必要條件為：即亦即 （2.1.14）解得:因此可確定回歸方程 （2.1.15）若記_ X的樣本方差 _ X與Y的樣本協(xié)方差 _ Y的樣本方差則可證: 五、一元線性回歸模型的統(tǒng)計檢驗根據(jù)變量和的樣本觀測值，應(yīng)

10、用最小二乘法求得的樣本回歸方程，作為總體回歸方程的近似。這種近似是否恰當(dāng)，必須進(jìn)行統(tǒng)計檢驗。統(tǒng)計檢驗包括：擬合優(yōu)度檢驗、相關(guān)系數(shù)檢驗、參數(shù)顯著性檢驗以及回歸總體線性的顯著性檢驗。（一）、 擬合優(yōu)度檢驗（檢驗） 0 擬合優(yōu)度檢驗是指對樣本回歸直線與樣本觀測值之間擬合程度的檢驗，度量回歸擬合程度的指標(biāo)是判定系數(shù)。（1） 總離差平方和的分解設(shè)由樣本觀測值得回歸直線 由上圖可看出，Y的第個觀測值與樣本均值的總離差可以分解兩部分，即為樣本回歸直線理論擬合值與觀測值的平均值之差，是由回歸直線解釋的部分.為實際觀測值與回歸擬合值之差，是回歸直線不能解釋的部分。離差大小反映了變量與平均數(shù)之間的波動大小，而全部

11、數(shù)據(jù)的總離差可由這些離差平方和表示，可以證明：記-總離差平方和(Total Sum of Squares)-殘差平方和(Residual Sum of Squares)-回歸平方和(Explained Sum of Squares)故 方差分析表方差來源方差平方和自由度均方差F統(tǒng)計量回歸平方和1殘差平方和總離差平方和（二）、判定系數(shù)在總離差平方和中，如果回歸平方和所占比例越大，殘差平方和所占比例就越小，說明回歸直線與樣本點擬合得越好。定義判定系數(shù)為: (2.1.16),若,說明全部樣本觀測值均在估計回歸直線上，觀測與回歸值完全擬合，若，說明完全不擬合，,線性模型完全不能解釋變動，越接近1，擬合

12、程度越好，反之越差。（三）、相關(guān)檢驗（r檢驗）變量之間通常是相關(guān)的，問題是相關(guān)程度如何，如果在相關(guān)程度過低的變量間建立線性模型，就沒有很大的意義。兩個變量和之間真實的線性相關(guān)程度是由總體相關(guān)系數(shù)表示:由于總體未知，無法計算，我們可利用樣本值給出一個估計.定義樣本相關(guān)系數(shù) (2.1.17)是的一個無偏估計量.由(2.1.16)式和(2.1.17)式知:故樣本相關(guān)系數(shù)與判定系數(shù)在計算上是一致的。但兩者的概念不同，判定系數(shù)是對變量與作方差分析得出的，用來衡量擬合優(yōu)度；而相關(guān)系數(shù)是對與作相關(guān)分析得出的，用以判定與的線性相關(guān)程度。線性相關(guān)檢驗的具體作法如下：1） 建立假設(shè): 2） 根據(jù)計算樣本相關(guān)系數(shù)3

13、） 根據(jù)樣本容量N和顯著性水平查相關(guān)系數(shù)表得臨界值（表中N-2為自由度）4） 判斷：若，則拒絕，認(rèn)為與有顯著的線性相關(guān)關(guān)系； 若,則接收，認(rèn)為與的線性相關(guān)關(guān)系不顯著。或用F統(tǒng)計量進(jìn)行線性相關(guān)檢驗1） 建立假設(shè) 2） 選取統(tǒng)計量在成立的條件下, 3） 對于給定的檢驗水平，查表得臨界值，4） 根據(jù)樣本觀測值計算出統(tǒng)計量值；5） 下結(jié)論：若，則否定。認(rèn)為與之間存在線性相關(guān)關(guān)系； 若，則接收，認(rèn)為與之間線性關(guān)系不顯著。事實上這兩種檢驗方法是一致的。因故，的值較大等價于較大。（四）回歸參數(shù)的檢驗1. 最小二乘估計的性質(zhì)在第二節(jié)中求得的模型總體參數(shù)的估計量在基本假定下，具有以下性質(zhì)：(1) 線性性和為線性

14、組合。而，令則，即是的線性組合。其中,故 也是的線性組合。因為是隨機(jī)變量,故和也是隨機(jī)變量.(2) 無偏性無偏性是指估計量和的期望等于總體回歸參數(shù)的和的期望。 因為而 故，由基本假定，所以 因為由基本假定,知 最小方差性證明:和的方差為:假設(shè)是關(guān)于的線性無偏估計量，而故由的無偏性知比較上式兩邊得 由的表達(dá)式和可證明因此 因為,故,當(dāng)且僅當(dāng)?shù)仁匠闪? 是有效估計.同理可證明也是有效估計.2、和的分布定理：在以下模型中其中,記分別是的最小二乘估計量，則（1），即（2），即和的標(biāo)準(zhǔn)差分別為，2、隨機(jī)擾動項方差的估計由于總體方差未知，因此和的方差實際上無法計算，又由于隨機(jī)項不可觀測，我們只能從的估計殘

15、差出發(fā)，對總體方差進(jìn)行估計。可以證明總體方差的無偏估計為，這樣和的樣本方差和樣本標(biāo)準(zhǔn)差分別為：的樣本方差：的樣本方差：的樣本標(biāo)準(zhǔn)差：的樣本標(biāo)準(zhǔn)差：4、關(guān)于的檢驗（1） 建立假設(shè)： （2） 選取統(tǒng)計量, 其中在成立的條件下, （3） 在給定的顯著性水平,查表得臨界值（4） 根據(jù)樣本觀測值計算統(tǒng)計量的值（5） 若，則接收,若，則拒絕，接收.5、 關(guān)于的檢驗(1)建立假設(shè)： (2)選取統(tǒng)計量,其中在成立的條件下, (3)在給定的顯著性水平,查表得臨界值(4)根據(jù)樣本觀測值計算統(tǒng)計量的值(5)若，則接收,若，則拒絕，接收.六、預(yù)測預(yù)測是回歸分析應(yīng)用的重要方面.預(yù)測可分為點預(yù)測和區(qū)間預(yù)測兩類.點預(yù)測是指

16、當(dāng)時,利用樣本回歸方程,求出相應(yīng)的樣本擬合值,以此作為因變量個別值和均值的估計.由于抽樣波動的影響,以及隨機(jī)擾動項的零均值假設(shè)不完全與實際相符.點預(yù)測值與因變量個別值及其均值都存在一定的誤差.以一定的概率把握誤差的范圍,從而確定和的波動范圍,此為區(qū)間預(yù)測.（一）、點預(yù)測總體回歸方程的隨機(jī)設(shè)定形式為: (2.1.18)樣本回歸方程為: (2.1.19)當(dāng)時,Y的個別值為 (2.4.3)其總體均值 (2.1.20)樣本回歸方程在時的擬合值為: (2.1.21)對(2.1.20)式兩邊求期望得: (2.1.22)由(2.1.22)說明,在時,由樣本回歸方程計算的 是總體均值的無偏估計.因此可以用 作

17、為和的預(yù)測值.（二）、區(qū)間預(yù)測 總體均值的預(yù)測區(qū)間(1) 令,則由模型基本假定服從正態(tài)分布.(2) 的期望和方差 (2.1.23) = =可以證明 (2.1.24的方差為= (2.1.25)(3) 從而有 (2.1.26)將標(biāo)準(zhǔn)化 (2.4.27)用代替,由樣本理論分布及的定義,有 (2.1.28)從而可得的預(yù)測區(qū)間為:(2.1.29)其中為顯著性水平.2.總體個別值的預(yù)測區(qū)間(1)定義殘差 (2.1.30)則由模型基本假定服從正態(tài)分布.(2)的期望和方差 (2.1.31)因與相互獨立,故 (2.1.32)(3) 從而有 (2.1.33)將標(biāo)準(zhǔn)化 (2.1.34)用代替,由樣本分布理論及的定義

18、,有 (2.1.35)從而可得的預(yù)測區(qū)間為:(2.1.36)其中為顯著性水平.§2.2 多元線性回歸分析在許多實際問題中影響因變量Y的自變量往往不止一個，比如有k個。討論一個變量對兩個及兩個以上變量的統(tǒng)計依存關(guān)系，就是多元回歸模型，如果變量之間是線性關(guān)系，則稱為多元線性回歸模型。一、多元線性回歸模型（一）、多元線性總體回歸方程假定因變量Y與K個自變量具有線性相關(guān)關(guān)系， （2.2.1）對應(yīng)于解釋變量的每一組觀察值，因變量的值是隨機(jī)的，其可能取值的集合形成一個總體，記為。稱(2.2.1)式及因變量Y的總體條件期望函數(shù) (2.2.2)為K元線性總體回歸方程。（二）、多元線性樣本回歸方程多元

19、線性總體回歸方程是未知的，只能通過抽取樣本觀察值對之進(jìn)行估計。對應(yīng)于(2.2.2)式的總體回歸結(jié)構(gòu), 多元線性樣本回歸方程的形式為 , (2.2.3)或者, (2.2.4)其中, 是總體均值的估計值, 是總體偏回歸系數(shù)的估計,殘差是隨機(jī)項的估計。（三）、模型的矩陣表示設(shè)有N組觀察值，代入(2.2.1)式,得N個隨機(jī)方程令則多元線性總體回歸方程的矩陣形式為：或 （2.2.5）式中，N維因變量觀察值向量 解釋變量觀察值矩陣 N維隨機(jī)項向量 維總體回歸參數(shù)向量類似地，多元線性樣本回歸模型可用矩陣表示如下： （2.2.6）或者 (2.2.7)簡寫為 (2.2.8) 或者 (2.2.9)其中, N維因變

20、量回歸擬合值向量 維總體回歸參數(shù)估計值向量 N維殘差向量一、 模型的基本假定1.零均值假定 （2.2.10）即2.同方差和無自相關(guān)假定, (2.2.11) （2.2.12） 即隨機(jī)項的方差協(xié)方差矩陣為： (2.2.13) 其中E為N階單位矩陣。 3解釋變量X與隨機(jī)項互不相關(guān)的假定 （2.2.14）即 或者 （2.2.15） 4解釋變量觀察值矩陣滿秩的假定 （2.2.16）如果該假定成立，X至少有k+1階子式不為零，說明解釋變量之間不存在線性相關(guān)關(guān)系，此時矩陣也是滿秩的。 所以行列式存在。 在這些假定下，多元線性回歸模型常寫成： （2.2.17）或進(jìn)一步假定為： （2.2.18）二、參數(shù)的最小二

21、乘估計及其性質(zhì)（一）、參數(shù)的最小二乘估計類似于一元線性回歸，采用最小二乘估計法，設(shè)樣本回歸方程如(2.2.3)式,殘差要求的估計使殘差平方和 (2.2.19)達(dá)到最少。若令 (3.2.20）由極值原理得正規(guī)方程組： (2.2.21)整理得關(guān)于的線性方程組： （2.2.22）解上述方程組得的最小二乘估計。(2.2.21)也可寫成 (2.2.23)或者 (2.2.24)在樣本回歸方程的矩陣形式兩邊同時左乘以觀察值矩陣X的轉(zhuǎn)置得 (2.2.25)由極值條件(2.2.24)式,正規(guī)方程組用矩陣形式表示為： （2.2.26）又由X滿秩的假定(可逆)），則參數(shù)的最小二乘估計向量為 （2.2.27）（二）、

22、最小二乘估計的性質(zhì)擬合值向量用矩陣表示為 (2.2.28)其中稱為“帽子矩陣”。 殘差向量用矩陣表示為:。殘差平方和，記為，即最小二乘估計有以下幾個性質(zhì)：1. 線性性是的線性函數(shù).2. 無偏性 即證明: 由模型的基本假定得 (2.2.29)3. 最小方差性 證明：（1）求 的方差-協(xié)方差矩陣 = = = = 該矩陣主對角上給出了各個參數(shù)估計值的方差，而在其余部分給出了不同的參數(shù)估計值和的協(xié)方差。由及基本假定有= (2.2.30)若記中的元素為,則 （2.2.31） (2.2.32) （2.2.33）僅當(dāng)時與不相關(guān)。(2) 若是的線性無偏估計,設(shè),令則可以表示為 (2.2.34)從而 (2.2.

23、35)因是的無偏估計,又由基本假定知從而 (2.2.36)于是 (2.2.37)的方差-協(xié)方差矩陣為=+= +=+=+ (2.2.38)在此,用到,也有，及. (2.2.39)而為半一正定矩陣，其主對角線上的元素大于等于零，設(shè)其主對角線上的元素為，則， （2.2.40）因此,且只有時,這時。這說明最小二乘估計量是最優(yōu)線性無偏估計量。三、 殘差和隨機(jī)擾動項方差的估計在參數(shù)估計量的方差和標(biāo)準(zhǔn)差的表達(dá)式及中,隨機(jī)擾動項未知,故需從殘差平方和出發(fā)對進(jìn)行估計.（一）、殘差的性質(zhì)殘差向量 （2.2.41）記 (2.2.42)則有 (2.2.43)或者 (2.2.44)P是對稱的冪等矩陣(基本冪等矩陣),即

24、有 1. 殘差的期望為02.殘差的方差-協(xié)方差矩陣 (2.2.45)這說明N個殘差間通常是相關(guān)的，因為 （2.2.46）其中,是”帽子矩陣”的第行第列的元素.3 =0這一性質(zhì)說明殘差與間是不相關(guān)的，即 (2.2.47)（二）、殘差平方和的矩陣表示殘差平方和 因為故殘差平方和是矩陣的主對角線上元素平方和，即矩陣的跡 (2.2.48)（三）、方差的估計對兩邊求期望得 (2.2.49)（矩陣的跡的性質(zhì)：） 記則， 是的無偏估計。是隨機(jī)擾動項的無偏估計，或稱估計標(biāo)準(zhǔn)誤差。這樣參數(shù)估計量的方差、標(biāo)準(zhǔn)差、協(xié)方差分別可用其樣本方差、樣本標(biāo)準(zhǔn)差、樣本協(xié)方差加以估計。 (2.2.50) (2.2.51) (2.

25、2.52)定理： 當(dāng)時，且與獨立。這一性質(zhì)說明，當(dāng)假定回歸模型中相互獨立且時，而的估計與分布有關(guān)，且與是獨立的。此性質(zhì)為模型的檢驗提供了依據(jù)。四、 多元線性模型的統(tǒng)計檢驗（一）、擬合優(yōu)度檢驗1 總離差平方的分解及矩陣表示總離差平方和 =ESS+RSS=回歸平方和+殘差平方和 (2.2.53) (2.2.54) (2.2.55) 2 樣本判別系數(shù)（判定系數(shù)） （2.2.56），越接近于1，回歸直線擬合程度越高，說明一組自變量對因變量Y的解釋程度。3 校正可決系數(shù)從的表達(dá)式可以看出，的大小還受到解釋變量個數(shù)k的影響.增大解釋變量的個數(shù)，將增大，回歸平方和增大，從而增大，由于增加個數(shù)引起的增大與擬合

26、好壞無關(guān)，在變量個數(shù)k不同的模型之間比較擬合優(yōu)度時，就不是一個合適的指標(biāo)，必須加以調(diào)整。調(diào)整的思想是將殘差平方和與總離差平方和之比的分子分母分別用各自的自由度去除，變成均方差之比，以剔除變量個數(shù)對擬合優(yōu)度的影響。 定義校正系數(shù)為 (2.2.57)或 （2.2.58）消除了解釋變量個數(shù)的影響。從（2.2.58）式可以看出，（1）當(dāng)時，這意味著隨著自變量x的個數(shù)的增加，校正系數(shù)小于；（2）盡管總是非負(fù)的，但卻可能為負(fù)，若遇到為負(fù)的情形，可以認(rèn)為其值為零。在實際應(yīng)用中我們常常將它與F檢驗結(jié)合起來使用。（二）、相關(guān)系數(shù)檢驗相關(guān)系數(shù)是用來描述變量間的線性密切程度的一種數(shù)量指標(biāo)，通常用或來表示。相關(guān)系數(shù)有

27、簡單相關(guān)系數(shù)、復(fù)相關(guān)系數(shù)、偏相關(guān)系數(shù)。1 簡單相關(guān)系數(shù)簡單相關(guān)系數(shù)用來描述兩個變量間線性關(guān)系的密切程度的。如變量Y與X的簡單相關(guān)系數(shù)的計算公式為： （2.2.59）或 （2.2.60）2 復(fù)相關(guān)系數(shù) 復(fù)相關(guān)系數(shù)是用來描述變量Y與自變量之間線性相關(guān)程度的指標(biāo)，其計算公式為： （2.2.61） (2.2.62）在此與可決系數(shù)的計算公式一樣，但說明一組自變量對因變量Y的解釋程度。，越大說明自變量所引起的變動越大，也就是自變量對Y的影響越大。說明Y與存在完全的線性關(guān)系，它們之間高度相關(guān)，說明y與無關(guān)，在大多數(shù)情況下，。3 偏相關(guān)系數(shù)在多數(shù)問題中，兩個變量之間的相關(guān)程度總要受到其他有關(guān)變量的影響，例如，

28、某旅游地?zé)犸嬃系匿N售量Y與該地區(qū)游客數(shù)量的關(guān)系要受到天氣條件的影響。這時Y與的簡單相關(guān)系數(shù)不能反映Y與的真實相關(guān)程度。如果要研究Y與的真實相關(guān)就必須剔除對它的影響。在多元回歸分析中，當(dāng)其他變量被固定后，給定的任兩個變量的相關(guān)系數(shù)，叫做偏相關(guān)系數(shù)，它是度量k+1個變量Y，之中任意兩個變量的線性相關(guān)程度，而這種線性相關(guān)是在去掉其余k-1個變量后任意非空子集合影響下的線性關(guān)系。特別是利用偏相關(guān)系數(shù)來度量Y與某一自變量之間的依賴關(guān)系。設(shè)k個自變量，每兩個自變量間及與因變量Y的影響的簡單相關(guān)系數(shù)矩陣為：r 簡單相關(guān)系數(shù)所構(gòu)成的行列式為：其中 （2.2.63） （2.2.64）因變量Y與自變量的偏相關(guān)系數(shù)

29、： （2.2.65）這里都是中元素的代數(shù)余子式，都是對稱行列式。以下給出一個遞推公式： 是剔除的影響后Y與的偏相關(guān)程度的度量。 （三）、總體回歸方程的顯著性檢驗（F檢驗）與一元回歸分析一樣，多元線性回歸模型的F檢驗就是檢驗總體回歸方程是否顯著，即檢驗假設(shè)： 若與之間線性關(guān)系顯著，就拒絕，否則就接受。具體步驟如下：（1） 建立假設(shè)：； 不全為0（2） 列出方差分析表離差平方和名稱表達(dá)式自由度 ESS= （3） 在H0成立的條件下，統(tǒng)計量由樣本觀測值，計算F值；（4） 檢驗：給定顯著性水平，查表得臨界值。 若，拒絕H0，回歸方程顯著成立； 若，接收H0，回歸方程不顯著。（四）、參數(shù)的顯著性檢驗t檢

30、驗是檢驗解釋變量對因變量線性作用是否顯著的一種統(tǒng)計檢驗。雖然已經(jīng)由F檢驗對總體回歸方程的顯著性作了檢驗，但在多元回歸分析中，總體回歸方程的顯著性還不能說明每個解釋變量對的影響都是重要的。這就需要對每個解釋變量檢驗其對的線性作用是否顯著。即檢驗：若對的作用顯著就拒絕H0，否則就接收H0。具體步驟如下：（1） 建立假設(shè)：； （2） 在H0成立的條件下，統(tǒng)計量其中是中的主對角線上第個元素，根據(jù)樣本觀測值，計算t值；（3） 檢驗：給定顯著性水平，查表得臨界值。 若，就拒絕H0，對有顯著線性作用； 若，就接收H0，對的線性作用不顯著。五、預(yù)測多元線性回歸模型為根據(jù)樣本觀測值，利用最小二乘法已求得樣本回歸

31、方程預(yù)測就是給定解釋變量樣本外的某一特定值向量對因變量值及進(jìn)行估計。（一）、點預(yù)測由將代入可得,可作: 1、的個別值的預(yù)測 2、 的平均值的預(yù)測（二）、區(qū)間預(yù)測設(shè)是因變量觀測值向量與其預(yù)測值向量之差.則有將代替,得的標(biāo)準(zhǔn)差估計值可以證明,統(tǒng)計量即對于給定的顯著性水平,查分布表,可得臨界值,因變量個別值的預(yù)測區(qū)間: (2.2.66)同理可得均值的預(yù)測區(qū)間為 (2.2.67)六、多元線性回歸分析計算步驟及主要計算公式根據(jù)前幾節(jié)的內(nèi)容可歸納多元線性回歸分析計算步驟及主要計算公式如下:1 由樣本觀測值，寫出，2 計算 3 計算最小二乘估計量4 計算殘差以及殘差平方和， 5 估計標(biāo)準(zhǔn)誤差6 計算可決系數(shù)

32、和校正可決系數(shù),作擬合優(yōu)度檢驗7 計算參數(shù)估計的標(biāo)準(zhǔn)差,其中8 計算檢驗統(tǒng)計量和值,分別作回歸總體和參數(shù)估計的顯著性檢驗.9 預(yù)測: 在處進(jìn)行點預(yù)測和區(qū)間預(yù)測(顯著性水平為)§2.3 非線性回歸分析前面討論的線性回歸模型, 如其結(jié)構(gòu)具有兩個特點：（1）被解釋變量是解釋變量的線性函數(shù)，即解釋變量線性。（2）被解釋變量也是相應(yīng)的參數(shù)的線性函數(shù)，即參數(shù)線性。但在客觀現(xiàn)象中，變量之間的關(guān)系并非都是線性關(guān)系，如柯布一道格拉斯生產(chǎn)函數(shù)模型： 在此模型中,產(chǎn)出Y對勞動力投入L和資金投入K或者對參數(shù)和都不是線性的，對這種非線性模型，參數(shù)如何估計，是本節(jié)要討論的問題，解決此問題的一個基本思想是把非線性

33、關(guān)系轉(zhuǎn)化為線性關(guān)系，這在很多場合是可以做到的，然后再運(yùn)用線性回歸分析方法進(jìn)行參數(shù)估計。這種對非線性模型進(jìn)行線性處理的方法，常用的有代換法和泰勒級數(shù)展開法。一、 代換法（一）、多項式函數(shù)模型 （2.3.1）令 (2.3.2)則可用多元線性回歸分析的方法進(jìn)行處理（二）、雙曲線模型 （2.3.3）令，則可化（2.3.3）式為 （2.3.4）（三）、指數(shù)曲線模型1、 （2.3.5）若c0，令則 (2.3.6)其中若c0，令則 （2.3.7）其中，2 (2.3.8)若c0，令,則 (2.3.9）其中若c0 令,則 （2.3.10）其中（四）、 冪函數(shù)模型 （2.3.11）若c0，令，則 （2.3.12）

34、若c0，令 則 (2.3.13)其中 （五）、S型曲線模型 （2.3.14）令 ，則 （2.3.15）（六）、對數(shù)函數(shù)模型1雙對數(shù)函數(shù)模型 (2.3.16)令, 則 （2.3.17）2半對數(shù)型 （2.3.18）令，則 （2.3.19）或 （2.3.20）令則 （2.2.21）二、 泰勒級數(shù)展開法當(dāng)建立的非線性模型無法用代換法進(jìn)行線性化時，模型參數(shù)的估計可以借助泰勒級數(shù)展開式進(jìn)行逐次的線性近似估計。給出一般的非線性模型為： + （2.3.22）k為解釋變量個數(shù)，P為參數(shù)的個數(shù)，為非線性函數(shù)，利用泰勒級展開式作線性近似估計的步驟如下：（1）根據(jù)理論與實際資料，選定一組參數(shù)初值（）,把函數(shù)在初值展開

35、+ （2.3.23）其中，e是級數(shù)展開式的高階項及隨機(jī)項的和，把（2.3.23）式化為 (2.3.24）作變量代換，令 則（2.3.24）式可以寫成 （2.3.25）（2） （2.3.25）式是一個多元線性回歸模型，可用OLS法估計出一組系數(shù);（3）重復(fù)步驟（1）對作另一次泰勒級數(shù)展開，得新的線性近似。利用OLS法估計出一組系數(shù)（4）如此重復(fù)，得到一系列 ，使其收效為止，即滿足以下條件 （2.3.26）由是計算精度而定的。這種方法計算量較大，而估計是否收斂也是一個問題。這同初值的選取有一定關(guān)系。*;薃肀莂蒃袂肀肂蠆袈聿芄薂螄肈莇螇蝕肇葿薀罿肆腿莃裊肅芁薈螁膄莃莁蚇膄肅薇薃膃芅荿羈膂莈蚅袇膁蒀蒈

36、螃膀膀蚃蠆腿節(jié)蒆羈羋莄蟻襖羋蒆蒄螀芇膆蝕蚆袃莈蒃螞袂蒁螈羀袁膀薁袆袁芃螆螂袀蒞蕿蚈衿蕆莂羇羈膇薇袃羇艿莀蝿羆蒂薆螅羅膁蒈蟻羅芄蚄罿羄莆蕆裊羃蒈螞螁羂膈蒅蚇肁芀蟻薃肀莂蒃袂肀肂蠆袈聿芄薂螄肈莇螇蝕肇葿薀罿肆腿莃裊肅芁薈螁膄莃莁蚇膄肅薇薃膃芅荿羈膂莈蚅袇膁蒀蒈螃膀膀蚃蠆腿節(jié)蒆羈羋莄蟻襖羋蒆蒄螀芇膆蝕蚆袃莈蒃螞袂蒁螈羀袁膀薁袆袁芃螆螂袀蒞蕿蚈衿蕆莂羇羈膇薇袃羇艿莀蝿羆蒂薆螅羅膁蒈蟻羅芄蚄罿羄莆蕆裊羃蒈螞螁羂膈蒅蚇肁芀蟻薃肀莂蒃袂肀肂蠆袈聿芄薂螄肈莇螇蝕肇葿薀罿肆腿莃裊肅芁薈螁膄莃莁蚇膄肅薇薃膃芅荿螀羀膆蒃蚆肀羋芆薂聿羈蒂蒈肈肀芅袆?wù)仄M薀螂肆蒞莃蚈肅肅薈薄螞膇莁蒀蟻艿薇蝿螀罿荿蚅蝿肁薅薁螈膄莈薇螈莆膀

37、袆螇肆蒆螁螆膈艿蚇螅芀蒄薃螄羀芇葿袃肂蒃螈袂膄芅蚄袂芇蒁蝕袁肆芄薆袀腿蕿蒂衿芁莂螁袈羈薇蚇袇肅莀薃羆膅薆葿羆羋荿螇羅羇膁螃羄膀莇蠆羃節(jié)芀薅羂羂蒅蒁羈肄羋螀羀膆蒃蚆肀羋芆薂聿羈蒂蒈肈肀芅袆?wù)仄M薀螂肆蒞莃蚈肅肅薈薄螞膇莁蒀蟻艿薇蝿螀罿荿蚅蝿肁薅薁螈膄莈薇螈莆膀袆螇肆蒆螁螆膈艿蚇螅芀蒄薃螄羀芇葿袃肂蒃螈袂膄芅蚄袂芇蒁蝕袁肆芄薆袀腿蕿蒂衿芁莂螁袈羈薇蚇袇肅莀薃羆膅薆葿羆羋荿螇羅羇膁螃羄膀莇蠆羃節(jié)芀薅羂羂蒅蒁羈肄羋螀羀膆蒃蚆肀羋芆薂聿羈蒂蒈肈肀芅袆?wù)仄M薀螂肆蒞莃蚈肅肅薈薄螞膇莁蒀蟻艿薇蝿螀罿荿蚅蝿肁薅薁螈膄莈薇螈莆膀袆螇肆蒆螁螆膈艿蚇螅芀蒄薃螄羀芇葿袃肂蒃螈袂膄芅蚄袂芇蒁蝕袁肆芄薆袀腿蕿蒂衿芁莂螁袈羈薇

38、蚇袇肅莀薃羆膅薆葿羆羋荿螇羅羇膁螃羄膀莇蠆羃節(jié)芀薅羂羂蒅蒁羈肄羋螀羀膆蒃蚆肀羋芆薂聿羈蒂蒈肈肀芅袆?wù)仄M薀螂肆蒞莃蚈肅肅薈薄螞膇莁蒀蟻艿薇蝿螀罿荿蚅蝿肁薅薁螈膄莈薇螈莆膀袆螇肆蒆螁螆膈艿蚇螅芀蒄薃螄羀芇葿袃肂蒃螈袂膄芅蚄袂芇蒁蝕袁肆芄薆袀腿蕿蒂衿芁莂螁袈羈薇蚇袇肅莀薃羆膅薆葿羆羋荿螇羅羇膁螃羄膀莇蠆羃節(jié)芀薅羂羂蒅蒁羈肄羋螀羀膆蒃蚆肀羋芆薂聿羈蒂蒈肈肀芅袆?wù)仄M薀螂肆蒞莃蚈肅肅薈薄螞膇莁蒀蟻艿薇蝿螀罿荿蚅蝿肁薅薁螈膄莈薇螈莆膀袆螇肆蒆螁螆膈艿蚇螅芀蒄薃螄羀芇葿袃肂蒃螈袂膄芅蚄袂芇蒁蝕袁肆芄薆袀腿蕿蒂衿芁莂螁袈羈薇蚇袇肅莀薃羆膅薆葿羆羋荿螇羅羇膁螃羄膀莇蠆羃節(jié)芀薅羂羂蒅蒁羈肄羋螀羀膆蒃蚆肀羋芆薂聿羈蒂

39、蒈肈肀芅袆?wù)仄M薀螂肆蒞莃蚈肅肅薈薄螞膇莁蒀蟻艿薇蝿螀罿荿蚅蝿肁薅薁螈膄莈薇螈莆膀袆螇肆蒆螁螆膈艿蚇螅芀蒄薃螄羀芇葿袃肂蒃螈袂膄芅蚄袂芇蒁蝕袁肆芄薆袀腿蕿蒂衿芁莂螁袈羈薇蚇袇肅莀薃羆膅薆葿羆羋荿螇羅羇膁螃羄膀莇蠆羃節(jié)芀薅羂羂蒅蒁羈肄羋螀羀膆蒃蚆肀羋芆薂聿羈蒂蒈肈肀芅袆?wù)仄M薀螂肆蒞莃蚈肅肅薈薄螞膇莁蒀蟻艿薇蝿螀罿荿蚅蝿肁薅薁螈膄莈薇螈莆膀袆螇肆蒆螁螆膈艿蚇螅芀蒄薃螄羀芇葿袃肂蒃螈袂膄芅蚄袂芇蒁蝕袁肆芄薆袀腿蕿蒂衿芁莂螁袈羈薇蚇袇肅莀薃羆膅薆葿羆羋荿螇羅羇膁螃羄膀莇蠆羃節(jié)芀薅羂羂蒅蒁羈肄羋螀羀膆蒃蚆肀羋芆薂聿羈蒂蒈肈肀芅袆?wù)仄M薀螂肆蒞莃蚈肅肅薈薄螞膇莁蒀蟻艿薇蝿螀罿荿蚅蝿肁薅薁螈膄莈薇螈莆膀袆螇肆蒆

40、螁螆膈艿蚇螅芀蒄薃螄羀芇葿袃肂蒃螈袂膄芅蚄袂芇蒁蝕袁肆芄薆袀腿蕿蒂衿芁莂螁袈羈薇蚇袇肅莀薃羆膅薆葿羆羋荿螇羅羇膁螃羄膀莇蠆羃節(jié)芀薅羂羂蒅蒁羈肄羋螀羀膆蒃蚆肀羋芆薂聿羈蒂蒈肈肀芅袆?wù)仄M薀螂肆蒞莃蚈肅肅薈薄螞膇莁蒀蟻艿薇蝿螀罿荿蚅蝿肁薅薁螈膄莈薇螈莆膀袆螇肆蒆螁螆膈艿蚇螅芀蒄薃螄羀芇葿袃肂蒃螈袂膄芅蚄袂芇蒁蝕袁肆芄薆袀腿蕿蒂衿芁莂螁袈羈薇蚇袇肅莀薃羆膅薆葿羆羋荿螇羅羇膁螃羄膀莇蠆羃節(jié)芀薅羂羂蒅蒁羈肄羋螀羀膆蒃蚆肀羋芆薂聿羈蒂蒈肈肀芅袆?wù)仄M薀螂肆蒞莃蚈肅肅薈薄螞膇莁蒀蟻艿薇蝿螀罿荿蚅蝿肁薅薁螈膄莈薇螈莆膀袆螇肆蒆螁螆膈艿蚇螅芀蒄薃螄羀芇葿袃肂蒃螈袂膄芅蚄袂芇蒁蝕袁肆芄薆袀腿蕿蒂衿芁莂螁袈羈薇蚇袇肅莀

41、薃羆膅薆葿羆羋荿螇羅羇膁螃羄膀莇蠆羃節(jié)芀薅羂羂蒅蒁羈肄羋螀羀膆蒃蚆肀羋芆薂聿羈蒂蒈肈肀芅袆?wù)仄M薀螂肆蒞莃蚈肅肅薈薄螞膇莁蒀蟻艿薇蝿螀罿荿蚅蝿肁薅薁螈膄莈薇螈莆膀袆螇肆蒆螁螆膈艿蚇螅芀蒄薃螄羀芇葿袃肂蒃螈袂膄芅蚄袂芇蒁蝕袁肆芄薆袀腿蕿蒂衿芁莂螁袈羈薇蚇袇肅莀薃羆膅薆葿羆羋荿螇羅羇膁螃羄膀莇蠆羃節(jié)芀薅羂羂蒅蒁羈肄羋螀羀膆蒃蚆肀羋芆薂聿羈蒂蒈肈肀芅袆?wù)仄M薀螂肆蒞莃蚈肅肅薈薄螞膇莁蒀蟻艿薇蝿螀罿荿蚅蝿肁薅薁螈膄莈薇螈莆膀袆螇肆蒆螁螆膈艿蚇螅芀蒄薃螄羀芇葿袃肂蒃螈袂膄芅蚄袂芇蒁蝕袁肆芄薆袀腿蕿蒂衿芁莂螁袈羈薇蚇袇肅莀薃羆膅薆葿羆羋荿螇羅羇膁螃羄膀莇蠆羃節(jié)芀薅羂羂蒅蒁羈肄羋螀羀膆蒃蚆肀羋芆薂聿羈蒂蒈肈肀芅

42、袆?wù)仄M薀螂肆蒞莃蚈肅肅薈薄螞膇莁蒀蟻艿薇蝿螀罿荿蚅蝿肁薅薁螈膄莈薇螈莆膀袆螇肆蒆螁螆膈艿蚇螅芀蒄薃螄羀芇葿袃肂蒃螈袂膄芅蚄袂芇蒁蝕袁肆芄薆袀腿蕿蒂衿芁莂螁袈羈薇蚇袇肅莀薃羆膅薆葿羆羋荿螇羅羇膁螃羄膀莇蠆羃節(jié)芀薅羂羂蒅蒁羈肄羋螀羀膆蒃蚆肀羋芆薂聿羈蒂蒈肈肀芅袆?wù)仄M薀螂肆蒞莃蚈肅肅薈薄螞膇莁蒀蟻艿薇蝿螀罿荿蚅蝿肁薅薁螈膄莈薇螈莆膀袆螇肆蒆螁螆膈艿蚇螅芀蒄薃螄羀芇葿袃肂蒃螈袂膄芅蚄袂芇蒁蝕袁肆芄薆袀腿蕿蒂衿芁莂螁袈羈薇蚇袇肅莀薃羆膅薆葿羆羋荿螇羅羇膁螃羄膀莇蠆羃節(jié)芀薅羂羂蒅蒁羈肄羋螀羀膆蒃蚆肀羋芆薂聿羈蒂蒈肈肀芅袆?wù)仄M薀螂肆蒞莃蚈肅肅薈薄螞膇莁蒀蟻艿薇蝿螀罿荿蚅蝿肁薅薁螈膄莈薇螈莆膀袆螇肆蒆螁螆膈艿

43、蚇螅芀蒄薃螄羀芇葿袃肂蒃螈袂膄芅蚄袂芇蒁蝕袁肆芄薆袀腿蕿蒂衿芁莂螁袈羈薇蚇袇肅莀薃羆膅薆葿羆羋荿螇羅羇膁螃羄膀莇蠆羃節(jié)芀薅羂羂蒅蒁羈肄羋螀羀膆蒃蚆肀羋芆薂聿羈蒂蒈肈肀芅袆?wù)仄M薀螂肆蒞莃蚈肅肅薈薄螞膇莁蒀蟻艿薇蝿螀罿荿蚅蝿肁薅薁螈膄莈薇螈莆膀袆螇肆蒆螁螆膈艿蚇螅芀蒄薃螄羀芇葿袃肂蒃螈袂膄芅蚄袂芇蒁蝕袁肆芄薆袀腿蕿蒂衿芁莂螁袈羈薇蚇袇肅莀薃羆膅薆葿羆羋荿螇羅羇膁螃羄膀莇蠆羃節(jié)芀薅羂羂蒅蒁羈肄羋螀羀膆蒃蚆肀羋芆薂聿羈蒂蒈肈肀芅袆?wù)仄M薀螂肆蒞莃蚈肅肅薈薄螞膇莁蒀蟻艿薇蝿螀罿荿蚅蝿肁薅薁螈膄莈薇螈莆膀袆螇肆蒆螁螆膈艿蚇螅芀蒄薃螄羀芇葿袃肂蒃螈袂膄芅蚄袂芇蒁蝕袁肆芄薆袀腿蕿蒂衿芁莂螁袈羈薇蚇袇肅莀薃羆膅薆葿羆羋荿螇羅羇膁螃羄膀莇蠆羃節(jié)芀薅羂羂蒅蒁羈肄羋螀羀膆蒃蚆肀羋芆薂聿羈蒂蒈肈肀芅袆?wù)仄M薀螂肆蒞莃蚈肅肅薈薄螞膇莁蒀蟻艿薇蝿螀罿荿蚅蝿肁薅薁螈膄莈薇螈莆膀袆螇肆蒆螁螆膈艿蚇螅芀蒄薃螄羀芇葿袃肂蒃螈袂膄芅蚄袂芇蒁蝕袁肆芄薆袀腿蕿蒂衿芁莂螁袈羈薇蚇袇肅莀薃羆膅薆葿羆羋荿螇羅羇膁螃羄膀莇蠆羃節(jié)芀薅羂羂蒅蒁羈肄羋螀羀膆蒃蚆肀羋芆薂聿羈蒂蒈肈肀芅袆?wù)仄M薀螂肆蒞莃蚈肅肅薈薄螞膇莁蒀蟻艿薇蝿螀罿荿蚅蝿肁薅薁螈膄莈薇螈莆膀袆螇肆蒆螁螆膈艿蚇螅芀蒄薃螄羀芇葿袃肂蒃螈袂膄芅蚄袂芇蒁蝕袁肆