1、主講：溫 娜南京信息工程大學大氣科學學院2014年9月本課件主要參考南信大李麗平老師的課件l概述概述l回歸模型回歸模型l回歸系數的最小二乘估計回歸系數的最小二乘估計l方差分析方差分析l回歸方程顯著性檢驗回歸方程顯著性檢驗l預報因子顯著性檢驗預報因子顯著性檢驗l復相關系數復相關系數l預報步驟預報步驟1. 1. 意義意義 在氣象統計預報中，尋找與預報量線性在氣象統計預報中，尋找與預報量線性關系很好的單個因子是不夠的，實際上某個關系很好的單個因子是不夠的，實際上某個氣象要素的變化可能和氣象要素的變化可能和前期多個因子有關，前期多個因子有關，因此大部分氣象統計預報中的回歸分析都是因此大部分氣象統計預報

2、中的回歸分析都是用多元回歸技術進行。用多元回歸技術進行。2.2.基本概念基本概念 多元回歸就是研究一個預報量和多個多元回歸就是研究一個預報量和多個預報因子之間的關系。主要討論較為簡預報因子之間的關系。主要討論較為簡單的單的多元線性回歸多元線性回歸。其分析原理與一元。其分析原理與一元線性回歸分析完全相同。線性回歸分析完全相同。二、回歸模型二、回歸模型 假定預報量假定預報量y y與與p p個預報因子關系是線個預報因子關系是線性，為研究它們之間的聯系作性，為研究它們之間的聯系作n n次抽樣，則次抽樣，則可得到如下結構表達式：可得到如下結構表達式： (1)(1) nnppnnnppppexxxyexx

3、xyexxxy2211022222211021112211101 其中，其中， 為為p+1p+1個待估計參數，個待估計參數， 是是p p個個一般變量，一般變量， 是隨機誤差（相互獨立變是隨機誤差（相互獨立變量），服從量），服從 正態分布。上述模型正態分布。上述模型還可以寫為：還可以寫為： (2)(2) ixiie), 0(2NeXy其中，其中，都是向量。都是向量。X X是因子矩陣，即是因子矩陣，即 nyyy21yp102neee1enpnppxxxxxx1221111111X 我們得到的是我們得到的是一組實測一組實測p p個變量的樣本個變量的樣本，利，利用這組樣本（用這組樣本（n n 次抽樣次

4、抽樣）對上述回歸模型進行）對上述回歸模型進行估計，得到的估計方程為多元線性回歸估計方估計，得到的估計方程為多元線性回歸估計方程，記為：程，記為： (3)(3)其中，其中， 是是 的估計值，下面討論如何確定的估計值，下面討論如何確定它們。它們。ppbbbbxxxy22110ibi 和一元線性回歸類似，在樣本容量為和一元線性回歸類似，在樣本容量為n n的的y y預報量和因子變量預報量和因子變量x x的實測值中，滿足線性回的實測值中，滿足線性回歸方程歸方程的要求的回歸系數，應是使全部的的要求的回歸系數，應是使全部的預報量觀測值預報量觀測值與與回回歸估計值的差值平方和達到最小歸估計值的差值平方和達到最

5、小。即滿足。即滿足最小。最小。ippiiixbxbxbby22110ni1niiiyyQ12)( 對一組樣本資料，預報值的估計可以看成對一組樣本資料，預報值的估計可以看成為一個向量，記為為一個向量，記為滿足（滿足（3 3）的回歸方程，也可以寫為矩陣形式，）的回歸方程，也可以寫為矩陣形式，即即 ，其中，其中，X X就是因子矩陣就是因子矩陣，b b為回為回歸系數歸系數，即，即nyyy21ypbbb10bXby 預報量的觀測值與回歸值之差的內積就預報量的觀測值與回歸值之差的內積就是它們的分量的差值平方和，即是它們的分量的差值平方和，即根據微分學原理，有根據微分學原理，有00010pbQbQbQ()(

6、) ()()Q y y y yy-Xb y Xbyy-bXy-yXb bXXb可以寫成向量的形式可以寫成向量的形式0 0bXbXbbXbybyXbbyyb)()()()(Q=0y XbXbybyXb)()(XbXbXbXb2)(補充用矢量和補充用矢量和矩陣形式表示的函數的微分矩陣形式表示的函數的微分設設x 為為 列向量，列向量，a為為 列向列向量，量， 為為 的函數，則的函數，則f 對對x的偏微分記為的偏微分記為1n1nxaaxfix)(21nxfxfxffx1 1）如果如果x、a及及f如上面定義，則有如上面定義，則有2 2）如果）如果x x如上面定義，令如上面定義，令 ，則則ax fxxfx

7、x2f3 3）如果）如果A A為為 對稱陣，則對稱陣，則對對x x的偏微分為的偏微分為nn AxxfAxxAxx2)( 當矩陣和向量的運算結果是一行一列的矩當矩陣和向量的運算結果是一行一列的矩陣時，可以表示一個多元函數；陣時，可以表示一個多元函數； 多元函數的值域是一個數量，當它表達（多元函數的值域是一個數量，當它表達（x1, x2 ,xm) 有規則運算時，用向量和矩陣運算比有規則運算時，用向量和矩陣運算比較方便。較方便。 當多元函數當多元函數f(x1, x2 ,xm)表示（表示（x1, x2 ,xm)有規則運算時，它對（有規則運算時，它對（ x1, x2 ,xm ）的偏導也）的偏導也是有規則

8、的，可用多元函數是有規則的，可用多元函數f(X)對向量對向量X的導數的導數一并表示。一并表示。 前面的式子是采用向量和矩陣的運前面的式子是采用向量和矩陣的運算表示多元函數及多元函數對自變量的算表示多元函數及多元函數對自變量的導數，導數，不能說成不能說成“矩陣和向量的求導矩陣和向量的求導”，因為只有函數才能對它的自變量求導數。因為只有函數才能對它的自變量求導數。 通過分析其向量形式可得到通過分析其向量形式可得到求回歸系數求回歸系數的標準方程組矩陣形式，的標準方程組矩陣形式，即即 (4)(4)展開為展開為yXXbXniiipniippniiipniipniiiniipipniiiniiniiini

9、ipipniiniiniiniippniiyxxbxxbxbyxxxbxxbxbyxxxbxbxbyxbxbnb112111101212112112011111211110111110求解上述方程組的方法：求解上述方程組的方法：1)1)用高斯或亞當用高斯或亞當高斯消去法，解此高斯消去法，解此正規方程組得回歸系數估計值正規方程組得回歸系數估計值b b0 0和和b bk k(k=1-p) (k=1-p) 2)2)用矩陣運算求解用矩陣運算求解( (逆矩陣法逆矩陣法) )l Ab=B A-1Ab=A-1B b=A-1Bl b=A-1B=(XX)-1XY四、線性回歸模型的其他兩種形式四、線性回歸模型的其

10、他兩種形式1 1、距平形式：、距平形式： 從（從（4 4）式可以導出）式可以導出代入（代入（3 3）式，得到）式，得到 ppxbxbxbyb22110)()()(222111pppxxbxxbxxbyy令令上式變為上式變為 （5） yyyd 111xxxdppdpxxx.dppdddxbxbxby2211 對一組樣本容量為對一組樣本容量為n n的多個距平變量數據，的多個距平變量數據，可類似寫成可類似寫成回歸方程的矩陣形式回歸方程的矩陣形式其中，其中，bXydd dnddyy1ypbb1bdnpdndnpdddpdddxxxxxxxxx212222111211dX 氣象上，氣象上，為消除季節變化

11、的差別或者為消除季節變化的差別或者地點的差別地點的差別，經常使用距平變量研究問題。經常使用距平變量研究問題。所以形如（所以形如（5 5）式的回歸方程更為常用。）式的回歸方程更為常用。 1 1）從距平變量的觀測值求回歸系數，）從距平變量的觀測值求回歸系數，同樣用最小二乘法導出求回歸系數的標準同樣用最小二乘法導出求回歸系數的標準方程組，其矩陣形式為方程組，其矩陣形式為 (6)ddddbyXXX展開得到求系數標準方程組形式為展開得到求系數標準方程組形式為nididipnidippnididipnididipnididinidipdipnidinididinididinidipdipdinidinid

12、iyxxbxxbxxbyxxxbxbxxbyxxxbxxbxb112112111121212221121111111221211 2 2）有時，為書寫方便，（）有時，為書寫方便，（6 6）式兩邊乘上）式兩邊乘上1/n1/n，變成各變量的協方差形式，相應的方，變成各變量的協方差形式，相應的方程組寫為程組寫為其中，其中，pypppppyppyppssbsbsbssbsbsbssbsbsb22112222221111122111nidildikklxxns11nididikkyyxns11plk, 2 , 1, 通常稱通常稱 為為因子協方差矩陣因子協方差矩陣。于是（于是（6 6）式可以寫為）式可以寫

13、為 。 其中其中上面的方程組和（上面的方程組和（6 6）式沒有本質區別，有時）式沒有本質區別，有時直接從（直接從（6 6）式求解，但寫成上面的形式。）式求解，但寫成上面的形式。ddX XX Xn1SxysSb pyyxyss1s2 2、如果把變量變成、如果把變量變成標準化變量標準化變量，即對（，即對（5 5）式的距平變量多元線性回歸方程兩邊除以式的距平變量多元線性回歸方程兩邊除以預報量預報量y y的標準差，得到的標準差，得到其中，其中， 為為p p個變量的標準差。個變量的標準差。ypppyyysxxbsxxbsxxbsyy222111pppyppyysxxssbsxxssbsxxssb2222

14、211111is若令若令則可以化為則可以化為標準化回歸方程標準化回歸方程 ykkzkkkkzkyzssbbsxxxsyyyplk, 2 , 1,zpzpzzzzzxbxbxby2211 對一組樣本容量為對一組樣本容量為n n的多變量數據，可的多變量數據，可類似寫成類似寫成標準化變量回歸方程矩陣形式標準化變量回歸方程矩陣形式 (7)(7) 其中，其中， 為標準化因子矩陣，為標準化因子矩陣， 為標為標準化回歸系數向量，其中第準化回歸系數向量，其中第k k個分量為個分量為 。zzzbXyzXzbzkb 可用最小二乘法求出標準化回歸系數向可用最小二乘法求出標準化回歸系數向量，量，標準化方程組的矩陣形式

15、為標準化方程組的矩陣形式為或者或者 (8)(8)其中，其中，zzzzyXbXXzxyzrRbzznXXR1zzpyyynrrryXrxy121R R為為p p個因子的相關矩陣。（個因子的相關矩陣。（8 8）式展開為）式展開為pyzpppzpzpyzppzzyzppzzrbrbrbrrbrbrbrrbrbrbr22112222212111212111l原始變量回歸方程：原始變量回歸方程：l距平變量回歸方程：距平變量回歸方程：l標準化變量回歸方程：標準化變量回歸方程：01 122kkybb xb xb x1122dddkdkyb xb xb x1122zzzzzzzkyb xb xb x四、回歸問

16、題的方差分析四、回歸問題的方差分析 和一元回歸問題方差分析類似，預報量和一元回歸問題方差分析類似，預報量的方差可以表示成回歸估計值的方差（回的方差可以表示成回歸估計值的方差（回 歸方差）和誤差方差（殘差方差）之和。歸方差）和誤差方差（殘差方差）之和。222eyySSS 有時候，兩邊同時乘以有時候，兩邊同時乘以n n變成各變量離差變成各變量離差平方和的關系。平方和的關系。QUSyyddniiyyUyy )(12)( )() ()()(1122ddddniniiiiiyyyyyyQyyyyddniiyyyySyy12)( 上式最后一項為上式最后一項為0 0。U U和和Q Q分別稱為回歸平分別稱為回

17、歸平方和及殘差平方和，方和及殘差平方和， 稱為總離差平方和。稱為總離差平方和。U U反映了反映了p p個因子與預報量線性關系部分。個因子與預報量線性關系部分。Q Q反反映了觀測值偏離回歸直線的程度。映了觀測值偏離回歸直線的程度。yyS)( 2)( )(dddddddddyyyyyyyyy)()(ddddddyySyyyyyy向量形式：向量形式：niiniiniiiyyyyyyyyR12121)()()(yyddddddddddddSUR)()(yyyyyyyyyyyy 意義：意義： 上式反映了上式反映了回歸平方和回歸平方和、總離差總離差平方和平方和與與復相關系數復相關系數的關系?？梢?，的關系。

18、可見，復相關系數實際是衡量復相關系數實際是衡量p p個因子對預個因子對預報量的線性解釋方差的百分率，其報量的線性解釋方差的百分率，其變化在變化在0 01 1之間。之間。yySQR 12 1 1）衡量）衡量一個一個預報量和預報量和多個預報多個預報因子因子之間的線性關系程度的量；之間的線性關系程度的量； 2 2）衡量了預報因子對預報量的線性解衡量了預報因子對預報量的線性解釋方差的百分率；釋方差的百分率； 3 3）R R的絕對值越大，表明回歸效果越好。的絕對值越大，表明回歸效果越好。201R 調整復相關系數調整復相關系數殘差方差的無偏估計量殘差方差的無偏估計量: :預報量預報量y y的方差的無偏估計

19、量：的方差的無偏估計量：12pnQe12nSyyy 調整復相關系數調整復相關系數是對總體復相關系數的估計，是對總體復相關系數的估計，也是對總體回歸關系的解釋方差的一種估計。也是對總體回歸關系的解釋方差的一種估計。1111222nSpnQRyyye)1)(11(12Rpnn 假設預報因子與預報量之間無線性關系，假設預報因子與預報量之間無線性關系，則回歸系數應該為則回歸系數應該為0 0。 檢驗假設：檢驗假設： 計算統計量計算統計量0:210pH1pnQpUF遵從分子自由度為遵從分子自由度為p,p,分母自由度為分母自由度為n-p-1n-p-1的的F F分布，在顯著性水平分布，在顯著性水平 下，若下，

20、若 ，認為回歸方程是顯著的。認為回歸方程是顯著的。11122pnRpRpnSQpSUFyyyyFF 七、預報值的七、預報值的95%置信區間置信區間ey96.1 1pnQe1.1.確定預報量并選擇恰當的因子。確定預報量并選擇恰當的因子。2.2.根據數據計算回歸系數標準方程組所包含根據數據計算回歸系數標準方程組所包含的有關統計量（因子的交叉積、矩陣協方的有關統計量（因子的交叉積、矩陣協方差陣或相關矩陣，以及因子與預報量交叉差陣或相關矩陣，以及因子與預報量交叉積向量等）；積向量等）；3.3.求解線性方程組，定出回歸系數；求解線性方程組，定出回歸系數；4.4.建立回歸方程并進行統計顯著性檢驗；建立回歸

21、方程并進行統計顯著性檢驗；5.5.利用已經給出的因子帶入回歸方程做出預利用已經給出的因子帶入回歸方程做出預報量的估計，求出預報值的置信區間。報量的估計，求出預報值的置信區間。例例1，為預報長江中下游，為預報長江中下游7月降水，選取月降水，選取x1為當年長江為當年長江中下游五站平均的中下游五站平均的1月份降水量；月份降水量；x2是當年是當年2月份平均月份平均氣溫，氣溫，n=29,由資料計算得離差陣由資料計算得離差陣 :及及74468413715193814755055446921.).( xxyG試建立二元回歸方程試建立二元回歸方程解：增廣系數矩陣解：增廣系數矩陣 )(0A1)、k=110123908175635055446903240908175634456911011013113011012112011011111.,)()()()()()