第6節逐步回歸分析。逐步回歸分析概述1概念逐步回歸模型是以已知地理數據序列為基礎，根據多元回歸分析法和求解求逆緊湊變換法及雙檢驗法而建立的能夠反映地理要素之間變化關系的最優回歸模型。逐步回歸分析的數學模型逐步回歸分析的數學模型是指僅包含對因變量Y有顯著影響自變量的多元線性回歸方程。為了利于變換求算和上機計算，將對其變量進行重新編號并對原始數據進行標準化處理。變量重新編號1新編號數學模型令，自變量個數為k-1，則其數學模型為：式中，α=1，2，3，…，nn：樣本個數其中：的偏回歸平方和為：：為的算術平均值：的偏回歸系數：為逆矩陣對角線對應元素2回歸數學模型新編號的回歸數學模型為：標準化數學模型標準化回歸數學模型是指將原始數據進行標準化處理后而建立的回歸數學模型，即實質上是每個原始數據減去平均值后再除以離差平方和的方根。1標準化回歸數學模型令j=1，2，3，…，k其中：！為離差平方和的方根注意：它們之間的區別，即離差平方和，離差平方和的方根，方差，標準差。則回歸數學模型為：2標準化回歸數學模型的正規方程組標準化回歸數學模型正規方程組的一般形式為：因為，，所以上述正規方程組可變為：這樣，數據標準化處理后的估計值0，并令，則可得數據標準化處理后的回歸方程數學模型的正規方程組的一般形式為：這樣，數據標準化后的估計值應為0，并令，則可得：其中:稱為相關系數矩陣。解此方程組，即可求出，故可得標準化后的回歸模型為：標準化的回歸模型的矩陣形式：標準化前后回歸模型的關系1標準化前后的回歸模型1）標準化前后回歸模型為：2）標準化后回歸模型為：2標準化前后的偏回歸系數標準化前后偏回歸系數的關系可從變化過程反演得知：令代入標準化前的回歸模型可得：整理后得：將上式與標準化前的回歸模型作比較，由待定系數法可知標準化前后回歸模型的偏回歸系數的關系為：j=1,2,3,…k-1于是，只要求出，即可求出，今后僅討論標準化后的回歸模型。3標準化后的各種離差平方和求解求逆緊湊變換法逐步回歸分析每引進和剔除一個變量都要用到求解求逆緊奏變換法進行矩陣變換，最后求出方程組的解和逆矩陣。現介紹其變換原理和方法步驟。求解求逆緊奏變換法的基本公式由上述介紹可知，標準化后的正規方程組為：可得增廣矩陣，由經高斯消元法變換為，既可求出解和相應的逆矩陣。故經高斯消元法變換為：=D其變換公式為：說明：公式（1）是好理解的；公式（2）是指求算非主行和非主列的元素，實質上就是該元素減去其對應的主行與主列元素相乘并除以主元素。舉例，解下列方程組：解：利用上述高斯消元法的（1）（2）公式，解上述方程組的求解求逆變換過程如下：由上述方程組可得高斯求解求逆變換法矩陣形式：當=1，主元素為：，根據高斯求解求逆變換法原理和方法，可得：當=2，主元素為：，根據高斯求解求逆變換法原理和方法，可得：當=3，主元素為：，根據高斯求解求逆變換法原理和方法，可得：X提出問題：由上述高斯削元法變換可知，單位矩陣只是從后k逐列移至前k列，而只是起到形式作用。這樣，若利用計算機程序求解求逆就要多占用k*k個單元，試想能否節省k*k個單元呢從以上變換可知，如果能將后k列經過變換后放置前k列去，這樣k*k個單元即可節省。如何做呢這要找出后k列變換前后的關系。若經過（-1）次變換得到，則第k+1+列除了第個元素為1，其余均為0，即，第k+1+列各元素值為：若再對變換一次得，則第k+1+列各元素可由高斯消元法的公式（1）（2）變換為為：這就相當于第k+1+列的第個元素1除以主元素，其余的元素都除以主元素并變號，于是可將第k+1+列放到對應的前列中，這樣單位矩陣就節省了，上述整個過程就稱為矩陣的求解求逆緊奏變換法。將上述公式合并即得求解求逆緊奏變換法的公式：說明：（1）式為求主行各元素；（2）式為求非主行非主列的各元素；用公式（2）求非主行所有元素，如：。（3）式為求主元素；（4）式為求主列個各元素。舉例：利用求解求逆緊奏變換法解上述方程組：解：當=1，主元素為：，根據求解求逆緊湊變換法原理和方法，可得：當=2，主元素為：，根據求解求逆緊湊變換法原理和方法，可得：當=3，主元素為：，根據求解求逆緊湊變換法原理和方法，可得：X由兩種方法比較可知，其結果一樣，故求解求逆緊奏變換法可節省K*K個存儲單元。6.3.2基本性質1每作一次變換，就求得一組解和相應的逆矩陣；2對作變換得，同變換次序無關，即與哪個作主元素無關；3當,即，同一主元素作兩次變換可還原；4在矩陣中，具有下列對稱性：6.3.3求解求逆緊奏變換法與回歸分析的關系由上述分析可知，逐步回歸分析要求解的正規方程組為：則逐步回歸分析中的求解求逆緊奏變換法的增廣矩陣是：在逐步回歸分析中，每引進一個變量或者剔除一個變量，都要對R進行一次求解求逆緊奏變換法變換，最后求得，再恒等變換為，所以求解求逆緊奏變換法在逐步回歸分析中十分有用。逐步回歸分析的步驟根據逐步回歸分析的原理和方法，現介紹其具體步驟。以表6–3（）中地理數據為例。地理數據4--5臺風編號7503-90065093546003-56665215217301--33361223597412589621341666152896005254612620962084286513-6736312-3955904-3276007--8296306--2667504--6535901-1876102--1787207-1607123-2807010-2345612--2645622--2166214--2946911--2686001-1856906246第一步求初始相關系數矩陣由表6--3中地理數據可求得初始相關系數矩陣為：第二步逐步優選變量該步是指逐步優選變量以建立最優回歸方程。1選擇第一個變量首先，引入第一個變量以建立一元回歸模型：1）確定F1=F2=5（本例最好為），即引進與剔除變量的F檢驗值。2）引進變量的原則與方法如何確定先引入哪一個變量呢（1）選擇原則引入原則為偏回歸平方和最大者，也稱為方差貢獻最大者。由前述可知，回歸平方和越大，回歸方程的效果就越好。（2）選擇方法如何選擇偏回歸平方和最大者呢方法有兩鐘，即：一般方法和直接方法。一般方法：一般方法是指從建立后的回歸方程求得，公式為：這樣看來，工作量相當大，設想一下，能否從中直接求得各偏回歸平方和再從中選擇最大者呢回答是肯定的！因為是從中變換得來的，所以，它們之間有數量聯系。直接方法：直接方法是指從中直接求得偏回歸平方和最大者。如何從中直接求呢這就要從求解求逆緊湊變換法中找出中的關系。由上述變換可知：于是，中的偏回歸平方和可得：此式表明，完全可以從中直接求得。于是可拓展到：3）引進變量(1)確定引進變量，即：求便可確定。運用直接方法即可求算所有偏回歸平方和，并選取者。由于的對角元素均為：所以，最后一列絕對值最大者便為偏回歸平方和最大者。本例為，即：由此可知，故引入的第一個變量為：，即：(2)引進變量檢驗方法為F檢驗法，首先，應經驗性確定臨界值，其大小主要與信度和自由度有關，所以，不宜太大，否則，引進變量較少，不實用。本例K=7，若試選4個變量，則，即：，選為宜。因為F3=＞F1=，所以引進的第一個變量為。(3)求算經求解求逆緊湊變換法可求得為：4)剔除變量由于剛引進第一個變量，故略。2選擇第二個變量1)引進變量(1)確定引進變量，求算，并求取，j=2，3，4，5，6，7同理可求得：，，，，由此可知(2)引進變量檢驗因為F3=>F2=，所以應引進變量，并對進行求解求逆緊湊變換得，如表所示。2）剔除變量由于變量剛剛引進，現只需對作檢驗。（1）確定剔除變量，求算，并求取，j=1，6（2）剔除檢驗因為，所以不應剔除，繼續引進變量。3選擇第三個變量(1)確定引進變量，求算，并求取，j=2，3，4，5，7同理可求得：，，，由此可知(2)引進變量檢驗因為，所以,應引進變量，并對進行求解求逆緊湊變換得，如表所示。2）剔除變量由于變量剛剛引進，現只需對，作剔除檢驗。（1）確定剔除變量，求算，并求取，j=1，6由此可知，為最小，故對做剔除檢驗。（2）剔除檢驗因為，所以不應剔除，繼續引進變量。說明：有兩鐘情況，即：時，不應剔除變量，并繼續引進新的變量；時，應剔除變量，并對做變換，這時，還要對變量作剔除檢驗，若時，則終止剔除檢驗，繼續引進新的變量；如時，則繼續做剔除檢驗，直到沒有不顯著變量存在為止。4選擇第四個變量1)引進變量(1)確定引進變量，求算，并求取，j=2，3，4，7同理可求得：，，由此可知(2)引進變量檢驗因為，所以,應引進變量，并對進行求解求逆緊湊變換得，即：，如表所示。2）剔除變量由于變量剛剛引進，現只需對，，作檢驗。（1）確定剔除變量，求算，并求取，j=1，3，5，6。，由此可知，為最小，則先對作剔除檢驗。（2）剔除檢驗因為，所以不應剔除變量，繼續引進新的變量。5選擇第五個變量1)引進變量(1)確定引進變量，求算，并求取，j=2，4，7同理可求得：，由此可知為最大，故確定引進變量。(2)引進變量檢驗因為F3=＜F2=，所以不應引進變量，同時表明再無顯著變量可以引進，則應終止，并即可求出最優回歸模型。第三步建立回歸方程，即最優回歸方程。1、求算，j=1，3，5，6根據求解求逆緊湊變換法的基本原理和方法步驟，由可知：2、求算，j=1，3，5，6。(1)求有關項，，，，(2)求(3)求算故求得逐步回歸分析的最優回歸方程為：第五步顯著性檢驗1、求有關項或者2、求F3、求查表可得：因為F=＞，所以該回歸方程顯著，可以應用于地理分析。例2根據逐步回歸分析的原理和方法，現介紹其具體步驟。以表中地理數據為例。表地理數據序號1401651402302431853393281866534411851435281866536562342537402044508471962432369321856581042193552115722535523812311932671367206232143421316615511958471647232873第一步求初始相關系數矩陣由表中地理數據可求得初始相關系數矩陣為：第二步選擇第一個變量1、確定F1=F2=5，即引進與剔除變量的F檢驗值。2、引進變量(1)求，即求算所有偏回歸平方和，并選取者。同理可求得：，，由此可知(2)引進變量檢驗因為F3=＞F1=5，所以引進的第一個變量為z2。(3)求算經求解求逆緊湊變換法可求得為：2、剔除變量由于剛引進第一個變量，故略。第三步選擇第二個變量1、引進變量(1)求算，并求取，j=1，3，4同理可求得：，由此可知(2)引進變量檢驗因為F3=＜F2=5，所以再無顯著變量引進，故引進變工作結束。2、剔除變量由于未引進變量，剔除工作也結束。第四步建立回歸方程，即最優回歸方程。1、求算，j=2由可知：2、求算，j=2(1)求有關項，(2)求(3)求算故求得逐步回歸分析的最優回歸方程為：第五步顯著性檢驗1、求有關項2、求F3、求查表可得：因為F=＞，所以該回歸方程顯著，可以應用于地理分析。為了全面掌握逐步回歸分析的步驟，若設時，則第三步選擇第二個變量的引進變量檢驗中，因為F3=＞F1=，所以引進的第二個變量為。這樣就須繼續進行。求由經求解求逆緊湊變換法可求得為：現已引進、兩個變量，由于剛引進，故只須對作剔除檢驗，具體步驟如下：(1)求(2)求因為F3=＞F2=，所以是顯著變量，不應剔除。繼續選擇第三個變量，若還有顯著變量引進則繼續進行，具體步驟同上述，若再無有顯著變量引進，則結束，即可建立回歸方程，具體步驟如下：(1)求，j=2，4由(2)求算bj，j=2，4①求有關項，，②求算，j=2，4③求故求得逐步回歸分析的最優回歸方程為：對回歸方程進行顯著性檢驗，具體步驟如下：(1)求有關項(2)求F(3)求查表可得：因為F=＞，所以該回歸方程顯著，可以應用于地理分析。逐步回歸分析的實習指導6.5.1實習目的1、鞏固逐步回歸分析的基本原理及方法步驟。2、掌握逐步回歸分析程序的使用方法及技巧。3、求取最優回歸方程并應用于預測等。4、掌握逐步回歸分析程序的變換應用方法。6.5.2實習內容1、標識符說明N 樣本個數M 自變量數F1、F2 F檢驗的臨界值Q 存放選入l個自變量以后的剩余平方和Q2存放y的剩余標準差估計值L 選入自變量的個數X(N,M+1) 存放變量Xα1,Xα2,Xα3,…,Xαm+1=y的數據(α=1,2,3,…,N)R(M+1,M+1) 存放相關系數B(M) 存放回歸系數b0,b1,b2,…,blT(M) 臨時存貯單元，開始時用以標記自變量是否選上，當xi未選入時T(I)=0，一旦xi選入，則T(I)存放R－1對角線元素。Z(I) 存放回歸系數顯著性檢驗的t統計量A(M+1) 存放自變量xi和y的平均數V(M+1) 存放離差平方和的均方根（i=1,2,3,…,m+1）。 F F檢驗值Sa 剩余標準差yi 原始y值pyi 預測y值Er 預測誤差Er% 相對預測誤差2、程序5REM逐步回歸分析程序10INPUT“樣本數N，自變量數M,F檢驗數F1,F2=”；N,M,F1,F215Y=M+120DIMX(N,Y),A(Y),R(Y,Y),V(Y),U(Y),T(M),Z(M),B(M),E(N)25FORI=1TON30FORJ=1TOY35READX(I,J)40PRINTX(I,J);45NEXTJ50PRINT55NEXTI57REM形成相關系數矩陣60FORJ=1TOY65T=070D=075FORI=1TON80T=T+X(I,J)85D=D+X(I,J)*X(I,J)90NEXTI95T=T/N100A(J)=T105D=SQR(D－N*T*T)110V(J)=D115NEXTJ120FORI=2TOY125FORJ=1TOI－1130G1=0135FORK=1TON140G1=G1+(X(K,I)－A(I))*(X(K,J)－A(J))145NEXTK150G1=G1/(V(I)*V(J))155R(I,J)=G1160R(J,I)=G1165NEXTJ170NEXTI175FORI=1TOY180R(I,I)=1185U(I)=V(Y)/V(I)190NEXTI195PRINT“RMatrix”200FORI=1TOY202FORJ=1TOI205PRINTR(I,J),208NEXTJ209PRINT210NEXTI213REM選因子和剔除因子的過程215T1=0220L=0225Q=1230T1=T1+1235V1=0240V2=10245FORI=1TOM250T(I)=0255D=R(I,I)260IFD<1E－08THEN315265W=(R(Y,I)/D)*R(I,Y)270IFW>0THEN300275T(I)=D280IF－W>=V2THEN315285V2=－W290I2=I295GOTO315300IFW<=V1THEN315305V1=W310I1=I315NEXTI320IFT1<=2THEN360325F3=(N－L－1)*V2/Q330IFF3>F2THEN360335L=L－1340K=I2345K1=－K350PRINT“Imin=”；K1，“L=”；L355GOTO390360IFL>=MTHEN475362F3=(N－L－2)*V1／(Q－V1)365IFF3<F1THEN475370L=L+1375K=I1380K1=I1385PRINT“Imax=”；K1,“L=”；L387REM求解求逆緊湊變換390FORI=1TOY395FORJ=1TOY400IFI=KTHEN420405IFJ=KTHEN415410R(I,J)=R(I,J)–R(I,K)*R(K,J)/R(K,K)415NEXTJ420NEXTI425FORI=1TOY430IFI=KTHEN445435R(K,I)=R(K,I)/R(K,K)440R(I,K)=－R(I,K)/R(K,K)445NEXTI450R(K,K)=1/R(K,K)453REM求，F比，455Q=R(Y,Y)460F=(N－L－1)*(1－Q)/(L*Q)465Q2=SQR(Q/(N－L－1))*V(Y)470GOTO230475PRINT“*********************”480IFL=0THEN500485PRINT“L=”；L，“F=”；F，“Sigma=”；Q2490GOSUB510495GOTO505500PRINT“YisIndependentWithX”505END507REM求回歸系數b0和bi510D=0515FORI=1TOM520IFT(I)<>0THEN540525B(I)=0530Z(I)=0535GOTO560540D1=R(I,Y)545B(I)=U(I)*D1550D=D+B(I)*A(I)555Z(I)=D1/SQR(T(I)*Q/(N－L－1))560NEXTI565B(0)=A(Y)－D570PRINT“b0=”，B(0)575PRINT“I”，“bi”，“Ti”580FORI=1TOM585PRINTI,B(I),Z(I)590NEXTI595E1=0600K2=0605PRINT“I”，“Yi”，“Pyi”，“Er”，“Er％”610FORK=1TON615D=B(0)620FORI=1TOM625I