1、精選優質文檔-傾情為你奉上實驗八：主成分回歸實驗題目：對例5.5的Hald水泥問題用主成分方法建立模型，并與其他方法的結果進行比較。例5.5如下：本例為回歸經典的Hald水泥問題。某種水泥在凝固時放出的熱量y（卡/克，cal/g）與水泥中的四種化學成分的含量（%）有關，這四種化學成分分別是x1鋁酸三鈣（3CaO.Al2O3），x2硅酸三鈣（3CaO.SiO2），x3鐵鋁酸四鈣（4CaO.Al2O3.Fe2O3），x4硅酸三鈣（2CaO.SiO2）?，F觀測到13組數據，如表5-3所示。表5-3x1x2x3x4y72666078.5129155274.31156820104.3113184787.

2、675263395.91155922109.2371176102.7131224472.5254182293.12147426115.9140233483.81166912113.31068812109.4實驗目的：多重共線性的診斷及解決方法、利用主成分回歸解決多重共線性問題。SPSS輸出結果及答案：一、主成分法：多重共線性診斷：相關性yx1x2x3x4yPearson 相關性1.731*.816*-.535-.821*顯著性（雙側）.005.001.060.001N1313131313x1Pearson 相關性.731*1.229-.824*-.245顯著性（雙側）.005.453.001.

3、419N1313131313x2Pearson 相關性.816*.2291-.139-.973*顯著性（雙側）.001.453.650.000N1313131313x3Pearson 相關性-.535-.824*-.1391.030顯著性（雙側）.060.001.650.924N1313131313x4Pearson 相關性-.821*-.245-.973*.0301顯著性（雙側）.001.419.000.924N1313131313*. 在 .01 水平（雙側）上顯著相關。由表可知，x1，x2，x4的相關性都比較大，較接近，所以存在多重共線性主成分回歸：解釋的總方差成份初始特征值提取平方和載

4、入合計方差的 %累積 %合計方差的 %累積 %12.23655.89355.8932.23655.89355.89321.57639.40295.2941.57639.40295.2943.1874.66599.959.1874.66599.9594.002.041100.000.002.041100.000提取方法：主成份分析。輸出結果顯示有四個特征根，最大的是1=2.236，最小的是4=0.002。方差百分比顯示第一個主成分Factor1的方差百分比近56%的信息量；前兩個主成分累計包含近95.3%的信息量。因此取兩個主成分就已經足夠。由于前兩個主成分的方差累計已經達到95.3%，故只保留

5、前兩個主成分。成份矩陣a成份1234x1.712-.639.292.010x2.843.520-.136.026x3-.589.759.275.011x4-.819-.566-.084.027提取方法：主成分a. 已提取了 4 個成份。由解釋的總方差表中累計貢獻性知，f1和f2的累計貢獻性就在85%95%之間。所以主成分取f1,f2。得到因子得分的數值，并對其進行處理：sqrt(2.236)* FAD1_1, sqrt(1.576)* FAD2_1可以得出主成分表（f1 f2）。對f1 f2進行普通最小二乘線性回歸系數a模型非標準化系數標準系數tSig.B標準 誤差試用版1(常量)95.423

6、.855111.635.000f19.882.595.98216.610.000f2.125.709.010.176.864a. 因變量: y由系數表可得，主成分回歸方程為：y=95.423+9.882 f1+0.125 f2分別對兩個主成分f1和f2做因變量，以4個原始自變量為自變量做線性回歸模型非標準化系數標準系數tSig.B標準 誤差試用版1(常量)-.643.000.x1.081.000.318.x2.036.000.377.x3-.062.000-.264.x4-.033.000-.366.a. 因變量: f1f1=-0.643+0.081x1+0.036x2-0.062x3-0.0

7、33x4對f2和x1x2x3x4進行回歸模型非標準化系數標準系數tSig.B標準 誤差試用版1(常量)-.938.000-.661.000x1-.087.000-.405-.545.000x2.027.000.330.057.000x3.094.000.482.955.000x4-.027.000-.359-.589.000a. 因變量: f2f2=-0.938-0.087x1+0.027x2+0.094x3-0.027x4所以還原后的主成分回歸方程為：y=88.+0.x1+0.x2-0.x3-0.x4從主成分法得出的方程中我們可以看出某種水泥在凝固時放出的熱量與鋁酸三鈣，硅酸三鈣成正比，與鋁

8、酸四鈣和硅酸二鈣成反比，且當該水泥放出1單位的熱量時，需要消耗0.g的鋁酸三鈣和0.g的硅酸三鈣；當該水泥吸收1單位的熱量時，需要消耗0.g的鋁酸四鈣和0.g的硅酸二鈣。二嶺回歸法首先做普通二乘回歸，得到結果如下：系數a模型非標準化系數標準系數tSig.共線性統計量B標準 誤差試用版容差VIF1(常量)62.40570.071.891.399x11.551.745.6072.083.071.02638.496x2.510.724.528.705.501.004254.423x3.102.755.043.135.896.02146.868x4-.144.709-.160-.203.844.004

9、282.513由系數表中的方差擴大因子VIF可以初步看出直接建立的線性模型具有嚴重的共線性，所以我們直接用嶺回歸方法進行處理，與再與主成分法進行比較。嶺回歸INCLUDE 'C:Program FilesIBMSPSSStatistics19SamplesEnglishRIDGE regression.sps'.RIDGEREG enter x1 x2 x3 x4/dep=y R-SQUARE AND BETA COEFFICIENTS FOR ESTIMATED VALUES OF K K RSQ x1 x2 x3 x4_ _ _ _ _ _.00000 .98238 . .

10、 . -.05000 .98092 . . -. -.10000 .97829 . . -. -.15000 .97492 . . -. -.20000 .97105 . . -. -.25000 .96676 . . -. -.30000 .96212 . . -. -.35000 .95717 . . -. -.40000 .95195 . . -. -.45000 .94649 . . -. -.50000 .94082 . . -. -.55000 .93497 . . -. -.60000 .92897 . . -. -.65000 .92284 . . -. -.70000 .91

11、660 . . -. -.75000 .91027 . . -. -.80000 .90386 . . -. -.85000 .89740 . . -. -.90000 .89089 . . -. -.95000 .88436 . . -. -.1.0000 .87780 . . -. -.由上述的嶺跡圖可以看出，所有的回歸系數的嶺跡線的穩定性較強，整個系統呈現比較平穩的現象，所以我們可以對最小二乘有信心，且x1，x2的嶺跡線一直在零的上，對y產生正影響，而x3，x4系數的嶺跡線一直小于零，所以對y產生負影響。再做嶺回歸：當嶺參數k=0.2時，4個自變量的嶺回歸系數變化幅度較小，此時逐漸穩定，

12、所以我們給定k=0.2，再做嶺回歸Run MATRIX procedure:* Ridge Regression with k = 0.2 *Mult R .RSquare .Adj RSqu .SE 3. ANOVA table df SS MSRegress 2.000 2590.073 1295.037Residual 10.000 125.690 12.569 F value Sig F 103. .-Variables in the Equation- B SE(B) Beta B/SE(B)x1 1. . . 8.x4 -. . -. -10.Constant 101. 2. . 45.- END MATRIX -由上述輸出結果可以得到嶺回歸建立的方程為：y=101.+1.x1-0.x4從嶺回歸法得出的方程中我們可以看出某種水泥在凝固時放出的熱量與鋁