1、計劃學(xué)時： 4學(xué)時 教學(xué)課型： 理論課 教學(xué)目的與要求：理解主成分的概念，掌握主成分分析 的基本方法 教學(xué)重點：主成分分析的方法 教學(xué)難點：主成分分析的方法 教學(xué)方法、手段與媒介：根據(jù)教材用多媒體課件課堂講授 教學(xué)過程與內(nèi)容：,主成分概念首先由 Karl Parson在1901年引進(jìn)，當(dāng)時只對非隨機變量來討論的。1933年Hotelling將這個概念推廣到隨機變量。,第七章 主成分分析,(Principal component analysis),7.1 引 言,在多數(shù)實際問題中，不同指標(biāo)之間是有一定相關(guān)性。由于指標(biāo)較多及指標(biāo)間有一定的相關(guān)性，勢必增加分析問題的復(fù)雜性。,主成分分析就是設(shè)法將原

2、來指標(biāo)重新組合成 一組新的互相無關(guān)的幾個綜合指標(biāo)來代替原來指 標(biāo)。同時根據(jù)實際需要從中可取幾個較少的綜合 指標(biāo)盡可能多地反映原來的指標(biāo)的信息。,主成分分析是考察多個數(shù)值變量間相關(guān)性的一種多元統(tǒng)計方法，它是研究如何通過少數(shù)幾個主成分來解釋多變量的方差協(xié)方差結(jié)構(gòu)。 導(dǎo)出幾個主成分，使它們盡可能多地保留原始變量的信息，且彼此間不相關(guān)。,一、主成分分析的基本思想,將原來眾多具有一定相關(guān)性的指標(biāo)重新組合成一組新的相互無關(guān)的綜合指標(biāo)來代替原來指標(biāo)。 以兩個指標(biāo)為例，信息總量以總方差表示：,Principal component in 2d,二、幾何解釋,y1,y2,旋轉(zhuǎn)變換的目的是為了使得n個樣本點在y1

3、軸方向上的離散程度最大，即y1的方差最大，變量y1代表了原始數(shù)據(jù)的絕大部分信息，在研究某經(jīng)濟問題時，即使不考慮變量y2也損失不多的信息。,y1與y2除起了濃縮作用外，還具有不相 關(guān)性。,y1稱為第一主成分，y2稱為第二主成分。,推廣開來，對于p維總體 ，尋求正交變 換 ，使得,在所有正交變換中，所選正交矩陣U，使 最大； 與 不相關(guān)；并且在所有與 不相關(guān)的變量中 最大； 與 、 不相關(guān)，同時在所有與 、 不相關(guān)的變量中 最大；依次類推。,為總體 的主成分， 為第一主成分， 為第 二主成分,三、主成分分析的數(shù)學(xué)原理,對原有變量作坐標(biāo)變換，,要求滿足：,如果z1=u1x滿足,則稱z1為第一主成分.

4、,如果z2=u2x滿足,則稱z2為第二主成分.,7.2 總體的主成分,設(shè) 為一p維隨機向量，其二階矩存在， 記 為 的特征值， 為相應(yīng)的單位特征向量，且相互正交。,則yi為第i個主成分。,一、主成分的導(dǎo)出,二、主成分的性質(zhì),1、主成分的均值與協(xié)方差,記,2、主成分的總方差,3、原始變量 與主成分 的相關(guān)系數(shù),4、m個主成分對原始變量的貢獻(xiàn)率,其特征值為,相應(yīng)的特征向量為,Proc iml; X=1 -2 0, -2 5 0, 0 0 2; Val=eigval(x); Vec=eigvec(x); D=1:2; B=(val)d,1; c=(vec),d; F1=(sqrt(inv(diag(

5、X)*vec*sqrt(diag(val),d; F2=(f1#f1),1; F=diag(c*diag(b)*t(c)*inv(diag(x)*j(3,1); Print val vec b c f1 f2 f;,VAL VEC B C 5.8284271 -0.382683 0 0.9238795 5.8284271 -0.382683 0 2 0.9238795 0 0.3826834 2 0.9238795 0 0.1715729 0 1 0 0 1 F1 F2 F -0.92388 0 0.8535534 0.8535534 0.9974842 0 0.9949747 0.99497

6、47 0 1 0 1,Data w(type=cov); Input x1 x2 x3; Cards; 1 -2 0 -2 5 0 0 0 2 ; Proc princomp cov; Run;,The PRINCOMP Procedure Observations 10000 Variables 3 Total Variance 8 Eigenvalues of the Covariance Matrix Eigenvalue Difference Proportion Cumulative 1 5.82842712 3.82842712 0.7286 0.7286 2 2.00000000

7、 1.82842712 0.2500 0.9786 3 0.17157288 0.0214 1.0000 Eigenvectors Prin1 Prin2 Prin3 x1 -.382683 0.00000 0.923880 x2 0.923880 0.00000 0.382683 x3 0.000000 1.00000 0.000000,主成分分析在經(jīng)濟指標(biāo)綜合評價中的應(yīng)用,核心：通過主成分分析，選擇m個主成分y1,y2,ym，以每個主成分yi的方差貢獻(xiàn)率i作為權(quán)數(shù)，構(gòu)造綜合評價函數(shù)，,其中 為第i個主成分的得分（求出主成分的表達(dá)式后，將標(biāo)準(zhǔn)化后的數(shù)據(jù)再代入yi中）,當(dāng)把m個主成分得分代入F

8、函數(shù)后，即可得到每個樣本的綜合評價函數(shù)得分，以得分的大小排序，可排列出每個樣本的經(jīng)濟效益的名次。,5、原始變量對主成分的影響,分析：y1主要由x3控制，y2主要由x1控制，,y3主要由x2 控制,Y1的貢獻(xiàn)率為：109.793/117=0.938,x1 ,x2 ,x3之間的線性關(guān)系,Data w(type=cov); Input x1 x2 x3; Cards; 16 2 30 2 1 4 30 4 100 ; Proc princomp cov; Run;,三、從相關(guān)矩陣出發(fā)求主成分,性質(zhì)：,例7.2.3 在例7.2.2中，x的相關(guān)矩陣,相應(yīng)的主成分為：,7.3 樣本的主成分,設(shè)數(shù)據(jù)矩陣為,

9、樣本協(xié)方差矩陣為,樣本相關(guān)矩陣為,例7.3.1 在制定服裝標(biāo)準(zhǔn)的過程中，對128名成年男子的身材進(jìn)行了測量，每人測得的指標(biāo)中含有：身高(x1)、坐高(x2)、胸圍(x3)、手臂長(x4)、肋圍(x5)和腰圍(x6)。所的樣本相關(guān)矩陣如下：,表7.3.1 男子身材六項指標(biāo)的樣本相關(guān)矩陣,SAS程序,data examp731(type=corr); input x1-x6; cards; 1.00 . . . . . 0.79 1.00 . . . . 0.36 0.31 1.00 . . . 0.76 0.55 0.35 1.00 . . 0.25 0.17 0.64 0.16 1.00 .

10、0.51 0.35 0.58 0.38 0.63 1.00 ; proc princomp ; Run;,The SAS System 08:44 Wednesday, November 24, 2006 1 The PRINCOMP Procedure Observations 10000 Variables 6 Eigenvalues of the Correlation Matrix Eigenvalue Difference Proportion Cumulative 1 3.28720078 1.88096073 0.5479 0.5479 2 1.40624004 0.947144

11、96 0.2344 0.7822 3 0.45909508 0.03275335 0.0765 0.8588 4 0.42634173 0.13154160 0.0711 0.9298 5 0.29480013 0.16847790 0.0491 0.9789 6 0.12632223 0.0211 1.0000 Eigenvectors Prin1 Prin2 Prin3 Prin4 Prin5 Prin6 x1 0.468906 -.364756 0.092208 -.122427 0.079696 -.785645 x2 0.403726 -.396606 0.613011 0.3264

12、44 -.027035 0.443430 x3 0.393570 0.396800 -.278870 0.655713 -.405232 -.125342 x4 0.407640 -.364842 -.704801 -.107829 0.234585 0.370564 x5 0.337472 0.569214 0.164251 -.019297 0.730502 0.033531 x6 0.426822 0.308369 0.119265 -.660671 -.489941 0.178828,例7.3.3 測得八項男子徑賽運動紀(jì)錄，樣本相關(guān)矩陣如下：,data examp733(type=co

13、rr); input x1-x8; cards; 1.000 . . . . . . . 0.923 1.000 . . . . . . 0.841 0.851 1.000 . . . . . 0.756 0.807 0.870 1.000 . . . . 0.700 0.775 0.835 0.918 1.000 . . . 0.619 0.695 0.779 0.864 0.928 1.000 . . 0.633 0.697 0.787 0.869 0.935 0.975 1.000 . 0.520 0.596 0.705 0.806 0.866 0.932 0.943 1.000 ; proc princomp ; Run;,五、若干補充及應(yīng)用中需注意的問題,1.關(guān)于時間序列數(shù)據(jù) 2.主成分用于聚類分析 3.關(guān)于不同時期的主成分分