1、R語(yǔ)言主成分和因子分析主成分分析(PCA)是一種數(shù)據(jù)降維技巧，它能將大量相關(guān)變量轉(zhuǎn)化為一組很少的不相關(guān)變量，這些無(wú)關(guān)變量稱為主成分。探索性因子分析(EFA)是一系列用來(lái)發(fā)現(xiàn)一組變量的潛在結(jié)構(gòu)的方法，通過(guò)尋找一組更小的、潛在的或隱藏的結(jié)構(gòu)來(lái)解釋已觀測(cè)到的、變量間的關(guān)系。1.R中的主成分和因子分析R的基礎(chǔ)安裝包中提供了PCA和EFA的函數(shù)，分別為princomp()和factanal()psych包中有用的因子分析函數(shù)PCA/EFA分析流程:函數(shù)描述principal()含多種可選的力差放置方法的主成分分析fa()可用主軸、最小殘差、加權(quán)最小平方或最大似然法估計(jì)的因子分析fa.parallel()

2、含平等分析的碎石圖factor.plot()繪制因子分析或主成分分析的結(jié)果fa.diagram()繪制因子分析或主成分分析的載荷矩陣scree()因子分析和主成分分析的碎石圖(1)數(shù)據(jù)預(yù)處理；PCA和EFA都是根據(jù)觀測(cè)變量間的相關(guān)性來(lái)推導(dǎo)結(jié)果。用戶可以輸入原始數(shù)據(jù)矩陣或相關(guān)系數(shù)矩陣列到principal()和fa()函數(shù)中，若輸出初始結(jié)果，相關(guān)系數(shù)矩陣將會(huì)被自動(dòng)計(jì)算，在計(jì)算前請(qǐng)確保數(shù)據(jù)中沒(méi)有缺失值；(2)選擇因子分析模型。判斷是PCA(數(shù)據(jù)降維)還是EFA(發(fā)現(xiàn)潛在結(jié)構(gòu))更符合你的分析目標(biāo)。若選擇EFA方法時(shí)，還需要選擇一種估計(jì)因子模型的方法(如最大似然估計(jì))(3)判斷要選擇的主成分/因子數(shù)目

3、；(4)選擇主成分/因子；(5)旋轉(zhuǎn)主成分/因子；(6)解釋結(jié)果；(7)計(jì)算主成分或因子得分。2.主成分分析PCA的目標(biāo)是用一組較少的不相關(guān)變量代替大量相關(guān)變量，同時(shí)盡可能保留初始變量的信息，這些推導(dǎo)所得的變量稱為主成分，它們是觀測(cè)變量的線性組合。如第一主成分為：PC1=a1X1=a2X2+akXk它是k個(gè)觀測(cè)變量的加權(quán)組合，對(duì)初始變量集的方差解釋性最大。第二主成分是初始變量的線性組合，對(duì)方差的解釋性排第二，同時(shí)與第一主成分正交(不相關(guān))。后面每一個(gè)主成分都最大化它對(duì)方差的解釋程度，同時(shí)與之前所有的主成分都正交，但從實(shí)用的角度來(lái)看，都希望能用較少的主成分來(lái)近似全變量集。(1)判斷主成分的個(gè)數(shù)P

4、CA中需要多少個(gè)主成分的準(zhǔn)則：根據(jù)先驗(yàn)經(jīng)驗(yàn)和理論知識(shí)判斷主成分?jǐn)?shù)；根據(jù)要解釋變量方差的積累值的閾值來(lái)判斷需要的主成分?jǐn)?shù)；通過(guò)檢查變量間k*k的相關(guān)系數(shù)矩陣來(lái)判斷保留的主成分?jǐn)?shù)。最常見(jiàn)的是基于特征值的方法，每個(gè)主成分都與相關(guān)系數(shù)矩陣的特征值關(guān)聯(lián)，第一主成分與最大的特征值相關(guān)聯(lián)，第二主成分與第二大的特征值相關(guān)聯(lián)，依此類推。Kaiser-Harris準(zhǔn)則建議保留特征值大于1的主成分，特征值小于1的成分所解釋的方差比包含在單個(gè)變量中的方差更少。Cattell碎石檢驗(yàn)則繪制了特征值與主成分?jǐn)?shù)的圖形，這類圖形可以展示圖形彎曲狀況，在圖形變化最大處之上的主成分都保留。最后，還可以進(jìn)行模擬，依據(jù)與初始矩陣相同

5、大小的隨機(jī)數(shù)矩陣來(lái)判斷要提取的特征值。若基于真實(shí)數(shù)據(jù)的某個(gè)特征值大于一組隨機(jī)數(shù)據(jù)矩陣相應(yīng)的平均特征值，那么該主成分可以保留。該方法稱作平行分析。利用fa.parallel()函數(shù)，可同時(shí)對(duì)三種特征值判別準(zhǔn)則進(jìn)行評(píng)價(jià)。plainviewplaincopyc1. library(psych)fa.parallel(USJudgeRatings,-1,fa="PC",n.iter=100,show.legend=FALSE,main="Screenplotwithparallelanalysis")?w6ei口C3rrptnNtUr»r-5s-7-u

6、-la-.Hmllmlnn碎石頭、特征值大于1準(zhǔn)則和100次模擬的平行分析(虛線)都表明保留一個(gè)主成分即可(2)提取主成分(2)提取主成分保留數(shù)據(jù)集的大部分信息，下一步是使用principal()函數(shù)挑選出相應(yīng)的主成分。principal()函數(shù)可根據(jù)原始數(shù)據(jù)矩陣或相關(guān)系數(shù)矩陣做主成分分析格式為：principal(的，nfactors=,rotate=,scores=)其中：r是相關(guān)系數(shù)矩陣或原始數(shù)據(jù)矩陣；nfactors設(shè)定主成分?jǐn)?shù)(默認(rèn)為1);rotate指定旋轉(zhuǎn)的方式默認(rèn)最大方差旋轉(zhuǎn)(varimax)scores設(shè)定是否需要計(jì)算主成分得分(默認(rèn)不需要)。plainviewplainco

7、pyc1. 美國(guó)法官評(píng)分的主成分分析2. library(psych)3. pc<-principal(USJudgeRatings,-1,nfactors=1)4. pcp«-pr1nc1pal(usJudgeRai:1ngs,-1,nfact> pcprincipalcornponenxsAnalystsCd-ll:priincipal(r=usjudgeRaxings+-1.nfacxors=L)standardized1oadings(patternmatrix)baseduponcorrelationmatrixPCIh2U2TNTG0.52C.S4O.156S

8、DMNRc.sa0.1653DILG0,070.9460613CFMG0,6090,0720DEGI0.60.920.0763PREP0.80.970.0299F咖工0.980.950.0469ORAL1.000,90.0091WRIT5處aqg0.0196PHYS0.39*800.2013RTENC0.970,0275PCIS3InacHrigE10.13Propurtnor7arQ.92TestofTtiehypoThesIsThai1componenr1ssufflcient.Thedeqreesoffreedomforrhenullmodela.ra55andrheubjectiefu

9、nction抑as"Thedegreesoffreedomforthemodela44andtheobjectveFunctionwasDThetot-alrunberofobservationswas43withmleCMSquare=MML.%vrithprob-hlLp:/blog*此處，輸入的是沒(méi)有ONT變量的原始，并指定獲取一個(gè)未旋轉(zhuǎn)的主成分。由于PCA只對(duì)相關(guān)系數(shù)矩陣進(jìn)行分析，在獲取主成分前，原始數(shù)據(jù)將會(huì)被自動(dòng)轉(zhuǎn)換為相關(guān)系數(shù)矩陣。PC1欄包含了成分載荷，指觀測(cè)變量與主成分的相關(guān)系數(shù)。如果提取不止一個(gè)主成分，則還將會(huì)有PC2、PC3等欄。成分載荷(componentload

10、ings)可用來(lái)解釋主成分的含義。此處可看到，第一主成分(PC1)與每個(gè)變量都高度相關(guān)，也就是說(shuō)，它是一個(gè)可用來(lái)進(jìn)行一般性評(píng)價(jià)的維度。h2粒指成分公因子方差主成分對(duì)每個(gè)變量的方差解釋度。u2欄指成分唯一性方差無(wú)法被主成分解釋的比例（1-h2）。SSloadings行包含了主成分相關(guān)聯(lián)的特征值，指的是與特定主成分相關(guān)聯(lián)的標(biāo)準(zhǔn)化后的方差值。ProportinVar行表示的是每個(gè)主成分對(duì)整個(gè)數(shù)據(jù)集的解釋程度。結(jié)果不止一個(gè)主成分的情況plainviewplaincopyc1. library(psych)fa.parallel(Harman23.cor$cov,n.obs=302,fa="p

11、c",n.iter=100,show.legend=FALSE,main="Screeplotwithparallelanalysis")載荷陣解釋了成分和因子的含義，第一成分與每個(gè)身體測(cè)量指標(biāo)都正相關(guān)，看起來(lái)似乎是一個(gè)一般性的衡量因子；第二主成分與前四個(gè)變量負(fù)相關(guān)，與后四個(gè)變量正相關(guān)，因此它看起來(lái)似乎是一個(gè)長(zhǎng)度容量因子。但理念上的東西都不容易構(gòu)建，當(dāng)提取了多個(gè)成分時(shí)，對(duì)它們進(jìn)行旋轉(zhuǎn)可使結(jié)果更具有解釋性。（3）主成分旋轉(zhuǎn)旋轉(zhuǎn)是一系列將成分載荷陣變得更容易解釋的數(shù)學(xué)方法，它們盡可能地對(duì)成分去噪。旋轉(zhuǎn)方法有兩種：使選擇的成分保持不相關(guān)（正效旋轉(zhuǎn)），和讓它們變得相關(guān)（斜

12、交旋轉(zhuǎn)）旋轉(zhuǎn)方法也會(huì)依據(jù)去噪定義的不同而不同。最流行的下次旋轉(zhuǎn)是方差極大旋轉(zhuǎn)，它試圖對(duì)載荷陣的列進(jìn)行去噪，使得每個(gè)成分只是由一組有限的變量來(lái)解釋(即載荷陣每列只有少數(shù)幾個(gè)很大的載荷，其他都是很小的載荷)plainviewplaincopyc1. install.packages("GPArotation")2. library(GPArotation)3. rc<-principal(Harman23.cor$cov,nfactors=2,rotate="varimax")4. rc1ibr5rytGPArorationj> rc<-p

13、r1ncipal(Harman23.coricov,nfacrors=2,roraTa="var>rcnfactors=乙rotate="var1naK"5baseduponcorrelat1ar»matrixRdF<Z2h2u2height0-Q00.,25C.9Sarm.span。.里0.190.00山。97foraarm0.926,165870.128llcwar.leg6SO。.uaght0.260.0.850.150bltro.diameter0.190.,840.740.261chasr.gnrrh0.110.,840.720.2

14、85chesr,width0.260.750.620.375prlncipalconiponenxsAnalysiscall;principal(r=narrnan23.corlcov,standardisedloadingsCp-iTTerrimatrix)53loadnngsproportionvar53loadnngsproportionvarCumulariveProportnonvarUxp"lannedR匚IL3.520.440.440.55CumulativeProport-ion0.55RC22.920,70.S10.451.00Testofthehypothe&am

15、p;nsThat2componenrsaresuffident.Thedograesoffreedomforthenullmodel3rp28andthaotiject1vqfuncrion劃招FThedegreesoffreedomforTtiemodelare13andtheobjectivefunctionwas0.55<./-aJ/-ll0J-fc.fh_lYIjto/oJ-o£csdn.nmt/11antenm'FirbaseduponofTdiagonalvalues=0.99列名從PC變成了RC,以表示成分被旋轉(zhuǎn)觀察可以發(fā)現(xiàn)第一主成分主要由前四個(gè)變量來(lái)解釋

16、，第二主成分主要由變量5到變量8來(lái)解釋。注意兩個(gè)主成分仍不相關(guān)，對(duì)變量的解釋性不變，這是因?yàn)樽兞康娜航M沒(méi)有發(fā)生變化。另外，兩個(gè)主成分放置后的累積方差解釋性沒(méi)有變化，變的只是各個(gè)主成分對(duì)方差的解釋(成分1從58%變?yōu)?4%，成分2從22%變?yōu)?7%)。各成分的方差解釋度趨同，準(zhǔn)確來(lái)說(shuō)，此時(shí)應(yīng)該稱它們?yōu)槌煞侄皇侵鞒煞帧?4)獲取主成分得分利用principal()函數(shù)，很容易獲得每個(gè)調(diào)查對(duì)象在該主成分上的得分。plainviewplaincopy1. <strong>從原始數(shù)據(jù)中獲取成分得分</strong>plainviewplaincopy2. library(psy

17、ch)3. pc<-principal(USJudgeRatings,-1,nfactors=1,score=TRUE)4. head(pc$scores)pc<-principa14uG2ludgERatlngsr-1,nfactors=1,scc*re=TR.Ll£)> head(pcSscores)PCIAARONSON,L.H.-0.1857981ALEXANDER,J.M.0.74985ARMENTANO,A.1.0.0704772BERDONpR.I.1.1358765BRACKENTJ.J.-2.1566211BURNS,E.0.76e9406當(dāng)sco

18、res=TRUE時(shí)，主成分得分存儲(chǔ)在principal()函數(shù)返回對(duì)象的scores元素中。plainviewplaincopyc1. cor(USJudgeRatings$CONT,PC$scores)plainviewplaincopyc2. <strong>獲取主成分得分的系數(shù)</strong>plainviewplaincopyc3. library(psych)4. rc<-principal(Harman23.cor$cov,nfactor=2,rotate="varimax")5. round(unclass(rc$weights

19、),2)1ibraryCpsych3、rc<-principal(CHarman22.corlcovsnfactor=2,roTaTe="varlmix"2RCl0.2S0.300.300.28-0.06-0.08-0.1。-0.04RCl0.2S0.300.300.28-0.06-0.08-0.1。-0.04RC2-0.05-0.08-o.og-0_06O.MM0.32。我0.27> roundCuneiass2)heightarm.spanforearmlo*er.legwightbltro.diaineterchest.girthchest.width得到

20、主成分得分：PC1=0.28*height+0.30*arm.span+0.30*forearm+0.29*lower.leg-0.06*weight-0.08*bitro.diameter-0.10*chest.girth-0.04*chest.widthPC2=-0.05*height-0.08*arm.span-0.09*forearm-0.06*lower.leg+0.33*weight+0.32*bitro.diameter+0.34*chest.girth+0.27*chest.width3.探索性因子分析EFA的目標(biāo)是通過(guò)發(fā)掘隱藏在數(shù)據(jù)下的一組較少的、更為基本的無(wú)法觀測(cè)的變量，來(lái)

21、解釋一組可觀測(cè)變量的相關(guān)性。這些虛擬的、無(wú)法觀測(cè)的變量稱作因子。(每個(gè)因子被認(rèn)為可解釋多個(gè)觀測(cè)變量間共有的方差，也叫作公共因子)模型的形式為：Xi=a1F1+a2F2+apFp+UiXi是第i個(gè)可觀測(cè)變量(i=1,2,k)Fj是公共因子(j=1,2,p)并且p<kplainviewplaincopy1. options(digits=2)2. covariances<-ability.cov$cov3. correlations<-cov2cor(covariances)4. correlations>叩tinn占(digit±=2)cavariances&l

22、t;-ab1"l1ty.cov?cov>COrre1ations-i-cofv2cor(cOvar1ances)>cornelax1onsgeneralpictureblocksmazereadlngvocabgeneral1.000.470.550.340.5S0.51pictare0*了1.000,570.190.2624b】ocks0.550.571,000,450.350.36內(nèi)32。0.340.190.451.000.1S0.22reading0.590.260.350.181.000.79vocab0.510.240.360.220.791,00ability

23、.cov提供了變量的協(xié)方差矩陣cov2cor()函數(shù)將其轉(zhuǎn)化為相關(guān)系數(shù)矩陣(1)判斷需提取的公共因子數(shù)plainviewplaincopy1.library(psych)2.convariances<-ability.cov$cov3.correlations<-cov2cor(covariances)4.fa.parallel(correlations,n.obs=112,fa="both",n.iter=100,main="Screeplotswithparallelanalysis")若使用PCA方法，可能會(huì)選擇一個(gè)成分或兩個(gè)成分。當(dāng)搖

24、擺不定時(shí)，高估因子數(shù)通常比低估因子數(shù)的結(jié)果好，因?yàn)楦吖酪蜃訑?shù)一般較少曲解真實(shí)”情況。(2)提取公共因子可使用fa()函數(shù)來(lái)提取因子fa()函數(shù)的格式為：fa（r,nfactors=,n.obs=,rotate=,scores=,fm）r是相關(guān)系數(shù)矩陣或原始數(shù)據(jù)矩陣；nfactors設(shè)定提取的因子數(shù)（默認(rèn)為1）;n.obs是觀測(cè)數(shù)（輸入相關(guān)系數(shù)矩陣時(shí)需要填寫(xiě)）；rotate設(shè)定放置的方法（默認(rèn)互變異數(shù)最小法）；scores設(shè)定是否計(jì)算因子得分（默認(rèn)不計(jì)算）；fm設(shè)定因子化方法（默認(rèn)極小殘差法）。與PCA不同，提取公共因子的方法很多，包括最大似然法（ml）、主軸迭代法（pa）、加權(quán)最小二乘法（wl

25、s）、廣義加權(quán)最小二乘法（gls）和最小殘差法（minres）。plainviewplaincopyc1. <strong>未旋轉(zhuǎn)的主軸迭代因子法</strong>plainviewplaincopy1.fa<-fa(correlations,nfactors=2,rotate="none",fm="pa")2. faAnalysT?usingridhod-pa>r<-Tr£lat1ons,ntictor5-2,rotste-"nonetn-al1：f=Manchrdiedpalgeneral

26、p1口，一black0.7!rase口，三9readingQ,sigcab0.73al1：f=Manchrdiedpalgeneralp1口，一black0.7!rase口，三9readingQ,sigcab0.73ccrrBldLlans,nFdcuo-rcuate"nnnt"fPA2hzU2cam0,070,0,4321-00,22Q.G231,70.1?0.S30.1861.80+220.200.7981.6-0+5L59二0.059L.丁-0,39O.690.3131,5PA2hzU2cam0,070,0,4321-00,22Q.G231,70.1?0.S30.18

27、61.80+220.200.7981.6-0+5L59二0.059L.丁-0,39O.690.3131,5Icadingsfpatterrrmatrixbaecuu0rlcarrelationmatrixP*1PA2SSloidlnq2.750.83tropoTIonvdrO.ifiD.14匚umlstiveYar0.i60.60ProfiotiqnExp1a1nsd0.770.23亡umulmt3wePrcpcriori0.771,00vaaii11tancrttip1titty-1.5rest*thehzrhesl:that2roctor:aresufficient.Thedegreeso

28、ffreEdauforthenul-modelarc15andtheobjectivefunctionyg2.5Thecieq"eesofTrmnciMforthenrozleldandtheobectluafuncflonwjsD,07Thernocpteintrrxhtr'esldjils口M£R)is.QJrhadrcorrectl：rhaocE&anwqua日ofihar006basacuponoffcilAgonal收l(shuí)u”-Q,99eauesofcGtors;oreadecua<yPMPA2Correlaflunof5ccw&5wi

29、thfactor"s0.6。.92multipleRsquareatscoreswithfactors(kS30.£4Mlnlimjmcnrre1iT：1onofpossiblefaciorscar&sb.800.方苜(3)因子旋轉(zhuǎn)plainviewplaincopy1. <strong>用正交旋轉(zhuǎn)提取因子</strong>plainviewplaincopyIC2. fa.varimax<-fa(correlations,nfactors=2,rotate="varimax",fm="pa")3

30、. fa.varimaxplainviewplaincopyc1.<strong>正交放置將人為地強(qiáng)制兩個(gè)因子不相關(guān)</strong>plainviewplaincopy1.<strong>正交旋轉(zhuǎn)，因子分析的重點(diǎn)在于因子結(jié)構(gòu)矩陣(變量與因子的相關(guān)系數(shù))</strong>>fa.warimx/-faCcorrslaTlons,nfactors=2,rotite="virImaz",fm="pa"5>fa-varirnaxrectorAnalysisusnngmethod=pacall:faCr=

31、corre-laTions,nrfactors=2,roxaxe="varimax".fm="pa"standardizedloadlrgs(patternmatrix)baseduponcornelatlonmatrixPAIPA2h2UZcomgeneral0.490.57%570.4522.0pncture616g.5g0.6231.1blocksC-80.89C.S30.16C1,1maze0.130.430.200.7981.2readlng0.930.20u.gi0,0891.1vocab0.800.23090.3131.2PAlPA255l

32、oadnngs1.331.75ProportnonVdr0.30O.29cumuHarnvevar0.30Q.SOProportionE工plained0.510.49cumulaxveProportion511.00MeanitEincotnplexity=1.3TestofthehypcThesnsThat2factorsaresufficient.Thed電qr0電區(qū)offreedomforthenullmodelar。15andtheobjectivefuncrianwas；ThedegreesoffreedomforThemodelare4indth。objQcrivqfunctio

33、n0.07Therootnearsquareoftheresidual5(RM5R)150.03Thedf<orrettedrearmeansqudreoftheresiduals1sQ.Q8Fitbasedupcnoffdiagonalvalues=0.99MeasuresoffactorscoreadequacyPAIPA?199correlafionofscoreswithfactors0.96(J.92MultipieRsquareofscoreswlThfactor's0,9L。.占5MlnimijnicorrelaTlonofposslblefactorscares0

34、.82.71用斜交旋轉(zhuǎn)提取因子plainviewplaincopy1. max<-fa(correlations,nfactors=2,rotate="promax",fm="pa")2. maxplainviewplaincopyc1.<strong>對(duì)于斜交旋轉(zhuǎn)，因子分析會(huì)考慮三個(gè)矩陣：因子結(jié)構(gòu)矩陣、因子模式矩陣和因子關(guān)聯(lián)矩陣</strong>plainviewplaincopyc1.<strong>因子模式矩陣即標(biāo)準(zhǔn)化的回歸系數(shù)矩陣，它列出了因子的預(yù)測(cè)變量的權(quán)重;</stron

35、g>plainviewplaincopy1.<strong>因子關(guān)聯(lián)矩陣即因子相關(guān)系數(shù)矩陣；</strong>plainviewplaincopy1.<strong>因子結(jié)構(gòu)矩陣（或稱因子載荷陣），可使用公式F=P*Phi來(lái)計(jì)算得到，其中F是載荷陣，P為因子模式矩陣，Phi為因子關(guān)聯(lián)矩陣。</strong>>fa-promax-i-faCcorrslitions,nfactors=2,roraTe=,promay"s>fa_promaxFactorAnalysisusingmethod=pacal1:fa(r=carr

36、elationsPnfactors=2,rotate="promax'sftn="pa"3standardizedloadingsCpatternmatrix5baseduponPMPA2hzu2camgeneral0_3S0.49O_570.4321.SpTctuE-0.04。-540,380_5231.0blocks-0.120.980.B30,1661.0maze-0,010.45Q.NQ0.7981*0readlng1.01-0.1169160891.。vocab0-84-0.02Q.6g1.0correlafionmatrlxPAIPA255lo

37、adnngs1.321,76ProporrnonVar0.300.29CumuldXnve0.3。0.5QProportionExplaiined0.510.4CumuHativeProportion0.511.00withfactorcorrelationsofPAIPA2PAIl.QQ657PA20.571。口Meanitemcomplexity=1.2Testofthehypothesesthat2factorsaresufficient.wask07Thedegreesoffreedomfortheriul-!modelare15andtheobjectivefunctionThede

38、greesoffreedomforthemodelare4andtheobjectivefunctionwas0Theroarmearisquarenftheresiduals1口睥三口)1sCl。？ThedfcorrectedrootmeansquareoftheresidualsisClO®Firbaseduponoffdiagonalvalues=Q.99MeasuresoffactorscoreadequacyPAIPA2correlaflanofscoreswithfactors0.970.94MljItnp-le口squareofscoreswithfactors0_93

39、0.39correlationofpossiblefactorscor0.860.77plainviewplaincopy1. fsm<-function(oblique)2. if(class(oblique)2="fa"&is.null(oblique$Phi)3. warning("Objectdoesn'tlooklikeobliqueEFA")4. else5. P<-unclass(oblique$loading)6. F<-P%*%oblique$Phi7. colnames(F)<-c("PA1","PA2")8. return(F)9. 10. 11. fsm(max)> functlontabliqu9M+11f(cla55(obl1que)2="