1、主成分分析主成分分析因素分析因素分析23探索性因素分析探索性因素分析4驗(yàn)證性因素分析驗(yàn)證性因素分析5主成份分析與因素分析主成份分析與因素分析l 主成份分析 (PCA) 與因素分析是利用不同的方法來(lái)減少變量數(shù) (Jolliffe, 2010) 參見：Jolliffe, I. T. (2010). Principal Component Analysis (2nd ed.). New York: Springer.l PCA 的主要目的是將p個(gè)變量，縮減到 m個(gè)主成份(principal components)，在這同時(shí)盡量保留p個(gè)變量的variation6一、主成份分析的基本概念一、主成份分析的

2、基本概念(1/2)l 若欲將變量減少成少數(shù)幾個(gè)互相獨(dú)立的線性組合變量，亦即潛在變量或成份，就必須使用主成份分析。l 主成份分析法是考慮將資料中原有的p個(gè)變數(shù)做線性組合得到k個(gè)新變數(shù)。通常k比p小很多。l 主成份分析法的另一項(xiàng)功能是能將彼此間具有相關(guān)關(guān)系的p個(gè)變量，經(jīng)過(guò)線性組合后成為k個(gè)彼此間相關(guān)系數(shù)為0的新變量，此過(guò)程稱為萃取（Extraction）。l 使經(jīng)由線性組合而得到的成份之變異數(shù)為最大，使觀測(cè)值在這些成份上顯示出最大的個(gè)別差異來(lái)。一、主成份分析的基本概念一、主成份分析的基本概念(2/2)l 主成份分析除了用來(lái)簡(jiǎn)化變量間之關(guān)系外，可用來(lái)縮減某一組欲進(jìn)行多變量分析之變量的數(shù)目。l 主成份

3、分析也可將各變量的原始分?jǐn)?shù)轉(zhuǎn)為主成份分?jǐn)?shù)，以供進(jìn)一步的統(tǒng)計(jì)分析。l 主成份分析還可用來(lái)建構(gòu)多種具有不同衡量單位變量之綜合指針。l 主成份亦可根據(jù)其負(fù)荷量來(lái)對(duì)主成份命名。l 例如：以身高與體重來(lái)建構(gòu)塊頭指標(biāo)、以成長(zhǎng)率與市場(chǎng)占有率來(lái)建構(gòu)行銷績(jī)效指標(biāo)。二、主成份的萃取二、主成份的萃取 (1/2)1、計(jì)算相關(guān)矩陣或共變量矩陣估計(jì)共同性(community，或稱共通性)：若是相關(guān)矩陣則共同性設(shè)為1；若是共變量矩陣則共同性為各變數(shù)的變異數(shù)。2、從相關(guān)矩陣或共變數(shù)矩陣中，萃取主成份。3、決定因素的數(shù)目。4、因素命名與結(jié)果解釋。Financial Risk Management Tools, Measurem

4、ent, and Future Trends二、主成份的萃取二、主成份的萃取 (2/2)l 假設(shè)有p個(gè)數(shù)字變量，則可計(jì)算出p個(gè)主成份。l 共同性會(huì)等于1，亦即沒有誤差項(xiàng)，故此公式不寫出誤差項(xiàng)。l 主成份分析重視的是變異數(shù)，因素分析重視的則是共變異數(shù)。為使變異數(shù)達(dá)到最大，通常進(jìn)行主成份分析后不再轉(zhuǎn)軸，而因素分析則需要轉(zhuǎn)軸。l 主成份分析使觀察值在這些主成份乃顯示出最大的個(gè)別差異。因素分析的目的是找出共同性。主成份萃取的運(yùn)算原理主成份萃取的運(yùn)算原理 l 使組合 ，在 下，Var(y)=aa最大的解a是矩陣的最大特征值（eigenvalue）所對(duì)應(yīng)的特征向量（eigenvector）l 最大特征值所

5、對(duì)應(yīng)的特征向量a是使Var(y)=aa最大的解。l 假設(shè)本范例有身高與體重兩變量，為了提高每位學(xué)生的分辨能力，要使線性組合 的變異數(shù)愈大愈好。在的限制下，找 、 值使 最大。主成份分析可使用共變異數(shù)矩陣，亦可使用或相關(guān)系數(shù)矩陣進(jìn)行分析，一般當(dāng)單位不同時(shí)以使用相關(guān)矩陣較佳。以共變數(shù)矩陣來(lái)萃取主成份以共變數(shù)矩陣來(lái)萃取主成份 l通常是未知的，故以求出樣本共變異矩陣S代替 。 以相關(guān)系數(shù)矩陣來(lái)萃取主成份以相關(guān)系數(shù)矩陣來(lái)萃取主成份 l 以相關(guān)矩陣R取代共變異數(shù)矩陣S，再求特征值、特征向量。l 以S與R做主成份分析的結(jié)果可能會(huì)有很大的差別，以S做主成份分析，容易受使用變量單位的影響。在SPSS的FACTO

6、R程序中的Extraction框中，盡量勾選Correlation(R)非Covariance(S)。 主成份分析的特點(diǎn)與觀念主成份分析的特點(diǎn)與觀念 （一）直交性。（二）特征值就是主成份的變異數(shù)。（三）所有主成份的變異數(shù)總和與所有變量之變異數(shù)總 和相等。（四）主成份解釋的變異數(shù)比例。（五）主成份負(fù)荷（loading）。（六）共同性（Communality，h2）。（七）主成份分?jǐn)?shù)（Score）。直交性直交性1、第j個(gè)特征向量（即系數(shù)向量）與第j1個(gè)特征向量直交：亦即 。在本例中， 。2、第j個(gè)主成份與第j1個(gè)主成份直交：亦即 。特征值就是主成份的變異數(shù)特征值就是主成份的變異數(shù) l l在本例中

7、l同理可得 jjyVar)(1211814. 1814. 05 . 05 . 0)707. 0707. 0()(xxVaryVar2212186. 0814. 05 . 05 . 0)707. 0707. 0()(xxVaryVar所有主成份的變異數(shù)總和與所有主成份的變異數(shù)總和與所有變量之變異數(shù)總和相等所有變量之變異數(shù)總和相等 l l在本例中l(wèi)而且可得 piipjjxVaryVar11)()(000. 2186. 0814. 1)()(21yVaryVar000. 2000. 1000. 1)()(21xVarxVarFinancial Risk Management Tools, Measu

8、rement, and Future Trends主成份解釋的變異數(shù)主成份解釋的變異數(shù)比例比例 l l l在本範(fàn)例中，1.814+.186=2。 pxVaryVaryVaryVarjpiijpiijpjjj111ppii1Financial Risk Management Tools, Measurement, and Future Trends主成份負(fù)荷（主成份負(fù)荷（loading） l 主成份負(fù)荷指第j個(gè)主成份 與第i個(gè)變數(shù) 的相關(guān)系數(shù)(亦稱負(fù)荷)。l 第一主成份與身高的相關(guān)系數(shù)為l 第一主成份與體重的相關(guān)系數(shù)為ijjixysarij952. 0814. 1707. 011xyr952.

9、0814. 1707. 021xyr共同性共同性(Communality， h2 ) l 第j個(gè)主成份解釋變量xi的變異數(shù)比例稱為共同性，寫成l 在主成份分析前，初步的（Initial欄）對(duì)每一個(gè)變數(shù)皆為1，經(jīng)萃取后（Extraction欄）每一個(gè)j變量的共同性為 （ ） ，其中k為特征值大于1的變數(shù)。l (第一主成份解釋身高的比例)l (第二主成份解釋身高的比例)1、當(dāng)用來(lái)解釋變異量的主成份個(gè)數(shù)取的愈多時(shí)，共同性 愈高2、當(dāng)所有主成份都取時(shí)， 都等于1 3、只取同一個(gè)主成份時(shí)，所能解釋各變數(shù)的共同性總和為2ijh2jhpkj1907. 0952. 02211211 hrxy093. 0305

10、. 02221212 hrxyhi2hi21.222)1(22221ipiikkiiihhhhhhijjjpjjpijihhhhh22222112.表表：主主成份分析的觀念與成份分析的觀念與關(guān)系匯總比較表關(guān)系匯總比較表 表表：主主成份分析的共同性、特征值與主成份負(fù)荷量之關(guān)系成份分析的共同性、特征值與主成份負(fù)荷量之關(guān)系( (用矩陣用矩陣S時(shí)時(shí)) )表表 Financial Risk Management Tools, Measurement, and Future Trends主成份分?jǐn)?shù)（主成份分?jǐn)?shù)（Score）l 經(jīng)過(guò)主成份萃取后已可得到每個(gè)主成份下每個(gè)變數(shù)的系數(shù)（權(quán)重），如此就可得到每筆數(shù)據(jù)經(jīng)過(guò)主成份轉(zhuǎn)換后的主成份分?jǐn)?shù)。 l 后續(xù)的分析將不再使用原始變量，而是主成份的綜合指標(biāo)。至于要如何計(jì)算每一筆數(shù)據(jù)的主成份分?jǐn)?shù)呢？S