1、第三十六課 因子分析因子分析（Factor Analysis）是主成分分析的推廣，它也是從研究相關矩陣內部的依賴關系出發，把一些具有錯綜復雜關系的變量歸結為少數幾個綜合因子的一種多變量統計分析方法。具體地說，就是要找出某個問題中可直接測量的、具有一定相關性的諸指標，如何受少數幾個在專業中有意義，又不可直接測量到，且相對對立的因子支配的規律，從而可用諸指標的測定來間接確定諸因子的狀態。一、 何為因子分析因子分析的目的是用有限個不可觀察的潛在變量來解釋原變量間的相關性或協方差關系。在這里我們把不可觀察的潛在變量稱為公共因子（common factor）。在研究樣品時，每個樣品需要檢測很多指標，假設

2、測得個指標，但是這個指標可能受到(<)個共同因素的影響，再加上其他對這些指標有影響的因素。寫成數學的形式就是：(36.1)利用矩陣記號有(36.2)各個指標變量都受到的影響，因此稱為公共因子，稱為因子載荷矩陣，是單變量所特有的因子，稱為的特殊因子（unique factor）。設，分別是均值為0，方差為1的隨機變量，即；特殊因子，分別是均值為0，方差為，的隨機變量，即；各特殊因子之間及特殊因子與公共因子之間都是相互獨立的，即及。錯誤！未定義書簽。是第個變量在第個公共因子上的負荷，從投影的角度看，就是在坐標軸上的投影。主成份分析的目標是降維，而因子分析的目標是找出公共因素及特有的因素，即公

3、共因子與特殊因子。在主成份分析中，殘差通常是彼此相關的。在公因子分析中，特殊因子起到殘差的作用，但被定義為彼此不相關且和公因子也不相關。而且每個公因子假定至少對兩個變量有貢獻，否則它將是一個特殊因子。在開始提取公因子時，為了簡便還假定公因子彼此不相關且具有單位方差。在這種情況下，向量的協方差矩陣可以表為(36.3)這里D=diag()，diag表示對角矩陣。如果假定已將錯誤！未定義書簽。標準化，也就是說錯誤！未定義書簽。的每一個分量的均值都為0，方差都是1，即，那么(36.4)記，則有(36.5)錯誤！未定義書簽。反映了公共因子f對的影響，稱為公共因子f對的“貢獻”。實際反映了變量對公共因子f

4、的依賴程度。另一方面，還可以考慮指定的一個公共因子對各個變量的影響。實際上，對各個變量的影響可由中第列的元素來描述，那么(36.6)稱為公共因子對的“貢獻”。顯然越大，對的影響就越大，成為衡量因子重要性的一個尺度。實際上(36.7)那么矩陣的統計意義就非常清楚：l 錯誤！未定義書簽。是和的相關系數；l 錯誤！未定義書簽。是對公共因子的依賴程度；l 錯誤！未定義書簽。是公共因子對的各個分量總的影響。下面我們來看怎樣求解因子載荷矩陣。二、 因子載荷矩陣的求解如果已知協方差矩陣和，可以很容易地求出。根據(36.3)有(36.8)記，則是非負定矩陣。若記矩陣的p個特征值 > = = = 0，且m

5、個非零特征值所對應的特征向量分別為，則的譜分解式為(36.9)只要令(36.10)就可以求出因子載荷矩陣。但在實際問題中，我們并不知道、，即不知道，已知的只是個樣品，每個樣品測得個指標，共有個數據，樣品數據見表6.1所示。為了建立公因子模型，首先要估計因子載荷錯誤！未定義書簽。和特殊因子方差。常用的參數估計方法有以下三種：主成份法、主因子解法和極大似然法。1. 主成份法主成份法求因子載荷矩陣的具體求法如下：首先從資料矩陣出發求出樣品的協方差矩陣，記之為，其特征值為，相應單位正交特征向量為，當最后個特征值較小時，則對進行譜分解可以近似為(36.11)其中 > 0是協方差矩陣相應的前個較大特

6、征值。先取，然后看是否接近對角陣。如果接近對角陣，說明公共因子只要取一個就行了，所有指標主要受到這一個公共因子的影響；如果不是近似對角陣，就取，然后看是否接近對角陣，如果接近對角陣，就取兩個公共因子；否則再取，直到滿足“要求”為止。這里的“要求”要視具體情況而定，一般而言，就象主成分分析一樣，直接取前個特征值和特征向量，使得它們的特征值之和占全部特征值之和的85以上即可。此時，特殊因子方差。2. 主因子解法主因子解法是主成份法的一種修正，它是從資料矩陣出發求出樣品的相關矩陣，設，則。如果我們已知特殊因子方差的初始估計，也就是已知了先驗公因子方差的估計為，則約相關陣為(36.12)計算的特征值和

7、特征向量，取前個正特征值及相應特征向量為，則有近似分解式(36.13)其中，令，則和為因子模型的一個解，這個解就稱為主因子解。上面的計算是我們假設已知特殊因子方差的初始估計，那么特殊因子方差的初始估計值如何得到呢？由于在實際中特殊因子方差（或公因子方差）是未知的。以上得到的解是近似解。為了得到近似程度更好的解，常常采用迭代主因子法。即利用上面得到的作為特殊方差的初始估計，重復上述步驟，直到解穩定為止。公因子方差（或稱變量的共同度）常用的初始估計有下面三種方法：l 取為第個變量與其他所有變量的多重相關系數的平方（或者取，其中是相關矩陣的可逆矩陣的對角元素，則）；l 取為第個變量與其他所有變量相關

8、系數絕對值的最大值；l 取=1，它等價于主成份解。3. 極大似然法假定公共因子f和特殊因子服從正態分布，那么我們可得到因子載荷陣和特殊方差的極大似然估計。設維的個觀察向量為來自正態總體的隨機樣本，則樣本似然函數為和的函數。設，取，對于一組確定的隨機樣本，已經變成了確定已知的值，則似然函數可以轉換為和的函數。接下來就可以求和取什么值，函數能達到最大。為了保證得到唯一解，可以附加唯一性條件對角陣，再用迭代方法可求得極大似然估計的和的值。三、 因子旋轉因子模型被估計后，還必須對得到的公因子進行解釋。進行解釋通常意味著對每個公共因子給出一種意義明確的名稱，它用來反映在預測每個可觀察變量中這個公因子的重

9、要性，這個公因子的重要程度就是在因子模型矩陣中相應于這個因子的系數，顯然這個因子的系數絕對值越大越重要，而接近0則表示對可觀察變量沒有什么影響。因子解釋是一種主觀的方法，有時侯，通過旋轉公因子可以減少這種主觀性，也就是要使用非奇異的線性變換。設維可觀察變量滿足因子模型。設錯誤！未定義書簽。是任一正交陣，則因子模型可改寫為(36.14)其中，。根據我們前面假定：每個公因子的均值為0，即，每個公因子的方差為1，即，各特殊因子之間及特殊因子與公共因子之間都是相互獨立的，即及。可以證明(36.15)(36.16)(36.17)(36.18)因此，。這說明，若和是一個因子解，任給正交陣錯誤！未定義書簽。

10、，和也是因子解。由于正交陣錯誤！未定義書簽。是任給的，所以因子解不是唯一的。在實際工作中，為了使載荷矩陣有更好的實際意義，在求出因子載荷矩陣后，再右乘一個正交陣，這樣就變換了因子載荷矩陣，這種方法稱為因子軸的正交旋轉。我們知道，一個所有系數接近0或±1的旋轉模型矩陣比系數多數為0與±1之間的模型容易解釋。因此，大多數旋轉方法都是試圖最優化模型矩陣的函數。在初始因子提取后，這些公因子是互不相關的。如果這些因子用正交變換（orthogonal transformation）進行旋轉，旋轉后的因子也是不相關的。如果因子用斜交變換（oblique transformation）進行

11、旋轉，則旋轉后的因子變為相關的。但斜交旋轉常常產生比正交旋轉更有用的模型。旋轉一組因子并不能改變這些因子的統計解釋能力。如果兩種旋轉模型導出不同的解釋，這兩種解釋不能認為是矛盾的。倒不如說，是看待相同事物的兩種不同方法。從統計觀點看，不能說一些旋轉比另一些旋轉好。在統計意義上，所有旋轉都是一樣的。因此在不同的旋轉之間進行選擇必須根據非統計觀點。在多數應用中，我們選擇最容易解釋的旋轉模型。四、 應注意的幾個問題l 因子分析是主成分分析的推廣，它也是一種降維技術，其目的是用有限個不可觀測的隱變量來解釋原始變量之間的相關關系。l 因子模型在形式上與線性回歸模型很相似，但兩者有著本質的區別：回歸模型中

12、的自變量是可觀測到的，而因子模型中的各公因子是不可觀測的隱變量。而且，兩個模型的參數意義很不相同。l 因子載荷矩陣不是唯一的，利用這一點通過因子的旋轉，可以使得旋轉后的因子有更鮮明的實際意義。l 因子載荷矩陣的元素及一些元素組合有很明確的統計意義。l 因子模型中常用的參數估計方法主要有：主成分法，主因子法和極大似然法。l 在實際應用中，常從相關矩陣R出發進行因子模型分析。 常用的因子得分估計方法有：巴特萊特因子得分和湯姆森因子得分兩種方法。五、 Factor因子分析過程因子分析用少數起根本作用、相互獨立、易于解釋通常又是不可觀察的因子來概括和描述數據，表達一組相互關聯的變量。通常情況下，這些相

13、關因素并不能直觀觀測，這類分析通常需用因子分析完成。 factor過程一般由下列語句控制：proc factor data=數據集 <選項列表> ;priors 公因子方差 ;var 變量表 ;partial 變量表 ;freq 變量 ;weight 變量 ;by 變量 ;run ;1. proc factor語句的<選項列表>。1) 有關輸出數據集選項。l out= 輸出數據集創建一個輸出數據集，包括輸入數據集中的全部數據和因子得分估計。l outstat= 輸出數據集用于存儲因子分析的結果。這個結果中的部分內容可作為進一步因子分析的讀入數據集。2) 有關因子提取和公

14、因子方差選項。l method= 因子選擇方法包括principal（主成份法），prinit（迭代主因子法），usl（沒有加權的最小二乘因子法），alpha（因子法或稱harris法），ml（極大似然法），image（映象協方差陣的主成份法），pattern（從type=選項的數據集中讀入因子模型）、score（從type=選項的數據集中讀入得分系數）。常用方法為principal（主成份法）、ml（極大似然法）和prinit（迭代主因子法）。l heywood公因子方差大于1時令其為1，并允許迭代繼續執行下去。因為公因子方差是相關系數的平方，我們要求它總是在0和1之間。這是公因子模型的數學

15、性質決定的。盡管如此，但在最終的公因子方差的迭代估計時有可能超過1。如果公因子方差等于1，這種狀況稱為Heywood狀況，如果公因子方差大于1，這種狀況稱為超-Heywood狀況。在超-Heywood狀況時，因子解是無效的。l priors =公因子方差的計算方法名規定計算先驗公因子方差估計的方法，即給各變量的公因子方差賦初值，包括one（等于1.0），max (最大絕對相關系數 )，smc（多元相關系數的平方），asmc (與多元相關系數的平方成比例，但要適當調整使它們的和等于最大絕對相關)，input （從data=指定的數據集中，按type=指定類型讀入第一個觀察中的先驗公因子

16、方差估計），random（0與1之間的隨機數）。3) 有關規定因子個數及收斂準則的選項。l nfactors=n要求保留n個公因子，否則只保留特征值大于1的那些公因子。l mineigen=p規定被保留因子的最小特征值。l proportion=p使用先驗公因子方差估計，對被保留的因子規定所占公共方差比例為這個p值。l converge=p當公因子方差的最大改變小于p時停止迭代。缺省值=0.001。l maxiter=n規定迭代的最大數。缺省值為30。4) 有關旋轉方法的選項。l rotate因子轉軸方式名給出旋轉方法。包括none，varimax，quartimax，equamax，orth

17、omax，hk，promax，procrustes。常用的有varimax（正交的最大方差轉軸法）、orthomax（由gamma=指定權數的正交方差最大轉軸法）和promax（在正交最大方差轉軸的基礎上進行斜交旋轉）。l normkaiser | raw | weight | cov | none為了對因子模型進行旋轉，規定模型矩陣中行的正規化方法。例如，norm=kaiser表示使用Kaiser的正規化方法。norm=weight表示使用Cureton-Mulaik方法進行加權。norm=cov表示模型矩陣的這些行被重新標度為表示協方差而不是相關系數。norm=raw或none表示不進行正

18、規化。l gamma=p規定正交方差最大旋轉的權數。l prerotate因子轉軸方式名規定預先旋轉的方法。除了promax和procrustes的旋轉方法，任何其他的旋轉方法都可使用。5) 有關控制打印輸出的選項。l simple打印輸出包括簡單統計數。l corr打印輸出相關陣和偏相關陣。l score打印因子得分模型中的系數。l scree打印特征值的屏幕圖。l ev打印輸出特征向量。l residuals打印殘差相關陣和有關的偏相關陣。l nplot=n規定被作圖的因子個數。l plot在旋轉之后畫因子模型圖。l preplot在旋轉之前畫因子模型圖。l msa打印被所有其余變量控制的

19、每對變量間的偏相關，并抽樣適當的Kaiser度量。l reorder在打印輸出時讓各種因子矩陣的這些行重新排序。在第一個因子上具有最大絕對載荷的變量首先被輸出，然后按最大載荷到最小輸出，緊接著在第二個因子上輸出具有最大絕對載荷的變量等等。2. priors語句。為var變量設定公因子方差，值在0.0和1.0之間。其值的設定應與var語句的變量相對應。例如：proc factor；priors 0.7 0.8 0.9； var x y z；其他語句的使用略。六、 Factor score因子得分過程無論是初始因子模型還是旋轉后的因子模型，都是將指標表示為公因子的線性組合。在因子分析中，還可以將公

20、因子表示為指標的線性組合，這樣就可以從指標的觀測值估計各個公因子的值，這種值叫因子得分。它對樣品的分類有實際意義。因子得分可由proc score過程完成。score過程一般由下列語句控制： proc score data=數據集 <選項列表> ;var 變量 ;run ;proc score語句選項包括out輸出數據集，存儲因子得分結果等。將factor和score兩個過程書寫在同一個程序中，可以提高分析的效率。七、 實例分析例36.1 下表36.1給出的數據是在洛杉礬十二個標準大都市居民統計地區中進行人口調查獲得的。它有五個社會經濟變量，它們分別是人口總數(pop) 、居民的教

21、育程度或中等教育的年數(school )、雇傭人總數(employ )、各種服務行業的人數(services )和中等的房價(house )，試作因子分析。表36.1 五個社會因素調查數據編號popschool employ services house 1570012.82500270250002100010.96001010000334008.810001090004380013.61700140250005400012.8160014025000682008.3260060120007120011.440010160008910011.5330060140009990012.534001

22、801800010960013.73600390250001196009.63300801200012940011.44000100130001. 建立數據文件。程序如下：data socecon;input pop school employ services house;title 'FIVE SOCIO-ECONOMIC VARIABLES'cards; 5700 12.8 2500 270 25000 1000 10.9 600 10 10000 9400 11.4 4000 100 13000;run;程序運行后，生成一個scoecon數據集。2. 調用因子分析fac

23、tor過程。菜單操作方法，在SAS系統的主菜上，選擇Globals/SAS/Assist 進入Assist的主菜單，再選擇data analysis/multivar/factor analysis(因子分析)。編程方法如下：proc factor data=socecon method=prin priors=one simple corr score;run;proc factor data=socecon method=prin priors=smc msa scree residual preplot rotate=promax reorder plot outstat=fact_al

24、l ;run;proc factor data=socecon method=ml heywood nfacotors=1;run;proc factor data=socecon method=ml heywood nfactors=2;run;proc factor data=socecon method=ml heywood nfactors=3;run;程序說明：共調用了5個factor因子分析過程。第1個過程為主成份因子分析，第2個過程為主因子分析，第3個過程為提取一個因子的最大似然分析，第4個過程為提取二個因子的最大似然分析，第5個過程為提取三個因子的最大似然分析。第1個facto

25、r因子分析過程，由于選項method=prin 和priors=one，提取因子的方法采用主成份分析，先驗公因子方差估計被規定為1。選項simple和 corr要求輸出描述統計量和相關陣。選項score要求輸出因子得分系數。第2個factor因子分析過程， 由于不是priors=one選項，所以提取因子的方法采用主因子分析，選項method=prin不起作用。選項priors=smc表示先驗公因子方差估計被規定為每個變量與其他變量的多重相關系數的平方。選項msa表示控制所有其余變量的偏相關。選項scree表示輸出所有特征值按從大到小排列的斜坡圖，用于選擇因子個數。選項residual輸出殘差相

26、關陣和有關的偏相關陣，得到特殊因子方差的剩余相關。選項rotate=promax規定因子模型預先按正交最大方差的旋轉，再在正交最大方差轉軸的基礎上進行斜交的promax旋轉。選項preplot表示繪制因子模型旋轉前的散點圖。選項plot表示繪制因子模型旋轉后的散點圖。選項reorder表示按因子上具有的載荷大小排列。選項outstat=fact_all表示將因子分析的各種結果輸出到fact_all數據集中。其他3個最大似然因子分析過程的說明，我們在這里省略。第1和第2個factor因子分析過程運行后，主要的結果見表36.2到表36.9。Means and Standard Deviations

27、 from 12 observations（每個變量的均值和標準差）POP SCHOOL EMPLOY SERVICES HOUSEMean 6241.66667 11.4416667 2333.33333 120.833333 17000Std Dev 3439.99427 1.78654483 1241.21153 114.927513 6367.53128Correlations（相關矩陣） POP SCHOOL EMPLOY SERVICES HOUSEPOP 1.00000 0.00975 0.97245 0.43887 0.02241SCHOOL 0.00975 1.00000 0

28、.15428 0.69141 0.86307EMPLOY 0.97245 0.15428 1.00000 0.51472 0.12193SERVICES 0.43887 0.69141 0.51472 1.00000 0.77765HOUSE 0.02241 0.86307 0.12193 0.77765 1.00000表 36.2 均值、標準差及相關矩陣表 36.3 主成份法的輸出結果Initial Factor Method: Principal ComponentsPrior Communality Estimates: ONE（初始公因子方差估計值）Eigenvalues of the

29、 Correlation Matrix: Total = 5 Average = 1（相關矩陣的特征值） 1 2 3 4 5Eigenvalue 2.8733 1.7967 0.2148 0.0999 0.0153Difference 1.0767 1.5818 0.1149 0.0847Proportion 0.5747 0.3593 0.0430 0.0200 0.0031Cumulative 0.5747 0.9340 0.9770 0.9969 1.00002 factors will be retained by the MINEIGEN criterion.（確定的因子數目）Fac

30、tor Pattern（因子模型） FACTOR1 FACTOR2POP 0.58096 0.80642SCHOOL 0.76704 -0.54476EMPLOY 0.67243 0.72605SERVICES 0.93239 -0.10431HOUSE 0.79116 -0.55818Variance explained by each factor（每個因子解釋的方差）FACTOR1 FACTOR22.873314 1.796660Final Communality Estimates: Total = 4.669974（最終公因子方差估計） POP SCHOOL EMPLOY SERVI

31、CES HOUSE0.987826 0.885106 0.979306 0.880236 0.937500 Scoring Coefficients Estimated by RegressionSquared Multiple Correlations of the Variables with each Factor FACTOR1 FACTOR2 1.000000 1.000000Standardized Scoring Coefficients(標準因子得分模型中的系數) FACTOR1 FACTOR2 POP 0.20219 0.44884 SCHOOL 0.26695 -0.303

32、20 EMPLOY 0.23403 0.40411 SERVICES 0.32450 -0.05806 HOUSE 0.27535 -0.31068Initial Factor Method: Principal FactorsPartial Correlations Controlling all other Variables（控制所有其余變量的偏相關） POP SCHOOL EMPLOY SERVICES HOUSEPOP 1.00000 -0.54465 0.97083 0.09612 0.15871SCHOOL -0.54465 1.00000 0.54373 0.04996 0.6

33、4717EMPLOY 0.97083 0.54373 1.00000 0.06689 -0.25572SERVICES 0.09612 0.04996 0.06689 1.00000 0.59415HOUSE 0.15871 0.64717 -0.25572 0.59415 1.00000Kaiser's Measure of Sampling Adequacy: Over-all MSA = 0.57536759（抽樣適當的Kaiser量度，包括所有變量的和每個變量的）POP SCHOOL EMPLOY SERVICES HOUSE0.472079 0.551588 0.488511

34、 0.806644 0.612814Prior Communality Estimates: SMC POP SCHOOL EMPLOY SERVICES HOUSE0.968592 0.822285 0.969181 0.785724 0.847019Eigenvalues of the Reduced Correlation Matrix:（約化相關矩陣的特征值）Total = 4.39280116 Average = 0.87856023 1 2 3 4 5Eigenvalue 2.7343 1.7161 0.0396 -0.0245 -0.0726Difference 1.0182 1

35、.6765 0.0641 0.0481Proportion 0.6225 0.3907 0.0090 -0.0056 -0.0165Cumulative 0.6225 1.0131 1.0221 1.0165 1.00002 factors will be retained by the PROPORTION criterion.Factor Pattern FACTOR1 FACTOR2SERVICES 0.87899 -0.15847HOUSE 0.74215 -0.57806EMPLOY 0.71447 0.67936SCHOOL 0.71370 -0.55515POP 0.62533

36、0.76621Variance explained by each factorFACTOR1 FACTOR22.734301 1.716069Final Communality Estimates: Total = 4.450370 POP SCHOOL EMPLOY SERVICES HOUSE0.978113 0.817564 0.971999 0.797743 0.884950 Residual Correlations With Uniqueness on the Diagonal（在對角線上是特殊因子方差的剩余相關） POP SCHOOL EMPLOY SERVICES HOUSE

37、 POP 0.02189 -0.01118 0.00514 0.01063 0.00124 SCHOOL -0.01118 0.18244 0.02151 -0.02390 0.01248 EMPLOY 0.00514 0.02151 0.02800 -0.00565 -0.01561 SERVICES 0.01063 -0.02390 -0.00565 0.20226 0.03370 HOUSE 0.00124 0.01248 -0.01561 0.03370 0.11505 Root Mean Square Off-diagonal Residuals: Over-all = 0.0169

38、3282 POP SCHOOL EMPLOY SERVICES HOUSE 0.008153 0.018130 0.013828 0.021517 0.019602 Partial Correlations Controlling Factors（控制因子的偏相關） POP SCHOOL EMPLOY SERVICES HOUSE POP 1.00000 -0.17693 0.20752 0.15975 0.02471 SCHOOL -0.17693 1.00000 0.30097 -0.12443 0.08614 EMPLOY 0.20752 0.30097 1.00000 -0.07504

39、 -0.27509 SERVICES 0.15975 -0.12443 -0.07504 1.00000 0.22093 HOUSE 0.02471 0.08614 -0.27509 0.22093 1.00000 Root Mean Square Off-diagonal Partials: Over-all = 0.18550132（非對角偏相關的均方根，包括所有變量的和每個變量的） POP SCHOOL EMPLOY SERVICES HOUSE 0.158508 0.190259 0.231818 0.154470 0.182015表 36.4 主因子法的輸出結果Prerotation

40、 Method: Varimax（預先旋轉方法：正交最大方差旋轉） Orthogonal Transformation Matrix（正交變換矩陣） 1 2 1 0.78895 0.61446 2 -0.61446 0.78895 Rotated Factor Pattern（旋轉后的因子模型） FACTOR1 FACTOR2 HOUSE 0.94072 -0.00004 SCHOOL 0.90419 0.00055 SERVICES 0.79085 0.41509 POP 0.02255 0.98874 EMPLOY 0.14625 0.97499 Variance explained by

41、 each factor FACTOR1 FACTOR2 2.349857 2.100513 Final Communality Estimates: Total = 4.450370 POP SCHOOL EMPLOY SERVICES HOUSE 0.978113 0.817564 0.971999 0.797743 0.884950表 36.5 主因子法的正交最大方差預旋轉結果Rotation Method: Promax(旋轉方法:在正交最大方差旋轉的基礎上再斜交旋轉) Target Matrix for Procrustean Transformation（用于Procrustean斜交變換的目標矩陣） FACTOR1 FACTOR2 HOUSE 1.00000 -0.00000 SCHOOL 1.00000 0.00000 SERVICES 0.69421 0.10045 POP 0.00001 1.00000 EMPLOY 0.00326 0.96793 Procrustean Transform