1、2021-10-13中國人民大學六西格瑪質量管理研究中心1多元統計分析多元統計分析何曉群何曉群中國人民大學中國人民大學出版社出版社2021-10-13中國人民大學六西格瑪質量管理研究中心2第第六六章章 因子分分析因子分分析 目錄 上頁 下頁 返回 結束 6.1 6.1 因子分析的基本理論因子分析的基本理論6.2 6.2 因子載荷的求解因子載荷的求解6.3 6.3 因子分析的步驟與邏輯框圖因子分析的步驟與邏輯框圖6.4 6.4 因子分析的上機實現因子分析的上機實現2021-10-13中國人民大學六西格瑪質量管理研究中心3第第六六章章 因子分分析因子分分析 目錄 上頁 下頁 返回 結束 因子分析（

2、因子分析（factor analysis）模型是主成分分析的推廣。）模型是主成分分析的推廣。它也是利用降維的思想，由研究原始變量相關矩陣內部的依它也是利用降維的思想，由研究原始變量相關矩陣內部的依賴關系出發，把一些具有錯綜復雜關系的變量歸結為少數幾賴關系出發，把一些具有錯綜復雜關系的變量歸結為少數幾個綜合因子的一種多變量統計分析方法。相對于主成分分析，個綜合因子的一種多變量統計分析方法。相對于主成分分析，因子分析更傾向于描述原始變量之間的相關關系；因此，因因子分析更傾向于描述原始變量之間的相關關系；因此，因子分析的出發點是原始變量的相關矩陣。因子分析的思想始子分析的出發點是原始變量的相關矩陣。

3、因子分析的思想始于于1904年年Charles Spearman對學生考試成績的研究。近年來，對學生考試成績的研究。近年來，隨著電子計算機的高速發展，人們將因子分析的理論成功地隨著電子計算機的高速發展，人們將因子分析的理論成功地應用于心理學、醫學、氣象、地質、經濟學等各個領域，也應用于心理學、醫學、氣象、地質、經濟學等各個領域，也使得因子分析的理論和方法更加豐富。本章主要介紹因子分使得因子分析的理論和方法更加豐富。本章主要介紹因子分析的基本理論及方法，運用因子分析方法分析實際問題的主析的基本理論及方法，運用因子分析方法分析實際問題的主要步驟及因子分析的上機實現等內容。要步驟及因子分析的上機實現

4、等內容。2021-10-13中國人民大學六西格瑪質量管理研究中心4 目錄 上頁 下頁 返回 結束 6.1 6.1 因子分析的基本理論因子分析的基本理論6.1.1 6.1.1 因子分析的基本思想因子分析的基本思想6.1.2 6.1.2 因子分析的基本理論及模型因子分析的基本理論及模型 因子分析的基本思想是根據相關性大小把原始變量分組，使因子分析的基本思想是根據相關性大小把原始變量分組，使得同組內的變量之間相關性較高，而不同組的變量間的相關性則得同組內的變量之間相關性較高，而不同組的變量間的相關性則較低。每組變量代表一個基本結構，并用一個不可觀測的綜合變較低。每組變量代表一個基本結構，并用一個不可

5、觀測的綜合變量表示，這個基本結構就稱為公共因子。對于所研究的某一具體量表示，這個基本結構就稱為公共因子。對于所研究的某一具體問題，原始變量就可以分解成兩部分之和的形式，一部分是少數問題，原始變量就可以分解成兩部分之和的形式，一部分是少數幾個不可測的所謂公共因子的線性函數，另一部分是與公共因子幾個不可測的所謂公共因子的線性函數，另一部分是與公共因子無關的特殊因子。在經濟統計中，描述一種經濟現象的指標可以無關的特殊因子。在經濟統計中，描述一種經濟現象的指標可以有很多，比如要反映物價的變動情況，對各種商品的價格做全面有很多，比如要反映物價的變動情況，對各種商品的價格做全面調查固然可以達到目的，但這樣

6、做顯然耗時耗力，為實際工作者調查固然可以達到目的，但這樣做顯然耗時耗力，為實際工作者所不取。實際上，某一類商品中很多商品的價格之間存在明顯的所不取。實際上，某一類商品中很多商品的價格之間存在明顯的相關性或相互依賴性，只要選擇幾種主要商品的價格或進而對這相關性或相互依賴性，只要選擇幾種主要商品的價格或進而對這幾種主要商品的價格進行綜合，得到某一種假想的幾種主要商品的價格進行綜合，得到某一種假想的“綜合商品綜合商品”的價格，就足以反映某一類物價的變動情況，這里，的價格，就足以反映某一類物價的變動情況，這里，“綜合商品綜合商品”的價格就是提取出來的因子。的價格就是提取出來的因子。2021-10-13

7、中國人民大學六西格瑪質量管理研究中心5 目錄 上頁 下頁 返回 結束 6.1.1 6.1.1 因子分析的基本思想因子分析的基本思想2021-10-13中國人民大學六西格瑪質量管理研究中心6 目錄 上頁 下頁 返回 結束 6.1.1 6.1.1 因子分析的基本思想因子分析的基本思想 這樣，對各類商品物價或僅對主要類別商品的物價進行類似分這樣，對各類商品物價或僅對主要類別商品的物價進行類似分析然后加以綜合，就可以反映出物價的整體變動情況。這一過程析然后加以綜合，就可以反映出物價的整體變動情況。這一過程也就是從一些有錯綜復雜關系的經濟現象中找出少數幾個主要因也就是從一些有錯綜復雜關系的經濟現象中找出

8、少數幾個主要因子，每一個主要因子就代表經濟變量間相互依賴的一種經濟作用。子，每一個主要因子就代表經濟變量間相互依賴的一種經濟作用。抓住這些主要因子就可以幫助我們對復雜的經濟問題進行分析和抓住這些主要因子就可以幫助我們對復雜的經濟問題進行分析和解釋。解釋。 因子分析還可用于對變量或樣品的分類處理，我們在得出因子因子分析還可用于對變量或樣品的分類處理，我們在得出因子的表達式之后，就可以把原始變量的數據代入表達式得出因子得的表達式之后，就可以把原始變量的數據代入表達式得出因子得分值，根據因子得分在因子所構成的空間中把變量或樣品點畫出分值，根據因子得分在因子所構成的空間中把變量或樣品點畫出來，形象直觀

9、地達到分類的目的。來，形象直觀地達到分類的目的。 因子分析不僅僅可以用來研究變量之間的相關關系，還可以用因子分析不僅僅可以用來研究變量之間的相關關系，還可以用來研究樣品之間的相關關系，通常將前者稱之為來研究樣品之間的相關關系，通常將前者稱之為R 型因子分析，型因子分析，后者稱之為后者稱之為Q 型因子分析。我們下面著重介紹型因子分析。型因子分析。我們下面著重介紹型因子分析。2021-10-13中國人民大學六西格瑪質量管理研究中心7 目錄 上頁 下頁 返回 結束 6.1.2 6.1.2 因子分析的基本理論及模型因子分析的基本理論及模型（一）（一）Charles Spearman提出因子分析時用到的

10、例子提出因子分析時用到的例子為了對因子分析的基本理論有一個完整的認識，我們先給出為了對因子分析的基本理論有一個完整的認識，我們先給出Charles Spearman 1904年用到的例子。在該例中年用到的例子。在該例中Spearman研究了研究了33名學生在古典語（名學生在古典語（C）、法語）、法語（F）、英語（）、英語（E）、數學（）、數學（M）、判別（）、判別（D）和音樂（）和音樂（Mu）六門考試成績之）六門考試成績之間的相關性并得到如下相關陣：間的相關性并得到如下相關陣：2021-10-13中國人民大學六西格瑪質量管理研究中心8 目錄 上頁 下頁 返回 結束 6.1.2 6.1.2 因子

11、分析的基本理論及模型因子分析的基本理論及模型 式中，為第式中，為第 門科目標準化后的考試成績，均值為門科目標準化后的考試成績，均值為0 0，方差為，方差為1 1。 為公共因子，對各科考試成績均有影響，是均值為為公共因子，對各科考試成績均有影響，是均值為0 0，方差為，方差為1 1。 為僅對第為僅對第 門科目考試成績有影響的特殊因子，門科目考試成績有影響的特殊因子， 與與 相互獨立。相互獨立。也就是說，每一門科目的考試成績都可以看作是由一個公共因子也就是說，每一門科目的考試成績都可以看作是由一個公共因子（可以認為是一般智力）與一個特殊因子的和。（可以認為是一般智力）與一個特殊因子的和。 Spea

12、rmanSpearman注意到上面相關陣中一個有趣的規律，這就是如果不注意到上面相關陣中一個有趣的規律，這就是如果不考慮對角元素的話，任意兩列的元素大致成比例，對考慮對角元素的話，任意兩列的元素大致成比例，對C C列和列和E E列列有：有：2 . 151. 063. 054. 066. 064. 070. 067. 083. 0于是于是SpearmanSpearman指出每一科目的考試成績都遵從以下形式：指出每一科目的考試成績都遵從以下形式：iiieFaX（6.1） iFieiFieiX2021-10-13中國人民大學六西格瑪質量管理研究中心9 目錄 上頁 下頁 返回 結束 6.1.2 6.1

13、.2 因子分析的基本理論及模型因子分析的基本理論及模型(6.2)(6.2)式與式與 無關，也正與在相關矩陣中所觀察到的比例關系相一致。無關，也正與在相關矩陣中所觀察到的比例關系相一致。在滿足以上假定的條件下，就有：在滿足以上假定的條件下，就有： jijijjiijiaaFaaeFaeFaEXXvar)(),cov(于是，有 kjkijiaaXXXX),cov(),cov( （6.2）i除此之外，還可以得到如下有關除此之外，還可以得到如下有關 方差的關系式：方差的關系式：iX)var()var()var()var(iiiiieFaeFaX)var()var(2iieFa)var(2iiea 20

14、21-10-13中國人民大學六西格瑪質量管理研究中心10 目錄 上頁 下頁 返回 結束 6.1.2 6.1.2 因子分析的基本理論及模型因子分析的基本理論及模型因此，常數因此，常數 的意義就在于其平方表示了公共因子的意義就在于其平方表示了公共因子 解釋解釋 的方的方差的比例，因此被稱之為因子載荷，而差的比例，因此被稱之為因子載荷，而 被稱作共同度。被稱作共同度。iaFiX2ia對對SpearmanSpearman的例子進行推廣，假定每一門科目的考試成績都受的例子進行推廣，假定每一門科目的考試成績都受到到 個公共因子的影響及一個特殊因子的影響，于是（個公共因子的影響及一個特殊因子的影響，于是（6

15、.16.1）就）就變成了如下因子分析模型的一般形式：變成了如下因子分析模型的一般形式：mimimiiieFaFaFaX2211(6.4)因為因為 是一個常數，與是一個常數，與 相互獨立且相互獨立且 與與 的方差均被假定為的方差均被假定為1 1。于是有于是有iaFie)var(12iiea （6.3）FiX2021-10-13中國人民大學六西格瑪質量管理研究中心11 目錄 上頁 下頁 返回 結束 6.1.2 6.1.2 因子分析的基本理論及模型因子分析的基本理論及模型式中，式中， 為標準化后的第為標準化后的第 門科目的考試成績，均值為門科目的考試成績，均值為0 0，方差為，方差為1 1。 是彼此

16、獨立的公共因子，都滿足均值為是彼此獨立的公共因子，都滿足均值為0 0，方差，方差為為1 1。 為特殊因子，與每一個公共因子均不相關且均值為為特殊因子，與每一個公共因子均不相關且均值為0 0。 則則 為對第為對第 門科目考試成績的因子載荷。對該模型，門科目考試成績的因子載荷。對該模型，有：有：iXimFFF,21ieimiiaaa,21i1)var()var(22221iimiiieaaaX（6.5）式中，式中， 表示公共因子解釋表示公共因子解釋 方差的比例，稱為方差的比例，稱為 的的共同度，相對的共同度，相對的 可稱為可稱為 的特殊度或剩余方差，表示的特殊度或剩余方差，表示 的方差中與公共因子

17、無關的部分。因為共同度不會大于的方差中與公共因子無關的部分。因為共同度不會大于1 1，因，因此，此， 。由模型。由模型(6.4)(6.4)還可以很容易地得到如下還可以很容易地得到如下 與與 相關系數的關系式：相關系數的關系式： 22221imiiaaaiXiX)var(ieiXiX11ijaiXjXjmimjijiijaaaaaar2211（6.6） 所以當所以當 與與 在某一公共因子上的載荷均較大時，也就表在某一公共因子上的載荷均較大時，也就表明了明了 與與 的相關性較強。的相關性較強。iXjXiXjX2021-10-13中國人民大學六西格瑪質量管理研究中心12 目錄 上頁 下頁 返回 結束

18、 6.1.2 6.1.2 因子分析的基本理論及模型因子分析的基本理論及模型（二）一般因子分析模型（二）一般因子分析模型下面我們給出更為一般的因子分析模型：設有下面我們給出更為一般的因子分析模型：設有 個樣品，每個樣個樣品，每個樣品觀測品觀測 個指標，這個指標，這 個指標之間有較強的相關性（要求個指標個指標之間有較強的相關性（要求個指標相關性較強的理由是很明確的，只有相關性較強才能從原始變相關性較強的理由是很明確的，只有相關性較強才能從原始變量中提取出量中提取出“公共公共”因子）。為了便于研究，并消除由于觀測因子）。為了便于研究，并消除由于觀測量綱的差異及數量級不同所造成的影響，將樣本觀測數據進

19、行量綱的差異及數量級不同所造成的影響，將樣本觀測數據進行標準化處理，使標準化后的變量均值為標準化處理，使標準化后的變量均值為0 0，方差為，方差為1 1。為方便把。為方便把原始變量及標準化后的變量向量均用原始變量及標準化后的變量向量均用 表示，用表示，用 表示標準化的公共因子。表示標準化的公共因子。 nppXmFFF,21)(pm 2021-10-13中國人民大學六西格瑪質量管理研究中心13 目錄 上頁 下頁 返回 結束 6.1.2 6.1.2 因子分析的基本理論及模型因子分析的基本理論及模型（2 2） （ ）是不可觀測的變量，其均值向）是不可觀測的變量，其均值向 量量 ，協方差矩陣，協方差矩

20、陣 ，即向量，即向量 的各分量是相互獨的各分量是相互獨立的；立的；如果：如果：（1 1） 是可觀測隨機向量，且均值向量是可觀測隨機向量，且均值向量 ，協，協方差矩陣方差矩陣 ，且協方差矩陣，且協方差矩陣 與相關陣與相關陣 相等；相等；),(21pxXXX0X )(EX )cov(R),(21mFFFFpm 0F )(EIF )cov(F（3 3） 與與 相互獨立，且相互獨立，且 ， 的協方差陣的協方差陣 是對角方陣是對角方陣),(21pF0)(E222221100) cov(pp2021-10-13中國人民大學六西格瑪質量管理研究中心14 目錄 上頁 下頁 返回 結束 6.1.2 6.1.2

21、因子分析的基本理論及模型因子分析的基本理論及模型 即即 的各分量之間也是相互獨立的。則模型的各分量之間也是相互獨立的。則模型pmpmpppmmmmFaFaFaXFaFaFaXFaFaFaX2211222221212112121111 (6.7)稱為因子模型，模型稱為因子模型，模型(6.7)(6.7)式的矩陣形式為：式的矩陣形式為：AFX (6.8)其中 pmppmmaaaaaaaaaA2122221112112021-10-13中國人民大學六西格瑪質量管理研究中心15 目錄 上頁 下頁 返回 結束 6.1.2 6.1.2 因子分析的基本理論及模型因子分析的基本理論及模型由模型（由模型（6.76

22、.7）及其假設前提知，公共因子）及其假設前提知，公共因子 相互獨立相互獨立且不可測，是在原始變量的表達式中都出現的因子。公共因子且不可測，是在原始變量的表達式中都出現的因子。公共因子的含義，必須結合實際問題的具體意義確定。的含義，必須結合實際問題的具體意義確定。 叫做特叫做特殊因子，是向量殊因子，是向量 的分量的分量 （ ）所特有的因子。各）所特有的因子。各特殊因子之間以及特殊因子與所有公共因子之間也都是相互獨特殊因子之間以及特殊因子與所有公共因子之間也都是相互獨立的。矩陣立的。矩陣 中的元素中的元素 稱為因子載荷，稱為因子載荷， 的絕對值大的絕對值大 ，表明表明 與與 的相依程度越大，或稱公

23、共因子的相依程度越大，或稱公共因子 對于對于 的載荷量的載荷量越大，進行因子分析的目的之一，就是要求出各個因子載荷的越大，進行因子分析的目的之一，就是要求出各個因子載荷的值。值。 mFFF,21p,21XiXpi, 2 , 1Aijaija) 1|(|ijaiXjFjFiX2021-10-13中國人民大學六西格瑪質量管理研究中心16 目錄 上頁 下頁 返回 結束 6.1.2 6.1.2 因子分析的基本理論及模型因子分析的基本理論及模型經過后面的分析我們會看到，因子載荷的概念與上一章主成分分經過后面的分析我們會看到，因子載荷的概念與上一章主成分分析中的因子負荷量相對等，實際上，由于因子分析與主成

24、分分析析中的因子負荷量相對等，實際上，由于因子分析與主成分分析非常類似，在模型非常類似，在模型(6.7)(6.7)式中，若把式中，若把 看作看作 的綜合作用，則除了此處的因子為不可測變量這一區別，因子載的綜合作用，則除了此處的因子為不可測變量這一區別，因子載荷與主成分分析中的因子負荷量是一致的；很多人對這兩個概念荷與主成分分析中的因子負荷量是一致的；很多人對這兩個概念并不加以區分而都稱做因子載荷。矩陣并不加以區分而都稱做因子載荷。矩陣 稱為因子載荷矩陣。稱為因子載荷矩陣。i22,11,mmimmiFaFapipFaA 為了更好地理解因子分析方法，有必要討論一下載荷矩陣為了更好地理解因子分析方法

25、，有必要討論一下載荷矩陣的統計意義與公因子與原始變量之間的關系。的統計意義與公因子與原始變量之間的關系。A2021-10-13中國人民大學六西格瑪質量管理研究中心17 目錄 上頁 下頁 返回 結束 6.1.2 6.1.2 因子分析的基本理論及模型因子分析的基本理論及模型1.1.因子載荷因子載荷 的統計意義的統計意義 ija由模型(6.7)式mjjijijjiFFaFX1),cov(),cov(mjjijjijFFFa1),cov(),cov(ija（6.9）即即 是是 與與 的協方差，而注意到，的協方差，而注意到， 與與 （ ）都是均值為都是均值為0 0，方差為，方差為1 1的變量，因此，的變

26、量，因此， 同時也是同時也是 與與 的相的相關系數。請讀者對比主成分分析一章有關因子負荷量的論述并關系數。請讀者對比主成分分析一章有關因子負荷量的論述并對兩者進行比較。對兩者進行比較。ijaiXjFiXjFmjpi, 2 , 1;, 2 , 1ijaiXjF2021-10-13中國人民大學六西格瑪質量管理研究中心18 目錄 上頁 下頁 返回 結束 6.1.2 6.1.2 因子分析的基本理論及模型因子分析的基本理論及模型2 2變量共同度與剩余方差變量共同度與剩余方差在上面在上面SpearmanSpearman的例子中我們提到了共同度與剩余方差的概念，的例子中我們提到了共同度與剩余方差的概念，對一

27、般因子模型對一般因子模型(6.7)(6.7)式的情況，我們重新總結這兩個概念如式的情況，我們重新總結這兩個概念如下：下： 稱稱 為變量為變量 的共同度，記為的共同度，記為 （ ）。）。由因子分析模型的假設前提，易得：由因子分析模型的假設前提，易得：22221imiiaaaix2ihpi, 2 , 1)var(1)var(2iiihX記記 ，則，則2)var(ii221)var(iiihx (6.10) (6.9)上式表明共同度上式表明共同度 與剩余方差與剩余方差 有互補的關系，有互補的關系， 越大表明越大表明 對公共因子的依賴程度越大，公共因子能解釋對公共因子的依賴程度越大，公共因子能解釋 方

28、差的比例方差的比例越大，因子分析的效果也就越好。越大，因子分析的效果也就越好。2ih2i2ihiXiX2021-10-13中國人民大學六西格瑪質量管理研究中心19 目錄 上頁 下頁 返回 結束 6.1.2 6.1.2 因子分析的基本理論及模型因子分析的基本理論及模型3 3公因子公因子 的方差貢獻的方差貢獻jF共同度考慮的是所有公共因子共同度考慮的是所有公共因子 與某一個原始變量的關與某一個原始變量的關系，與此類似，考慮某一個公共因子系，與此類似，考慮某一個公共因子 與所有原始變量與所有原始變量 的關系。的關系。 mFFF,21jFpXXX,21 記記 （ ），則），則 表示的是公共因表示的是公

29、共因 子子 對于對于 的每一分量的每一分量 （ ）所提供的方差的總和，）所提供的方差的總和，稱為公因子稱為公因子 對原始變量向量對原始變量向量 的方差貢獻，它是衡量公因子相的方差貢獻，它是衡量公因子相對重要性的指標。對重要性的指標。 越大，則表明公共因子越大，則表明公共因子 對對 的貢獻越大，的貢獻越大，或者說對或者說對 的影響和作用就越大。如果將因子載荷矩陣的影響和作用就越大。如果將因子載荷矩陣 的所有的所有 （ ）都計算出來，并按其大小排序，就可以依此提煉）都計算出來，并按其大小排序，就可以依此提煉出最有影響的公共因子。出最有影響的公共因子。222212pjjjjaaagmj, 2 , 1

30、2jgjFXpi, 2 , 1iXjFX2jgjFXXA2jgmj, 2 , 12021-10-13中國人民大學六西格瑪質量管理研究中心20 目錄 上頁 下頁 返回 結束 6.26.2 因子載荷的求解因子載荷的求解6.2.1 6.2.1 主成分法主成分法6.2.2 6.2.2 主軸因子法主軸因子法6.2.4 6.2.4 因子旋轉因子旋轉6.2.3 6.2.3 極大似然法極大似然法6.2.5 6.2.5 因子得分因子得分6.2.6 6.2.6 主成分分析與因子分析的區別主成分分析與因子分析的區別2021-10-13中國人民大學六西格瑪質量管理研究中心21 目錄 上頁 下頁 返回 結束 6.26.

31、2 因子載荷的求解因子載荷的求解 因子分析可以分為確定因子載荷，因子旋轉及計因子分析可以分為確定因子載荷，因子旋轉及計算因子得分三個步驟。首要的步驟即為確定因子載算因子得分三個步驟。首要的步驟即為確定因子載荷或是根據樣本數據確定出因子載荷矩陣荷或是根據樣本數據確定出因子載荷矩陣 。有很多。有很多方法可以完成這項工作，如主成分法，主軸因子法，方法可以完成這項工作，如主成分法，主軸因子法，最小二乘法，極大似然法，最小二乘法，極大似然法， 因子提取法等。這些方因子提取法等。這些方法求解因子載荷的出發點不同，所得的結果也不完法求解因子載荷的出發點不同，所得的結果也不完全相同。下面我們著重介紹比較常用的

32、主成分法、全相同。下面我們著重介紹比較常用的主成分法、主軸因子法與極大似然法。主軸因子法與極大似然法。A2021-10-13中國人民大學六西格瑪質量管理研究中心22 目錄 上頁 下頁 返回 結束 6.26.2 .1 主成分法主成分法 用主成分法確定因子載荷是在進行因子分析之前先對數據進用主成分法確定因子載荷是在進行因子分析之前先對數據進行一次主成分分析，然后把前面幾個主成分作為未旋轉的公因行一次主成分分析，然后把前面幾個主成分作為未旋轉的公因子。相對于其它確定因子載荷的方法而言，主成分法比較簡單。子。相對于其它確定因子載荷的方法而言，主成分法比較簡單。但是由于用這種方法所得的特殊因子但是由于用

33、這種方法所得的特殊因子 之間并不相互獨之間并不相互獨立，因此，用主成分法確定因子載荷不完全符合因子模型的假立，因此，用主成分法確定因子載荷不完全符合因子模型的假設前提，也就是說所得的因子載荷并不完全正確。但是當共同設前提，也就是說所得的因子載荷并不完全正確。但是當共同度較大時，特殊因子所起的作用較小，因而特殊因子之間的相度較大時，特殊因子所起的作用較小，因而特殊因子之間的相關性所帶來的影響就幾乎可以忽略。事實上，很多有經驗的分關性所帶來的影響就幾乎可以忽略。事實上，很多有經驗的分析人員在進行因子分析時，總是先用主成分法進行分析，然后析人員在進行因子分析時，總是先用主成分法進行分析，然后再嘗試其

34、他的方法。再嘗試其他的方法。p,212021-10-13中國人民大學六西格瑪質量管理研究中心23 目錄 上頁 下頁 返回 結束 6.26.2 .1 主成分法主成分法式中，式中， 為隨機向量為隨機向量 的相關矩陣的特征值所對應的特征向量的的相關矩陣的特征值所對應的特征向量的分量，因為特征向量之間彼此正交，從分量，因為特征向量之間彼此正交，從 到到 的轉換關系是可的轉換關系是可逆的，很容易得出由逆的，很容易得出由 到到 的轉換關系為：的轉換關系為： 用主成分法尋找公因子的方法如下：假定從相關陣出發求解主用主成分法尋找公因子的方法如下：假定從相關陣出發求解主成分，設有成分，設有 個變量，則我們可以找

35、出個變量，則我們可以找出 個主成分。將所得的個主成分。將所得的 個主成分按由大到小的順序排列，記為個主成分按由大到小的順序排列，記為 ，則主成分，則主成分與原始變量之間存在如下關系式與原始變量之間存在如下關系式:pppYYY,21pppppppppppXXXYXXXYXXXY22112222121212121111（6.11） ijXXYYX2021-10-13中國人民大學六西格瑪質量管理研究中心24 目錄 上頁 下頁 返回 結束 6.26.2 .1 主成分法主成分法ppppppppppYYYXYYYXYYYX22112222112212211111(6.12)我們對上面每一等式只保留前我們對

36、上面每一等式只保留前 個主成分而把后面的部分用個主成分而把后面的部分用代替，則（代替，則（6.126.12）式變為：）式變為：mipmmppppmmmmYYYXYYYXYYYX2211222221122112211111 (6.13)2021-10-13中國人民大學六西格瑪質量管理研究中心25 目錄 上頁 下頁 返回 結束 6.26.2 .1 主成分法主成分法 式（式（6.136.13）在形式上已經與因子模型）在形式上已經與因子模型(6.7)(6.7)相一致，且相一致，且 （ ）之間相互獨立，且）之間相互獨立，且 與與 之間相互獨立，為了之間相互獨立，為了 把把 轉化成合適的公因子，現在要做的

37、工作只是把主成分轉化成合適的公因子，現在要做的工作只是把主成分 變變為方差為為方差為1 1的變量。為完成此變換，必須將的變量。為完成此變換，必須將 除以其標準差，由除以其標準差，由上一章主成分分析的知識知其標準差即為特征根的平方根上一章主成分分析的知識知其標準差即為特征根的平方根 。于是，令于是，令 ， ，則，則(6.13)(6.13)式變為：式變為：iYmi, 2 , 1iYiiYiYiYiiiiYF/jijijapmpmpppmmmmFaFaFaXFaFaFaXFaFaFaX2211222221212112121111這與因子模型（這與因子模型（6.76.7）完全一致，這樣，就得到了載荷）

38、完全一致，這樣，就得到了載荷 矩陣和矩陣和一組初始公因子（未旋轉）。一組初始公因子（未旋轉）。A2021-10-13中國人民大學六西格瑪質量管理研究中心26 目錄 上頁 下頁 返回 結束 6.26.2 .1 主成分法主成分法一般設一般設 為樣本相關陣為樣本相關陣 的特征根，的特征根， 為對為對應的標準正交化特征向量。設應的標準正交化特征向量。設 ，則因子載荷矩陣，則因子載荷矩陣 的一的一個解為：個解為：p21Rp,21pm A),(2211mmA(6.14) 共同度的估計為：222212imiiiaaah(6.15) 那么如何確定公因子的數目那么如何確定公因子的數目 呢？一般而言，這取決于問題

39、的呢？一般而言，這取決于問題的研究者本人，對于同一問題進行因子分析時，不同的研究者可能研究者本人，對于同一問題進行因子分析時，不同的研究者可能會給出不同的公因子數；當然，有時候由數據本身的特征可以很會給出不同的公因子數；當然，有時候由數據本身的特征可以很明確地確定出因子數目。當用主成分法進行因子分析時，也可以明確地確定出因子數目。當用主成分法進行因子分析時，也可以借鑒確定主成分個數的準則，如所選取的公因子的信息量的和達借鑒確定主成分個數的準則，如所選取的公因子的信息量的和達到總體信息量的一個合適比例為止。但對這些準則不應生搬硬套，到總體信息量的一個合適比例為止。但對這些準則不應生搬硬套，應按具

40、體問題具體分析，總之要使所選取的公因子能夠合理地描應按具體問題具體分析，總之要使所選取的公因子能夠合理地描述原始變量相關陣的結構，同時要有利于因子模型的解釋。述原始變量相關陣的結構，同時要有利于因子模型的解釋。m2021-10-13中國人民大學六西格瑪質量管理研究中心27 目錄 上頁 下頁 返回 結束 6.26.2 .2 主軸因子法主軸因子法 主軸因子法也比較簡單，且在實際應用中也比較普遍。用主軸因子法也比較簡單，且在實際應用中也比較普遍。用主軸因子法求解因子載荷矩陣的方法其思路與主成分法有類似主軸因子法求解因子載荷矩陣的方法其思路與主成分法有類似的地方，兩都均是從分析矩陣的結構入手；兩者不同

41、的地方在的地方，兩都均是從分析矩陣的結構入手；兩者不同的地方在于，主成分法是在所有的于，主成分法是在所有的 個主成分能解釋標準化原始變量所個主成分能解釋標準化原始變量所有方差的基礎之上進行分析的，而主軸因子法中，假定有方差的基礎之上進行分析的，而主軸因子法中，假定 個公個公共因子只能解釋原始變量的部分方差，利用公因子方差（或共共因子只能解釋原始變量的部分方差，利用公因子方差（或共同度）來代替相關矩陣主對角線上的元素同度）來代替相關矩陣主對角線上的元素1 1，并以新得到的這，并以新得到的這個矩陣（稱之為調整相關矩陣）為出發點，對其分別求解特征個矩陣（稱之為調整相關矩陣）為出發點，對其分別求解特征

42、根與特征向量并得到因子解。根與特征向量并得到因子解。pm 在因子模型（在因子模型（6.76.7）中，不難得到如下關于）中，不難得到如下關于 的相關矩陣的相關矩陣 的關系式：的關系式： XRAAR2021-10-13中國人民大學六西格瑪質量管理研究中心28 目錄 上頁 下頁 返回 結束 6.26.2 .2 主軸因子法主軸因子法注意到，上面的分析是以首先得到調整相關矩陣注意到，上面的分析是以首先得到調整相關矩陣 為基礎的，而實為基礎的，而實際上，際上， 與共同度（或相對的，剩余方差）都是未知的，需要我們先與共同度（或相對的，剩余方差）都是未知的，需要我們先進行估計。一般我們先給出一個初始估計，然后

43、估計出載荷矩進行估計。一般我們先給出一個初始估計，然后估計出載荷矩 陣陣 后再給出較好的共同度或剩余方差的估計。初始估計的方法有很多，后再給出較好的共同度或剩余方差的估計。初始估計的方法有很多，可嘗試對原始變量先進行一次主成分分析，給出初始估計值。可嘗試對原始變量先進行一次主成分分析，給出初始估計值。*R*RA式中，式中， 為因子載荷矩陣，為因子載荷矩陣， 為一對角陣，其對角元素為相應特殊為一對角陣，其對角元素為相應特殊因子的方差。則稱因子的方差。則稱 為調整相關矩陣，顯然為調整相關矩陣，顯然 的主的主對角元素不再是對角元素不再是1 1，而是共同度，而是共同度 。分別求解。分別求解 的特征值與

44、標準的特征值與標準正交特征向量，進而求出因子載荷矩陣正交特征向量，進而求出因子載荷矩陣 。此時，。此時， 有有 個正的個正的特征值。設特征值。設 為為 的特征根，的特征根， 為對應的標為對應的標準正交化特征向量。準正交化特征向量。 ，則因子載荷矩陣，則因子載荷矩陣 的一個主軸因子的一個主軸因子解為：解為：AAARR*R2ihA*R*Rmm*2*1*Rm*2*1*,pm A),(*2*2*1*1*mmA(6.16) A2021-10-13中國人民大學六西格瑪質量管理研究中心29 目錄 上頁 下頁 返回 結束 6.26.2 .3 極大似然法極大似然法如果假定公共因子如果假定公共因子 和特殊因子和特

45、殊因子 服從正態分布，則能夠得到因服從正態分布，則能夠得到因子載荷和特殊因子方差的極大似然估計。設子載荷和特殊因子方差的極大似然估計。設 為來自為來自正態總體正態總體 的隨機樣本，其中的隨機樣本，其中 。從似然函數的理。從似然函數的理論知：論知：FpXXX,21),(NAAnjntrnnpeL11)()(2/12/2/|)2(1),(xxxxxxjj (6.17)它通過它通過 依賴于依賴于 和和 。但。但(6.17)(6.17)并不能唯一確定并不能唯一確定 ，為此，為此，添加如下條件：添加如下條件： AAAA1 (6.18) 這里，這里， 是一個對角陣，用數值極大化的方法可以得到極大似然是一個

46、對角陣，用數值極大化的方法可以得到極大似然估計估計 和和 。極大似然估計。極大似然估計 、 和和 ，將使，將使 為對角陣，為對角陣，且使且使(6.17)(6.17)式達到最大。式達到最大。 AAx AA12021-10-13中國人民大學六西格瑪質量管理研究中心30 目錄 上頁 下頁 返回 結束 6.26.2 .4 因子旋轉因子旋轉 不管用何種方法確定初始因子載荷矩陣不管用何種方法確定初始因子載荷矩陣 ，它們都不是唯一的。，它們都不是唯一的。設設 是初始公共因子，則可以建立如下它們的線性組合是初始公共因子，則可以建立如下它們的線性組合得到新的一組公共因子得到新的一組公共因子 ，使得，使得， ，彼

47、此相，彼此相互獨立同時也能很好地解釋原始變量之間的相關關系。互獨立同時也能很好地解釋原始變量之間的相關關系。AmFFF,2121,mFFF21,mFFFmmFdFdFdF12121111mmFdFdFdF22221212mmmmmmFdFdFdF2211 這樣的線性組合可以找到無數組，由此便引出了因子分析的第這樣的線性組合可以找到無數組，由此便引出了因子分析的第二個步驟二個步驟因子旋轉。建立因子分析模型的目的不僅在于要找因子旋轉。建立因子分析模型的目的不僅在于要找公共因子，更重要的是知道每一個公共因子的意義，以便對實際公共因子，更重要的是知道每一個公共因子的意義，以便對實際問題進行分析。問題進

48、行分析。2021-10-13中國人民大學六西格瑪質量管理研究中心31 目錄 上頁 下頁 返回 結束 6.26.2 .4 因子旋轉因子旋轉然而我們得到的初始因子解各主因子的典型代表變量不是很突然而我們得到的初始因子解各主因子的典型代表變量不是很突出，容易使因子的意義含糊不清，不便于對實際問題進行分析。出，容易使因子的意義含糊不清，不便于對實際問題進行分析。出于該種考慮，可以對初始公因子進行線性組合，即進行因子出于該種考慮，可以對初始公因子進行線性組合，即進行因子旋轉，以期找到意義更為明確，實際意義更明顯的公因子。經旋轉，以期找到意義更為明確，實際意義更明顯的公因子。經過旋轉后，公共因子對過旋轉后

49、，公共因子對 的貢獻的貢獻 并不改變，但由于載荷矩陣并不改變，但由于載荷矩陣發生變化，公共因子本身就可能發生很大的變化，每一個公共發生變化，公共因子本身就可能發生很大的變化，每一個公共因子對原始變量的貢獻因子對原始變量的貢獻 不再與原來相同，從而經過適當的旋轉不再與原來相同，從而經過適當的旋轉我們就可以得到比較令人滿意的公共因子。我們就可以得到比較令人滿意的公共因子。iX2ih2ig 因子旋轉分為正交旋轉與斜交旋轉，正交旋轉由初始載荷因子旋轉分為正交旋轉與斜交旋轉，正交旋轉由初始載荷矩陣矩陣 右乘一正交陣而得到。經過正交旋轉而得到的新的公因右乘一正交陣而得到。經過正交旋轉而得到的新的公因子仍然

50、保持彼此獨立的性質。而斜交旋轉則放棄了因子之間彼子仍然保持彼此獨立的性質。而斜交旋轉則放棄了因子之間彼此獨立這個限制，因而可能達到更為簡潔的形式，其實際意義此獨立這個限制，因而可能達到更為簡潔的形式，其實際意義也更容易解釋。也更容易解釋。 A2021-10-13中國人民大學六西格瑪質量管理研究中心32 目錄 上頁 下頁 返回 結束 6.26.2 .4 因子旋轉因子旋轉但不論是正交旋轉還是斜交旋轉，都應當使新的因子載荷系數要但不論是正交旋轉還是斜交旋轉，都應當使新的因子載荷系數要么盡可能地接近于么盡可能地接近于0 0，要么盡可能的遠離，要么盡可能的遠離0 0。因為一個接近于。因為一個接近于0 0

51、的的載荷載荷 表明表明 與與 的相關性很弱；而一個絕對值比較大的載荷的相關性很弱；而一個絕對值比較大的載荷 則表明公因子則表明公因子 在很大程度上解釋了在很大程度上解釋了 的變化。這樣，如果任一的變化。這樣，如果任一原始變量都與某些公共因子存在較強的相關關系，而與另外的公原始變量都與某些公共因子存在較強的相關關系，而與另外的公因子之間幾乎不相關的話，公共因子的實際意義就會比較容易確因子之間幾乎不相關的話，公共因子的實際意義就會比較容易確定。定。ijaiXjFijajFiX 下面介紹正交旋轉中的方差最大化正交旋轉，該方法由下面介紹正交旋轉中的方差最大化正交旋轉，該方法由H.KH.K凱凱澤澤( (

52、H.F.KaiserH.F.Kaiser) )首先提出，是應用最為普遍的正交旋轉方法。方首先提出，是應用最為普遍的正交旋轉方法。方差最大化正交旋轉方法的提出以下面的假設為前提：公因子差最大化正交旋轉方法的提出以下面的假設為前提：公因子 的的解釋能力能夠以其因子載荷平方的方差，即解釋能力能夠以其因子載荷平方的方差，即 的方差來的方差來度量。我們先考慮兩個因子的平面正交旋轉，設因子載荷矩陣為度量。我們先考慮兩個因子的平面正交旋轉，設因子載荷矩陣為: :jF22221,pjjjaaa2021-10-13中國人民大學六西格瑪質量管理研究中心33 目錄 上頁 下頁 返回 結束 6.26.2 .4 因子旋

53、轉因子旋轉2122211211ppaaaaaaA令 cossinsincos則則 為正交陣為正交陣, , 記 AB cossinsincoscossinsincoscossinsincos21212212222112111211ppppaaaaaaaaaaaa2122211211ppbbbbbb (6.19) 經過如上變換，希望所得結果能使載荷矩陣的每一列元素的絕經過如上變換，希望所得結果能使載荷矩陣的每一列元素的絕對值向對值向1 1和和0 0兩極分化，或者說使因子的貢獻兩極分化，或者說使因子的貢獻 盡量分散。這實際盡量分散。這實際上就是希望把變量上就是希望把變量 分成兩部分，一部分主要與第一

54、因子分成兩部分，一部分主要與第一因子有關，另一部分主要與第二因子有關，這也就要求有關，另一部分主要與第二因子有關，這也就要求 ， 這兩組數據的方差要盡可能地大。分別考慮兩列的相這兩組數據的方差要盡可能地大。分別考慮兩列的相對方差對方差2igpXXX,21),(21221211pbbb),(22222212pbbbpipiiiiihbphbpV11222222)1()(1piiipiiihbhbpp122212222)()(12 , 1 （6.20）2021-10-13中國人民大學六西格瑪質量管理研究中心34 目錄 上頁 下頁 返回 結束 6.26.2 .4 因子旋轉因子旋轉2021-10-13

55、中國人民大學六西格瑪質量管理研究中心35 目錄 上頁 下頁 返回 結束 6.26.2 .4 因子旋轉因子旋轉2212jjjjhaav 這里取這里取 是為了消除是為了消除 符號不同的影響，除以符號不同的影響，除以 是為了消除各個是為了消除各個變量對公共因子依賴程度不同的影響，現在要求總的方差達到變量對公共因子依賴程度不同的影響，現在要求總的方差達到最大，即要求使最大，即要求使2ibib2ih21VVG達到最大值，考慮達到最大值，考慮 對對 的導數，利用的導數，利用(6.19)(6.19)，（，（6.206.20）式，）式，經過計算知要使經過計算知要使G0ddG須滿足：須滿足： pBACpABDt

56、g/ )(/2422（6.21） 其中： pjjuA1pjjvB1pjjjvuC122)(pjjjvuD122221)()(jjjjjhahau而 2021-10-13中國人民大學六西格瑪質量管理研究中心36 目錄 上頁 下頁 返回 結束 6.26.2 .4 因子旋轉因子旋轉 如果公共因子多于兩個，我們可以逐次對每兩個進行上述如果公共因子多于兩個，我們可以逐次對每兩個進行上述的旋轉，當公共因子數的旋轉，當公共因子數 時，可以每次取兩個，全部配對旋時，可以每次取兩個，全部配對旋轉，旋轉時總是對初始載荷矩陣轉，旋轉時總是對初始載荷矩陣 中的中的 列，列同時進行，此時列，列同時進行，此時公式公式(6

57、.21)(6.21)中只需將中只需將 ， 就可以了。變換共需進行就可以了。變換共需進行 次，這樣就完成了第一輪旋轉，然后對第一輪旋轉次，這樣就完成了第一輪旋轉，然后對第一輪旋轉所得結果用上述方法繼續進行旋轉，得到第二輪旋轉的結果。所得結果用上述方法繼續進行旋轉，得到第二輪旋轉的結果。每一次旋轉后，矩陣各列平方的相對方差之和總會比上一次有每一次旋轉后，矩陣各列平方的相對方差之和總會比上一次有所增加。如此繼續下去，當總方差的改變不大時，就可以停止所增加。如此繼續下去，當總方差的改變不大時，就可以停止旋轉，這樣就得到了新的一組公共因子及相應的因子載荷矩陣，旋轉，這樣就得到了新的一組公共因子及相應的因

58、子載荷矩陣，使得其各列元素平方的相對方差之和最大。使得其各列元素平方的相對方差之和最大。2mAjjaa1jjaa22m) 1(21mm 2021-10-13中國人民大學六西格瑪質量管理研究中心37 目錄 上頁 下頁 返回 結束 6.26.2 .5 因子得分因子得分 當因子模型建立起來之后，我們往往需要反過來考察每一當因子模型建立起來之后，我們往往需要反過來考察每一個樣品的性質及樣品之間的相互關系。比如當關于企業經濟個樣品的性質及樣品之間的相互關系。比如當關于企業經濟效益的因子模型建立起來之后，我們希望知道每一個企業經效益的因子模型建立起來之后，我們希望知道每一個企業經濟效益的優劣，或者把諸企業

59、劃分歸類，如哪些企業經濟效濟效益的優劣，或者把諸企業劃分歸類，如哪些企業經濟效益較好，哪些企業經濟效益一般，哪些企業經濟效益較差等。益較好，哪些企業經濟效益一般，哪些企業經濟效益較差等。這就需要進行因子分析的第三步驟的分析，即因子得分。顧這就需要進行因子分析的第三步驟的分析，即因子得分。顧名思義，因子得分就是公共因子名思義，因子得分就是公共因子 在每一個樣品點上在每一個樣品點上的得分。這需要我們給出公共因子用原始變量表示的線性表的得分。這需要我們給出公共因子用原始變量表示的線性表達式，這樣的表達式一旦能夠得到，就可以很方便的把原始達式，這樣的表達式一旦能夠得到，就可以很方便的把原始變量的取值代

60、入到表達式中求出各因子的得分值。變量的取值代入到表達式中求出各因子的得分值。mFFF,212021-10-13中國人民大學六西格瑪質量管理研究中心38 目錄 上頁 下頁 返回 結束 6.26.2 .5 因子得分因子得分 在上一章的分析中我們曾給出了主成分得分的概念，其意義和在上一章的分析中我們曾給出了主成分得分的概念，其意義和作用與因子得分相似。但是在此處公因子用原始變量線性表示的作用與因子得分相似。但是在此處公因子用原始變量線性表示的關系式并不易得到。在主成分分析中，主成分是原始變量的線性關系式并不易得到。在主成分分析中，主成分是原始變量的線性組合，當取組合，當取 個主成分時，主成分與原始變