多元統計學-課件第六章3多元統計學-課件第六章3多元統計學-課件第六章3因子分析的方法最初是應用在教育心理學上，英國心理學家C.Spearman于1904年發表了對學生考試成績分析的著名文章，可以認為是因子分析方法的開始。例如，為了考察學生的知識水平，常用學生的考試成績來評定。假設有個學生，每個學生都參加詞匯、閱讀、同義詞，算術、代數和微積分等六科的考試，每個學生的六科成績記為。由此可以算出六科考試成績的樣本相關矩陣表示第科成績與第科成績之間的樣本相關系數，。其數值如下表6.6。2020/12/182人有了知識，就會具備各種分析能力，明辨是非的能力。多元統計學-課件第六章3多元統計學-課件第六章3多元統計學-1

因子分析的方法最初是應用在教育心理學上，英國心理學家C.Spearman于1904年發表了對學生考試成績分析的著名文章，可以認為是因子分析方法的開始。

例如，為了考察學生的知識水平，常用學生的考試成績來評定。假設有個學生，每個學生都參加詞匯、閱讀、同義詞，算術、代數和微積分等六科的考試，每個學生的六科成績記為。由此可以算出六科考試成績的樣本相關矩陣表示第科成績與第科成績之間的樣本相關系數，。其數值如下表6.6。

2020/12/182因子分析的方法最初是應用在教育心理學上，英國心理學家C.S由表6.6中的數值可以看出，前三種中每兩科之間相關系數較大，后三科中每兩科之間相關系數也較大，但前三科與后三科之間的相關系數都很小，這表明，用六個科目來考察學生的知識水平，實際可分為二大科目來考察學生知識水平，即前三科可列為語文能力的考察，后三科可列為數學能力的考察。稱語文能力和數學能力為反映學生成績的兩個不可觀測的公共因子，并且可以認為這兩個公共因子互不相關。

2020/12/183由表6.6中的數值可以看出，前三種中每兩科之間相關系數較大，表6.6樣本相關系數表

（詞匯）（閱讀）（同義詞）（算術）（代數）（微積分）（詞匯）1

（閱讀）0.721對

（同義詞）0.630.571

稱

（算術）0.090.150.141

（代數）0.090.160.150.511

（微積分）0.000.090.090.630.721

（詞匯）（閱讀）（同義詞）（算術）（代數）（微積分）（詞匯）1

（閱讀）0.721對

（同義詞）0.630.571

稱

（算術）0.090.150.141

（代數）0.090.160.150.511

（微積分）0.000.090.090.630.721

（詞匯）（閱讀）（同義詞）（算術）（代數）（微積分）（詞匯）1

（閱讀）0.721對

（同義詞）0.630.571

稱

（算術）0.090.150.141

（代數）0.090.160.150.511

（微積分）0.000.090.090.630.721

（詞匯）（閱讀）（同義詞）（算術）（代數）（微積分）（詞匯）1

（閱讀）0.721對

（同義詞）0.630.571

稱

（算術）0.090.150.141

（代數）0.090.160.150.511

（微積分）0.000.090.090.630.721x1（詞匯）

x2（閱讀）

x3（同義詞）

x4（算術）

x5（代數）x6（微積分）

X1（詞匯）1X2（閱讀）0.721對X3（同義詞）0.630.571稱X4（算術）0.090.150.141X5（代數）0.090.160.150.511X6(微積分）0.000.090.090.630.7212020/12/184表6.6樣本相關系數表

（詞匯）（閱

對每個學生來說，他們各自都有六科成績，但歸納起來，可以用上述兩個不可觀測的互不相關的公共因子，即語文能力、數學能力來考察學生的知識水平。一般的作法是，學生的每科成績即可觀測的相互有關的一組變量可用兩個不可觀測的語文能力（設為）與數學能力（設為）的線性組合，再加上影響各科成績的各自特殊因子（分別設為）來描述，于是有：2020/12/185對每個學生來說，他們各自都有六科成績，但歸納起來，可以用寫成矩陣形式，即其中：并由此來分析學生的語文能力和數學能力，這就是因子分析的目的。

2020/12/186寫成矩陣形式，即2020/12/186一般來說，因子分析就是試圖用最少個數的不可觀測的互不

相關的公共因子的線性組合，再加上特殊因子來描述原來一組可觀測的相互有關的每個變量，其目的是盡可能合理解釋存在于原

始變量之間的相關性，并且簡化變量的維數和結構。2020/12/187一般來說，因子分析就是試圖用最少個數的不可觀測的互不相關§6.2.1因子分析數學模型

設有個樣品，每個樣品提取了m個特征變量（指標），如果特征變量用（）表示，則對不同的就有不同的均值與方差。為了對變量進行比較，并消除由于變量量綱的差異所造成的影響，可將樣本觀測數據先進行標準化處理，使標準化后的變量的均值為0，方差為1。這樣一來，原來的m個變量（）經過標準化后變為新的變量，用（）表示，稱為標準變量。如果原來的m個變量有不可觀測的n個公共因子設為，，經過標準化后可記作，且變量可以表達為2020/12/188§6.2.1因子分析數學模型設有個樣品，每個樣品提取

（6.25）式中，稱為特殊因子，它是既與不相關且

間也互不相關的因子。隨機向量的均值為

，協方差矩陣，且等于相關陣，向量，協方差矩陣，即向量的各分量是相互獨立的，向量與相互獨立，即且的協方差矩陣（6.25）

2020/12/189（6.25）式中，稱為特殊因子，它是既與不相關且為對角陣，即的各分量之間也是相互獨立的，則（6.25）式可展開為

（6.27）（6.26）

2020/12/1810（6.26）2020/12/1810（6.27）式用矩陣形式表示，即為

（6.28）上式（6.27），（6.28）稱為因子分析數學模型，其中

為矩陣且

（6.29）2020/12/1811（6.27）式用矩陣形式表示，即為2020/12/1811稱為公共因子（或稱主因子），且

稱為第個公共因子，公共因子是在變量的表達式（6.27）中共同出現的因子，是相互獨立的不可觀測的變量，稱為特殊因子，是向量的分量所特有的因子，只對起作用。各特殊因子之間以及特殊因子與所有公共因子之間都是相互獨立的。

矩陣中的元素稱為因子載荷，矩陣A稱為因子載荷矩陣。2020/12/1812稱為公共因子顯然，上述因子分析數學模型可以簡化為（6.30）其中并已假定。2020/12/1813顯然，上述因子分析數學模型可以簡化為2020/12/1813實際問題中，因子分析總是根據特征變量的觀測數據陣來求因子載荷矩陣A，并且確定公共因子的個數。2020/12/1814實際問題中，因子分析總是根據特征變量的2020/12§6.2.2因子載荷矩陣的統計意義

對于因子分析數學模型（6.30）式，一旦因子載荷矩陣A及公共因子確定，則因子分析數學模型最終確定。為了確定因子載荷矩陣A，我們需要對因子載荷矩陣A的統計意義給予解釋。下面就因子載荷矩陣A的統計意義從三個方面進行說明。1．因子載荷矩陣的統計意義

由§6.2.1知，所以與的協方差2020/12/1815§6.2.2因子載荷矩陣的統計意義

（6.31）即是的協方差。又因為與的相關系數為

（6.32）由此知又可看作與的相關系數，它表示依賴的程度，即反映了第個變量對第個公共因子的相對重要性，也就是表示與公共因子的密切程度。2020/12/18162020/12/1816而的系數，，…，正好表示了與的線性組合程度。

2．變量共同度的統計意義如果將因子載荷矩陣A中第行元素的平方和記為，即

（6.33）則稱為變量的共同度。為了說明共同度的統計意義，我們先來計算的方差。2020/12/1817而的系數，，…（6.34）又∵

∴

（6.35）對于（6.34）式，它表明的方差由兩部分組成，第一部分是，它反映了全部公共因子對變量的影響，也就是反映了全部公共因子對

2020/12/1818（6.34）2020/12/1818的方差所做出的貢獻，所以也稱為公共因子對變量的方差貢獻。當接近于1時，則表明變量的全部原始信息幾乎被所選取的公共因子所包含。第二部分是，它是特殊因子所產生的方差，僅和的變化有關，稱為剩余方差。由（6.35）式知，大，則小，大就表示變量對公共因子的共同依賴程度大，這正是稱為變量的共同度的理由。當

=1，，這時變量由公共因子的線性2020/12/1819的方差所做出的貢獻，所以也稱為公共因子對變量的組合表示，當接近于0時，則表明公共因子

對變量的影響不大，這時主要由特殊因子來表述。因此，剩余方差也稱為特殊因子的方差貢獻。3．公共因子的方差貢獻的統計意義

因子載荷矩陣A的第j列（的各元素的平方和記為，即

（6.36）

2020/12/1820組合表示，當接近于0時，則表明公共因子2020/12/1則就表示第個公共因子對于X的每一個分量所提供的方差總和，稱為公共因子對的方差貢獻。反映了公共因子對X的影響和作用，是衡量公共因子相對重要性的指標。越大，表明公共因子對X的貢獻就大，或者說對X的影響和作用就越大。2020/12/1821則就表示第個公共因子對于X的每一個分量§6.2.3因子載荷矩陣的求法

由于的每一個分量都已標準化，所以的協方差矩陣等于相關陣，即

（6.37）又由

，有2020/12/1822§6.2.3因子載荷矩陣的求法

由于所以有令

則有

這里稱為約相關矩陣。（6.38）

2020/12/1823（6.38）2020/12/1823與的區別僅在于主對角線上的元素不相同：即2020/12/1824與的區別僅在于主對角線上的元素不相同：2020（6.39）

顯然的主對角線上的元素依次為；而的主對角線上的元素依次為，且為非負定矩陣。2020/12/1825（6.39）顯然的主對角線上的元素依次為為確定因子載荷矩陣，現在可依次確定因子載荷矩陣A的各列，使因子載荷矩陣中各列對X的貢獻有順序。因為

2020/12/1826為確定因子載荷矩陣，現在可依次確定因子載2020/12/18所以

（6.41）

下面先來確定因子分析數學模型中的公共因子，顯然我們希望對的影響最大（貢獻最大），即是要求在滿足

2020/12/1827所以 （6.41）202條件下取得最大，這是一個條件極值問題，應用Lagrange乘數法，有

（6.42）式中稱為拉格朗日乘數因子，Q為一增廣函數，因子載荷為未知量。2020/12/1828條件下取得最大，這是現在分別求Q關于及的偏導數，并令其為0，于是有

（6.43）

（6.44）（6.43）與（6.44）式可寫成統一形式（6.45）2020/12/1829現在分別求Q關于及的偏導數，并令其為0其中用乘（6.45）式兩端，并對求和，則有

（6.46）由（6.43）式有所以2020/12/1830其中2020/12/1830因此（6.46）可以寫成

（6.47）再用乘（6.47）式兩端，并對求和，則有

（6.48）又由（6.41）式，有

（6.49）2020/12/1831因此（6.46）可以寫成2020/12/1831將（6.49）式寫成矩陣形式，則有或用矩陣表示，即

（6.50）2020/12/1832將（6.49）式寫成矩陣形式，則有2020/12/1832（6.50）式說明，是約相關矩陣的最大特征根，而是的最大特征根所對應的特征向量，而該向量是因子載荷矩陣A的第一列元素組成的向量。由此，我們就給出了確定因子載荷矩陣A第一列元素的方法，即，只需求出約相關矩陣的最大特征根所對應的特征向量（注意，屬于的特征向量不唯一）。為了使該特征向量能成為因子載荷陣第1列元素所組成的向量，則必須滿足（6.50）式同時又要滿足（6.51）

2020/12/1833（6.50）式說明，是約相關矩陣的最大特征根，而

綜上所述，求第一公共因子的第一列向量的方法如下：求出的最大特征根及其相對應的特征向量

后，由（6.51）式，對進行規格化處理，即有

2020/12/1834綜上所述，求第一公共因子的第一列向量的方法如下：2

其中

（6.52）令

，則所以為選出的第一公因子的因子載荷陣中第一列。如果各變量的公因子方差未被分解完，則繼續求與不相關的第二個公因子所對應的因子載荷陣中第二列

。

2020/12/1835

自然的方差貢獻要在條件

（6.53）或

（6.54）下為最大。其中，稱為從中去掉的影響之后的剩余約相關陣，為的第行，第列元素，為的第行，第列元素。重復前述作法，可求得的最大特征根并記為及相應的特征向量，并根據條件

（6.55）

2020/12/1836自然的方差貢獻要在條件（6.55）進行規格化處理，于是可求出公共因子及因子載荷陣A的第二列向量其中

（6.56）

（6.57）

依次類推，就解決了求因子載荷陣A的問題。2020/12/1837進行規格化處理，于是可求出公共因子及因子載荷陣A但是，實際上，求以后的特征根及對應的特征向量，并不需要作變換即由剩余約相關陣來求得，而是由直接求出。下面我們來解決這個問題。設對求得的全部非零特征根為，對應的標準化特征向量為，于是

；為因子載荷陣的第列向量，此時且有2020/12/1838但是，實際上，求以后的特又∵

故

（6.58）下面就（6.58）式