1、 聚類分析聚類分析1；.分類l俗語說，物以類聚、人以群分。l但什么是分類的根據呢？l比如，要想把中國的縣分成若干類，就有很多種分類法；l可以按照自然條件來分，l比如考慮降水、土地、日照、濕度等各方面；l也可以考慮收入、教育水準、醫療條件、基礎設施等指標；l既可以用某一項來分類，也可以同時考慮多項指標來分類。 2；.一、聚類分析的基本概念一、聚類分析的基本概念l研究對樣品或指標進行分類的一種多元統計方法,是依據研究對象的個體的特征進行分類的方法。l聚類分析把分類對象按一定規則分成若干類，這些類非事先給定的，而是根據數據特征確定的。在同一類中這些對象在某種意義上趨向于彼此相似，而在不同類中趨向于不

2、相似。l職能是建立一種能按照樣品或變量的相似程度進行分類的方法。3；.聚類分析l對于一個數據，人們既可以對變量（指標）進行分類(相當于對數據中的列分類)，也可以對觀測值（事件，樣品）來分類（相當于對數據中的行分類）。l比如學生成績數據就可以對學生按照理科或文科成績（或者綜合考慮各科成績）分類，l當然，并不一定事先假定有多少類，完全可以按照數據本身的規律來分類。l本章要介紹的分類的方法稱為聚類分析（cluster analysis）。對變量的聚類稱為R型聚類，而對觀測值聚類稱為Q型聚類。這兩種聚類在數學上是對稱的，沒有什么不同。 4；. 聚類分析的聚類分析的基本思想基本思想是認為我們所研究的樣本

3、或指標是認為我們所研究的樣本或指標（變量）之間存在著程度不同的相似性（親疏關系）。于是（變量）之間存在著程度不同的相似性（親疏關系）。于是根據一批樣本的多個觀測指標，具體找出一些彼此之間相似根據一批樣本的多個觀測指標，具體找出一些彼此之間相似程度較大的樣本（或指標）聚合為一類，把另外一些彼此之程度較大的樣本（或指標）聚合為一類，把另外一些彼此之間相似程度較大的樣本（或指標）又聚合為另一類，關系密間相似程度較大的樣本（或指標）又聚合為另一類，關系密切的聚合到一個小的分類單位，關系疏遠的聚合到一個大的切的聚合到一個小的分類單位，關系疏遠的聚合到一個大的分類單位，直到把所有樣本（或指標）都聚合完畢，

4、把不同分類單位，直到把所有樣本（或指標）都聚合完畢，把不同的類型一一劃分出來，形成一個由小到大的分類系統。最后的類型一一劃分出來，形成一個由小到大的分類系統。最后把整個分類系統畫成一張譜系圖，用它把所有樣本（或指標）把整個分類系統畫成一張譜系圖，用它把所有樣本（或指標）間的親疏關系表示出來。這種方法是最常用的、最基本的一間的親疏關系表示出來。這種方法是最常用的、最基本的一種，稱為系統聚類分析。種，稱為系統聚類分析。5；.飲料數據（drink.sav ）l16種飲料的熱量、咖啡因、鈉及價格四種變量種飲料的熱量、咖啡因、鈉及價格四種變量 6；.如何度量遠近？l如果想要對如果想要對100個學生進行分

5、類，如果僅僅知道個學生進行分類，如果僅僅知道他們的數學成績，則只好按照數學成績來分類；他們的數學成績，則只好按照數學成績來分類；這些成績在直線上形成這些成績在直線上形成100個點。這樣就可以把個點。這樣就可以把接近的點放到一類。接近的點放到一類。l如果還知道他們的物理成績，這樣數學和物理成如果還知道他們的物理成績，這樣數學和物理成績就形成二維平面上的績就形成二維平面上的100個點，也可以按照距個點，也可以按照距離遠近來分類。離遠近來分類。l三維或者更高維的情況也是類似；只不過三維以三維或者更高維的情況也是類似；只不過三維以上的圖形無法直觀地畫出來而已。在飲料數據中，上的圖形無法直觀地畫出來而已

6、。在飲料數據中，每種飲料都有四個變量值。這就是四維空間點的每種飲料都有四個變量值。這就是四維空間點的問題了。問題了。 7；.兩個距離概念l按照遠近程度來聚類需要明確兩個概念：一個是點和點之間的距離，一個是類和類之間的距離。l點間距離有很多定義方式。最簡單的是歐氏距離，還有其他的距離。l當然還有一些和距離相反但起同樣作用的概念，比如相似性等，兩點越相似度越大，就相當于距離越短。l由一個點組成的類是最基本的類；如果每一類都由一個點組成，那么點間的距離就是類間距離。但是如果某一類包含不止一個點，那么就要確定類間距離，l類間距離是基于點間距離定義的：比如兩類之間最近點之間的距離可以作為這兩類之間的距離

7、，也可以用兩類中最遠點之間的距離作為這兩類之間的距離；當然也可以用各類的中心之間的距離來作為類間距離。在計算時，各種點間距離和類間距離的選擇是通過統計軟件的選項實現的。不同的選擇的結果會不同，但一般不會差太多。 8；.二、距離二、距離用 表示第i個樣本與第j個樣本之間的距離。一切距離應滿足以下條件：kjidddjiddjidjidkjikijjiijijij, 0, 0對于一切，對于一切的指標相同與樣本等價于樣本對于一切ijd每個樣本有p個指標，因此每個樣本可以看成p維空間中的一個點，n個樣本就組成p維空間中的n個點，這時很自然想到用距離來度量n個樣本間的接近程度。9；.常見的距離有：常見的距

8、離有：minkowski distance （明氏距離）：（明氏距離）：當當 q=1 block distance 絕對值距離絕對值距離:ptxxdjtit1當當 q=2 squared euclidean distance 平方歐式距離平方歐式距離ptqjtitxxdq11ptjtitxxd12當當q= chebychev distance 切比雪夫距離切比雪夫距離xxMaxjtittd10；.明氏距離在實際中應用的很多，明氏距離在實際中應用的很多，但也存在一些缺點：但也存在一些缺點：處理辦法：標準化2 2、指標間的相關問題；、指標間的相關問題；1、量綱的問題；、量綱的問題；11；.Maha

9、lanobis 馬氏距離1()()()ijijijd MXXSXX改進的辦法，采用馬氏距離12；.相似系數相似系數l夾角余弦l相關系數13；.l 夾角余弦 兩變量的夾角余弦定義為： 14；.l 相關系數 兩變量的相關系數定義為： 15；.16 系統聚類方法系統聚類方法x21x12x22x1113d16；.三、系統聚類法基本步驟1. 選擇樣本間距離的定義及類間距離的定義；2. 計算n個樣本兩兩之間的距離，得到距離矩陣 3. 構造個類，每類只含有一個樣本；4. 合并符合類間距離定義要求的兩類為一個新類；5. 計算新類與當前各類的距離。若類的個數為1，則轉到步驟6，否則回到步驟4;6.畫出聚類圖；

10、7.決定類的個數和類。 ijdD 17；.系統聚類分析的方法系統聚類分析的方法l系統聚類法的聚類原則決定于樣品間的距離以及類間距離的定義，類間距離的不同定義就產生了不同的系統聚類分析方法。l以下用dij表示樣品X(i)和X(j)之間的距離，當樣品間的親疏關系采用相似系數Cij時，令 ；l以下用D(p,q)表示類Gp和Gq之間的距離。221ijijCd18；.3.重心法重心法(CENtroid method)19；.4.類平均法類平均法(AVErage method)20；.例例為了研究遼寧等5省1991年城鎮居民生活消費情況的分布規律，根據調查資料做類型分類，用最短距離做類間分類。數據如下：x

11、1x2x3x4x5x6x7x8遼寧17.9039.778.4912.9419.2711.052.0413.29浙江27.6850.3711.3513.3019.2514.592.7514.87河南39.4227.938.208.1416.179.421.559.76甘肅49.1627.989.019.3215.999.101.8211.35青海510.0628.6410.5210.0516.188.391.9610.8121；.l將每一個省區視為一個樣本，先計算5個省區之間的歐式距離，用D0表示距離矩陣（對稱陣，故給出下三角陣）因此將3.4合并為一類，為類6，替代了3、4兩類l類6與剩余的1、

12、2、5之間的距離分別為： d(3,4)1=min(d31,d41)=min(13.80,13.12)=13.12 d(3,4)2=min(d32,d42)=min(24.63,24.06)=24.06 d(3,4)5=min(d35,d45)=min(3.51,2.21)=2.21021.251.354.2380.12020.206.2412.13063.2480.13067.11054321543210青海甘肅河南浙江遼寧D22；.l得到新矩陣合并類6和類5，得到新類7l類7與剩余的1、2之間的距離分別為： d(5,6)1=min(d51,d61)=min(12.80,13.12)=12.8

13、0 d(5,6)2=min(d52,d62)=min(23.54,24.06)=23.54054.2380.1221. 25067.1106.242012.1310652161GGGGGGGGD23；. 得到新矩陣合并類1和類2，得到新類8l此時，我們有兩個不同的類：類7和類8。它們的最近距離d(7,8) =min(d71,d72)=min(12.80,23.54)=12.80067.1154.232080.121072172GGGGGGD24；.l得到矩陣最后合并為一個大類。這就是按最短距離定義類間距離的系統聚類方法。最長距離法類似！080.12807873GGGGD25；.26最長距離（F

14、urthest Neighbor ）x11x2112d26；.27991dd組間平均連接（Between-group Linkage)27；.281234566ddddddx21x12x22x1128；.29重心法（Centroid clustering):均值點的距離11,x y22,xy29；.類的個數的確定類的個數的確定l由適當的閾值確定；l根據數據點的散布直觀地確定類的個數；l根據統計量確定分類個數；30；.類的個數的確定類的個數的確定l根據譜系圖確定分類個數的準則：l各類重心間的距離必須很大；l類中保包含的元素不要太多；l類的個數必須符合實際應用；l如果采用幾種不同的聚類方法處理，則

15、在各種聚類圖中應該發現相同的類。31；.聚類分析聚類分析1、系統聚類法、系統聚類法-（分層聚類）系統聚類法是應（分層聚類）系統聚類法是應用最廣泛的一種（用最廣泛的一種（Hierarchical Cluster過程）過程） 1）、）、 聚類原則：都是相近的聚為一類，即距聚類原則：都是相近的聚為一類，即距離最近或最相似的聚為離最近或最相似的聚為 一類。一類。 2）、）、 分層聚類的方法可以用于樣本聚類（分層聚類的方法可以用于樣本聚類（Q）型，也可以用于變量聚類（型，也可以用于變量聚類（R型）。型）。2、非系統聚類法、非系統聚類法-（快速聚類法（快速聚類法-K-均值聚類均值聚類法）（法）（K-mea

16、ns Cluster)3、兩步聚類法、兩步聚類法-一種探索性的聚類方法一種探索性的聚類方法（TwoStep Cluster）32；.四、系統聚類的參數選擇四、系統聚類的參數選擇聚類類別：聚類類別：統計統計圖：樹型譜系圖圖：樹型譜系圖 冰柱譜系圖冰柱譜系圖聚類方法聚類方法1.Between-groups linkage 類間平均法類間平均法 兩類距離為兩類元素兩兩之間平均平方距離兩類距離為兩類元素兩兩之間平均平方距離2.Within-groups linkage 類內平均法類內平均法兩類距離為合并后類中可能元素兩兩之間平均平方距離兩類距離為合并后類中可能元素兩兩之間平均平方距離3.Nearest

17、 neighbor 最短距離法最短距離法 4. Furthest neighbor 最長距離法最長距離法5.Centroid clustering 重心法重心法 (歐式距離歐式距離)6.Median clustering 中間距離法中間距離法 (歐式距離歐式距離)7.Ward Method 離差平方法離差平方法 (歐式距離歐式距離)33；.34；.數據標準化處理：數據標準化處理：35；.存儲中間過程數據存儲中間過程數據36；.數據標準化處理，并存儲。37；.38；.指定5類39；.收斂標準值40；.存儲最終結果輸出情況，在數據文件中（存儲最終結果輸出情況，在數據文件中（QCL-1、QCL-2）

18、41；.初始聚心選項，輸出方差分析表42；.初始聚類中心表43；.具體城市看后表最終聚類中心表最終聚類中心表44；.聚類結果：聚類結果：QCL-1說明聚類結果，說明聚類結果，QCL-2說明聚類的長度情況說明聚類的長度情況45；.主要城市日照時數46；.注：連續變量注：連續變量47；.48；.SPSS提供不同類間提供不同類間距離的測量方法距離的測量方法1、組間連接法、組間連接法2、組內連接法、組內連接法3、最近距離法、最近距離法4、最遠距離法、最遠距離法5、重心法、重心法6、中位數法、中位數法7、Ward最小偏差平最小偏差平方和法方和法49；.觀測量概述表50；.聚類步驟，與圖結合看！51；.5

19、2；.研究各種飲料在市場消費的分配規律，試確定各種飲料消費類型研究各種飲料在市場消費的分配規律，試確定各種飲料消費類型53；.54；.55；.56；.57；.58；.59；.聚類分析的第幾步聚類分析的第幾步哪兩個樣本或小哪兩個樣本或小類聚成一類類聚成一類相應的樣本距離相應的樣本距離或小類距離或小類距離指明是樣本指明是樣本(0)還還是小類是小類(n)下面第幾下面第幾步用到步用到60；.垂直冰柱圖垂直冰柱圖顯示層次聚顯示層次聚類分析類分析從冰柱圖最從冰柱圖最后一行開始后一行開始觀察，第一觀察，第一列表示類數列表示類數61；.兩步聚類法兩步聚類法TwoStep Cluster 一種探索性的聚類方法，是隨著人工智能的發展起來的智能聚一種探索性的聚類方法，是隨著人工智能的發展起來的智能聚類方法中的一種。用于解決海量數據或具有復雜類別結構的聚類分類方法中的一種。用于解決海量數據或具有復雜類別結構的聚類分析問題。析問題。兩步聚類法特點：兩步聚類法特點：1、同時處理離散變量和連續變量的能力、同時處理離