1、俗話說：“物以類聚，人以群分”在自然科學和社會科學中，存在著大量的分類問題。聚類（Cluster）分析是由若干模式（Pattern）組成的。通常，模式是一個度量（Measurement）的向量，或者是多維空間中的一個點。聚類分析以相似性為基礎，在一個聚類中的模式之間比不在同一聚類中的模式之間具有更多的相似性。所以，聚類分析依賴于對觀測間的接近程度（距離）或相似程度的理解，定義不同的距離量度和相似性量度就可以產生不同的聚類結果。所謂類，通俗地說，就是指相似元素的集合。聚類就是按照事物間的相似性進行區分和分類的過程。聚類分析又稱群分析，它是研究（樣品或指標）分類問題的一種統計分析方法。聚類分析起源

2、于分類學，聚類分析也可以作為其他分析算法的一個預處理步驟。Clustering中文翻譯作“聚類”，簡單地說就是把相似的東西分到一組，同Classification（分類）不同，理想情況下，一個classifier會從它得到的訓練集中進行“學習”，從而具備對未知數據進行分類的能力，這種提供訓練數據的過程通常叫做supervisedlearning（監督學習），而在聚類的時候，我們并不關心某一類是什么，我們需要實現的目標只是把相似的東西聚到一起，因此，一個聚類算法通常只需要知道如何計算相似度就可以開始工作了，稱作unsupervisedlearning（無監督學習）。無監督分類最常用的方法之一是K

3、均值或ISODATA、模糊C均值和EM（Expectation-Maximization）。K-MEANS有其缺點：產生類的大小相差不會很大，對于臟數據很敏感。不得不承認這并不是很好的結果。不過其實大多數情況下k-means給出的結果都還是很令人滿意的，算是一種簡單高效應用廣泛的clustering方法。選定K個中心的這個過程通常是針對具體的問題有一些啟發式的選取方法，或者大多數情況下采用隨機選取的辦法。因為前面說過k-means并不能保證全局最優，而是否能收斂到全局最優解其實和初值的選取有很大的關系，所以有時候我們會多次選取初值跑k-means，并取其中最好的一次結果因為每迭代一次就需要遍歷

4、所有數據，盡量減少迭代次數，初值很重要，可先用K-Means求初始聚類中心。易于陷入局部最小，對初始值較敏感。K-means算法結束條件：1）給定一個迭代次數，達到這個次數就停止，這好像不是一個好建議。2）k個質心應該達到收斂，即第n次計算出的n個質心在第n+1次迭代時候位置不變。3）n個文檔達到收斂，即第n次計算出的n個文檔分類和在第n+1次迭代時候文檔分類結果相同。4）RSS值小于一個閥值，實際中往往把這個條件結合條件1使用模糊參數m可以取大于或等于1的任何值，但當m=2時，聚類結果最滿意(Equihua1990),所以一般取m=2。模糊C-均值聚類(Fuzzyc-meanscluster

5、ing)也叫模糊IS0-DATA聚類(Fuzzyiterativeself-orgnizingdataclustering)(Bezdek1981,1987;Equihua1990)。該方法的結果是用隸屬度(membership)表示，表明屬于某種類型的程度。它是目前唯一的重疊分類方法。1.設定聚類數號k,最大執行”一？很4啲容忍誤差wo-計算數據點厲于哪隈類(隸屬度矩陣沖二1.(C)計算收斂準則，若砂)=；成立則停止運轟r否血進行下一輕戢Et)=|G護)II_1.設定聚類數號疋最大執行步驟血,Y很4啲容忍誤豊丸決定聚類中心起始位置womfort=lf站氐vWvV(A)fi)rj=l!,N,-(i)計算各數據點到聚類中譏的距離必J|X廠二Largmin/；0.otherwise2.3.決定聚類中心起始位置q蝕0勺冬疋fort=(A)forj=lN計算隸屬