第5章機器學習與實現缺失值處理數據規范化主成分分析缺失值處理第5章

在數據處理過程中，缺失值是常見的，需要對其進行處理。Pandas包中的fillna()函數并沒有充分利用數據集中的信息。這里介紹scikit-learn包中能充分利用數據信息的3種常用填充方法，即均值填充、中位數填充和最頻繁值填充。注意填充方式主要是按列填充均值填充：對某列中的所有缺失值用該列中非缺失部分的值的平均值來表示；中位數填充：取某列中非缺失部分的值的中位數來表示缺失值。最頻繁值填充：取某列中非缺失部分的值出現頻次最多的值來表示缺失值。（常用于分類型或離散型變量）缺失值處理第5章

（1）導入數據預處理中的填充模塊SimpleImputer

fromsklearn.imputeimportSimpleImputer（2）利用SimpleImputer創建填充對象impimp=SimpleImputer(missing_values=np.nan,strategy='mean')參數說明如下：strategy：均值（mean）、中位數（median）、最頻繁值（most_frequent）（3）調用填充對象imp中的fit()擬合方法，對待填充數據進行擬合訓練。

imp.fit(Data)#Data為待填充數據集變量（4）調用填充對象imp中的transform()方法，返回填充后的數據集。

FData=imp.transform(Data)#返回填充后的數據集FData需要注意的是填充的數據集結構要求為數組或數據框，類型為數值類型缺失值處理第5章

fromsklearn.imputeimportSimpleImputerfC=Cimp=SimpleImputer(missing_values=np.nan,strategy='mean')imp.fit(fC)fC=imp.transform(fC)數據規范化第5章

變量或指標的單位不同，導致有些指標數據值非常大，而有些指標數據值非常小，在模型運算過程中大的數據會把小的數據覆蓋，導致模型失真。因此，需要對這些數據規范化處理，或者說去量綱化。所謂均值-方差規范化，是指變量或指標數據減去其均值再除以標準差得到新的數據。新的數據均值為0，方差為1，其公式如下：極差規范化是指變量或指標數據減去其最小值，再除以最大值與最小值之差，得到新的數據。新的數據取值范圍在[0,1]，其公式如下：數據規范化第5章

對數據集X（數組）做均值-方差規范化處理，基本步驟如下：（1）導入均值-方差規范化模塊StandardScaler。

fromsklearn.preprocessingimportStandardScaler（2）利用StandardScaler創建均值-方差規范化對象scaler。

scaler=StandardScaler()（3）調用scaler對象中的fit()擬合方法，對待處理的數據X進行擬合訓練。

scaler.fit(X)（4）調用scaler對象中的transform()方法，返回規范化后的數據集X（覆蓋原未規范化的X）。

X=scaler.transform(X)數據規范化第5章

fromsklearn.preprocessingimportStandardScalerX=datascaler=StandardScaler()scaler.fit(X)X=scaler.transform(X)數據規范化第5章

對數據集X1（數組）做極差規范化處理，基本步驟如下：（1）導入極差規范化模塊MinMaxScaler。

fromsklearn.preprocessingimportMinMaxScaler（2）利用MinMaxScaler創建極差規范化對象min_max_scaler。

min_max_scaler=MinMaxScaler()（3）調用min_max_scaler中的fit()擬合方法，對處理的數據X1進行擬合訓練。

min_max_scaler.fit(X1)（4）調用min_max_scaler中的transform()方法，返回處理后的數據集X1（覆蓋原未處理的X1）。

X1=min_max_scaler.transform(X1)數據規范化第5章

fromsklearn.preprocessingimportMinMaxScalerX1=datamin_max_scaler=MinMaxScaler()min_max_scaler.fit(X1)x1=min_max_scaler.transform(X1)主成分分析第5章

在數據分析與挖掘中，通常會遇到眾多變量，這些變量之間往往具有一定的相關性。例如，身高、體重這兩個指標，身高較高，其體重也相對較大；經營收入、凈利潤這兩個指標，經營收入越高，其凈利潤也相對較高，這就是指標之間相關性的一種體現。如果眾多指標之間具有較強的相關性，不僅會增加計算復雜度，也會影響模型的分析結果。一種思路就是把眾多的變量轉換為少數幾個互不相關的綜合變量，同時又不影響原來變量所反映的信息。這種方法在數學上稱為主成分分析我們通常看到各種各樣的排行榜，如綜合國力排名、省市經濟發展水平排名、大學綜合排名等——綜合評價問題，就是主成分分析應用的一種體現。主成分分析第5章

怎樣對各地區2016年農村居民人均可支配收入情況進行排名呢

地區工資性收入（X1）經營凈收入（X2）財產凈收入（X3）轉移凈收入（X4）北京16637.52061.91350.12260天津12048.15309.4893.71824.4河北6263.23970257.51428.6山西5204.42729.91491999.1內蒙古2448.96215.7452.62491.7…………………………我們需要一個綜合指標來衡量，但是這個綜合指標該如何定義和計算呢？指標加權是一個通常的思路，例如： Y1=a11×X1+a12×X2+a13×X3+a14×X4Xi反映了地區農村居民人均可支配收入某個方面的指標，僅代表某方面的信息，它在綜合指標Y1中，其重要程度可以通過對應的a1j來反映，可以稱a1j為信息系數。注意綜合變量Y1盡量不丟失原來變量反映的信息，如果一個綜合變量不夠，就繼續構造新的綜合變量Y2，……，同時要求綜合變量之間互不相關主成分分析第5章

Y1=a11×X1+a12×X2+a13×X3+a14×X4不丟失原來變量反映的信息（方差），其數學表達式為：

Var(X1)+…+Var(X4)=Var(Y1)如果Y1還不足以保留原來的信息，則再構造一個Y2：

Y2=a21×X1+a22×X2+a23×X3+a24×X4使得Y1和Y2不相關，同時：

Var(X1)+…+Var(X4)=Var(Y1)+Var(Y2)如果還不足以保留原來的信息，則繼續構造Y3。總之最多構造到Y4一定能滿足條件。一般地，前k個變換后的變量Y1…Yk，其方差之和與原變量總方差之比為：

(Var(Y1)+Var(Y2)+Var(Yk))/(Var(X1)+…+Var(X4))稱其為k個變換后變量的信息占比。在實際應用中只需取少數幾個變換后的變量。例如，它們的

信息占比為90%，就可以說采用變換后的變量反映了原來變量90%的信息。以上僅是方便理解，系數如何限制？系數向量如何計算？這些分析嚴格嗎？為了解決這些問題，需要給出嚴格的主成分分析數學模型（具體見課本）。主成分分析第5章

主成分分析的一般步驟（1）對原始數據進行標準化處理。（2）計算樣本相關系數矩陣。（3）求相關系數矩陣的特征值和相應的特征向量。（4）選擇重要的主成分，并寫出主成分表達式。（5）計算主成分得分。（6）依據主成分得分的數據，進一步從事統計分析。主成分分析（應用舉例）第5章

#數據獲取importpandasaspdData=pd.read_excel('農村居民人均可支配收入來源2016.xlsx')X=Data.iloc[:,1:]#數據規范化處理fromsklearn.preprocessingimportStandardScalerscaler=StandardScaler()scaler.fit(X)X=scaler.transform(X)（1）數據獲取及數據規范化處理主成分分析（應用舉例）第5章

①導入主成分分析模塊PCA。

fromsklearn.decompositionimportPCA②利用PCA創建主成分分析對象pca。

pca=PCA(n_components=0.95)③調用pca對象中的fit()方法，進行擬合訓練。

pca.fit(X)④調用pca對象中的transform()方法，返回提取的主成分。

Y=pca.transform(X)⑤通過pca對象中的相關屬性，返回相關結果。

tzxl=ponents_#返回特征向量

tz=pca.explained_variance_#返回特征值

#返回主成分方差百分比（貢獻率）

gxl=pca.explained_variance_ratio_（2）對標準化后的數據X做主成分分析，基本步驟如下：主成分分析（應用舉例）第5章

⑥主成分表達式及驗證。由前面分析，我們知道第i個主成分表示為：代表第i個主成分對應的特征向量。例如，可以通過程序驗證第1個主成分前面的4個分量的值。Y00=sum(X[0,:]*tzxl[0,:])Y01=sum(X[1,:]*tzxl[0,:])Y02=sum(X[2,:]*tzxl[0,:])Y03=sum(X[3,:]*tzxl[0,:])。主成分分析（應用舉