Python大數據分析與挖掘實戰課件 5-6.樣本均衡處理_第1頁
Python大數據分析與挖掘實戰課件 5-6.樣本均衡處理_第2頁
Python大數據分析與挖掘實戰課件 5-6.樣本均衡處理_第3頁
Python大數據分析與挖掘實戰課件 5-6.樣本均衡處理_第4頁
全文預覽已結束

下載本文檔

版權說明：本文檔由用戶提供并上傳，收益歸屬內容提供方，若內容存在侵權，請進行舉報或認領

文檔簡介

第5章

數據處理與特征工程過抽樣欠抽樣過抽樣第5章

樣本均衡，這里介紹一個抽樣包imbalanced-learn來實現該功能，該包可通過pipinstall命令來安裝過抽樣第5章

過抽樣，簡單理解就是把類別較少的樣本，多復制幾次，使得與類別較多的樣本數量相同或相近，通過SMOTE()實現。fromimblearn.over_samplingimportSMOTEimportpandasaspdraw_data=pd.read_excel('D.xlsx')model_smote=SMOTE()X,y=raw_data.iloc[:,:-1],raw_data.iloc[:,-1]#分割原始數據X,yX_s,y_s=model_smote.fit_resample(X,y)#獲得抽樣數據X,yprint('抽樣數據0類樣本數：',len(y_s[y_s==0]))print('抽樣數據1類樣本數：',len(y_s[y_s==1]))執行結果如下所示：原始數據0類樣本數：489原始數據1類樣本數：55抽樣數據0類樣本數：489抽樣數據1類樣本數：489欠抽樣第5章

欠抽樣，就是從類別較多的樣本中，隨機抽取部分樣本，使得其與類別較少的樣本數量相同。從上例可知，0類樣本共489個，從中隨機抽取55個樣本，使得0類樣本與1類樣本數量相同，這個過程就是欠抽樣，可以通過數據框中的sample方法來實現。importpandasaspdraw_data=pd.read_excel('D.xlsx')Data_1=raw_data.iloc[raw_data.iloc[:,-1].values==1,:]#篩選1類樣本Data_0=raw_data.iloc[raw_data.iloc[:,-1].values==0,:]#篩選0類樣本#抽樣方法使用，其中第1個參數為抽樣個數，這里等于l類樣本數，其他參數可默認Data_0=Data_0.sample(n=len(Data_1),replace=True,random_state=10,axi

溫馨提示

  • 1. 本站所有資源如無特殊說明，都需要本地電腦安裝OFFICE2007和PDF閱讀器。圖紙軟件為CAD,CAXA,PROE,UG,SolidWorks等.壓縮文件請下載最新的WinRAR軟件解壓。
  • 2. 本站的文檔不包含任何第三方提供的附件圖紙等，如果需要附件，請聯系上傳者。文件的所有權益歸上傳用戶所有。
  • 3. 本站RAR壓縮包中若帶圖紙，網頁內容里面會有圖紙預覽，若沒有圖紙預覽就沒有圖紙。
  • 4. 未經權益所有人同意不得將文件中的內容挪作商業或盈利用途。
  • 5. 人人文庫網僅提供信息存儲空間，僅對用戶上傳內容的表現方式做保護處理，對用戶上傳分享的文檔內容本身不做任何修改或編輯，并不能對任何下載內容負責。
  • 6. 下載文件中如有侵權或不適當內容，請與我們聯系，我們立即糾正。
  • 7. 本站不保證下載資源的準確性、安全性和完整性, 同時也不承擔用戶因使用這些下載資源對自己和他人造成任何形式的傷害或損失。

評論

0/150

提交評論