金融大數據應用與Python實踐課件 第12章 數據預處理和探索_第1頁
金融大數據應用與Python實踐課件 第12章 數據預處理和探索_第2頁
金融大數據應用與Python實踐課件 第12章 數據預處理和探索_第3頁
金融大數據應用與Python實踐課件 第12章 數據預處理和探索_第4頁
金融大數據應用與Python實踐課件 第12章 數據預處理和探索_第5頁
已閱讀5頁，還剩16頁未讀， 繼續免費閱讀

下載本文檔

版權說明：本文檔由用戶提供并上傳，收益歸屬內容提供方，若內容存在侵權，請進行舉報或認領

文檔簡介

第12章數據預處理和探索1目錄CONTENT201數據挖掘的基本步驟數據預處理02數據探索與案例分析03模型評估04學習目標：知識目標：了解數據挖掘的基本步驟了解目標分析與拆解的方法了解常用的數據收集平臺掌握數據預處理的常用方法了解模型評估中的常用指標技能目標：能使用數據收集平臺能結合Python代碼對數據進行讀取和預處理312.1數據挖掘的基本步驟目標分析與拆解數據收集數據預處理數據探索與可視化分析與建模模型評估412.1.1目標分析與拆解5將抽象目標量化為可執行的分析目標自頂向下的目標拆解設計數據分析與挖掘的藍本12.1.2數據收集6數據質量的重要性數據收集渠道金融數據：萬得（Wind）、彭博（Bloomberg）、聚寬（JoinQuant）開源數據集：Kaggle數據隱私問題12.1.3數據預處理7校驗數據數據一致性校驗缺失值校驗異常值校驗

數據預處理-校驗數據8數據一致性校驗時間字段校驗字段信息校驗缺失值校驗使用isnull()、notnull()、count()異常值校驗箱型圖與3σ原則

數據預處理-清洗數據9重復值處理

使用drop_duplicates()缺失值處理

刪除、填充（均值、中位數、眾數）異常值處理

刪除、視為缺失值、保留

數據預處理-合并數據10堆疊合并使用concat()、append()主鍵合并

使用merge()、join()重疊合并

使用combine_first()12.1.4數據探索11統計分析

求和、均值、方差等可視化分析

使用Matplotlib等工具12.1.5分析與建模12建模方法

統計學習、機器學習、人工智能模型輸入與輸出分析數據收集與預處理的重要性12.1.6模型評估13訓練效率

模型復雜度與訓練時間預測效率

模型復雜度與預測速度預測能力回歸模型：MSE、RMSE、MAE、R2分類模型：混淆矩陣、準確率、召回率、精確率、F1-測度

模型評估-混淆矩陣14混淆矩陣結構 TP、TN、FP、FN衍生指標

準確率、召回率、精確率、F1-測度12.2案例分析-數據收集15Kaggle數據競賽平臺Titanic數據集訓練集（train.csv）測試集（test.csv）12.2.1案例分析-數據預處理16讀取數據使用pd.read_csv()查看數據使用data.head()、()缺失值處理刪除或填充缺失值12.2.2案例分析-缺失值處理17刪除缺失值使用dropna()填充缺失值均值填充、眾數填充、特定值填充12.2.3案例分析-新變量創建18FamilySize data['FamilySize']=data['SibSp']+data['Parch']+1One-Hot編碼

使用pd.get_dummies()12.2.4案例分析-刪除無關變量19刪除無用變量data.drop(['Name','Ticket','Cabin','PassengerId','SibSp','Parch'],axis=1,inplace=True)避免變量共線性12.2

溫馨提示

  • 1. 本站所有資源如無特殊說明，都需要本地電腦安裝OFFICE2007和PDF閱讀器。圖紙軟件為CAD,CAXA,PROE,UG,SolidWorks等.壓縮文件請下載最新的WinRAR軟件解壓。
  • 2. 本站的文檔不包含任何第三方提供的附件圖紙等，如果需要附件，請聯系上傳者。文件的所有權益歸上傳用戶所有。
  • 3. 本站RAR壓縮包中若帶圖紙，網頁內容里面會有圖紙預覽，若沒有圖紙預覽就沒有圖紙。
  • 4. 未經權益所有人同意不得將文件中的內容挪作商業或盈利用途。
  • 5. 人人文庫網僅提供信息存儲空間，僅對用戶上傳內容的表現方式做保護處理，對用戶上傳分享的文檔內容本身不做任何修改或編輯，并不能對任何下載內容負責。
  • 6. 下載文件中如有侵權或不適當內容，請與我們聯系，我們立即糾正。
  • 7. 本站不保證下載資源的準確性、安全性和完整性, 同時也不承擔用戶因使用這些下載資源對自己和他人造成任何形式的傷害或損失。

評論

0/150

提交評論