01機器學習認知-2常用術語及庫教學課件機器學習認知機器學習的分類第一節過擬合和欠擬合第二節機器學習必需庫第三節目錄content機器學習的分類第一節機器學習的分類根據訓練數據是否有標注，機器學習可劃分為：監督學習無監督學習1.按學習目標的不同，機器學習可分為：監督學習（SupervisedLearning）無監督學習（UnsupervisedLearning）強化學習（ReinforcementLearning,RL）機器學習分類監督學習又可分為“分類”和“回歸”問題。1.監督學習監督式學習需要使用有輸入和預期輸出標記的數據集。監督學習的目的是通過學習許多有標簽的樣本，然后對新的數據做出預測。機器學習分類（1）分類問題在分類問題中，機器學習的目標是對樣本的類標簽進行預測，判斷樣本屬于哪一個分類，結果是離散的數值。（2）回歸問題在回歸問題中，其目標是預測一個連續的數值或者是范圍。例如：將圖片分類為“蘋果”或“橘子”，準確識別新圖片上的水果是“蘋果”類還是“橘子”類就是分類問題。比如：預測一套二手房的售價，給定房價的數據集，每套房子大小等特征數據對應的標簽就是房價，如果你有一套房子想知道能賣多少錢，機器學習算法就根據輸入的房子大小數據，預測出房子對應的市場價。機器學習分類2.無監督學習在無監督學習中給定的數據沒有標簽。無監督學習算法的目標是以某種方式組織數據，然后找出數據中存在的內在結構，這包括將數據進行聚類，或者找到更簡單的方式處理復雜數據，使復雜數據看起來更簡單。聚類是典型的無監督學習，事先不知道樣本的類別，通過某種辦法，把相似的樣本放在一起歸位一類。例如，餐館擁有大量顧客的消費數據，想對顧客進行分組，以提供針對性優質服務。一開始不大可能告訴聚類算法每個顧客屬于哪個分組，算法會自行尋找這種關聯，把用餐的次數和用餐總花費較高的優質顧客分為一組，把用餐的次數和用餐總花費較低的普通顧客分為一組，把一次性順便消費的低價值顧客分為一組。機器學習分類3.強化學習強化學習是機器學習的范式和方法論之一，用于描述和解決智能體（Agent）在與環境的交互過程中通過學習策略以達成回報最大化或實現特定目標的問題。強化學習包括四個因素：智能體（Agent）、狀態（State）、行動（Action）和獎勵（Reward）。強化學習是從動物學習等理論發展而來，其基本原理是：如果Agent的某個行為策略導致環境正的獎賞(強化信號)，那么Agent以后產生這個行為策略的趨勢便會加強。Agent的目標是在每個離散狀態發現最優策略以使期望的折扣獎賞和最大。過擬合和欠擬合第二節過擬合和欠擬合模型的泛化在監督學習中，我們會在訓練集上建立一個模型，之后會把這個模型用于新的數據中，這個過程稱為模型的泛化（generalization）。我們總是希望模型對于新數據的預測能夠盡可能準確，這樣才能說模型的泛化能力好，預測的誤差小，是一個好模型。我們可以使用測試數據集對模型的表現進行評估，以判定該模型的優劣。我們使用什么樣的標準來判斷一個模型的泛化能力是好還是差呢？過擬合和欠擬合1.過擬合 過擬合是指機器學習模型在訓練集中表現優秀，而在測試集中表現不佳。出現這種現象的主要原因是訓練數據中存在噪音或者訓練數據太少，降低過擬合的方法：（1）增加訓練數據（2）降低模型復雜度（3）正則化過擬合和欠擬合2.欠擬合

欠擬合時，機器學習模型又過于簡單，學習器沒有很好地學到訓練樣本的一般性質，所以不論在訓練集還是測試集中表現都很差。降低欠擬合的方法：（1）添加新特征（2）增加模型復雜度過擬合和欠擬合過擬合和欠擬合最優的模型應該是過擬合和欠擬合的折中，它既較好擬合了訓練集，又具有很好的泛化能力，在測試數據集上也有很好的表現。機器學習必需庫第三節機器學習必需庫1.Numpy——基礎科學計算庫Numpy是一個Python中非常基礎的用于科學計算的庫，它的功能包括高維數組（array）計算、線性代數計算、傅里葉變換以及生產偽隨機數等2.Pandas——數據分析的利器Pandas是一個Python中用于進行數據分析的庫，它可以生成類似Excel表格式的數據表，而且可以對數據表進行修改操作。它還可以從很多不同種類的數據庫中提取數據，如SQL數據庫、Excel或者CSV文件。機器學習必需庫3.matplotlib——數據可視化matplotlib是一個Python的繪圖庫，它能夠繪制折線圖、散點圖、直方圖等，其強悍的繪圖能力能夠幫我們對數據形成非常直觀的認知。4.scikit-learn——Pyth