機器學習入門：回歸算法原理及應用機器學習入門：1人類學習過程認知模仿，實踐反饋再認知人類學習過程認知模仿，實踐反饋再認知2？

機器學習就是讓計算機從大量的數據中學習到相關的規律和邏輯，然后利用學習來的規律來進行決策，推理和識別等。什么是機器學習？測試數據發現規律測試結果評估規則郵件XiYi：垃圾or正常發件人郵件地址異常；標題含有“低價促銷”…？機器學習就是讓計算機從大量的數據中學習到相關3機器學習應用實例應用實例：1、對語言、文字的認知與識別2、對圖像、場景、自然物體的認知與識別3、對規則的學習與掌握例如：下雨天要帶傘，生病要吃藥，天冷了要穿厚衣服等4、對復雜事物的推理與判斷能力例如：好人與壞人的辨別能力，事物的正誤的判斷能力機器學習應用實例應用實例：4機器學習的種類根據學習方式的不同，可以分為監督學習，無監督學習和強化學習等幾種類型。監督學習（有指導）無監督學習（自學）強化學習（自我評估）機器學習的種類根據學習方式的不同，可以分為監督學5機器學習三要素

機器學習可以認為是一個在逐步發現和探索規律的過程。學習過程主要包含以三個要素：模型表示問題的影響因素(特征)有哪些？它們之間的關系如何？模型評估什么樣的模型是好的模型參數優化如何高效的找到最優參數機器學習三要素機器學習可以認為是一個在逐步發現和6”回歸“的由來英國人類學家F.Galton首次在《自然遺傳》一書中，提出并闡明了“相關”和“相關系數”兩個概念，為相關論奠定了基礎。其后，他和英國統計學家KarlPearson對上千個家庭的身高，臂長，拃長（伸開大拇指與中指兩端的最大長度）做了測量，發現了一種現象。”回歸“的由來英國人類學家F.Galton首7回歸問題應用場景回歸分析屬于有監督學習，簡單有效，應用十分廣泛：回歸問題應用場景回歸分析屬于有監督學習，簡單有效，應用十分廣8一個簡單的例子一個簡單的例子9回歸分析

回歸分析研究的主要是因變量（目標）和自變量（經驗）之間的依存關系。按關系類型，又可分為線性回歸分析和非線性回歸分析。學習過程如下：回歸分析回歸分析研究的主要是因變量（目標）10

理想的擬合直線Linear

Regression

理想的擬合直線LinearRegression11最小二乘算法

最小二乘算法

12最小二乘算法

最小二乘算法

13選擇“最優回歸方程”

回歸方程中包含的自變量個數越多，回歸平方和就越大，殘差平方和越小，預測值的置信區間也越小。既要選擇對預測影響顯著的自變量，又要使回歸的損失很小，這樣才有利于預測。選擇“最優回歸方程”的方法有：最優子選擇法（best

subset

selection）逐步選擇法（stepwise

selection）選擇“最優回歸方程”回歸方程中包含的自變量個數14Best

subset

selection最優子集選擇法（best

subset

selection），即對n個預測變量的所有可能組合（共有2n-1）分別進行擬合，然后選擇出最優模型。

Bestsubsetselection最優15StepwiseSelection

逐步選擇法按選擇方式的不同，共分為三種：前向逐步選擇法（Forward

StepwiseSelection）后向逐步選擇法（Backward

Stepwise

Selection）逐步回歸法（Stepwise

Regression）基于最優子集回歸方法的一些缺陷，逐步選擇的優點是限制了搜索空間，從而提高了運算效率。StepwiseSelection逐步選擇法按選16Forward

StepwiseSelection以零模型為起點，依次往模型中添加變量，直至加完所有的變量。但每次優先將能夠最大限度地提升模型效果的變量加入模型。但無法保證找到的模型是所有2n-1個模型中最優的，且可能在前期將后來變得多余的變量納入模型。模型個數：[n(n+1)/2]+1ForwardStepwiseSelection17Backward

Stepwise

Selection

以全模型為起點，逐次迭代，每次移除一個對模型擬合結果最不利的變量。需滿足樣本量m大于變量個數n（保證全模型被擬合）。而前向逐步選擇即時在m<n的情況下也可以使用，適應于高維數據。模型個數：[n(n+1)/2]+1BackwardStepwiseSelection18Stepwise

Regression

該方法將前向選擇與后項進行了結合，試圖達到最優子集選擇效果的同時也保留了前向和后向逐步選擇在計算上的優勢。StepwiseRegression該方法將19損失函數（loss

function）

損失函數(lossfunction)度量預測錯誤的程度，常記作L(Y,f(X))。常見的損失函數有以下幾種：

0-1損失函數（0-1

loss

function）：缺點：無法度量損失的“嚴重程度”。損失函數（lossfunction）損失函數20損失函數（loss

function）平方損失函數（quadratic

loss

function）：對數損失函數（logarithmic

loss

function）:指數損失函數（exp-loss

function）:損失函數（lossfunction）平方損失函數（quad21梯度下降算法梯度下降法：是一種優化算法，通常也稱為最速下降基本思想：在下山時，如果想以最快的方式到達山底，應該沿著山勢最陡的方向，也即山勢變化最快的方向。同樣，如果從任意一點出發，需要最快搜索到函數的最小值，那么也應該從函數變化最快的方向搜索而函數變化最快的方向就是函數的負梯度方向梯度下降算法梯度下降法：是一種優化算法，通常也22梯度下降算法

梯度下降算法

23損失計算方法

批量梯度下降法（BGD）：是梯度下降法最原始的形式，在更新每一參數時都使用所有的樣本來進行更新。隨機梯度下降法（SGD）：它的具體思路是在更新每一參數時都使用一個樣本來進行更新。

Mini-batchGradientDescent（MBGD）：它的具體思路是在更新每一參數時都使用一部分樣本來進行更新損失計算方法批量梯度下降法（BGD）：是梯度下24可能存在的問題學習過程可能出現的問題：1）數據量過少（m<n）2）存在大量相似特征3）過擬合，泛化能力弱（一般都存在此問題）可以使用結構風險最小化模型選擇策略，即引入正則項。什么是過擬合？什么是結構風險最小化？可能存在的問題學習過程可能出現的問題：什么是過25風險函數

損失函數度量預測值與“真實值”之間的“接近程度”，而風險函數，可以認為是平均意義下的損失。有兩個概念：經驗風險：給定一個數據集，模型f(x)關于訓練集的平均損失被稱為經驗風險。一般認為經驗風險最小的模型最優，即經驗風險最小化（ERM）。風險函數損失函數度量預測值與“真實值”之間26風險函數

結構風險：經驗風險最小化易產生“過擬合”問題。這就提出了結構風險最小（SRM）的理論。

本質上是在經驗風險的基礎上加入了正則化項（regularizer）或者叫做罰項（penaltyterm），即

：風險函數結構風險：經驗風險最小化易27Overfiting

and

Underfiting

模型學的“太好”，把樣本自身的一些特點當作所有潛在樣本都會具有的一般性質，泛化性能很差，稱為“過擬合”(overfitting)。正則化可以很好的解決這一問題。與“過擬合”相對的是“欠擬合”(underfitting)，這是指對訓練樣本的一般性質尚未學好。OverfitingandUnderfiting28L1范數與L2范數范數：范數是衡量某個向量空間（或矩陣）中的每個向量的長度或大小。范數的一般化定義如下（實數p>=1）：

L1范數：當p=1時，是L1范數，表示某個向量中所有元素的絕對值之和。L2范數：當p=2時，是L2范數，表示某個向量中所有元素的平方和再開根號。L1范數與L2范數范數：范數是衡量某個向量空間（或矩陣）中的29RidgeRegression

正則化項是參數的L2范數時，整個回歸方法就叫做嶺回歸。相應損失函數：那么為什么叫做“嶺”回歸呢？

RidgeRegression正則化項是參數30Lasso

Regression

lasso回歸：參數范數為L1范數

優勢：不僅可以解決過擬合問題，而且可以在參數縮減過程中，將一些重復或不重要的參數直接縮減為零（刪除），有提取有用特征的作用。劣勢：計算過程復雜，畢竟L1范數不是連續可導的。LassoRegression

lasso回歸：參數范數為31L1正則與L2正則

L1正則與L2正則

32L1正則與L2正則

L1正則與L2正則

33L1正則與L2正則

從貝葉斯角度來看，正則化相當于對模型參數引入了先驗分布，即對模型參數加了分布約束：

L1正則，模型參數服從拉普拉斯分布，只有很小的|w|，才能得到較大的概率，

L2正則，模型參數服從高斯分布對大的|w|，概率較低，而在接近0的時候，概率變換緩慢，最終解的w趨于0附近。L1正則與L2正則從貝葉斯角度來看，正則化相當34L1正則與L2正則

對模型加入參數的正則化項后，模型會嘗試最小化這些權值參數。而這個最小化就像一個下坡的過程，L1和L2的另一個差別就在于這個“坡”不同。如下圖：L1就是按絕對值函數的“坡”下降的，而L2是按二次函數的“坡”下降。所以實際上在0附近，L1的下降速度比L2的下降速度要快。L1正則與L2正則對模型加入參數的正則化項后，35另一種回歸方法叫Elastic

Net，它同時采用了L1和L2正則，以綜合Ridge

Regression和Lasso

Regression兩者的優點。既能稀疏化模型權重，又能保持嶺回歸的穩定性。Elastic

Net另一種回歸方法叫ElasticNet，它同時36非線性模型

非線性模型

37回歸問題討論回歸分析要有實際意義；異常值檢測。回歸問題討論回歸分析要有實際意義；38擴展內容

在實際應用中，問題復雜多樣，不同的問題可能需要不同的方法來解決。除了以上所介紹的回歸方法外，還有很多方法：比如基于生成模型的貝葉斯回歸（BayesianRegression），基于樹模型的分類回歸樹（CART），基于集成方法的梯度提升樹（GBDT）及XGboost等。擴展內容在實際應用中，問題復雜多樣，不同的問39THANKSTHANKS40謝謝觀看！2020

謝謝觀看！41機器學習入門：回歸算法原理及應用機器學習入門：42人類學習過程認知模仿，實踐反饋再認知人類學習過程認知模仿，實踐反饋再認知43？

機器學習就是讓計算機從大量的數據中學習到相關的規律和邏輯，然后利用學習來的規律來進行決策，推理和識別等。什么是機器學習？測試數據發現規律測試結果評估規則郵件XiYi：垃圾or正常發件人郵件地址異常；標題含有“低價促銷”…？機器學習就是讓計算機從大量的數據中學習到相關44機器學習應用實例應用實例：1、對語言、文字的認知與識別2、對圖像、場景、自然物體的認知與識別3、對規則的學習與掌握例如：下雨天要帶傘，生病要吃藥，天冷了要穿厚衣服等4、對復雜事物的推理與判斷能力例如：好人與壞人的辨別能力，事物的正誤的判斷能力機器學習應用實例應用實例：45機器學習的種類根據學習方式的不同，可以分為監督學習，無監督學習和強化學習等幾種類型。監督學習（有指導）無監督學習（自學）強化學習（自我評估）機器學習的種類根據學習方式的不同，可以分為監督學46機器學習三要素

機器學習可以認為是一個在逐步發現和探索規律的過程。學習過程主要包含以三個要素：模型表示問題的影響因素(特征)有哪些？它們之間的關系如何？模型評估什么樣的模型是好的模型參數優化如何高效的找到最優參數機器學習三要素機器學習可以認為是一個在逐步發現和47”回歸“的由來英國人類學家F.Galton首次在《自然遺傳》一書中，提出并闡明了“相關”和“相關系數”兩個概念，為相關論奠定了基礎。其后，他和英國統計學家KarlPearson對上千個家庭的身高，臂長，拃長（伸開大拇指與中指兩端的最大長度）做了測量，發現了一種現象。”回歸“的由來英國人類學家F.Galton首48回歸問題應用場景回歸分析屬于有監督學習，簡單有效，應用十分廣泛：回歸問題應用場景回歸分析屬于有監督學習，簡單有效，應用十分廣49一個簡單的例子一個簡單的例子50回歸分析

回歸分析研究的主要是因變量（目標）和自變量（經驗）之間的依存關系。按關系類型，又可分為線性回歸分析和非線性回歸分析。學習過程如下：回歸分析回歸分析研究的主要是因變量（目標）51

理想的擬合直線Linear

Regression

理想的擬合直線LinearRegression52最小二乘算法

最小二乘算法

53最小二乘算法

最小二乘算法

54選擇“最優回歸方程”

回歸方程中包含的自變量個數越多，回歸平方和就越大，殘差平方和越小，預測值的置信區間也越小。既要選擇對預測影響顯著的自變量，又要使回歸的損失很小，這樣才有利于預測。選擇“最優回歸方程”的方法有：最優子選擇法（best

subset

selection）逐步選擇法（stepwise

selection）選擇“最優回歸方程”回歸方程中包含的自變量個數55Best

subset

selection最優子集選擇法（best

subset

selection），即對n個預測變量的所有可能組合（共有2n-1）分別進行擬合，然后選擇出最優模型。

Bestsubsetselection最優56StepwiseSelection

逐步選擇法按選擇方式的不同，共分為三種：前向逐步選擇法（Forward

StepwiseSelection）后向逐步選擇法（Backward

Stepwise

Selection）逐步回歸法（Stepwise

Regression）基于最優子集回歸方法的一些缺陷，逐步選擇的優點是限制了搜索空間，從而提高了運算效率。StepwiseSelection逐步選擇法按選57Forward

StepwiseSelection以零模型為起點，依次往模型中添加變量，直至加完所有的變量。但每次優先將能夠最大限度地提升模型效果的變量加入模型。但無法保證找到的模型是所有2n-1個模型中最優的，且可能在前期將后來變得多余的變量納入模型。模型個數：[n(n+1)/2]+1ForwardStepwiseSelection58Backward

Stepwise

Selection

以全模型為起點，逐次迭代，每次移除一個對模型擬合結果最不利的變量。需滿足樣本量m大于變量個數n（保證全模型被擬合）。而前向逐步選擇即時在m<n的情況下也可以使用，適應于高維數據。模型個數：[n(n+1)/2]+1BackwardStepwiseSelection59Stepwise

Regression

該方法將前向選擇與后項進行了結合，試圖達到最優子集選擇效果的同時也保留了前向和后向逐步選擇在計算上的優勢。StepwiseRegression該方法將60損失函數（loss

function）

損失函數(lossfunction)度量預測錯誤的程度，常記作L(Y,f(X))。常見的損失函數有以下幾種：

0-1損失函數（0-1

loss

function）：缺點：無法度量損失的“嚴重程度”。損失函數（lossfunction）損失函數61損失函數（loss

function）平方損失函數（quadratic

loss

function）：對數損失函數（logarithmic

loss

function）:指數損失函數（exp-loss

function）:損失函數（lossfunction）平方損失函數（quad62梯度下降算法梯度下降法：是一種優化算法，通常也稱為最速下降基本思想：在下山時，如果想以最快的方式到達山底，應該沿著山勢最陡的方向，也即山勢變化最快的方向。同樣，如果從任意一點出發，需要最快搜索到函數的最小值，那么也應該從函數變化最快的方向搜索而函數變化最快的方向就是函數的負梯度方向梯度下降算法梯度下降法：是一種優化算法，通常也63梯度下降算法

梯度下降算法

64損失計算方法

批量梯度下降法（BGD）：是梯度下降法最原始的形式，在更新每一參數時都使用所有的樣本來進行更新。隨機梯度下降法（SGD）：它的具體思路是在更新每一參數時都使用一個樣本來進行更新。

Mini-batchGradientDescent（MBGD）：它的具體思路是在更新每一參數時都使用一部分樣本來進行更新損失計算方法批量梯度下降法（BGD）：是梯度下65可能存在的問題學習過程可能出現的問題：1）數據量過少（m<n）2）存在大量相似特征3）過擬合，泛化能力弱（一般都存在此問題）可以使用結構風險最小化模型選擇策略，即引入正則項。什么是過擬合？什么是結構風險最小化？可能存在的問題學習過程可能出現的問題：什么是過66風險函數

損失函數度量預測值與“真實值”之間的“接近程度”，而風險函數，可以認為是平均意義下的損失。有兩個概念：經驗風險：給定一個數據集，模型f(x)關于訓練集的平均損失被稱為經驗風險。一般認為經驗風險最小的模型最優，即經驗風險最小化（ERM）。風險函數損失函數度量預測值與“真實值”之間67風險函數

結構風險：經驗風險最小化易產生“過擬合”問題。這就提出了結構風險最小（SRM）的理論。

本質上是在經驗風險的基礎上加入了正則化項（regularizer）或者叫做罰項（penaltyterm），即

：風險函數結構風險：經驗風險最小化易68Overfiting

and

Underfiting

模型學的“太好”，把樣本自身的一些特點當作所有潛在樣本都會具有的一般性質，泛化性能很差，稱為“過擬合”(overfitting)。正則化可以很好的解決這一問題。與“過擬合”相對的是“欠擬合”(underfitting)，這是指對訓練樣本的一般性質尚未學好。OverfitingandUnderfiting69L1范數與L2范數范數：范數是衡量某個向量空間（或矩陣）中的每個向量的長度或大小。范數的一般化定義如下（實數p>=1）：

L1范數：當p=1時，是L1范數，表示某個向量中所有元素的絕對值之和。L2范數：當p=2時，是L2范數，表示某個向量中所有元素的平方和再開根號。L1范數與L2范數范數：范數是衡量某個向量空間（或矩陣）中的70RidgeRegression

正則化項是參數的L2范數時，整個回歸方法就叫做嶺回歸。相應損失函數：那么為什么叫做“嶺”回歸呢？

RidgeRegression正則化項是參數71Lasso

Regression

lasso回歸：參數范數為L1范數

優勢：不僅可以解決過擬合問題，而且可以在參數縮減