主講人：***第10章回歸13-10月-23Python數據分析與數據挖掘目錄contents回歸概述0102線性回歸03邏輯回歸04其他回歸回歸概述0110.1回歸概述

統計學上，回歸是指研究兩組數據數值上的關系，并用來預測因變量的發展趨勢的一種統計分析方法。回歸分析按照涉及變量的多少，分為簡單線性回歸和多元線性回歸；按照自變量和因變量之間的關系類型，可分為線性回歸分析和非線性回歸分析。常用的回歸算法包括線性回歸、多項式回歸、SVM、嶺回歸、Lasso等。在大數據分析中，回歸主要有以下方面的應用：用于預測以及發現變量之間的因果關系。例如，學生的成績與他在學習方面花費的時間之間的關系。可以用來制定計劃和實施計劃控制。例如計劃制定、KPI制定等方面；可以基于預測的數據與實際數據進行比對和分析，確定事件發展程度并及時給未來行動提供方向性指導。

數據之間的關系確定性回歸分析非確定性回歸分析數據之間的關系可以用確切的函數表現出來的回歸分析例：圓的周長與圓的直徑的關系：l=πd雖然數據之間存在著某種關系，但是這種關系并不確定，受到一些因素的影響，這種關系圍繞著函數關系上下變動例：年齡與是否患有高血壓之間的關系10.1回歸概述10.1.1常用的回歸模型表10-1常用的回歸模型10.1.2回歸分析的步驟回歸分析的一般可分為如下步驟：1.確定變量

收集包含自變量和因變量的數據。確定要預測的因變量，如某公司下一年的銷售額。尋找與要預測因變量相關的影響因素，即自變量。2.

根據自變量和因變量的關系，構建回歸模型

運用數據探索來識別變量的關系和影響。根據數據特征和預測目的，選擇并構建回歸模型。3.

進行相關性檢驗，確定相關系數

檢查變量之間是否存在相關關系，如變量之間不存在相關關系，則運用回歸模型分析可能得出錯誤的結果。進行相關分析一般要求出相關系數，根據相關系數的大小判斷自變量和因變量的相關程度。10.1.2回歸分析的步驟4.

求解模型的回歸系數

計算求出模型的回歸系數。5.

計算預測誤差

對回歸模型進行檢驗，并計算預測誤差。通過檢驗且滿足誤差要求的回歸模型才能用于預測。6.

利用回歸模型對因變量進行預測

利用構建的模型對因變量進行預測或解釋，并計算預測值的置信區間。10.1.3回歸的相關系數

最早由統計學家卡爾·皮爾遜設計的統計指標，是描述變量之間線性相關程度的量，一般用字母R表示。根據研究對象的不同，相關系數也有多種定義方式，但較為常用的仍是皮爾遜相關系數。相關系數定義如下：相關系數

其中Cov(X,Y)是X和Y的協方差，Var是方差。取值范圍是[-1,1]，若為正，則二者正相關；為負，則二者負相關。數值越接近0，相關度越小。

在實際操作中，我們可以根據相關系數的結果，對數據進行降維處理，減少無關因素的干擾，提高模型運行速度。10.1.4回歸模型的評價指標

MAE表示實際值和預測值之間絕對誤差的平均值，定義公式如下：1. 平均絕對誤差MAE（MeanAbsoluteError）2. 均方誤差MSE（MeanSquaredError）

MSE表示實際值與預測值的差值平方的平均值，定義公式如下：10.1.4回歸模型的評價指標

RMSE是均方誤差MSE的算術平方根，定義公式如下：3. 均方根誤差RMSE（RootMeanSquareError)10.1.4回歸模型的評價指標

用于評估線性回歸擬合效果時，決定系數R2表示為模型的均方誤差，除以用實際值的平均值作為預測值時的均方誤差，定義公式如下：4. 決定系數R2（R-Square）

由定義可知，R2的取值范圍被歸約為[0,1]區間，決定系數越接近1，說明回歸模型參考價值越高，決定系數越接近0，參考價值越低。當R2值為1時，模型沒有誤差，擬合效果最好。10.1.4回歸模型的評價指標

隨著樣本數量的增加，R2的值會增大，可引入校正的決定系數AdjustedR2，抵消樣本數量對R2的影響，引入校正的決定系數AdjustedR2，定義公式如下：5. 校正的決定系數AdjustedR2（AdjustedR-Square）

其中，n為樣本數量，k為特征數量。校正的決定系數AdjustedR2同時考慮了樣本數量n和回歸中自變量個數k的影響，使得校正的決定系數永遠小于決定系數R2，且校正的決定系數值不會由于回歸中自變量個數的增加而越來越接近1。線性回歸0210.2線性回歸1、一元線性回歸一個回歸變量x和一個響應變量y，它們之間存在類似一元一次方程的線性關系：其中，a是斜率，b是截距，c是隨機誤差項。2、多元線性回歸響應變量y和n個自變量都相關，即存在兩個或兩個以上的自變量。

其中，參數ai(i=1,2...,n)成為回歸系數。這一模型描述了由n個回歸變量x組成的n維超平面，參數ai表示當其他回歸變量x不變時xi變化一個單位，導致響應變量y的變化期望值。我們可以將模型簡化為矩陣的形式：其中，X=[x1,x2,...,xn]，A=[a1,a2,...,an]T

在大多數的實際問題中，我們并不知道回歸系數的值，需通過已知的樣本數據進行計算，生成線性回歸模型。在線性回歸模型中，其目標是求解回歸方程，即求出回歸方程中的回歸系數wi。常用梯度下降法和最小二乘法求解損失函數最小化時的回歸系數。線性回歸（linearregression），就是用線性函數來擬合數據，并使損失J最小。損失函數定義為：10.2.1線性回歸原理

LinearRegression函數的語法如下：

sklearn.linear_model.LinearRegression(*,fit_intercept=True,normalize=False,copy_X=True,n_jobs=None,positive=False)

sklearn.linear_model模塊中LinearRegression函數用于實現最小二乘回歸。LinearRegression線性回歸函數擬合一個帶有回歸系數的線性模型，使得數據集中觀測目標和線性近似預測目標之間的殘差平方和最小。表10-2LinearRegression函數的主要參數10.2.2LinearRegression函數

LinearRegression函數的主要方法如表10-4所示。

LinearRegression函數的主要屬性如表10-3所示：表10-3LinearRegression函數的主要屬性表10-4LinearRegression的主要方法10.2.2LinearRegression函數

其中，b是回歸系數(regressioncoefficient),a是截距(intercept)，?是隨機誤差項。

一元線性回歸模型中有兩個變量，一個自變量x和一個因變量y，它們之間存在類似一元一次方程的線性關系：10.2.3

一元線性回歸10.2.3

一元線性回歸

下面介紹使用最小二乘法求解回歸系數和截距的原理。

對每一個點

，設

為實際測量值，

為預測值，最小二乘法是通過最小化殘差平方和（ResidualSumofSquares,RSS），找到最佳回歸系數

使所有點的實際值與預測值偏差的平方和最小，

為殘差。殘差平方和的公式定義如下：

分別對

求一階偏導并令其一階偏導為0，即:10.2.3

一元線性回歸求解方程組，可求出

的值為：其中

，，將求得的結果帶入回歸方程，即可得到最佳擬合曲線。[例10-1]簡單線性回歸模型實例。

已知已有的披薩的直徑及其價格，如下表10-5，將這些數據輸入到模型中，并且訓練得到簡單回歸方程，然后實現可視化。10.2.3

一元線性回歸表10-5披薩直徑及價格[例10-1]簡單線性回歸模型實例。10.2.3

一元線性回歸圖10-1簡單線性回歸實例10.2.4

多元線性回歸

一般情況，因變量y和n個自變量都相關，如果存在兩個或兩個以上的自變量，就稱為多元線性回歸,多元線性回歸模型表示多個解釋變量（自變量）與一個被解釋變量（因變量）之間的線性關系，如下式所示：

其中，參數bi(i=1,2...,n)成為回歸系數。這一模型描述了由n個回歸變量x組成的n維超平面，參數bi表示當其他回歸變量x不變時xi變化一個單位，導致響應變量y的變化期望值。我們可以將模型簡化為矩陣的形式：其中，[例10-2]多元回歸實例。10.2.4

多元線性回歸

例10-2往披薩模型中增加一個自變量配料種類，并用披薩直徑和配料種類2個因素，構建模型，預測披薩價格，訓練數據如表10-6所示。表10-6修改的披薩模型[例10-2]多元回歸實例。10.2.4多元線性回歸圖10-2多元線性回歸結果圖邏輯回歸0310.3邏輯回歸

邏輯回歸（LogisticRegression）雖然被稱為回歸模型，但它其實處理的是分類問題，是常用的經典分類方法之一。邏輯回歸模型常用于預測一個或多個特征因素的二元響應概率，類似于概率論中的伯努利分布，用于估計某種事物的可能性。

邏輯回歸模型本質上是線性回歸，是在線性模型基礎上，通過邏輯映射函數轉換，將線性回歸的預測值轉換為概率值，再根據概率值實現分類。簡單來說，它就是通過擬合一個邏輯函數（logitfuction）來預測一個事件發生的概率。

邏輯回歸主要用于二分類問題，在多分類問題的推廣叫softmax。邏輯回歸適用于數值型和標稱型數據，優點是計算代碼不多，易于理解和實現，且計算代價不高，速度快，存儲資源低。缺點是容易欠擬合，分類精度可能不高。

邏輯回歸可應用于郵件分類、是否患某種疾病的診斷、用戶購買商品可能性的判斷等。10.3.1邏輯回歸原理Sigmoid函數

在邏輯回歸中，響應變量描述了預測結果是正的概率，如果響應變量大于或等于一個設定的區分閾值，會被預測為正向類，否則就會被預測為負向類。而這個響應變量所對應的邏輯函數就是Sigmoid函數，Sigmoid函數的公式如下所示。

Sigmoid函數的自變量取值可為任意實數，函數值域在[0，1]之間，函數曲線如下圖10-3所示。圖10-3Sigmoid函數10.3.1邏輯回歸原理Sigmoid函數

邏輯回歸可被看成是一種概率估計。為了實現Logistic回歸分類，可以在每個輸入特征上乘以一個回歸系數，把所有結果值相加，并將相加結果輸入Sigmoid函數，得到一個范圍在0~1之間的數值。任何大于設定的區分閾值（如0.5）的數據被分入正向類，小于閾值的被歸入負向類，這樣就完成了由值到概率的轉換，即分類任務。 Sigmoid函數的輸入記為z，可以由下面公式得到： 若采用向量的寫法，上述公式可以寫成，它表示將這兩個數值向量對應元素相乘，然后全部加起來即得到z值。10.3.1邏輯回歸原理Sigmoid函數

結合

和

可得： 其中，向量x是分類器的輸入數據，向量θ^T是要求的最佳參數（系數），可使分類器盡可能的準確。確定了分類器的函數形式之后，求解問題變成了如何求解最佳回歸系數，可以使用梯度上升等最優化方法求解最佳回歸系數。

LogisticRegression函數的語法如下：

sklearn.linear_model.LogisticRegression(penalty='l2',*,dual=False,tol=0.0001,C=1.0,fit_intercept=True,intercept_scaling=1,class_weight=None,random_state=None,solver='lbfgs',max_iter=100,multi_class='auto',verbose=0,warm_start=False,n_jobs=None,l1_ratio=None)

該函數主要參數的含義如表10-7（下頁）所示。

sklearn.linear_model模塊中LogisticRegression函數用于實現邏輯回歸。LogisticRegression回歸函數擬合一個帶有回歸系數的線性模型，使得數據集中觀測目標和線性近似預測目標之間的殘差平方和最小。10.3.2LogisticRegression函數10.3.2LinearRegression函數表10-7LogisticRegression函數的主要參數10.3.2LinearRegression函數

LogisticRegression函數的主要屬性如表10-8所示：表10-8LogisticRegression函數的主要屬性

LogisticRegression函數的主要方法如表10-9所示。表10-9LogisticRegression函數的主要屬性10.3.3邏輯回歸的應用[例10-3]使用邏輯回歸模型預測冠心病（CHD）的患病風險。

首先讀入數據，查看數據信息，并對數據進行預處理，刪除有缺失值的數據。10.3.3邏輯回歸的應用[例10-3]使用邏輯回歸模型預測冠心病（CHD）的患病風險。

進行數據相關性分析并做出熱力圖（圖略）。相關性分析顯示，“education”與“TenYearCHD”相關度很低，“sysBP”和“diaBP”高度相關，“currentSmoker”和“cigsPerDay”高度相關，故刪除“education”、“currentSmoker”和“diaBP”三個特征。10.3.3邏輯回歸的應用[例10-3]使用邏輯回歸模型預測冠心病（CHD）的患病風險。

有患病風險和無風險人數的計數統計，結果顯示有3179名患者沒有心臟病，572名患者有心臟病風險。

將數據劃分為訓練集和測試集，對訓練數據和測試數據進行歸一化處理。10.3.3邏輯回歸的應用[例10-3]使用邏輯回歸模型預測冠心病（CHD）的患病風險。

構建并訓練LogisticRegression模型，并對測試數據進行預測。

輸出詳細的分類性能評價結果和混淆矩陣。10.3.3邏輯回歸的應用[例10-3]使用邏輯回歸模型預測冠心病（CHD）的患病風險。

輸出結果為：

輸出的混淆矩陣結果如圖10-4所示：圖10-4邏輯回歸混淆矩陣結果圖其他回歸0410.4.1多項式回歸

研究一個因變量與一個或多個自變量間多項式的回歸分析方法，稱為多項式回歸（PolynomialRegression），自變量x和因變量y之間的關系被建模為x的n次多項式。如果自變量只有一個，稱為一元多項式回歸，如下式表示一元m次多項式回歸：

如果自變量有多個，稱為多元多項式回歸，如下式表示二元二次多項式回歸方程：多項式回歸原理10.4.1多項式回歸多項式回歸應用[例10-4]使用2次多項式回歸擬合非線性數據。首先導入庫，并生成100個（-3，4）之間的浮點數，且設y=5x2+3x+2。10.4.1多項式回歸多項式回歸應用[例10-4]使用2次多項式回歸擬合非線性數據。輸出初始數據情況如圖10-5所示，x與y之間為非線性關系。圖10-5初始非線性數據10.4.1多項式回歸多項式回歸應用[例10-4]使用2次多項式回歸擬合非線性數據。

首先嘗試用線性模型擬合數據，構建及訓練模型，用模型預測因變量，并繪制初始數據情況（藍色）及線性模型預測結果（綠色）。然后使用均方誤差MSE和R2評估線性模型的性能。10.4.1多項式回歸多項式回歸應用[例10-4]使用2次多項式回歸擬合非線性數據。

線性模型的輸出結果如下。10.4.1多項式回歸多項式回歸應用[例10-4]使用2次多項式回歸擬合非線性數據。

由MSE及R2結果可知，線性模型的性能不佳，可嘗試用多項式回歸擬合。10.4.1多項式回歸多項式回歸應用[例10-4]使用2次多項式回歸擬合非線性數據。

根據輸出的coef_和intercept_結果，得到2次多項式模型為：y=5x2+3x+2。接下來，對2次多項式回歸曲線進行作圖，結果如圖10-6所示。10.4.1多項式回歸多項式回歸應用[例10-4]使用2次多項式回歸擬合非線性數據。

根據輸出的coef_和intercept_結果，得到2次多項式模型為：y=5x2+3x+2。接下來，對2次多項式回歸曲線進行作圖，結果如圖10-6所示。圖10-6線性擬合和2次多項式擬合10.4.1多項式回歸多項式回歸應用[例10-4]使用2次多項式回歸擬合非線性數據。

根據均方誤差MSE和R2進行多項式模型的性能評估。輸出結果如下，2次多項式很好的擬合了本例中的非線性數據。

嶺回歸又稱提克洛夫規范化(Tikhonovregularization)，是一種專門用于共線性數據分析、挖掘的有偏估計回歸方法，其實質上是一種改良的最小二乘法，通過放棄最小二乘法的無偏性，以損失部分信息、降低精度為代價獲得回歸系數更為符合實際、更可靠的回歸方法，對病態、偏態數據的擬合度要強于最小二乘法。但是，由于嶺回歸并沒有將每個系數收縮到0，而只是將其變小，因此，某些時候得出的模型的解釋性會變低。10.4.2嶺回歸

線性回歸的L2正則化稱為嶺回歸，它和一般線性回歸的區別是在損失函數上增加了一個L2正則化的項，和Lasso回歸的區別是嶺回歸的正則化項是L2范數，而Lasso回歸的正則化項是L1范數。嶺回歸要最小化的損失函數定義如下：嶺回歸的定義10.4.2嶺回歸

嶺回歸的求解比較簡單，一般用最小二乘法。嶺回歸在不拋棄任何一個特征的情況下，縮小了回歸系數，使模型相對比較穩定，但會使模型保留較多特征，模型可解釋性差。

若數據各變量之間存在多重共線性或使用線性回歸存在過擬合情況，可以考慮使用嶺回歸。

Python中的sklearn.linear_model模塊中提供了嶺回歸模型Ridge，模型中的alpha參數設置了正規化的強度，alpha必須為正的浮點數，默認值為1.0。正則化改進了問題的條件化，減少了估計的方差。alpha值越大，正則化越強。嶺回歸的應用10.4.2嶺回歸嶺回歸的應用10.4.2嶺回歸[例10-5]嶺回歸預測聯合循環發電廠的發電量。

本例中，我們首先讀入數據，保存到DataFrame結構的變量data中，數據共有9568行、5列。將前4列設置為特征列X，最后1列設置為目標列。嶺回歸的應用10.4.2嶺回歸[例10-5]嶺回歸預測聯合循環發電廠的發電量。

接下來使用熱力圖分析變量之間的相關性，發現4個特征與目標列電能輸出（PE）相關性都較高，因此都作為嶺回歸模型的輸入特征，熱力圖結果略。嶺回歸的應用10.4.2嶺回歸[例10-5]嶺回歸預測聯合循環發電廠的發電量。

將數據中的3/4劃分為訓練集，另1/4劃分為測試集，并構建嶺回歸模型進行預測。輸出平均絕對誤差MAE、均方誤差MSE和測試集上擬合的決定系數R2，結果如下。嶺回歸的應用10.4.2嶺回歸[例10-5]嶺回歸預測聯合循環發電廠的發電量。

最后，繪圖顯示預測值和真實值的關系，其中橫軸表示真實值，縱軸表示預測值。越接近線性關系直線y=x，代表預測值與真實值越接近，損失越低。繪圖結果如圖10-7所示。圖10-7嶺回歸模型預測值和真實值之間的關系10.4.3Lasso回歸

Lasso回歸(LassoRegression)的全稱為Leastabsoluteshrinkageandselectionoperator，又譯為最小絕對值收斂和選擇算子或套索算法。Lasso回歸與一般線性回歸的區別在于，它在損失函數中增加了L1正則化懲罰項，要最小化的損失函數為：

Lasso回歸與嶺回歸的區別在于，Lasso傾向于將不重要的回歸系數設置為零，可以達到剔除變量的目的，而嶺回歸從不將系數的值設置為絕對零。Lasso回歸原理10.4.3Lasso回歸

若數據的輸入特征維度很高，且為稀疏線性關系，可以嘗試使用Lasso回歸進行擬合。

Python中的sklearn.linear_model模塊中提供了Lasso回歸模型Lasso，模型中的alpha參數表示乘以L1項的常數，默認值為1.0。不建議對Lasso模型使用alpha=0，alpha=0相當于由線性回歸對象求解的普通最小二乘法。Lasso回歸應用10.4.3Lasso回歸Lasso回歸應用[例10-6]使用sklearn自帶的糖尿病數據集，進行Lasso回歸分析。10.4.3Lasso回歸Lasso回歸應用[例10-6]使用sklearn自帶的糖尿病數據集，進行Lasso回歸分析。10.4.3Lasso回歸Lasso回歸應用[例10-6]使用sklearn自帶的糖尿病數據集，進行Lasso回歸分析。圖10-8不同alpha值對Lasso模型預測性能影響

除了用循環的方法尋找最優的參數值外，我們還可以使用sklearn.model_selection中的網格搜索GridSearchCV方法，在指定的范圍內進行自動調參。使用GridSearchCV方法時，只需指定要調整的參數和參數的范圍，即可得到在該范圍內的最優參數或參數組合。相對于人工調參，自動參數調整更加省時省力，且不易出錯。

如下代碼中，我們使用網格搜索為Lasso回歸尋找最佳alpha參數，搜索范圍為[0.01,10]。10.4.3Lasso回歸Lasso回歸應用本章實踐例題本章實踐例題[例10-7]用邏輯回歸模型進行輸血服務中心數據集中個人是否獻血的預測，并用ROC和P-R曲線對模型進行評價。

本例中，首先導入需要的庫，然后從OpenML（/d/1464）加載輸血服務中心數據集。這是一個二元分類問題，目標列為個人是否獻血。將數據分為訓練集和測試集，然后對數據進行標準化處理，并用訓練數據集訓練邏輯回歸模型。本章實踐例題[例10-7]用邏輯回歸模型進行輸血服務中心數據集中個人是否獻血的預測，并用ROC和P-R曲線對模型進行評價。

利用訓練好的模型，對測試集進行預測，然后對預測結果計算并繪制混淆矩陣，結果如圖10-9所示。圖10-9預測結果混淆矩陣本章實踐例題[例10-7]用邏輯回歸模型進行輸血服務中心數據集中個人是否獻血的預測，并用ROC和P-R曲線對模型進行評價。

接下來，繪制ROC曲線對模型進行評估，結果如圖10-10所示。ROC曲線要求估計器提供概率或非閾值決策值。由于邏輯回歸提供了一個決策函數，可以使用該函數繪制ROC曲線。圖10-10ROC曲線結果本章實踐例題[例10-7]用邏輯回歸模型進行輸血服務中心數據集中個人是否獻血的預測，并用ROC和P-R曲線對模型進行評價。

下面，使用預測部分的y_score繪制P-R曲線，代碼如下，結果如圖10-11所示。圖10-11P-R曲線結果本章實踐例題[例10-7]用邏輯回歸模型進行輸血服務中心數據集中個人是否獻血的預測，并用ROC和P-R曲線對模型進行評價。

顯示對象可以存儲作為參數傳遞的計算值，這使得采用matplotlib的API可以輕松進行可視化的組合。因此還可以將ROC-曲線和P-R曲線彼此相鄰地顯示在一起，將兩個曲線合并到單個圖中，如圖10-12所示。圖10-12ROC-曲線和P-R曲線結果圖本章實踐例題[例10-8]用線性回歸和嶺回歸構建模型，預測波士頓房價數據集中，犯罪率、房產稅等各項指標與房價的關系，并輸出模型的評價指標。

首先，構建線性回歸模型，預測波士頓房價，輸出模型的評價指標。本章實踐例題[例10-8]用線性回歸和嶺回歸構建模型，預測波士頓房價數據集中，犯罪率、房產稅等各項指標與房價的關系，并輸出模型的評價指標。

首先，構建線性回歸模型，預測波士頓房價，輸出模型的評價指標。本章實踐例題[例10-8]用線性回歸和嶺回歸構建模型，預測波士頓房價數據集中，犯罪率、房產稅等各項指標與房價的關系，并輸出模型的評價指標。

線性回歸模型的輸出結果如下：本章實踐例題[例10-8]用線性回歸和嶺回歸構建模型，預測波士頓房價數據集中，犯罪率、房產稅等各項指標與房價的關系，并輸出模型的評價指標。

然后，對數據進行標準化處理，再次進行線性回歸預測，檢查評價指標是否有改進。本章實踐例題[例10-8]用線性回歸和嶺回歸構建模型，預測波士頓房價數據集中，犯罪率、房產稅等各項指標與房價的關系，并輸出模型的評價指標。

對數據標準化后，線