邏輯回歸算法邏輯回歸是當前業界比較常用的機器學習方法，用于估計某種事物的可能性，比如廣告的點擊預測，某用戶購買某商品的可能性，某病人患有某種疾病的可能性，等等。邏輯回歸可以用來回歸，也可以用來分類。結合廣告預測的例子來介紹邏輯回歸的基本概念，并給出基本的使用方式，然后介紹如何使用邏輯回歸來檢測基于Java的溢出攻擊，最后介紹如何使用邏輯回歸來識別基于MNIST數據集的驗證碼。目錄TOC\o"1-1"\h\u871邏輯回歸算法概述 3132952示例：helloworld！邏輯回歸 5159963示例：使用邏輯回歸算法檢測Java出攻擊 7124244示例：識別驗證碼 11邏輯回歸算法概述在我們打開瀏覽器訪問網頁的時候，時常會在網頁的邊角位置看到一些似曾相識的廣告，似乎和最近關注的話題和瀏覽的內容有關。這其實就是邏輯回歸的一種應用，廣告服務商自動根據你的歷史瀏覽內容、關注話題等數據，預測你點擊那一類廣告的概率會更大，從而選擇適當的廣告素材展現在你面前，如圖8-1所示。自變量X和因變量Y之間的關系，或者說自變量X對因變量Y的影響程度，并對因變量Y進行預測。其中因變量是我們希望獲得的結果，自變做多元回歸分析。圖8-1 邏輯回歸在廣告領域的應用舉例示例：helloworld！邏輯回歸我們先演示邏輯回歸的基本使用（如圖8-2所示），完整演示代碼請見本書GitHub上的8-1.py。邏輯回歸的核心函數為：LogisticRegression(penalty='l2',dual=False,tol=0.0001,C=1.0,fit_intercept=True,圖8-2 邏輯回歸使用舉其中比較重要的參數有以下4個?！andom_state：隨機種子?！：正則化系數，越小正則化程度越高?！olver：算法，包括‘newton-cg’‘lbfgs’‘liblinear’‘sag’，默認使用‘liblinear’?！_jobs：并發任務數。加載相關庫文件：importnumpyasnpimportmatplotlib.pyplotaspltfromsklearnimportlinear_model,datasets使用經典的iris數據集合：iris=datasets.load_iris()X=iris.data[:,:2]Y=iris.target使用邏輯回歸訓練并預測：logreg=linear_model.LogisticRegression(C=1e5)logreg.fit(X,Y)x_min,x_max=X[:,0].min()-.5,X[:,0].max()+.5y_min,y_max=X[:,1].min()-.5,X[:,1].max()+.5xx,yy=np.meshgrid(np.arange(x_min,x_max,h),np.arange(y_min,y_max,h))Z=logreg.predict(np.c_[xx.ravel(),yy.ravel()])將結果可視化：Z=Z.reshape(xx.shape)plt.figure(1,figsize=(4,3))plt.pcolormesh(xx,yy,Z,cmap=plt.cm.Paired)plt.scatter(X[:,0],X[:,1],c=Y,edgecolors='k',cmap=plt.cm.Paired)plt.xlabel('Sepallength')plt.ylabel('Sepalwidth')plt.xlim(xx.min(),xx.max())plt.ylim(yy.min(),yy.max())plt.xticks(())plt.yticks(())plt.show()示例：使用邏輯回歸算法檢測Java出攻擊完整演示代碼請見本書GitHub上的8-2.py。數據搜集和數據清洗使用ADFA-LD數據集中Java溢出攻擊的相關數據（見圖8-3），ADFA-LD數據集詳細介紹請閱讀第3章相關內容。圖8-3 ADFA-LD系統調用抽象成向加載ADFA-LD中的正常樣本數據：defload_adfa_training_files(rootdir):x=[]y=[]list=os.listdir(rootdir)foriinrange(0,len(list)):path=os.path.join(rootdir,list[i])ifos.path.isfile(path):x.append(load_one_flle(path))y.append(0)returnx,y定義遍歷目錄下文件的函數：defdirlist(path,allfile):filelist=os.listdir(path)forfilenameinfilelist:filepath=os.path.join(path,filename)ifos.path.isdir(filepath):dirlist(filepath,allfile)else:allfile.append(filepath)returnallfile從攻擊數據集中篩選和Java溢出攻擊相關的數據：defload_adfa_java_files(rootdir):x=[]y=[]allfile=dirlist(rootdir,[])forfileinallfile:ifre.match(r"../data/ADFA-LD/Attack_Data_Master/Java_Meterpreter_\d+/UAD-Java-Meterpreter*",file):x.append(load_one_flle(file))y.append(1)returnx,y特征化由于ADFA-LD數據集都記錄了函數調用序列，每個文件包含的函數調用序列的個數都不一致，可以參考第3章中的詞集模型進行特征化：x2,y2=load_adfa_hydra_ftp_files("../data/ADFA-LD/Attack_Data_Master/"x=x1+x2y=y1+y2vectorizer=CountVectorizer(min_df=1)x=vectorizer.fit_transform(x)x=x.toarray()訓練樣本實例化邏輯回歸算法，正則系數為1e5：logreg=linear_model.LogisticRegression(C=1e5)效果驗證我們使用十折交叉驗證：printcross_validation.cross_val_score(logreg,x,y,n_jobs=-1,cv=10)測試結果如下，準確率93%左右：0.930928852415示例：識別驗證碼上一章提過，MNIST手寫數字圖片，也包含每一張圖片對應的標簽，告訴我們這個是數字幾。我們使用邏輯回歸來識別由MNIST見本書GitHub上的8-3.py。數據搜集和數據清洗使用MNIST離線版的數據，具體下載地址以及數據集的介紹請參考第3章相關內容：defload_data():withgzip.open('../data/MNIST/mnist.pkl.gz')asfp:training_data,valid_data,test_data=pickle.load(fp)returntraining_data,valid_data,test_data特征化MNIST已經將24×24的圖片特征化成長度為784的一維向量。3.訓練模型使用邏輯回歸訓練：training_data,valid_data,test_data=load_data()x1,y1=training_datax2,y2=test_datalogreg=linear_model.LogisticRegress