1、    機器學習算法在數(shù)據挖掘中的應用    陳小燕摘 要： 針對數(shù)據挖掘算法中常用的機器學習型算法進行研究。機器學習型算法特色是運用了人工智能技術，能在大量樣本集訓練和學習后自動找出運算需要的參數(shù)和模式。以機器學習型算法中的人工神經網絡為例研究數(shù)據挖掘技術，針對學習速度慢、抗干擾能力弱以及容易陷入局部最小值等缺點和傳統(tǒng)的遺傳算法存在算法早熟以及局部尋優(yōu)能力弱等問題，提出一種通過改進常規(guī)遺傳算法的染色體結構和遺傳算子，并且通過引入自適應交叉和變異概率來對bp神經網絡結構參數(shù)進行優(yōu)化的改進型遺傳優(yōu)化bp神經網絡模型。最后通過煤礦空壓機故障診斷系統(tǒng)這一實例來

2、研究改進型算法的數(shù)據挖掘技術的性能。研究結果表明，改進后的算法建立的診斷模型相比常規(guī)神經網絡的診斷模型診斷準確率更好，診斷效率更快。關鍵詞： 數(shù)據挖掘； bp神經網絡； 遺傳優(yōu)化算法； 空壓機故障診斷： tn957.52+9?34； tp274 ： a ： 1004?373x（2015）20?0011?04application of machine learning algorithm in data miningchen xiaoyan（jiangsu polytechnic college of agricultural and forestry， jurong 212400， chin

3、a）abstract： the machine learning algorithm commonly used in data mining algorithm is studied in this paper. ait （artificial intelligence technology） is adopted in machine learning algorithm， which can automatically find out the parameters and modes required by operation after a large number of sampl

4、e set training and learning. the artificial neural network in machine learning algorithm is taken as an example to research the data mining technology. since the traditional genetic algorithm has the shortcomings of prematurity and weak local optimizing capacity， the improved genetic optimization bp

5、 neural network model is proposed by improving the chromosome structure and genetic operator， and by introducing adaptive crossover and mutation probability to optimize neural network structure parameters and solve the problems of slow learning speed， weak anti?jamming capability， and easily falling

6、 into local minimum value. finally， the performance of the improved algorithm is studied by using the fault diagnosis system of air compressor. the research results show that the improved diagnostic model， compared with the conventional neural network diagnosis model， has better diagnostic accuracy

7、and higher diagnostic efficiency.keywords： data mining； bp neural network； genetic optimization algorithm； fault diagnosis of air compressor0 引 言數(shù)據挖掘技術是在整個社會發(fā)展中隨著科學和技術的不斷進步而順應需要所生。隨著信息化技術的不斷普及，人類社會逐步進入到信息化社會中，信息化管理技術隨之不斷提升，成本卻同時逐步下降，數(shù)據管理技術（data management technology）在各企事業(yè)單位中進一步普及，從而推動企事業(yè)單位內部職能部門間的溝通

8、聯(lián)絡。但是，隨之而來的弊病是海量數(shù)據的累積導致數(shù)據分析的困難1?2。1 數(shù)據挖掘數(shù)據挖掘算法中常用的有機器學習型算法和統(tǒng)計型算法兩類。前者的特色是運用了人工智能技術，能在大量樣本集訓練和學習后自動找出運算需要的參數(shù)和模式；后者則常用相關性分析、聚類分析、概率和判別分析等進行運算。不同算法當然有著各自不同的對應領域和目標，它們既能單獨使用，也能相互結合。機器學習型算法中人工神經網絡方法被普遍運用，它具有極好的數(shù)據處理能力和自組織學習能力，并且能準確進行識別，從而有助于分類問題中的數(shù)據處理。人工神經網絡通過建構模型而工作，其模型多樣，能滿足不同需求。總體來看，人工神經網絡模型精確度高、魯棒性好，具

9、有較強描述能力，在應用時可以無需專家支持。當然，它也存在一些缺陷，具體表現(xiàn)在：訓練數(shù)據所需要的時間較長；對所獲取知識的理解上不夠智能；開放性和可伸縮性也有一定局限性。 傳統(tǒng)的bp神精網絡存在學習速度慢、抗干擾能力弱以及容易陷入局部最小值等缺點，而傳統(tǒng)的遺傳算法存在算法早熟以及局部尋優(yōu)能力弱等問題；所以本文提出一種通過改進常規(guī)遺傳算法的染色體結構和遺傳算子，并且通過引入自適應交叉和變異概率來對bp神經網絡結構參數(shù)進行優(yōu)化的改進型遺傳優(yōu)化bp神經網絡模型3?4。2 改進型ga?bp神經網絡本文為了提高bp神經網絡的性能，針對常規(guī)遺傳算法的染色體結構和遺傳算子進行改進。引入自適應交叉、變異概率以平衡

10、優(yōu)化bp神經網絡的結構和初始權重。（1） 染色體結構設計。本文將染色體基因結構分為上下兩層結構，分別為控制基因和參數(shù)基因兩層，從而對常規(guī)的遺傳算法優(yōu)化bp神經網絡模型進行改進。處于上層的控制基因通過對bp神經網絡的隱含層節(jié)點數(shù)優(yōu)化從而實現(xiàn)對bp神經網絡結構的優(yōu)化。處于下層的參數(shù)基因主要對bp神經網絡的連接權值和閾值進行優(yōu)化。（2） 設計適應度函數(shù)。本文將適應度函數(shù)表示為：f=a?frmse+b?fcom ， 0式中：n為訓練樣本個數(shù)；frmse是訓練數(shù)據的均方根誤差，處于01之間；yi和yi分別是實際值和識別值。（3） 算子選擇。本文提出的改進型遺傳優(yōu)化bp神經網絡算法使用最優(yōu)個體保留方法實現(xiàn)

11、算子選取以常規(guī)的適應值比例算法選取方法引起的局部最小值等問題5。（4） 交叉、變異算子。本文提出的改進型遺傳優(yōu)化bp神經網絡算法的上層控制基因采用單點交叉和基本位變異算子，下層的參數(shù)基因使用整體算數(shù)交叉和非一致變異算子。（5） 自適應交叉、變異概率。本文通過對自適應交叉、變異概率進行設計以平衡優(yōu)化bp神經網絡的結構和初始權重，具體設計過程如下，設定自適應交叉概率為：pc=k1fc-fminfavr-fmin， fcfavrk2， fc>favrc （2）式中：favr，fmin及fc分別是種群的平均適應值、最小適應值以及交叉?zhèn)€體偏小的適應值；k1，k2通常在1.0上下取值。設定自適應變異

12、概率為：pm=k3fm-fminfavr-fmin， fmfavrk4， fm>favrc （3）式中：fm是等待變異的個體適應值；k3，k4通常在0.5上下取值5?7。本文提出的改進型遺傳優(yōu)化bp神經網絡算法的實施步驟如下：step1：采集并歸一化處理數(shù)據。將處理好后的數(shù)據分為訓練樣本數(shù)據和測試樣本數(shù)據兩大類。step2：對遺傳優(yōu)化算法模型的基本參數(shù)，如進化最大代數(shù)為g，種群的規(guī)模n以及隱含層節(jié)點數(shù)等進行設定。step3：對種群上層種群個體使用二進制編碼，對種群下層種群個體使用實數(shù)編碼。step4：對種群各個個體解碼以確定bp神經網絡的結構參數(shù)。step5：遺傳操作種群中適應度優(yōu)異的個

13、體。step6：對種群中遺傳個體使用自適應概率進行交叉、變異操作，獲得新的子群。step7：對上下層的子群個體解碼以對bp神經網絡隱含層節(jié)點數(shù)、權值和閾值等結構參數(shù)進行更新。step8：如果迭代步數(shù)達到設定最大值或者最佳個體適應度值滿足要求，進入下一步，否則從step5繼續(xù)循環(huán)。step9：對適應值最佳的個體進行解碼以確定最佳的bp神經網絡隱含層節(jié)點數(shù)、閾值和連接權值等參數(shù)8。3 數(shù)據挖掘應用實例本文以煤礦空壓機的故障診斷系統(tǒng)為實例，對提出的基于改進型ga?bp神經網絡的數(shù)據挖掘模型進行研究。3.1 煤礦空壓機故障診斷系統(tǒng)在建立空壓機故障診斷模型之前，首先要通過查閱大量的空壓機使用說明、故障說

14、明、專家、操作人員的現(xiàn)場使用經驗以及集合現(xiàn)在實時監(jiān)測數(shù)據對空壓機故障類型、故障來源等問題進行歸納總結。以某煤礦的煤礦空壓機故障診斷系統(tǒng)為例進行研究。通過經驗及現(xiàn)場數(shù)據對煤礦空壓機歸納出5種工作狀態(tài)，用符號y1y5表示，即為神經網絡故障診斷模型的輸出。y1y5分別表示：煤礦空壓機為無故障工作狀態(tài)；煤礦空壓機冷卻水系統(tǒng)出現(xiàn)故障的工作狀態(tài)；煤礦空壓機潤滑系統(tǒng)出現(xiàn)故障的工作狀態(tài)；煤礦空壓機軸承出現(xiàn)故障的工作狀態(tài)；煤礦空壓機電路系統(tǒng)出現(xiàn)故障的工作狀態(tài)。當煤礦空壓機出現(xiàn)上述故障情況時，會有相應的故障征兆，根據經驗及文獻可以將煤礦空壓機的故障征兆或者故障現(xiàn)象歸納為10種，用符號x1x10表示，即為神經網絡故

15、障診斷模型的輸入。x1x10分別表示：煤礦空壓機排氣量過低、空壓機排氣壓力不足、空壓機排氣溫度超限、空壓機冷卻水溫度超限、空壓機冷卻水壓力不足、空壓機主機轉速低限、空壓機振動超限、空壓機潤滑系統(tǒng)油溫超限、空壓機潤滑油壓力不足以及軸承溫度超限。煤礦空壓機的故障征兆或者故障現(xiàn)象與煤礦空壓機出現(xiàn)故障的工作狀態(tài)有一定的內在聯(lián)系，但又不是一一對應的，屬于非線性關系，在此將歸納整理的煤礦空壓機的故障狀態(tài)和故障現(xiàn)象之間的內在聯(lián)系列于表1。通過長期的現(xiàn)場監(jiān)測得到了大量關于煤礦空壓機在正常工作及各種故障狀態(tài)下的系統(tǒng)數(shù)據。通過對數(shù)據處理選取100組數(shù)據作為基于數(shù)據挖掘的故障診斷系統(tǒng)的訓練數(shù)據樣本，選取100組數(shù)據

16、用于基于數(shù)據挖掘的故障診斷系統(tǒng)的性能測試數(shù)據樣本。表2列出了10組部分用于網絡訓練和測試的數(shù)據樣本。表1 空壓機故障狀態(tài)及故障現(xiàn)象關系本文將所有用于訓練和測試的數(shù)據樣本進行歸一化處理以消除不同傳感器信號數(shù)據不同量綱產生的影響，通過式（4）將所有數(shù)據歸一到0.050.95之間： </a，bs*=0.9（s-smin）smax-smin+0.05 （4）式中：s為歸一化處理之前的值；smax為是歸一化處理的最大值；smin為是歸一化處理的最小值。建立基于本文提出的基于改進型ga?bp神經網絡的故障診斷系統(tǒng)主要分為兩大塊：第一塊是利用改進ga算法對bp神經網絡結構參數(shù)進行優(yōu)化，如閾值j，、隱層

17、節(jié)點數(shù)m以及連接權值wj1，wij等；第二塊就是根據優(yōu)化后的bp神經網絡結構參數(shù)進行建模。故障診斷系統(tǒng)的輸入單元數(shù)由煤礦空壓機故障現(xiàn)象確定，通過上述分析，確定數(shù)量為10，即x1x10；輸出單元個數(shù)由煤礦空壓機的工作狀態(tài)確定，通過上述分析，確定數(shù)量為5，即y1y5；隱含層為單層，單元數(shù)量一般先通過經驗試湊法確定為16。初始閾值j，以及初始連接權值wj1，wij在-33范圍內取值；神經網絡的最大訓練次數(shù)設定為3 000，精度為10-3。設定遺傳算法中種群的規(guī)模為n=150，進化最大代數(shù)為g=300，及其他參數(shù)b=0.1，k1=k2=1.0，k3=k4=0.5。通過遺傳算法優(yōu)化的平均適應度曲線如圖1

18、所示，隱含層節(jié)點數(shù)優(yōu)化曲線如圖2所示，最終隱含層節(jié)點數(shù)通過189次的迭代后確定為22。3.2 基于數(shù)據挖掘的空壓機故障診斷分析針對上述建立的煤礦空壓機故障診斷系統(tǒng)進行仿真研究，為了比較本文提出的改進型ga?bp神經網絡算法的優(yōu)越性能，使用基于常規(guī)ga優(yōu)化的bp神經網絡建立同樣的煤礦空壓機故障針對系統(tǒng)，使用同樣的訓練數(shù)據樣本進行網絡訓練，使用同樣的測試數(shù)據樣本進行性能測試。使用采集并處理后的100組訓練樣本對模型進行訓練，得到兩種模型的誤差逼近曲線如圖3，圖4所示。圖1 平均適應度變化圖2 隱含層節(jié)點數(shù)更新過程圖3 常規(guī)ga優(yōu)化的bp神經網絡訓練誤差通過對比可以看出，使用本文提出的改進型ga?b

19、p神經網絡算法經過569次迭代就使得誤差達到了設定范圍內，而使用常規(guī)ga優(yōu)化的bp神經網絡算法經過2 779次迭代才使得誤差滿足要求。因此在網絡的訓練速度、收斂速度和收斂精度方面，本文提出的改進型ga?bp神經網絡算法更勝一籌。下面使用采集并處理后的100組測試數(shù)據樣本對故障診斷模型的診斷性能進行測試。測試結果表明，常規(guī)ga優(yōu)化的bp神經網絡的診斷正確率為87.5%，診斷時間為564 s，輸出值不穩(wěn)定，而本文提出的改進型ga?bp神經網絡的診斷正確率為98.2%，診斷時間為246 s，輸出值穩(wěn)定。圖4 改進ga優(yōu)化的bp神經網絡訓練誤差可以看出，相比于常規(guī)ga優(yōu)化的bp神經網絡，本文提出的改進型ga?bp神經網絡算法所建立的故障診斷模型的性能更優(yōu)，檢測準確率以及速度更快，誤判率極低。4 結 論數(shù)據挖掘技術是在整個社會發(fā)展中隨著科學和技術的不斷進步而順應